обрезка
pruning
Удаление кусков обученной модели с сохранением остального, без переобучения. На модели mixture of experts это означает выбрасывание целых экспертов: метод REAP от Cerebras урезал Kimi K3 с 896 экспертов до 179, уменьшив файл с 1,56 ТБ до 350 ГБ за двое суток. Дёшево, быстро, и стоит вам способностей, которых уже ничем не вернуть.
Обрезка — наименее почтительный из способов уменьшения и самый быстрый. Квантование сохраняет каждый параметр и хранит каждый в меньшем числе бит. Дистилляция обучает новую маленькую модель вести себя как большая. Обрезка просто удаляет куски и выпускает то, что осталось.
Ломается всё неравномерно. Вырезанные эксперты были специалистами, поэтому потеря приходится на то, в чём они специализировались: обрезанная модель может сохранить умение писать код и начать зацикливаться на языке, который никто не проверял.