дистилляция
distillation
Обучение маленькой модели, где большая работает учителем. Либо учитель — это файл, которым вы владеете, и тогда можно скопировать то, что он думает о каждом ответе, которого он не дал; либо это API, и тогда вам достаётся только вернувшийся текст. Почти любая модель, достаточно маленькая, чтобы работать на вашей машине, — это одно или другое.
Это требует настоящего обучения и настоящих денег — поэтому фронтирную модель обрезают и квантуют через считаные дни после выхода, а дистиллируют спустя месяцы.
Полная версия этого — включая то, что теряется через API и почему граница возможного всё равно продолжает ехать, — вынесена в отдельную запись: Дистилляция: гонка за границей возможного.