дообучение
fine-tune
Продолжение обучения выпущенной модели на своём небольшом наборе данных, чтобы она специализировалась. Стоит доли процента от исходного обучения — поэтому один релиз с открытыми весами превращается в сотни вариантов под код, документы, ролевые игры или тон одной конкретной компании.
Большинство дообучений сейчас идёт через адаптер — небольшой набор дополнительных параметров, обученных поверх замороженных весов, — так что результат весит несколько сотен мегабайт, а не целую копию модели.
Поведение он меняет гораздо надёжнее, чем добавляет знания. Если цель в том, чтобы модель знала ваши документы, поиск по ним обычно выигрывает у дообучения и обновляется бесплатно.