параметры
parameters
Числа внутри модели, выученные при обучении и замороженные после. У модели на 27B их 27 миллиардов. Число параметров задаёт размер файла напрямую: по 2 байта каждый — это 54 ГБ на 27 миллиардов, а на 4 битах ближе к 16 ГБ. Это первое число почти в любом имени модели.
Веса и параметры на практике — одно и то же. Каждый из них — одно число, и запустить модель значит прогнать ваш вход через них все или через ту долю, которую выбрал роутер mixture of experts.
Число параметров — грубый показатель того, сколько модель знает, и плохой показатель того, насколько она умна. Модель на 8B из 2026 года обходит модель на 70B из 2023-го на большинстве задач, потому что сколько её учили и на чём учили значит не меньше размера.