K-quant
Семейство рецептов смешанной точности из llama.cpp — те, у которых в названии есть K. Веса хранятся блоками с общим масштабным множителем, а фиксированное правило поднимает отдельные семейства слоёв выше номинальной битности. Хвостовая S, M или L говорит, насколько много рецепт повышает.
Имя вроде Q4_K_M читается справа налево. M — medium, объём повышения. K —
схема блочных множителей. Q4 — то, в чём хранится большая часть файла.
На модели в 27B разница между S и M — около 0,9 ГБ, и на них выкупаются
проекции значений во внимании, down-проекция feed-forward в ранних блоках и
эмбеддинги. Надбавка достаточно мелкая, чтобы S не брал почти никто, — поэтому
_K_M и есть тот вариант по умолчанию, на котором сидят почти все.