бит на вес
bits per weight
Среднее число бит, которое каждый параметр реально занимает в файле, с учётом блочных множителей и повышенных слоёв. Именно оно задаёт размер загрузки, и оно никогда не совпадает с числом в названии: файл Q4_K_M в среднем даёт 4,83 бита, а не 4, поэтому модель на 27B выходит в 16,3 ГБ, а не в 13,5.
Этот расчёт стоит проделать один раз, потому что иначе никак не узнать, во что обойдётся строчка в списке, пока не нажал «скачать». Параметры умножить на биты на вес и поделить на восемь — получатся гигабайты.
27 миллиардов при 4,83 — это 16,3 ГБ. Те же 27 миллиардов при 8,5, а именно столько выходит у Q8_0, — это 28,7 ГБ. Разрыв между этими двумя числами и есть всё решение о квантовании, а остальное — спор о том, где именно внутри него встать.
Среднее выходит выше номинала по двум причинам. Каждый блок весов несёт рядом масштабный множитель — вот откуда у Q8_0 лишние полбита. И рецепт K-quant повышает несколько семейств слоёв до большей глубины — вот откуда у Q4_K_M остальные 0,83.