A. Smyntyna / Code
ENRU

плотная модель

dense

Модель, где на каждый токен работает каждый параметр, без всякой маршрутизации. Плотная модель на 27B делает 27 миллиардов параметров работы на каждый порождённый токен. Проще, чем MoE, но при том же общем размере медленнее, потому что пропустить большую часть весов негде.

В списке моделей плотность считывается по отсутствию. qwen3.6-35b-a3b называет свои активные параметры; у qwen3.6-27b a-числа нет, значит все 27 миллиардов работают каждый раз.

Читать дальше