роутер
router
Маленькая сеть внутри mixture of experts, решающая для каждого токена, какие несколько экспертов запустить. Именно она заставляет модель на 35B делать работу модели на 3B: 35 миллиардов параметров лежат в памяти, а роутер каждый раз выбирает примерно 3 миллиарда из них. Kimi K3 маршрутизирует к 16 экспертам из 896.
Роутер отрабатывает раньше экспертов, оценивает их и берёт лучшую пару-тройку. Для следующего токена он выбирает уже другой набор — поэтому каждому эксперту приходится оставаться в памяти, хотя в любой отдельный момент почти никто из них не работает.
В этом вся форма сделки. За полное число параметров вы платите оперативной памятью, за активное — временем.