пропускная способность памяти
memory bandwidth
Насколько быстро чип читает из оперативной памяти, в гигабайтах в секунду. Генерация текста читает каждый активный вес ради каждого отдельного токена, поэтому скорость генерации задаёт именно она, а не голые вычисления. M4 Max двигает около 546 ГБ/с; системная память настольного ПК — ближе к 80 ГБ/с.
Оценка грубая и достаточно точная: поделите пропускную способность на объём весов, которые надо прочитать на один токен. Модель в 20 ГБ на машине с 546 ГБ/с упирается примерно в 27 токенов в секунду, и никакое количество GPU этого не изменит.
Два следствия. Уменьшение модели делает её буквально быстрее, а не только компактнее, потому что на токен приходится читать меньше. И модель mixture of experts быстра по той же причине: она читает только тех экспертов, которых выбрал роутер.