токен
token
Единица, которую модель читает и пишет. Не слово и не символ, а обрывок чего-то из них, порождённый таблицей соответствий, построенной при обучении. У английского в среднем около четырёх символов на токен, так что 1000 слов — это примерно 1300 токенов. Всё измеряется, оценивается и ограничивается в токенах: контекстные окна, счета за API, скорость генерации.
Частые слова — это одиночные токены. Редкие слова, имена и идентификаторы в коде разбиваются на несколько — поэтому страница исходников стоит больше токенов, чем страница прозы. Разбиение фиксируется при обучении модели, так что две модели, получив один и тот же текст, могут разойтись в том, сколько это токенов.
Отсюда два следствия. Скорость называют в токенах в секунду, потому что за один проход модель выдаёт ровно один токен. И цены на API называют за миллион токенов, отдельно на вход и на выход, причём выход обычно втрое дороже входа.