вызов инструментов
tool calling
Модель пишет запрос на команду вместо ответа. Харнесс кладёт в промпт список доступных инструментов, модель отвечает текстом в форме вызова («запусти bash с ls src»), а харнесс выполняет его и вклеивает вывод обратно как контекст. Сама модель не выполняет ничего.
Чтобы это работало, в модели ничего не меняется. Она по-прежнему предсказывает следующий токен. Изменилось то, что кто-то написал программу, которая читает вывод, замечает в нём блок в форме инструмента и действует.
В этом же вся история про безопасность. Локальная модель не может тронуть файл, открыть сокет или что-либо удалить. Харнесс может — от вашего имени, и права, под которыми он работает, — те, что вы ему дали.
Надёжность здесь — свойство обучения, а не размера. Модель должна была пройти дообучение на удержание точного формата вывода много ходов подряд — поэтому маленькие модели нового поколения часто вызывают инструменты надёжнее, чем крупные модели поколением раньше.