A. Smyntyna / Code
ENRU

OpenAI-совместимый API

OpenAI-compatible API

Де-факто стандартная форма разговора с моделью по HTTP: шлёте POST со списком сообщений на /v1/chat/completions, получаете ответ. Форму задала OpenAI, и каждый локальный раннер её копирует, поэтому LM Studio и Ollama оба отвечают на http://127.0.0.1:1234 или :11434 в одном и том же формате запроса.

Это самая полезная случайность во всём локальном ИИ. Любой инструмент, написанный под SDK OpenAI, направляется на локальный сервер сменой базового URL — и больше менять не нужно ничего.

А ещё это означает, что выбор модели — решение времени выполнения, а не архитектуры. Одна и та же программа работает и с моделью на 4 ГБ на ноутбуке, и с фронтирной моделью в облаке, а переключение между ними — одна строчка конфига.

Читать дальше