LM Studio
Настольное приложение для запуска моделей локально: поискать в каталоге, скачать сборку GGUF или MLX, поговорить с ней и включить сервер, который говорит на OpenAI-совместимом API по адресу http://127.0.0.1:1234. Это вариант всего этого без терминала внутри — поэтому большинство и начинает отсюда.
Полезно в нём то, что оно показывает, из чего вы выбираете. Каждое квантование модели перечислено с размером файла и пометкой, влезет ли оно в вашу машину, — так что компромисс из второй части этой серии оказывается выпадающим списком, а не теорией.
Оно с закрытым исходным кодом и поддерживается компанией — это стоит помнить, если вы строите что-то поверх него.