A. Smyntyna / Code
ENRU

safetensors

Простой формат файлов весов, в котором выпускает большинство лабораторий, и то, чем на деле является сборка MLX под этим именем. Он хранит тензоры и небольшой заголовок и ничего исполняемого — в этом и безопасная часть: старый формат на pickle мог выполнить код при загрузке.

Полезно понимать, какие из слов в списке называют контейнер, а какие фреймворк. GGUF — контейнер: один файл, веса плюс токенизатор плюс метаданные, читается llama.cpp. MLX — фреймворк, и модель MLX — это safetensors плюс конфиг, разложенные так, как хочет этот фреймворк.

Так что GGUF против MLX — на самом деле не сравнение файловых форматов. Это выбор движка, который будет крутить модель, а файл следует уже из него.

Читать дальше