FP16
Старший 16-битный float: 1 бит знака, 5 бит экспоненты, 10 бит мантиссы. Он держит более тонкие детали, чем BF16, но достаёт до заметно более узкого диапазона порядков, из-за чего обучение в нём переполняется. Оба формата — по 2 байта на параметр, так что файлы выходят одинакового размера.
FP16 появился раньше, из графики, где числа маленькие и хорошо себя ведут. Обучение большой модели — ни то ни другое. BF16 существует потому, что лаборатории раз за разом упирались в переполнение FP16 и обнаружили, что могут обменять три бита мантиссы на полный диапазон экспоненты и не потерять ничего важного.
Если в списке написано FP16 или BF16, для оценки размера считайте их одним и тем же: 2 байта на параметр в обоих случаях.