динамический диапазон
dynamic range
Расстояние между самым большим и самым маленьким значением, которое формат способен удержать. У фотографии это число ступеней между самым ярким светом и самой тёмной тенью, в которых ещё остаются детали. У числового формата это задаётся битами экспоненты — ровно поэтому BF16 и существует.
Диапазон и точность — разные вещи, и квантование тратит их по отдельности. Формат может покрывать огромный диапазон грубыми шагами или узкий диапазон мелкими.
Именно из-за этого различия блочные форматы вроде MXFP4 вообще работают. Они дают блоку весов один общий масштабный множитель, который возвращает диапазон, а оставшиеся биты тратят на точность внутри блока.