Microsoft выпустила две модели Phi-4 с открытыми весами и мультимодальностью, но без лицензии на коммерческое использование в ЕС Когда вы скачиваете модель с Hugging Face для локального запуска, первое решение, которое определяет скорость, качество и расход памяти, это выбор формата файла и способа сжатия весов, и путаница между этими двумя слоями остаётся главной ловушкой даже для опытных практиков. Форматы LLM моделей делятся на два независимых слоя: контейнер (как веса хранятся на диске) и метод квантизации (как веса сжимаются до меньшего числа бит). Смешение этих слоёв приводит к ошибкам при выборе модели и потере качества или памяти впустую...