Нейросети, как волшебство

Ставил Mistral через Ollama, гонял его неделю без проблем, а потом модель начала выдавать откровенную кашу. Те же промпты, тот же контекст, а ответы как будто писал другой человек. Первая мысль была: сломалось железо. Оказалось, дело совсем не в железе. Эта ситуация знакома почти всем, кто держит LLM локально дольше пары недель. Модель не глупеет в буквальном смысле, веса не меняются сами по себе. Но есть несколько технических причин, из за которых субъективное качество ответов реально падает. Самая частая причина...

Полгода назад я потратила вечер, сравнивая новую топовую модель с предыдущей версией по бенчмаркам. Разница была в пределах двух процентов на MMLU. А через неделю я пересобрала свой пайплайн на модель, которая стоит в двадцать раз дешевле, и не заметила разницы в качестве для своих задач. Вот тогда я поняла, что читаю рейтинги неправильно. На самом деле рынок LLM живёт по двум разным логикам одновременно, и они почти не пересекаются. Одна логика, это гонка за первое место в лидерборде, ради заголовков и венчурных денег...

Человек может споткнуться, поправить равновесие и продолжить идти почти не задумываясь. Робот в той же ситуации начинает двигаться так, будто впервые увидел собственные ноги. Причина проста: ходьба для человека - автоматический навык, а для робота - сложнейшая физическая задача. Когда мы идём, тело фактически всё время теряет равновесие. Мы падаем вперёд - и успеваем подставить ногу. Мозг одновременно учитывает: Причём делает это почти мгновенно и с помощью огромного количества опыта. Роботу приходится вычислять то же самое датчиками и алгоритмами...

Ещё недавно главным вопросом было: насколько умная модель? Теперь всё чаще спрашивают: на каком железе она работает? Потому что даже самая способная нейросеть бесполезна, если её обучение стоит слишком дорого, ответы приходят слишком медленно, а дата-центр не справляется с энергопотреблением. Под этим названием скрывается целое семейство специализированных микросхем: Их объединяет одно: они умеют очень быстро выполнять операции, на которых построены нейросети, прежде всего массовое умножение матриц и работу с тензорами...

Когда я увидела название Baguettotron в списке моделей на Hugging Face, подумала, что это очередная шутка энтузиастов. Оказалось нет. Французская команда сделала модель на примерно 300 миллионов параметров, которая на задачах логического рассуждения показывает результаты, сравнимые с моделями в 10, а то и в 20 раз крупнее. Я погоняла её локально пару вечеров и, честно, ожидала разочарования. Не получила. Baguettotron, это компактная языковая модель, обученная с прицелом именно на рассуждения, а не на широкую эрудицию...