Две новости подряд про дистилляцию моделей. И обе прекрасны.
Сначала Anthropic снова решила устроить сцену. Компания разослала письма членам Конгресса США и пожаловалась, что китайская Алибаба нагло и бесцеремонно дистиллирует их модель, поэтому американская власть должна применить власть и наказать.
Звучит грозно. Почти как кража чертежей атомной бомбы.
Антропик почему-то решил что дистилляция моделей это преступление. Ну просто им так захотелось. Для тех кто не знает что это такое – пояснение:
Дистилляция моделей — это не китайская спецоперация, не запрещённое кунг-фу и не новое преступление против человечества. Это обычный метод машинного обучения, описанный ещё в 2015 году Джеффри Хинтоном, Ориолем Виньялсом и Джеффом Дином.
Смысл простой: есть большая модель-учитель и маленькая модель-ученик. Хинтон доказал, что наибольшую ценность для обучения представляют не сами правильные ответы, а относительные вероятности ошибочных ответов. Условно: если модель видит кошку, она может ошибиться и назвать её собакой, но почти никогда не назовёт автомобилем. Вот эта разница между «похожей ошибкой» и полной чушью тоже является знанием.
Именно поэтому дистилляция стала одним из базовых способов делать модели дешевле, быстрее и пригоднее для запуска не только в огромных дата-центрах, но и на обычных устройствах. В индустрии ИИ это примерно как сжатие, оптимизация, обучение по примеру и инженерная экономия в одном флаконе.
Можно спорить о другом: нарушала ли Alibaba правила доступа, использовала ли поддельные аккаунты, обходила ли ограничения Anthropic. Но объявлять саму дистилляцию чем-то вроде технологического пиратства — это примерно как если бы Google в 2003 году обвинил Яндекс в том, что тот смотрит на поисковую выдачу и учится делать свою.
А вторая новость пришла почти синхронно: депутат Горелкин заявил, что дистилляция приводит к размыванию национального культурного кода.
Это я просто оставлю без комментариев.
