Если Россия хочет создать свою собственную большую языковую модель (LLM), то ей необходимо обращаться к опыту СССР, и в первую очередь

Если Россия хочет создать свою собственную большую языковую модель (LLM), то ей необходимо обращаться к опыту СССР, и в первую очередь — теореме математиков Колмогорова и Арнольда

Такое мнение в беседе с популяризатором отечественной микроэлектроники Максимом Горшениным высказал независимый ИИ-исследователь Павел Техножнец, пишет РуХард

Если ты хочешь сделать отечественную языковую модель, то скорее всего, ты можешь обратиться к базе. А база у нас потрясающая — теорема Колмогорова-Арнольда. Согласно ей, очень сложные функции можно представлять в виде коротких репрезентов. То есть ты можешь упрощать практически всё

По его мнению, надо идти именно в эту сторону — брать отечественное математическое наследие и адаптировать его

Цепи Маркова — это и есть первые нейросети, которые созданы нашим человеком. А созданы они просто в споре — для того, чтобы доказать, что у языка есть структура. Буквы можно автоматически чередовать друг за другом и получать живые слова. Когда Марков в этом споре выиграл, то он сам даже не понял, что фактически создал первую нейросеть

Для создания своей модели Павел взял теорему Колмогорова-Арнольда, которая уже была доработана Сингапурским и Массачусетским институтами — Kolmogorov Arnold Network (KAN)

В 2024 году зарубежные вузы выложили об этом статью

Техножнец скачал большую языковую модель LLama — чисто для того, чтобы посмотреть, что она из себя представляет, детально изучив её, он многое оттуда почерпнул

И когда вышла статья про KAN, то там рассказывалось, что оказывается, ты можешь использовать меньше данных, но делать приближение быстрее

Подробнее об этом я выпустил отдельное ВИДЕО

Telegram | Дзен | MAX