База для появления искусственного интеллекта создавалась в Советском Союзе
Если Россия хочет создать свою собственную большую языковую модель (LLM), то ей необходимо обращаться к опыту СССР, и в первую очередь — теореме математиков Колмогорова и Арнольда. Такое мнение в беседе с популяризатором отечественной микроэлектроники Максимом Горшениным высказал независимый ИИ-исследователь Павел Техножнец.
«Если ты хочешь сделать отечественную языковую модель, то скорее всего, ты можешь обратиться к базе. А база у нас потрясающая — теорема Колмогорова-Арнольда. Согласно ей, очень сложные функции можно представлять в виде коротких репрезентов. То есть ты можешь упрощать практически всё», — объяснил Техножнец.
По его мнению, надо идти именно в эту сторону — брать отечественное математическое наследие и адаптировать его.
«Цепи Маркова — это и есть первые нейросети, которые созданы нашим человеком. А созданы они просто в споре — для того, чтобы доказать, что у языка есть структура. Буквы можно автоматически чередовать друг за другом и получать живые слова. Когда Марков в этом споре выиграл, то он сам даже не понял, что фактически создал первую нейросеть», — отметил Техножнец.
Для создания своей модели Павел взял теорему Колмогорова-Арнольда, которая уже была доработана Сингапурским и Массачусетским институтами — Kolmogorov Arnold Network (KAN). В 2024 году зарубежные вузы выложили об этом статью.
Техножнец скачал большую языковую модель LLama — чисто для того, чтобы посмотреть, что она из себя представляет. Детально изучив её, он многое оттуда почерпнул.
«И когда вышла статья про KAN, то там рассказывалось, что оказывается, ты можешь использовать меньше данных, но делать приближение быстрее», — добавил Павел.
Справка:
• В 1957 году советские математики Андрей Колмогоров и Владимир Арнольд доказали, что любую сложную функцию многих переменных можно представить в виде комбинации множества простых функций от одной переменной.
• Цепь Маркова — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем, что при фиксированном настоящем будущее независимо от прошлого. Процесс в каждый момент времени находится в одном из состояний.
📸 Скриншот из видео Максима Горшенина
RuHard в MAX | RuHard в VK | RuHard в Дзен | Максим Горшенин в VK
