Представьте себе картину: ведущие умы планеты, корпорации, университеты, исследовательские институты десятилетиями собирали данные, анализировали, систематизировали, создавали алгоритмы... И вот — точка насыщения. Всё.
Мы подошли к моменту, когда искусственный интеллект буквально "доел" доступные знания человечества. Звучит фантастически, но именно об этом заявил Илон Маск.
- Мы исчерпали практически весь накопленный объём человеческих знаний для обучения ИИ. Это произошло фактически в прошлом году, — сказал он в беседе с председателем Stagwell Марком Пенном на платформе X.
То есть? Больше нет информации, чтобы продолжать обучать нейросети? Наступил предел? Граница?
Достигнут «пик данных». Что это значит?
Маск не единственный, кто бьёт тревогу. В декабре 2024 года на конференции NeurIPS известный исследователь Илья Суцкевер, один из создателей OpenAI, заявил, что индустрия достигла так называемого «пика данных». Это означает, что качественных, уникальных и достоверных источников для обучения ИИ практически не осталось.
Ранее обучение искусственного интеллекта проходило на гигантских массивах информации — книгах, статьях, научных трудах, социальных сетях, комментариях пользователей. Но теперь эти ресурсы практически исчерпаны. Всё, что можно было собрать, уже собрано.
- Дефицит обучающих данных вынудит нас пересмотреть сам подход к разработке ИИ, — заявил Суцкевер.
Но разве человечество перестало создавать новые знания? Казалось бы, каждый день публикуются миллионы статей, ведутся исследования, снимаются фильмы, пишутся книги… Однако проблема в качестве данных.
Большая часть нового контента — это переработка старого. Мы производим горы информации, но действительно нового в ней мало. И вот ИИ, словно ненасытный зверь, уже съел всё ценное. Дальше — либо застой, либо новый путь.
Синтетические данные: искусственный интеллект обучает сам себя
Маск предлагает выход — синтетические данные. Если нет новых источников знаний, значит, их нужно создавать искусственно. Как? Пусть сам искусственный интеллект генерирует обучающие данные и на них же учится.
- Единственный способ дополнить реальные данные — это синтетические данные, где ИИ сам создаёт обучающие материалы, - объясняет Маск.
Звучит интригующе. Представьте: ИИ, который обучает сам себя, создаёт знания, анализирует их, дополняет, перерабатывает. Уму непостижимо. Но возможно ли это на практике?
Оказывается, да. Крупнейшие корпорации — Microsoft, Meta*, OpenAI, Anthropic — уже активно используют этот метод. По оценке Gartner, в 2024 году 60% всех данных, использованных в обучении ИИ, были синтетическими.
Например, компания Writer разработала модель Palmyra X 004 почти исключительно на синтетических данных. И её стоимость составила всего $700 000, тогда как аналогичная модель OpenAI обошлась в $4,6 миллиона.
Экономия налицо. Но тут возникает другая проблема...
Замкнутый круг или эволюция?
Может ли ИИ, обучаясь на данных, которые сам же и генерирует, выйти за пределы своих возможностей? Или он окажется в ловушке? Создаст ли он принципиально новое знание, или просто начнёт вариться в собственном соку?
Некоторые исследования уже показали, что чрезмерное использование синтетических данных ведёт к так называемому «коллапсу модели». Это значит, что ИИ начинает терять креативность, генерировать предсказуемые, повторяющиеся ответы, усиливать предвзятость. Ведь если он обучается на данных, которые сам же и создал, ошибки и заблуждения могут множиться.
Это как если бы человек учился на учебниках, которые написал сам, не проверяя их на практике. Рано или поздно он начнёт зацикливаться на собственных догадках, принимая их за истину.
Будущее искусственного интеллекта: новый путь или тупик?
Что нас ждёт дальше? Вариантов несколько:
- Эволюция моделей обучения. Возможно, учёные найдут способ комбинировать синтетические данные с реальными, минимизируя риски коллапса. Например, будут использовать ИИ не только для генерации информации, но и для её проверки через взаимодействие с реальным миром.
- Создание новых источников знаний. Может быть, мы выйдем на новый уровень открытий, начнём добывать принципиально новые знания — в космосе, глубинах океана, в квантовой физике или биологии.
- Революция в мышлении. Возможно, сам принцип работы ИИ изменится, и мы увидим нечто совершенно иное, не просто алгоритмы, а новое подобие разума, способного обучаться, как человек.
Но есть и четвёртый вариант — тупик. Если ИИ продолжит обучаться только на собственных данных, он рискует стать бесполезным. Как заезженная пластинка, которая играет одну и ту же мелодию снова и снова.
А что вы думаете? Действительно ли ИИ достиг предела? Или впереди нас ждёт прорыв?
