Ученые спорят в Twitter, а инвесторы теряют миллионы. Разбираем скандал, который показывает, что не так с современным ИИ-хайпом.
Октябрь 2024 года. Себастьян Бюбек, ученый из OpenAI, выходит в Twitter (ныне X) с громким заявлением: GPT-5 решила 10 нерешенных математических задач Эрдёша. «Началось ускорение науки благодаря ИИ!» — ликует он. Через несколько часов генеральный директор Google DeepMind Демис Хассабис отвечает сухо: «Это просто стыдно».
Так начался один из самых показательных скандалов в мире ИИ, который обнажил главную болезнь отрасли — неспособность отличить настоящее открытие от умелого поиска в интернете.
Что такое задачи Эрдёша и почему их «решение» оказалось фейком
Пауль Эрдёш — легендарный математик XX века, оставивший после себя сотни головоломок. Томас Блум, математик из Манчестерского университета, создал сайт erdosproblems.com, где собрал более 1100 задач. Около 430 из них отмечены как решенные.
Проблема в том, что «не решенный на сайте» ≠ «не решенный вообще». Как признал сам Блум: «Никто не прочитал все математические статьи». Но GPT-5, похоже, прочитала.
Что произошло на самом деле:
- GPT-5 не решила 10 новых задач
- Она нашла в интернете 10 уже существующих решений, о которых Блум не знал
- OpenAI выдала это за прорыв
Две правды одного скандала
Правда №1: Это позор для индустрии
- Ученые делают громкие заявления в Twitter без проверки
- Хайп заменяет научную строгость
- Ошибки становятся достоянием миллионов
Правда №2: Это все равно впечатляет
- GPT-5 проанализировала миллионы статей быстрее любого человека
- Нашла решения, которые не знал даже куратор темы
- Показала потенциал ИИ как инструмента для анализа литературы
«Математики очень заинтересованы в использовании LLM для поиска в огромном количестве существующих результатов», — говорит Франсуа Шартон, исследователь из стартапа Axiom Math.
Почему ИИ хорош в поиске, но плох в открытиях
Пример: в августе 2024 пара математиков показала, что ни одна LLM не может решить задачу Ю Цумуры №554. В октябре все заговорили, что GPT-5 справилась.
Шартон смеется: «Это вопрос, который вы бы дали бы студенту-первокурснику. Есть такая тенденция — все преувеличивать».
Тем временем более трезвые исследования показывают:
- В медицине: ИИ может хорошо ставить диагнозы, но часто ошибается в назначении лечения
- В праве: ИИ дает противоречивые и неверные советы
- Вывод ученых: «Существующие данные удивительно не соответствуют бремени доказательств»
Самое время вспомнить Н.Н. Талеба и его книгу "Рискуя собственной шкурой", где предметно разбирается почему нельзя доверять решение тому, кто не несет ответственности за результат.
Конец истории? Нет, только начало!
Axiom Math заявила, что их модель AxiomProver решила 2 действительно открытые задачи Эрдёша (#124 и #481)
- Через 5 дней та же модель решила 9 из 12 задач конкурса Путнема — соревнования, которое некоторые считают сложнее Международной математической олимпиады
Джефф Дин, главный научный сотрудник Google DeepMind, и Томас Вольф, сооснователь Hugging Face, аплодировали сему факту на X.
Но есть нюанс: Международная математическая олимпиада требует творческого мышления, а конкурс Путнема проверяет знания — это сложно для студентов, но теоретически проще для ИИ, проглотившего интернет.
Как оценивать достижения ИИ в науке?
Франсуа Шартон: «Некоторые из тех кто слышит заявления в интернете ученые, многие нет, но все они так или иначе ботаники. Громкие заявления слишком очень хорошо работают в интернете».
Правила для здравомыслящих:
- Не доверяйте анонсам в Х— ждите обзорных статей от профессионалов области
- Спрашивайте «что именно решил ИИ?» — новая задача или найденное в интернете решение?
- Различайте поиск и творчество — даже гугление в миллион раз быстрее — это не открытие
Что это значит для бизнеса?
Для инвесторов:
- Ищите команды, которые понимают разницу между анализом данных и генерацией новых идей
- Помните: даже ошибка GPT-5 стоила кому-то миллионов долларов инвестиций
Для компаний:
- Используйте ИИ для анализа данных, но не для принятия стратегических решений
- Проверяйте все «прорывы» независимыми экспертами
- Не поддавайтесь хайпу — реальные технологии развиваются медленнее, чем кажется
Для всех:
- Учитесь критически оценивать заявления об ИИ
- Помните, что даже ученые ошибаются, особенно когда за них говорит маркетинг
- Цените настоящие открытия — они случаются реже, чем кажется
Вывод: Скандал с GPT-5 и задачами Эрдёша — не просто забавная история. Это симптом взросления индустрии ИИ. Мы переходим от фазы «вау, он может все!» к более трезвому пониманию: ИИ — прекрасный инструмент для анализа существующих знаний, но пока слабый генератор принципиально новых идей. Те, кто научится использовать его силу и обходить слабости, построят будущее. Остальные будут продолжать делать громкие, но пустые заявления в Twitter.
P.S. Пока все обсуждают, может ли ИИ делать открытия, сенаторы США уже расследуют, как дата-центры ИИ-гигантов взвинчивают счета за электричество обычным людям. Иногда реальные проблемы технологий оказываются прозаичнее, чем кажется.