84 подписчика
OpenAI [1] раскрывают двухэтапный план компании по осуществлению в 2025 квантового скачка интеллекта их новой модели GPT-5
1. Весьма вероятно, что до конца 2024 планируется выпустить, в качестве радикального обновления ChatGPT, новый ИИ под кодовым названием Strawberry (ранее обозначался Q*, что произносилось Q Star).
Скорее всего, будут объявлены три кардинальных улучшения нового ИИ по сравнению с GPT-4:
• достижение чемпионского уровня при решение задач математических олимпиад (при результатах 90%++ на тесте MATH)
• скачок в улучшении логических и дедуктивных способностей (решение алгоритмических головоломок), а также сложности решаемых задач программирования (оптимизация кода)
- появление специальных механизмов долгосрочного планирования и имитации стратегического мышления
2. Вышеназванные кардинальные улучшения нового ИИ призваны обеспечить достижение двухчастной цели:
• Переключение на себя пользователей конкурирующих моделей
• Формирование обширного нового корпуса качественных синтетических данных, на которых пройдет дообучение модель нового поколения, разрабатываемая в рамках проекта Orion
Именно эта дообученная на качественных данных модель может быть представлена в 2025 широкой аудитории под маркой GPT-5
Сей двухэтапный план мог быть разработан для решения самой критичной проблемы больших языковых моделей – их галлюцинаций
• Решающим фактором для минимизации галлюцинаций, является качество обучающих данных.
• Почти все существующие модели обучаются на смеси данных, в которых значительную часть составляют данные со всевозможных интернет-помоек
Эта проблема разбирается мною в 1_й части только что опубликованного лонгрида «Бомж-интеллектуал – как ИИ превращает мусор в золото знаний» [2]
• Проблема замены мусора в обучающих корпусах данных на ценную информацию сейчас первоочередная для повышения интеллекта моделей
Для ее решения IBM, например, идет путем генерации спецданных под класс задач [3]
Но в OpenAI, похоже, решили сорвать банк, используя для генерации синтетических данных мировое сообщество «любителей клубнички» - их новой модели Strawberry
Получится это у OpenAI или нет – увидим в 202
Но идея хитрая и, скорее всего, продуктивная – заставить сотни миллионов пользователей генерировать океаны данных, из которых, путем очистки и обогащения, будет готовиться синтетический инфокорм для новой супер-модели
А почему нет?
Ведь у спортсменов это работает: высокоуглеводные диеты для марафонцев, высокобелковые диеты для бодибилдеров, кетогенные диеты для улучшения выносливости, а также вегетарианские или веганские диеты, адаптированные под высокие физические нагрузки
Так зачем же продолжать скармливать ИИ обучающие данные с инфо-помоек, если можно посадить модель на высокоинтеллектуальную инфо-диету синтетических данных?
Видеоподробности [4]
2 минуты
31 августа