Новости из мира технологий: OpenAI сталкивается с трудностями, пытаясь улучшить свои популярные большие языковые модели (LLM), такие как ChatGPT. Несмотря на мощные вычислительные ресурсы, результаты говорят о том, что усилия по масштабированию начинают буксовать.
Сложности Масштабирования
Большие языковые модели требуют огромных объемов данных и вычислительных мощностей для работы в промышленных масштабах. Однако Илья Суцкевер, сооснователь OpenAI, недавно ушедший из компании, заявил в интервью Reuters, что недавние тесты указывают на плато в развитии.
> "2010-е годы были эпохой масштабирования. Сейчас мы вернулись в эпоху открытий и удивления," — отметил Суцкевер. — "Все ищут, что станет следующим прорывом."
Новые горизонты
Что это за "следующее", пока неизвестно. Примечательно, что заявление Суцкевера прозвучало менее чем через год после того, как он попытался сместить генерального директора OpenAI Сэма Альтмана и оказался отстранён. Его слова подкрепляют мнение, что компании, включая OpenAI, сталкиваются с законом убывающей отдачи.
Замедление Прогресса
Издание *The Information* недавно сообщило, что с каждым новым флагманским продуктом OpenAI наблюдает замедление прорывов, к которым привыкли пользователи после запуска ChatGPT в декабре 2022 года.
Этот спад ставит под сомнение основную идею масштабирования ИИ: чем больше данных и вычислительных ресурсов мы используем, тем лучше будут результаты. Однако объем доступных данных уже достиг предела, а энергопотребление ИИ-систем растет беспрецедентными темпами.
Мнение Экспертов
Данные учёного Яма Пелега подливают масла в огонь. В социальной сети X он заявил, что другая продвинутая AI-компания "столкнулась с огромной стеной убывающей отдачи, пытаясь улучшить результаты за счёт длительного обучения и большего объёма данных".
Пелег добавляет, что компании уже исчерпали возможности масштабирования за счет объема данных и времени обучения.
> "Теперь всё сводится к качеству данных... А это требует времени," — подчеркнул он.
Основные выводы
- Эра масштабирования подходит к концу, уступая место эпохе новых открытий.
- Компании испытывают трудности из-за ограниченности доступных данных и высоких затрат на электроэнергию.
- Будущее AI зависит от повышения качества данных и разработки новых подходов.
Что дальше?
Мир ИИ стоит на пороге больших перемен. Ключевой вопрос: сумеют ли компании найти способ преодолеть текущие ограничения? Ведь без свежих идей и инновационных подходов индустрия может остановиться.