В ответ на пост
Это что же получается? Триллионные инвестиции гиперскейлеров — теперь пшик?
В выпуске подкаста «Dwarkesh», опубликованном во вторник, Суцкевер, которого многие считают пионером в области современного искусственного интеллекта, бросил вызов общепринятому мнению о том, что масштабирование может стать ключевым фактором прогресса ИИ
Технологические компании вложили сотни миллиардов в приобретение графических процессоров и создание центров обработки данных , чтобы по сути усовершенствовать свои инструменты ИИ — будь то LLM или модели генерации изображений
Мудрость гласит, что чем больше у вас вычислительной мощности или обучающих данных, тем умнее будет ваш инструмент ИИ
Суцкевер заявил в интервью, что примерно за последние пять лет этот «рецепт» принёс впечатляющие результаты. Он также эффективен для компаний, поскольку представляет собой простой и «очень низкорисковый способ» инвестирования ресурсов по сравнению с вложением средств в исследования, которые могут ни к чему не привести
Однако Суцкевер, который сейчас руководит Safe Superintelligence Inc. , считает, что этот метод себя исчерпывает; данные конечны, а организации уже имеют доступ к огромному количеству вычислительных ресурсов, сказал он
«Действительно ли существует убеждение: „О, он такой большой, но если бы у вас было в 100 раз больше, всё было бы совсем иначе?“ Конечно, было бы иначе. Но есть ли убеждение, что если просто увеличить масштаб в 100 раз, всё изменится? Я не думаю, что это правда», — сказал Суцкевер. «То есть мы снова возвращаемся в эпоху исследований, только с большими компьютерами»
«Дело, которое, на мой взгляд, является самым фундаментальным, заключается в том, что эти модели каким-то образом обобщают гораздо хуже, чем люди», — сказал он. «Это совершенно очевидно. Похоже, это действительно фундаментальная вещь»
