TL&DR

https://youtu.be/k2ZLQC8P7dc?si=f1udN7BIiLBUDBT_

TL&DR

Это видео — эпизод подкаста Lightcone от Y Combinator, гостем которого стал Франсуа Шолле (создатель библиотеки Keras и бенчмарка ARC-AGI). Основная тема обсуждения — почему простого масштабирования текущих нейросетей (LLM) недостаточно для достижения сильного искусственного интеллекта (AGI) и какие новые подходы необходимы.

Краткий бриф обсуждения:

Новая парадигма (NDEA): Шолле представил свою новую исследовательскую лабораторию NDEA. Вместо классического глубокого обучения (параметрических моделей) они работают над символьным обучением. Цель — создавать компактные программы, которые описывают данные, что гораздо ближе к тому, как работает человеческий интеллект.

Проблема масштабирования LLM: Гости обсуждали, что индустрия тратит миллиарды на обучение всё более крупных моделей, но это дает лишь количественный рост, а не качественный скачок в гибкости мышления. LLM хороши в интерполяции известных данных, но плохо справляются с абсолютно новыми задачами.

Почему агенты-кодеры успешны: Одной из причин успеха ИИ в написании кода является наличие проверяемого сигнала вознаграждения (код либо работает, либо нет). В областях, где нет такой четкой обратной связи, текущие модели показывают себя гораздо хуже.

Бенчмарк ARC-AGI: Обсуждалась третья версия теста ARC, который измеряет не накопленные знания (как большинство тестов), а способность обучаться на лету и адаптироваться к новым условиям. Шолле считает это истинным мерилом интеллекта.

AGI к 2030 году: Шолле предполагает, что мы можем увидеть признаки настоящего AGI примерно к 2030 году, но это потребует смены фундаментального стека технологий на более эффективный и «оптимальный».

Ключевые выводы:

Масштаб — это не всё: Одной вычислительной мощности и данных недостаточно для создания разума. Нужно менять саму архитектуру обучения на символьную, чтобы модели стали компактнее, быстрее и лучше обобщали информацию.

ИИ как инструмент расширения возможностей: Вместо страха перед потерей работы, эксперты советуют смотреть на ИИ как на рычаг. Чем больше у вас личного опыта и экспертизы в какой-то области, тем эффективнее вы сможете использовать ИИ для автоматизации и роста.

Прогресс не остановить: Пытаться замедлить развитие ИИ уже поздно. Главный вопрос не в том, «как его остановить», а в том, «как на нем прокатиться» (ride the wave) и интегрировать в свою жизнь и бизнес.

Место для инноваций: Тот факт, что все сейчас занимаются только LLM, создает огромные возможности для стартапов и исследователей, готовых пробовать альтернативные пути (как это делает Шолле в NDEA).