Эксперты перестали моделировать ситуацию в области ИИ
Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, — ложись спать». Если к тому же эти двое — признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, — то, определенно, стоит к ним прислушаться.
Макс Тегмарк и Джек Кларк — эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом:
• ИИ начал прогрессировать непредсказуемыми темпами;
• специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем.
На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours».
Лейтмотив рассказа таков.
«Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, — что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ».
Макс приводит простой пример.
Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос:
«Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?»
А сегодня каждый из нас может:
1. Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор»
2. Спросить — «гора Рашмор штат», и услышать «Южная Дакота»
3. Спросить — «штат на востоке от Южная Дакота», и услышать «Миннесота»
4. Спросить — «столица Миннесота», и услышать «Сент-Пол»
Но это, увы, далеко не весь прогресс.
ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы.
Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол».
Кто-то скажет, — это не понимание, а статистика. И будет прав.
Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет?
И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды).
Смотрите на картинку А к этому посту — наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?
Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта)
Теперь картинка B — мы не может предсказать способность ИИ даже на год вперед.
Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам:
- MATH — решение математических задач
- MMLU — тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором
- Something Something v2 — распознавания видео
- Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников.
Зеленый пунктир — уровень человека-эксперта.
А теперь приз в студию:
синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт.
Джек спрашивает:
- Что здесь происходит?
- Какие силы движут этим?
- Что означает сочетание плохих тестов и плохих прогнозов для будущего?
- В каких других областях науки прогресс неоднократно превосходил ожидания?
- Где будут эти точки по факту в 2025?
Нет ответов. И это потенциально крайне опасно.
#ии #искусственный интеллект
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях