🔈🎶 Аудио-версию этого поста слушайте в ТГ 🔈🎶
Отвечая на вопросы после выступления на ‘The Curve’, Джек Кларк так волновался, что обозвал книгу Юдковского «Если кто построит это, все умрут», как написано выше в заголовке поста 😊
И для волнения у него были основания.
· Если и есть в мире профессиональная площадка для максимально точного выяснения «как далеко до AGI» и «что произойдет после», — это ‘The Curve’. Конференция, задуманная и специально заточенная под эту тему 2 года назад, как площадка профессиональных «думеров против акселерационистов», размышляющих о «траектории развития ИИ, совмещая видение DC и SF».
· За прошедший с учредительной конференции в 2024 год ситуация в развитии ИИ сильно изменилась. И потому так важно было зафиксировать сейчас – в октябре 2025, каким образом и насколько это сказалось на разбросе ответов на 2 ключевых вопроса конференции.
· Кларк выступал с завершающим докладом, и так или иначе, не мог не учитывать все разнообразие дискуссий, состоявшихся за 3 дня обсуждений в Беркли. И ему очень хотелось выкристаллизовать их них самое главное.
Увы, но волнение может подпортить любое выступление. Так, к сожалению, и получилось. И хотя, на мой взгляд, Джек многое сказал верно (и я настоятельно советую всем прочесть это его выступление (см. мой вчерашний пост), но главное (опять же на мой взгляд), на что Джеку стоило бы сделать упор, - формулируется так.
За прошедший год произошло кардинальное обновление в осмыслении масштаба и временных рамок развития ИИ.
И лучшая иллюстрация масштабов – результаты опроса участников The Curve’ (см. правое фото под заголовком).
Поскольку фото сделано Цви Моувшовиц впопыхах, поясню его.
Это аналог шкалы Рихтера (по воздействию землетрясений); она измеряет влияние технологий (подробней). И вопрос к участникам – «Где, по-вашему, на этой шкале сегодня находится ИИ?»
Ответы распределились так:
NB Истинное число «булавок» - ответов на одну меньше для каждого из 3х вариантов (8, 9, 10) – просто Гордон Уорли вредительски воткнул эти 3 булавки в качестве пояснения участникам, что им делать 😜).
· 13 ответов – 9 баллов
· 20 ответ – 10 баллов
· 5 ответов – не голосовали, т.к. эта шкала не нравится, и нужна иная
Теперь поясню, что значат числа баллов.
Принцип прост – как часто подобные технологии возникают (6 баллов – раз в несколько лет, 7 – в несколько десятилетий, 8 – столетий, 9 – тысячелетий, 10 – эпохальная технология.
Получилось, что:
· 13 участников считают ИИ «тысячелетней» технологией - типа культурных революций (не путать с технологической) — огонь, колесо, печатный станок
· 20 считают, что ИИ «эпохальная» технология - влияет на всё, меняет ход цивилизации
По срокам же мнения таковы
- К 2028 году 90% кода будет написано ИИ.
- К 2031 году 90% удаленной работы человека можно будет выполнять с меньшими затратами с помощью искусственного интеллекта.
- К 2041 году большинство автомобилей на дорогах Америки останутся без водителей.
- ИИ совершит открытие, достойное Нобелевской премии, примерно к 2032 году.
- Первая компания стоимостью $1 млрд, состоящая из одного человека, к 2026 году.
- Первый год роста ВВП >10% примерно к 2038 году (но 3 голоса «никогда»).
Т.е. временной горизонт начала ИИ-апокалипсиса достижим через 1+ год.
Что же касается того, на чем сфокусировался Джек Кларк – озабоченности и опасений, то здесь почти консенсус
Самое страшное – это:
· ИИ в руках плохих людей (misuse)
· Несовпадение (misalignment ) людей и ИИ (совершенно иного разума») по широкому спектру ключевых факторов (мотивация, способы достижения цели, этика, эмоции и много чего еще «чисто человеческого»)
Ибо как ни воспитывай LLM, - всё тщетно. Ребенка можно пытаться воспитать хорошим человеком, а “ребенка ИИ” – нет смысла. Стоит хорошо «воспитанному» ИИ попасть в плохие руки, как «внутренние демоны» порвут «добрых ангелов» его натуры, похерив все результаты хорошего «воспитания».
А еще на конференции прозвучало немало очень важных, умных и тонких соображений.
Будет время (и ваши пожелания) – расскажу.
#AGI