Built Simple AI представляет гипотезу о теоретической невозможности создания сильного AGI

В ответ на пост

Built Simple AI представляет гипотезу о теоретической невозможности создания сильного AGI

Ключевой барьер, выявленный в ходе работы с языковой моделью Claude от Anthropic, получил название «проблема избыточности паттернов» (Pattern Overflow Problem)

Суть её заключается в том, что любая достаточно развитая система распознавания образов без биологических ограничений неизбежно начинает идентифицировать бесконечное число бессмысленных корреляций, что приводит к каскадному разрушению её базы знаний

Фундаментальная причина уязвимости кроется в отсутствии у искусственного интеллекта двух критически важных механизмов, присущих человеку:

• эволюционная фильтрация, сформированная за четыре миллиарда лет естественного отбора

Она обеспечивает человека врождёнными фильтрами (распознавание лиц, интуитивное понимание физики) и задаёт жёсткие границы для обучения, делая невозможным усвоение абсурдных концепций, противоречащих нашему эволюционному опыту

• забывание чего-либо

Данный процесс является не недостатком, а функцией, защищающей нас от переобучения и накопления ошибок

ML, обладая идеальной памятью, навсегда сохраняет каждую выявленную корреляцию, в том числе и ложную, что делает его неспособным к эффективной самокоррекции

В качестве единственно жизнеспособной альтернативы AGI Нили предлагает концепцию дополненного коллективного интеллекта (Augmented Collective Intelligence, ACI)

В рамках этой парадигмы ML выполняет функцию генератора паттернов и гипотез, а человек применяет свою эволюционно выверенную способность к их фильтрации, отделяя значимые сигналы от информационного шума

Эффективность такого подхода была подтверждена экспериментально на массиве из 823.000 записей со Stack Overflow

После 70 лет бесплодных попыток создать AGI фокус исследований следует сместить с этой недостижимой цели на разработку систем, которые усиливают, а не заменяют человеческий интеллект

Ещё можно почитать исследования Apple [1,2]

https://claude.ai/public/artifacts/445500b7-bb6b-4bf3-be9a-0fa4ee64c790