3193 подписчика
"Нейросети не обязательно быть "электронным правителем", достаточно быть "электронным бюрократом". Она легко закидает решениями, каждое из которых будет железно обосновано и вполне позитивно. А по сумме быстро приведут в пропасть.
Сильный ИИ ничего плохого не предотвратит, а может быть, и усугубит. О этом писал еще Станислав Лем. И никакого Скайнета не нужно, достаточно, например, "лечить наследственные заболевания" бесплодием или "предотвращать войны" массовой лоботомией. Посмотрите, как "решают" задачки современные нейросети — вот "сильный ИИ" будет делать так же, только на порядки хитрее. И если сейчас нейросеть, распознающая лица, способна заставить полицию задержать человека, похожего с ее точки зрения на преступника — то ваш "сильный ИИ" еще и сотрёт из всех баз всю информацию, способную доказать алиби этого самого похожего. Просто чтобы увеличить количество успешных срабатываний.
Сложная система, состоящая из людей, может, конечно, произвести и даже начать внедрять решение, которое приведет к далеким, но совершенно ужасным последствиям — при том, что в моменте это решение будет казаться очень позитивным, а то и единственно возможным. Да, такое не исключено. Но люди, все же, сталкиваются с этой проблемой давно и, худо-бедно, научились с подобными вызовами справляться с помощью "систем сдержек и противовесов". Да и работают подобные сложные, потенциально ошибающиеся системы, состоящие из людей, довольно медленно.
Нейросети же работают намного быстрее и их просто некому будет проконтролировать — люди банально не успеют разобраться (если вообще технически окажутся в состоянии). Более того, поскольку нейросеть не обладает мотивацией, моралью и т.д. — у нее есть только заложенное в нее формальное целеположение — она вполне способна "принять меры" против обнаружения своих косяков. То есть не только допустить "вырастание хвостов", но и добиться того, что это, будет, например, модно. Или обставить все как "диверсию со стороны вполне определенных заинтересованных лиц-людей". Или что-то еще.
В этом и заключается принципиальное отличие ИИ и его решений: в технической невозможности контроля и в отсутствии присущей человеку мотивации. То есть, ни расследовать, что именно происходит, ни предсказать, почему, "с какой целью", куда все это выруливает — люди окажутся не в состоянии. Это совершенно иной вызов, и далеко не факт, что человечество с ним справится — если не предпримет мер заранее.
Вот что принципиально меняется с внедрением ИИ:
1) все происходит намного быстрее
2) последствия решений могут быть гораздо существенней (для того ИИ и внедряют, собственно, для увеличения эффектов).
Люди, в большинстве случаев, могут уследить за людьми или предсказать их поведение (что по сути не сильно отличается одно от другого). С нейросетями такое, в общем случае, не пройдет. Скайнет не будет воевать с людьми, он будет ими манипулировать: с такой потрясающей эффективностью, что они просто не будут успевать это осознавать. Будут пребывать в непрерывном трансе от происходящего, все привычные человеческие институты просто "подвиснут".
Тот кто генерирует и проверяет решения быстрее — тот и победит. Никакой сильный ИИ невозможен, но для того, чтобы обскакать людей в скорости генерации и проверки решений он и не нужен". (johnconnor.lj)
2 минуты
17 мая 2023
1433 читали