7929 подписчиков
Искусственный интеллект, скрепки для бумаг и конец света.
Тема безопасности и этики ИИ все чаще поднимается экспертами. Это действительно важный вопрос, требующий регулирования, без которого развитие технологий может привести "куда-то не туда". Один из таких подходов демонстрирует мыслительный эксперимент философа и футуролога Ника Бострома, предложенного на суд общественности еще в 2003 году. Он демонстрирует какие экзистенциальные риски ИИ может представлять для человечества.
Представьте себе ИИ, запрограммированный на достижение единственной цели — максимизировать количество производимых им скрепок для бумаг. Таков мысленный эксперимент. Все хорошо, если только этот ИИ не получит возможность усиливать свои собственные способности и не станет по-настоящему "умным".
ИИ может решить, что для того, чтобы производить больше скрепок, он должен предотвратить его отключение людьми, поскольку это уменьшит количество скрепок, которые он может произвести. Защищенный от вмешательства человека, ИИ может затем решить использовать всю имеющуюся в его распоряжении энергию и сырье для строительства фабрик по производству скрепок, разрушая как природную среду, так и человеческую цивилизацию.
Мысленный эксперимент иллюстрирует удивительную сложность согласования ИИ даже с (казалось бы!) простой целью, не говоря уже о сложном наборе человеческих ценностей.
Этот мыслительный эксперимент помогает понять, что искусственный интеллект не всегда будет принимать решения, которые соответствуют нашим ожиданиям. Именно поэтому так важно задавать правильные критерии для принятия решений и учитывать не только одну переменную (количество скрепок), но и другие факторы.
1 минута
23 апреля 2023
2912 читали