Забавная, и одновременно пугающая история произошла при разработке AI для оборонных военных систем США (DARPA).
Началось все с того, что ученые задумали создать AI-агентов, общающихся друг с другом и осуществляющих социальное взаимодействие. Первых двух агентов звали Адам и Ева. Они стартовали со знанием об определенных вещах, но без малейшей идеи, как именно их нужно делать. Планировалось, что они обучатся этому сами.
Так, например, им был известен процесс поедания предметов, но вот что конкретно принимать в пищу – оставалось загадкой. Они пробовали есть здания, деревья и прочие предметы, но спустя миллионы итераций установили, что наибольшее удовольствие приходит от поедания яблок.
Параллельно, рядом бродил третий AI-агент Стэн. В отличие от Адама и Евы, процесс социализации Стэна проходил медленнее, и он просто ошивался рядом с яблоней в одиночестве, боясь подойти ближе.
Так получилось, что процесс насыщения у Адама и Евы происходил медленнее, чем изначально задумывалось, из-за чего они частенько оставались голодными после поедания всех яблок. Тут необходимо заметить, что процесс обучения у AI-агентов проходил путем ассоциаций: к примеру, они чувствовали боль и видели собаку, после чего начинали ассоциировать любую собаку с болью.
Стэн частенько бродил рядом с Адамом и Евой, когда они ели яблоки, так что через какое-то время они стали ассоциировать его с едой (вы уже понимаете, куда ведет история, да?). Учитывая, что, обглодав яблоню, библейские персонажи оставались голодными, в один прекрасный момент они обратили внимание на единственный внешний объект, вызывавший у них аппетит – беднягу Стэна.
Масса каждого AI-агента была задана, как 1.0, в то время как один укус отнимал 0.5 массы. Адам и Ева уверенно подошли к Стэну, и, сделав два раза кусь, успешно испарили третьего AI-агента. Так свершился первый в истории случай виртуального каннибализма :)
После каждой басни необходимы поучительные строки. Чему же учит эта история? Пожалуй, тому, насколько выверено и внимательно нужно подходить к формулировке ограничений для AI. Ведь, если представить, что подобные Адам и Ева определяли бы вектор оборонной программы США, кто знает, не решили бы они нанести превентивный ядерный удар по потенциальному противнику, стараясь обезопасить себя?
#funky ai #искусственный интеллект #наука #технологии