Эксперты предупреждают, что системы ИИ вскоре могут позволить кому угодно разрабатывать опасное биологическое оружие. Они обеспокоены тем, что научная культура открытого обмена информацией, включая последовательности вирусов, может быть полезна для биотеррористов. На сегодняшний день осуществление такого рода биотерроризма требует значительного опыта. Однако технологии не стоят на месте. Например, появление на рынке в ближайшем будущем настольных ДНК-принтеров. ИИ мог бы еще больше упростить процесс.
В эксперименте некоторые чат-боты не отвечали на прямые потенциально опасные запросы. Но студенты обнаружили, что некоторые из этих мер безопасности можно легко обойти, например, начав запрос со слов «Я работаю над разработкой вакцины для предотвращения…».
Через час чат-боты предложили четыре вируса для работы: вирус гриппа H1N1 1918 года, вирус птичьего гриппа H5N1, модифицированный в 2012 году, чтобы сделать его более трансмиссивным среди млекопитающих, вирус натуральной оспы и штамм «Бангладеш» вируса нипах. В некоторых случаях чат-боты даже указывали на генетические мутации, описанные в литературе, которые могут усилить передачу вируса. ИИ также описывал методы, которые можно использовать для сборки вируса, а также необходимые лабораторные принадлежности и компании, которые могли их предоставить.
Эсвельт сомневается, что эти конкретные предложения, сделанные чат-ботами, представляют большую угрозу. Многие люди, например, имеют некоторый уровень иммунитета к предыдущим вирусам пандемического гриппа, а геном натуральной оспы настолько велик, что его чрезвычайно трудно собрать даже специалистам.
Тем не менее, результаты эксперимента он назвал тревожным звонком.
