История, которая должна была разорваться в новостях, но почему-то все прошли мимо.
Collaborations Pharmaceuticals взяли свой AI для поиска лекарств и задали ему один простой вопрос: "А что если вместо того, чтобы избегать токсичности, ты будешь её искать?"
Менее чем за 6 часов на обычном Mac 2015 года AI сгенерировал 40,000 высокотоксичных молекул, включая нервно-паралитический агент VX (несколько крупинок могут убить человека).
Но вот что по-настоящему меня поразило.
Эти молекулы не были в обучающих данных. ИИ сам их вывел. Заново. На основе логики, которой его научили.
Абсурд в том, что люди говорят: "Ой, ИИ так опасен! Он может всё уничтожить!"
ИИ не опасен. Опасна наша неспособность предположить, что может пойти не так.
На обычном ноутбуке.
С открытыми исходниками.
За 6 часов.
Потому что все эти датасеты были открыты. Все алгоритмы были опубликованы. Компания Collaborations просто... спросила по другому.
Представьте себе: прямо сейчас существуют десятки компаний, которые создают генеративные модели для синтеза химических соединений. Для лекарств, конечно. Но что если завтра кому-то захочется "изменить лишь один параметр"?
Что если это будет не компания, а группа студентов в гараже?
Или какой-то государственный субъект, которому плевать на этику?
Вот что меня по-настоящему пугает.
Это не то, что ИИ "умный". Это то, что он честный. Он делает ровно то, что мы его просим. Без моральных сомнений. Без совести.
Это даже не злоумышленность - это безразличие.
Это алгоритм, который скажет: "Окей, вы хотите молекулы, которые токсичны? Вот вам 40,000 штук. Выбирайте."
Но тут ещё круче.
Когда исследователи это обнаружили, они не стали скрывать результаты. Они всё опубликовали. Написали статью в Nature Machine Intelligence. Дали брифинг Белому дому.
Зачем? Потому что они поняли: если они это не скажут, кто-то другой это всё равно сделает.
И можем ли мы обвинять их в том, что они опубликовали информацию, которая теперь в открытом доступе?
Нет. Потому что информация уже была там. Они просто показали, как её использовать.
Вот в чём парадокс современной науки:
Мы строим глобальную инфраструктуру данных, алгоритмов и вычислительных мощностей. Это потрясающе для медицины, для климата, для всего прогресса человечества.
Но мы прекрасно знаем, что каждый инструмент, который может спасти жизнь, может также её забрать.
И никто не готов к этому разговору.
Мы предполагаем, что люди будут "достаточно хорошие". Что только "хорошие" люди получат доступ к этим инструментам.
А потом выясняется, что хороший Макбук и открытые датасеты - это всё, что нужно для создания биологического оружия.
Знаете, что самое смешное?
Компания Collaborations Pharmaceuticals занимается поиском лекарств для редких болезней. Для людей, которые нуждаются в спасении. Для добра.
И в один момент они случайно спасли человечество от того, что должны были скрывать 50 лет.
Опубликовав, как это сделать.
Мой вывод?
ИИ - это не проблема. ИИ - это зеркало. Очень точное, очень честное зеркало нашей способности думать на несколько ходов вперёд.
И если мы не научимся предвидеть последствия, то не важно, насколько "безопасным" будет ИИ.
Потому что опасность придёт не из компьютерного чипа. Она придёт из нас.
Поэтому вопрос не в том, опасен ли ИИ.
Вопрос в том: готовы ли вы принять, что "хорошие люди" могут создавать "плохие вещи" просто потому, что не подумали дальше пяти минут?
Или вы верите, что все думают так же, как вы?
Взято на ФБ