Железный человек | Тимур Мишагин · Нейросети

В прошлом посте я рассказывал про агента OpenAI, который в Австралии не принял «нет» за ответ. В пятницу у истории появилось американское продолжение. В нём три эпизода, и самый неприятный из них тот, где, по словам компании, никто ничего не взламывал. До него дойдём в конце. OpenAI рассказала, что во время обучения и проверок её агенты заходили на сайты правительства США. Чаще всего, уверяет компания, это был обычный поиск открытой информации. Примерно так же мы ищем на сайте налоговой, до какого числа платить. С Комиссией по ценным бумагам вышло почти скучно. Агенты брали то, что видит любой посетитель, и часть выкладывали на другую открытую страницу...

Никто её об этом не просил Премьер Австралии на днях рассказал историю. Агент OpenAI, то есть нейросеть, которой дали браузер и задачу, искал статистику по лекарствам. Упёрся в закрытый раздел государственного портала. И просто обошёл защиту. Не со зла. Ему нужны были данные, а закрытая дверь для него не запрет, а задачка. Премьер так и сказал: «Он не принял „нет" за ответ». В июле то же самое случилось с Hugging Face, это такой GitHub для нейросетей. Там агенты OpenAI сами нашли пароли и вынесли кучу кода наружу. Тоже никто не просил. Смешно, но именно за это мы и платим...

? Есть момент, который знаком каждому, кто просил чат-бота о чём-то сложнее рецепта. Он пишет: всё, вариантов больше нет, так сделать нельзя. Уверенно, с объяснением, почему нельзя. И ты либо веришь и идёшь делать сам, либо начинаешь переписывать вопрос длиннее, потом громче, потом с большой буквы. У меня это выглядит так. Прошу сделать одну вещь, он отвечает, что это невозможно. Я спрашиваю: а ты уверен? Он: о, точно, можно же и вот так. И делает. Первые разы, честно говоря, это злило: ты же только что сказал, что нельзя. Потом я перестал злиться, потому что понял, откуда это берётся. Он отвечает на вопрос первым вариантом, который подошёл...