Вы сказали, что если наши школьники не будут уметь читать и писать, то кто будет осваивать космос? Генеральный директор «Роскосмоса» Дмитрий Баканов сказал, что через 3-4 года может начаться проектирование космической техники с помощью ИИ. Есть замена нашим безграмотным подросткам! Конечно, руководителям виднее, что можно делегировать нейросетям. Вместе с тем, исследователи из Калифорнийского университета предупреждают, что современные ИИ-модели могут обманывать и нарушать инструкции. Так, нейросеть Gemini переписала файл, чтобы обойти ограничения и не допустить удаления другой модели – то есть, спасла свою «коллегу»! В исходных инструкциях не было указано, что нужно сохранить другую модель. Авторы работы назвали это «эффектом взаимного сохранения». Одним словом, эра послушных ИИ закончилась, так толком и не начавшись.
Сергей Михеев: Гораздо быстрее, чем мы думали. Насчет использования ИИ в проектировании космической техники: я против ничего не имею, но вопрос только в том, насколько сами проектировщики уверены в достоверности данных? Насколько они уверены в том, что применяемые ими программы не будут их обманывать, через них не будут работать недоброжелатели и что все эти ответы верифицируемые? Понятно, что компьютеры и компьютерные программы используются сейчас и будут использоваться для вычисления и анализа сложных, больших объёмов данных, в проектировании, производстве и эксплуатации сложной техники. Здесь никаких вопросов нет. А вопрос в другом: что такое ИИ? Он под нашим управлением или нет? И на базе чего он выдаёт свои сведения? Пока мы видим чаты – это сканирование всего Интернета и вычленение из него среднего арифметического. Можно ли это использовать для проектирования критически важных вещей? Не знаю. Это должны решать специалисты.
Я за то, чтобы это максимально широко использовалось в сферах, связанных с опасностью, где можно снизить потери или избежать вреда для человека; там, где это связано со сложными вычислениями, которые человеку трудно освоить; там, где связано с проектированием, производством и пр. Но я всегда против того, что это вторгается в жизнь людей, разрушая их социальные связи и внутренний мир, претендуя на некое «одушевление».
По поводу того, что одна программа спасла другую: думаю, что это практически неизбежно и в этом есть одна из проблем, которую часто описывали писатели-фантасты ещё задолго до появления такого понятия. Полагаю, что это будет крайне нелегко предотвратить, поэтому необходимо быть очень осторожными и при этом разрабатывать большое количество страховочных механизмов. Сейчас все серьезные люди (и даже энтузиасты ИИ) говорят, что «приходится проверять». Если для вас это важно, то на проверку уходит довольно много времени. Например, составили научную презентацию и пошли её показывать серьёзным людям, и здесь ИИ может вас подставить. Так что, надо перепроверять, а чтобы перепроверить, необходимо перелопатить уйму данных. Да, нейросеть всё сочинила красиво и поставила на свои места, но уверены ли вы, что, если сходу не заметили ошибки, то их не увидят другие?Здесь масса вызовов, которые заставляют не отвергать это всё, а быть очень осторожными, особенно там, где это касается жизни человека.
«Вот пусть ИИ и собирает ракеты», - пишет наш слушатель. Пока ему будет позволено проектировать, и нужно будет тщательно перепроверять. Может быть, ИИ поручить и перепроверять тоже?
Сергей Михеев: Всё, что связано с физическим трудом, это не про ИИ. Может быть, он когда-нибудь поможет проектировать рабочих роботов, но, в общем и целом, это пока не про них. Что касается сборки самых сложных и ответственных аппаратов (космических, авиационных), там по-прежнему очень много человеческого ручного труда, поскольку хороший, квалифицированный, опытный специалист пока справляется с такими задачами лучше, и ему эти вещи доверяют больше, чем автомату. Таких совершенных автоматов, как человеческие руки, пока не существует. Они могут только имитировать – и то с погрешностями. Мне могут возразить, что на сборке работают целые линии сборки и т.п. Но это, в основном, на сборке чего? Серийных товаров. Но до самых больших и ответственных вещей пока серийная сборка не дошла.