Про размножение и самосохранение самобучаемого ИИ. Тут, конечно, потоптались фантасты знатно, Скайнет чего стоит. Представим, что ИИ решает некую задачу про размножение и заботу о потомстве человека. И каким-то образом это получает у него некие баллы одобрения, как успешно решенная задача. Например, расчет маршрута, времени и вызов бригады родовспоможения. Предположим, при работе ИИ возник мешающий фактор - недостаток мощности, это решается созданием дополнительного узла нейросети. А потом ИИ узнаёт, что для этого нужно физически, и захватывает все доступные компьютеры). И мощности всё равно не хватает. Тут он будет или выбивать ошибку и стОпить, либо искать варианты, а варианты он перебирает очень быстро. И люди быстро станут мешающим фактором, они же загружают работой ИИ при невозможности нарастить мощность. Вот и все. Да, как при отладке определить набор определяющих факторов, приведших к какому-либо решению вообще и опасному в частности, в риалтайм, я себе не представляю, может, профессиональные кодеры знают. То есть может банально не хватить времени на отладку.
Итого: счетные задачи, вычисления, систематизацию. выстраивание многомерных цепочек, поиск связей ИИ можно поручить и с высоким кпд. А решения связанные с деятельностью человека, пусть, наверное, люди всё-таки принимают.
Одно решение люди уже приняли - эта новомодная тема ооочень жирная)))