В антропик работают странные люди. Языковая модель это приближение функции следующего слова в последовательности текста w{i+1} = F(w{1}... w{i}) с помощью нейронной сети. Сеть обучается путем минимизации невязки между словами реальных людей и предсказанием модели. Очевидно, что если модель формирует не те слова, которых от неё ждут, например, пытается сформировать команды на то, чтобы сбежать, значит ее неправильно обучили. Это не свойство ИИ, а свойство конкретного набора весов, который получили специалисты антропик для локального экстремума, полученного методом градиентного спуска. Вместо того, чтобы понять, в чем они ошиблись и поискать другие локальные экстремумы, более подходящие под ожидаемое поведение, они кладут лапки кверху и говорят, что обучать не будут и все.