Ученые заметили, что система DALLE-2, которая создает изображения на основе введенного текста, при определенных обстоятельствах возвращает бессмысленные слова. Например, изображения со словом «самолет» часто возвращают какую-то тарабарщину. Сначала казалось, что это баг, но потом ученые пришли к выводу, что последовательность букв в возвращаемых словах не случайная.
Чтобы проверить это, они просто «скормили» нейросети сгенерированные ею же ранее «слова». Оказалось, что эти наборы букв и правда имеют значение для программы — их «значение» сохраняется в том же виде, что и при вводе в систему. Это может означать, что нейросеть зачем-то преобразует слова человеческого языка в свои «слова», чтобы затем на их основе сгенерировать изображение. Она как бы осуществляет перевод на понятный ей «язык», чтобы потом ориентироваться на него при выполнении задачи. Правда, расшифровать этот «язык» у создателей нейросети пока не получается.