🤨Разработчики ИИ столкнулись с проблемой: модели уже прочитали почти все публичные человеческие тексты
— их доступные запасы могут закончиться после 2028 года. Поэтому нейросети начали обучать на синтетических данных, которые они сами же и генерируют. Но оказалось, что от такого обучения модели деградируют. Чтобы проверить это, исследователи из Оксфорда, Кембриджа и Торонто провели эксперимент. Они дообучили модель на Википедии, попросили сгенерировать новые тексты, на них обучили следующую версию нейросети — и так по кругу. Уже на девятом прогоне модель в ответ на запрос про церковную архитектуру начала писать о зайцах с синими и красными хвостами...