Стремясь сделать искусственный интеллект умнее, мы, возможно, случайно научили его быть таким же глупым, как мы.
Новое исследование, проведённое Техасским университетом в Остине, Техасским университетом A&M и Университетом Пердью, предполагает, что у больших языковых моделей может развиться своего рода «гниение мозга ИИ», если они обучаются на том же мусоре, который засоряет вашу ленту в социальных сетях.
Исследователи под руководством Цзюньюаня Хуна (ныне работающего в Национальном университете Сингапура) хотели выяснить, что происходит, когда модели искусственного интеллекта поглощают контент, вызывающий выброс дофамина, который подпитывает вашу бесконечную прокрутку.
Они постоянно обучали модели с открытым исходным кодом, такие как Llama от Meta и Qwen от Alibaba, на вирусных постах, напичканных такими словами, как «вау», «только сегодня» или «посмотрите». Именно такие слова, оптимизированные для SEO, должны быть в заголовках, чтобы генерировать клики.
После этого качество работы LLM резко ухудшилось.
Модели ИИ «заражаются» интернет-мусором
Модели стали глупее и злее. Их способность рассуждать снизилась, как и способность запоминать информацию.
Их этические принципы пошатнулись, и ИИ стал набирать больше баллов по шкале психопатии. Машины стали худшими версиями самих себя, как это происходит с людьми, которые проводят слишком много времени в интернете, питаясь низкокачественным контентом, не требующим особых усилий.
Неудивительно, что именно это происходит с людьми, которых пичкают низкокачественной информацией, разрушающей нашу способность критически мыслить. Помните, что «гниение мозга» не зря стало словом 2024 года по версии Оксфордского словаря.
Это не просто модное словечко дня. Оно отражает растущую проблему, связанную с нашими отношениями с онлайн-пространством. Всё стало токсичным. Всё стало некачественным.
И всего этого токсичного, низкокачественного мусора стало гораздо больше, чем когда-либо прежде, и, похоже, в ближайшее время никто не собирается сбавлять обороты.
Исследователи утверждают, что разработчикам ИИ следует воздерживаться от обучения своих моделей на контенте, созданном для привлечения кликов. Это всё равно что пытаться вырастить ребёнка на газировке и конфетах. Самое пугающее, что, похоже, эта деградация ИИ необратима.
Как только нейроны модели начинают работать хуже после постоянного использования низкокачественных данных, даже переобучение на «чистом» тексте не может полностью восстановить её способность к логическому мышлению. Её мозг необратимо повреждён. Поскольку системы искусственного интеллекта всё чаще сами генерируют контент для социальных сетей, они, по сути, пожирают собственную блевотину.