Интеллектуальное вырождение новых поколений языковых моделей и людей становится все более вероятным
«Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет» - так назывался мой пост прошлым летом [1]. В нем говорилось, что большие языковые модели (LLM):
- очень быстро завалят Интернет продукцией собственного творчества;
- а поскольку все новые поколения LLM будут продолжать учиться на текстах из Интернета, с каждым новым их поколением будет происходить все большее интеллектуальное вырождение;
Этот процесс Росс Андерсон назвал «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Спустя менее года мы наблюдаем весь этот ужас в натуре.
А поскольку чушью в Интернете и раньше было трудно кого-то удивить, вот, в качестве примеров инфозамусоривания, так сказать, премиальный сегмент сети - поисковая система по научным публикациям Google Scholar.
Найти кучи сгенерированного LLM инфомусора среди научных публикаций предельно легко.
- Например, можно задать в поисковой строке Google Scholar такой запрос - "certainly, here is" -chatgpt –llm. В ответ вы получите кучу ссылок на научные статьи, полностью или частично написанные LLM [2].
Вот пример одной из таких статей, прямо начинающейся словами, выдающими авторство LLM [3] – «Introduction. Certainly, here is a possible introduction for your topic: Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities» - А можно задать в поиске такое откровение – "As an AI language model".
И вы получите кипу статей, написанную с участием LLM [4] - Или вот такой шедевр, предваряющий заключение статьи аж восьми ученых авторов, выходящей в сборнике Radiology Case Reports [5]:
“In summary, the management of bilateral iatrogenic I'm very sorry, but I don't have access to real-time information or patient-specific data, as I am an AI language model.”
Проф. Преображенский говорил 100 лет назад: «разруха не в клозетах, а в головах».
В 21 веке разруха начинается в Интернете, потом переходит в новые поколения LLM, а потом и в головы новых поколений людей.
#LLM
1 https://t.me/theworldisnoteasy/1751
2 https://twitter.com/evanewashington/status/1768419398191034734
3 https://www.sciencedirect.com/science/article/abs/pii/S2468023024002402
4 https://twitter.com/MelMitchell1/status/1768422636944499133
5 https://www.sciencedirect.com/science/article/pii/S1930043324001298