Мусорные данные X ухудшают умения языковых моделей
Исследование американских ученых показало, что при длительном обучении больших языковых моделей (LLM) на примитивном онлайн-контенте их производительность может существенно снижаться. Зафиксированы резкие падения способностей к рассуждению и уверенности в ответах, что вызывает тревогу по поводу будущего таких моделей.
Авторы предложили гипотезу “LLM Brain Rot”, аналогичную явлению ухудшения мышления у людей из-за постоянного потребления бессмысленного контента из интернета.…