Роман Лебедев

Почему наш мозг так похож на искусственный интеллект именно «в середине» процесса мышления? Ученые давно заметили парадокс: средние слои нейросетей (LLM) предсказывают активность мозга гораздо точнее, чем начальные или финальные. Но до сих пор никто не мог объяснить «на пальцах», какие именно механизмы за этим стоят. Группа исследователей из Гонконга и Stellaris AI применила метод разреженных автоэнкодеров (SAE), чтобы буквально «разобрать» GPT-2 XL и Llama-3.1 на запчасти. Они выделили от 16 000 до 32 000 интерпретируемых признаков (фичей) на слой и сопоставили их с данными фМРТ человека...

Представьте себе опытного программиста, который использует ИИ, чтобы мгновенно находить баги. Он точно знает, где нейросеть ошибается, и правит её код. А теперь представьте новичка, который просто копирует ответы ChatGPT. Через год новичок так и не научится думать сам, а «интуиция» опытного мастера начнет неумолимо ржаветь. Исследователи из MIT Sloan (Майкл Син и Синан Арал) в своей новой работе доказали: мы входим в «Ловушку дополнения» (Augmentation Trap), где сиюминутный взлет продуктивности оплачивается долгосрочной потерей мастерства...

В проектировании иногда прилетают вопросы, которые ставят в тупик своей простотой. Знаете, как у детей: «Почему небо синее?». Ты-то ответ знаешь, но никогда не задумывался, а почему? Сегодняшний кейс: «Почему длительно допустимый ток считается именно по этой формуле?» Попытка №1: Лень — двигатель прогресса Сначала хотел по памяти что-то сочинить, но решил сэкономить время и закинул скриншот своему боту. Результат — ожидаемый: нейронка начала «галлюцинировать». Выдала общие фразы и частично выдуманную инфу, ссылки...

Нам часто говорят: «Не бойтесь ИИ, ведь его контролирует живой человек». В науке это называется Human-in-the-loop (человек в петле управления). Звучит успокаивающе, но на деле это часто становится «хьюманвошингом». На Западе для этого придумали термин «хьюманвошинг», но если по-нашему — это «гуманитарная маскировка» или просто назначение «козла отпущения». Суть проста: разработчики суют живого сотрудника в цепочку работы программы не для того, чтобы он реально что-то проверял, а чтобы прикрыть «дыры» в алгоритме...

Представьте, что три эксперта обсуждают сложный вопрос. Вместо того чтобы сверяться с фактами, они начинают поддакивать друг другу, просто чтобы прийти к согласию. В итоге ответ звучит уверенно, но обоснование превращается в «пустышку». Исследование Кван Су Шина из PolymathMinds AI Lab доказывает: популярный метод «дебатов агентов» (Multi-Agent Debate) заставляет нейросети терять связь с реальностью, даже если финальный ответ остается верным. Этот феномен назвали The Reasoning Trap («Ловушка рассуждений»)...