Если вы ещё не подписаны на мой Телеграм-канал, то самое время исправить это досадное недоразумение.
Я люблю полистать журнал Nature Communications, потому что там часто попадаются статьи про коннектом человеческой нервной системы, что очень важно для исследований в рамках грязной парадигмы Искусственного Интеллекта. Так вот на днях я нашёл там интересную статью о том, что группой учёных найдена интересная корреляция между плотностью нейрональных связей и активностью нейронов в процессе решения задач с коэффициентом интеллектуальности. Как ожидалось, высокая корреляция обнаружена в том, что чем выше коэффициент интеллектуальности у человека, тем меньше у него связей между нейронами.
Давно, в общем-то, было известно, что обучение — это удаление лишних связей между нейронами, которые у младенцев выстраиваются хаотично и в большом количестве. И вот в процессе обучения большинство связей пропадает, а самые главные закрепляются. В этом суть обучения — закреплении главных связей между нейронами и их комплексами. Ну а второй результат, как мне кажется, является следствием первого. Если связей между нейронами немного, это значит, что сама нейронная сеть очень эффективно устроена. В свою очередь это обозначает, что энергетическая потребность при обработке информации у таких сетей меньше, так как банально меньше объём нейронов, которые сжигают АТФ в процессе подготовки к проведению импульсов. В общем, у умных людей и мозг меньше энергии потребляет, то есть им надо, в конечном итоге, меньше есть.
Что это может значить для ИИ? Это значит, что эффективно обученная нейронная сеть глубинного обучения должна иметь немного связей между нейронами как между слоями, так и а рамках одного слоя. Возможно, что количество связей — это может быть новая метрика эффективности обучения нейронной сети в дополнение к уже имеющимся.
