Китайские ученые показали, что искусственная нейросеть, построенная на точной модели реального нейрона увеличивает производительность и снижает энергопотребление.
Сегодня мы имеем дело с очень большими нейросетями, которые содержат сотни миллиардов нейронов. Например, у модели Llama 3.1 — 405 миллиардов нейронов. Это уже в четыре раза больше, чем в мозге человека. Но и энергопотребление таких огромных моделей уже зашкаливает. С этим надо что-то делать.
Самые продвинутые модели ИИ требуют огромных ресурсов и для обучения, и для работы. А мозг потребляет всего-то около 25 ватт — как довольно тусклая лампочка накаливания или несколько светодиодных источников не самых мощных.
И в целом при таком скромном энергопотреблении мозг этим гигантских большим языковым моделям (LLM)не уступает. Значит что-то мы делаем не так постоянно наращивая размеры нейросетей.
Ученые Ли Гоци и Сюй Бо из Института автоматизации Китайской академии наук, а также Тянь Юнхун из Пекинского университета решили это дело немного поправить. Они обратили внимание на сам нейрон.
Сегодня нейроны нейросетей очень простые, их работа сводится к накоплению сигнала (сложению весов) и разряду — вычислению функции активации и передаче сигнала следующему слою нейронов (или выводу результатов). Но нейрон мозга устроен гораздо сложнее.
Новые нейроны для искусственного интеллекта
Первые математические модели нейрона появились еще в начале XX века. А в 1952 году нейробиологи Аланом Ллойдом Ходжкином и Эндрю Хаксли, исследуя гигантский аксон кальмара, построили математическую модель нейрона, которая, пережив множество модификаций и уточнений, дожила до наших дней. Модель Ходжкина-Хаксли оказалась действительно достаточно точно описывающей поведение реального нейрона. Не все поведение, конечно, но главное — заряд и разряд.
Китайские ученые разработали нейросеть в узлах которой работают нейроны Ходжкина-Хаксли. Ученые называют это «маленькой сетью с большой внутренней сложностью», а отличие от традиционных LLM — «больших сетей с маленькой внутренней сложностью», Реализация нейрона Ходжкина-Хаксли действительно достаточно сложная и вычислительно трудная в отличие от традиционных простых моделей. Но как показали ученые, производительность сети, основанной на таких сложных нейронах не падает, а растет. Модель, которую они разработали, показала 4-х кратное повышение производительно при снижении энергопотребления.
Искусственные нейросети
Битовые сети: новая архитектура языковых моделей позволит им работать прямо на смартфоне Трансформеры уже не те: области, в которых нейросетевая архитектура скоро превзойдет человека Механизм формирование памяти ИИ поразительно похож на работу памяти мозга
Это другой путь развития ИИ: не экстенсивный, а интенсивный, не за счет увеличения объемов, а за счет роста внутренней сложности. Комментируя работу Джейсон Эшрагян, доцент кафедры электротехники и вычислительной техники Калифорнийского университета, сказал: «Пересматривая и углубляя связь между нейронаукой и ИИ, мы можем открыть новые способы создания более эффективных, мощных и, возможно, даже более похожих на мозг систем искусственного интеллекта».