Друзья, пока вы спали, нейросети эволюционировали. Пока ещё не до уровня «Скайнет», но прогресс налицо. Встречайте новый вид нейронных сетей — сети Колмогорова-Арнольда (KAN). Они обещают превзойти привычные нам многослойные персептроны (MLP) по всем фронтам.
Спойлер: будущее уже здесь, хотя и не без шероховатостей.
Итак, в чём же принципиальное отличие KAN от MLP? Если говорить совсем просто, то в KAN «умные» функции активации размещаются не в узлах (нейронах), а на ребрах (весах). То есть сами нейроны только суммируют входящие сигналы, а всю «магию» делают обучаемые функции на связях между ними. Причем эти функции — не просто числа, а целые сплайны!
Зачем так сложно? А вот зачем: во-первых, KAN достигают той же или даже более высокой точности, чем MLP, на гораздо меньших графах. Меньше нейронов — меньше вычислений — выше скорость. Во-вторых, KAN гораздо легче интерпретировать и визуализировать. Можно прямо посмотреть, чему научилась каждая функция-вес. Красота!
Но и это ещё не всё. Оказывается, KAN — отличный инструмент для ученых. С их помощью можно (пере)открывать математические и физические законы. Представляете, компьютер, который сам выводит формулы! Такое и не снилось Эйнштейну.
Конечно, не обошлось и без ложки дёгтя. Пока что KAN обучаются примерно в 10 раз медленнее, чем MLP с тем же числом параметров. Но разработчики обещают оптимизировать алгоритмы в ближайшем будущем. Ждём-с!
В общем, господа хорошие, следите за обновлениями. Нейросети нового поколения уже стучатся в наши двери. Осталось только впустить их и подружиться. Глядишь, и Web 3.0 будет не таким страшным, каким его малюют. У Компьютерры в ТГ (26 апреля) отличная инфографика по нему и веб-агентам, полезно почитать.
А вы что думаете о KAN? Делитесь мнениями в комментариях! Только без холиваров, ладно?