Как вы понимаете, что вы видите, например, собаку? Каковы шансы, что вы правы? Если вы, представим на минутку, алгоритм машинного обучения, вы просматриваете тысячи изображений и обрабатываете миллионы вероятностей, чтобы получить "истинный" ответ, но разные алгоритмы идут разными путями, чтобы достичь результата. Так полагали раньше.
Совместная работа исследователей из Корнеллского университета и Университета Пенсильвании позволила разобраться в этом огромном объеме данных и показать, что большинство успешных глубоких нейронных сетей следуют похожему пути в одном "низкоразмерном" пространстве.
"Некоторые нейронные сети идут разными путями. Они движутся с разной скоростью. Но удивительное то, что все они движутся в одном направлении", - сказал Джеймс Сетна, профессор физики в Колледже искусств и наук, возглавляющий команду из Корнелла. Техника команды может стать инструментом для определения наиболее эффективных сетей.
Работа группы "Процесс обучения множества глубоких сетей исследует одну и ту же низкоразмерную многообразность" опубликована в журнале Proceedings of the National Academy of Sciences. Главный автор - Джиалин Мао из Университета Пенсильвании. Проект имеет свои корни в алгоритме, разработанном Кэтрин Куинн, который может использоваться для обработки больших наборов данных и поиска наиболее важных закономерностей, также известных как предельный случай нулевых данных. Сетна и Куинн ранее использовали эту "теорию репликации" для анализа данных космического микроволнового фона, то есть излучения, оставшегося от ранних дней Вселенной, и сопоставления характеристик нашей вселенной с возможными особенностями различных вселенных.
"Хитрый метод" Куинн, как его называет Сетна, привел к созданию трехмерной визуализации "для выявления истинных низкоразмерных закономерностей в этом чрезвычайно многомерном пространстве". После публикации этих результатов Сетна обратился к Пратику Чаудхари из Университета Пенсильвании, который предложил сотрудничество. "Пратик понял, что эта техника может быть применена к изучению глубоких нейронных сетей, и мы решили совместно работать над этим", - сказал Сетна.
Источник:
Цзялин Мао и др., процесс обучения многих глубоких сетей исследует одно и то же низкоразмерное многообразие (Jialin Mao et al, The training process of many deep networks explores the same low-dimensional manifold), Proceedings of the National Academy of Sciences (2024). DOI: 10.1073/pnas.2310002121
-------------------------------------
Вы можете поддержать проект подпиской на канал, реакциями и комментариями, а также подписавшись на наши страницы на других площадках и на сервисе поддержки авторов Бусти. Ссылки найдёте в описании канала. Заранее спасибо!
