спасибо моему подписчику, который попросил разобрать статью про Hierarchical Reasoning Model; на мой взгляд - это очередная попытка переизобрести рекуррентные нейронные сети; берется два трансформерных блока, один из которых работает все время, а другой - только изредка; на первой картинке графическое представление, на второй - упрощенный код такой подход позволяет при минимуме весов показать хорошие результаты на ARC и других логических задачах (третья картинка); про время исполнения по сравнению с текущими моделями не пишут, что интересно @valuableai
спасибо моему подписчику, который попросил разобрать статью про Hierarchical Reasoning Model; на мой взгляд - это очередная попытка переизобрести рекуррентные нейронные сети; берется два трансформерных блока, один из которых работает все время, а другой - только изредка; на первой картинке графическое представление, на второй - упрощенный код
такой подход позволяет при минимуме весов показать хорошие результаты на ARC и других логических задачах (третья картинка); про время исполнения по сравнению с текущими моделями не пишут, что интересно
