102 читали · 1 неделю назад
200 тысяч строк чужого кода и ноль понимания, с чего начинать
Вот это боль любого разработчика, который приходит в новую команду. Understand-Anything пытается решить её не ещё одним чатиком поверх репозитория, а интерактивным графом знаний. Он разбирает кодовую базу и показывает связи между файлами, функциями, классами и зависимостями. Можно искать нужные части, проваливаться по связям и задавать вопросы обычным языком. Главная ценность тут не в “ИИ прочитал код за вас”...
1 неделю назад
Длинный контекст быстро делает full attention дорогим
MoBA решает это через Mixture of Block Attention: модель не смотрит на весь контекст одинаково, а учится выбирать только те блоки, которые реально важны для текущего токена. Это open-source PyTorch-реализация для тех, кто обучает long-context LLM. Как работает идея: * контекст режется на блоки * каждый query token выбирает релевантные KV-блоки * выбор идёт через parameter-less top-k gate * лишняя работа attention сокращается * можно использовать full или sparse attention * есть простая naive-версия...