MoBA решает это через Mixture of Block Attention: модель не смотрит на весь контекст одинаково, а учится выбирать только те блоки, которые реально важны для текущего токена. Это open-source PyTorch-реализация для тех, кто обучает long-context LLM. Как работает идея: * контекст режется на блоки * каждый query token выбирает релевантные KV-блоки * выбор идёт через parameter-less top-k gate * лишняя работа attention сокращается * можно использовать full или sparse attention * есть простая naive-версия...
Машинное обучение
✔️ Первым устройством OpenAI станет умная колонка
OpenAI готовит к выпуску свой первый гаджет - переносную умную колонку без экрана, задуманную как "домашний компьютер эпохи ИИ". Об этом сообщает Bloomberg со ссылкой на источники, знакомые с проектом. Устройство ещё в разработке, официально о нём не объявляли, а представитель OpenAI отказался от комментариев. По словам собеседников агентства, колонка будет управлять умным домом, включать музыку и видео, отвечать на вопросы и сообщения через возможности ChatGPT. Главная ставка, как утверждают...
🔥 Хочешь расти в IT быстрее? Собери себе нормальное окружение
В IT выигрывает не тот, кто «когда-нибудь разберётся», а тот, кто каждый день видит новые инструменты, задачи, разборы, вакансии и идеи. Собрал папки и каналы, где можно быстро прокачиваться по нужному направлению. Основные направления: AI: https://dzen.ru/id/5e048b1b2b616900b081f1d9 Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: https://dzen.ru/id/64086a270a7c6b686eb517e1 DevOps: t.me/DevOPSitsec Docker: t.me/DevopsDocker Golang: https://dzen.ru/id/600fbe2706925b5c057395e6 Rust: t.me/rust_code C++: t...
⚡️ Mail.ru и Одноклассники тоже удалили из Google Play вслед за VK
Max тоже пропал из российского Google Play До этого он также исчез из магазинов других регионов. UPD. Исчез теперь и VK. VK экстренно переходит на домен .ru — пользователям массово приходят уведомления. По данным СМИ, одной из причин стали риски, связанные с доменом vk...
