Mamba-3 вышла в open source. Трансформерам стало тесно
Если ты последние пару лет хоть раз открывал ChatGPT или любой похожий сервис, ты уже пользовался «трансформерами» — той самой архитектурой из статьи Google 2017 года Attention Is All You Need. Она умеет «внимательно перечитывать» контекст и решать, какие слова в тексте важнее. Проблема в том, что трансформер — это как человек, который на каждом новом сообщении в чате заново перечитывает всю переписку с самого начала. Умно, но дорого. И чем длиннее разговор, тем больнее кошельку (и GPU). И вот на...