После выхода iPhone Google пришлось срочно думать, как не отдать мобильный рынок Apple, Microsoft и производителям закрытых ОС. Делать такой же телефон было сомнительной затеей, потому что не у каждой компании есть свой Джобс. Google выбрала другой путь и сделала Android, открытую операционную систему, которая со временем стала основой для большинства смартфонов и множества других умных устройств. Компания, кажется, решила повторить этот манёвр, но уже в сфере ИИ.
Вышла Gemma 4, четвёртое поколение открытых моделей Google. Любой разработчик может скачать их, встроить в продукт, дообучить под свою задачу и зарабатывать на этом деньги почти без ограничений – благодаря лицензии Apache 2.0. До сих пор в нише открытых моделей доминировали китайские разработчики, а попытки западных компаний наверстать отставание ни к чему не приводили. Чтобы линейка моделей Gemma 4 смогла переменить ситуацию, компании пришлось пойти на инженерные ухищрения. Gemma 4 выходит в нескольких размерах, поддерживает длинный контекст, умеет работать не только с текстом, но и с изображениями, а младшие версии ещё и с аудио.
Главный вопрос, стоящий перед Google – как сделать модель меньше, но не глупее. И они нашли несколько ответов, главным из которых стала архитектура с послойными эмбеддингами. В обычной нейросети слово кодируется один раз на входе, а в Gemma часть информации о токене подаётся в разные слои отдельно. Модель получает нужные подсказки по ходу работы. Компания использует и другие приёмы: чередует локальное и глобальное внимание, чтобы часть слоёв смотрела только на ближайший кусок текста, а часть - на весь контекст сразу; в некоторых местах повторно использует уже сделанные вычисления.
Это позволило сделать младшие версии модели компактными, но мощными для своего размера. У них 2 и 4 миллиарда активных параметров, поэтому ниже требования к железу и памяти, а возможности остаются на уровне куда более крупных моделей. Их уже научились эффективно запускать прямо на телефонах. Старшие версии – 31-миллиардная и 26-миллиардная MoE-модель – запускаются на домашней игровой видеокарте. Для обычного пользователя всё это, скорее всего, останется невидимым. Он не будет запускать Gemma сам и разбираться в её архитектуре, а просто откроет приложение, поиск, редактор или ассистента и получит ИИ-функции, не зная, что в основе уже не Qwen, а дообученный Google.
Каждый ваш лайк и подписка помогают нам увеличить аудиторию и создавать еще больше достоверного и интересного контента.