В сентябре 2025 года команда Google AI Research и DeepMind анонсировала VaultGemma — крупнейшую в мире открытую языковую модель, полностью обученную с применением дифференциальной приватности. Это событие стало значимым шагом для всей индустрии, открыв новые горизонты в балансе между техническим прогрессом и защитой пользовательских данных.
Техническая инновация и гарантии приватности
VaultGemma — 1-миллиардная параметрическая LLM — обучена алгоритмом DP-SGD, где в процессе обучения градиенты обрезаются, а затем к ним добавляется специально рассчитанный шум. Это позволяет достичь формальных гарантий приватности (ε ≤ 2.0, δ ≤ 1.1e-10) на уровне образовательных последовательностей: модель практически не способна воспроизводить или запоминать уникальные фрагменты учебных данных. Такой подход защищает от меморизационных атак, когда ИИ непреднамеренно запоминает конфиденциальную информацию.
Google также впервые сформулировала и проверила масштабируемые законы обучения с дифференциальной приватностью, точно прогнозирующие, сколько вычислительных ресурсов потребуется для достижения заданных параметров качества, объёма датасета и уровня приватности.
Производительность и доступность модели
VaultGemma была обучена на 13 триллионах токенов из англоязычных веб-документов, кода и научных публикаций — идентично смеси данных, использованной для Gemma 2.
Несмотря на высокий уровень приватности, производительность VaultGemma уступает лучшим "обычным" моделям: на популярном наборе ARC-C она набрала 26.45 балла против 38.31 у аналогичной Gemma-3 1B. По уровню точности VaultGemma сопоставима с лидерами пятилетней давности, при этом полностью лишена риска меморизации уникальной информации.
Модель и её веса открыто доступны на Hugging Face и Kaggle для исследователей, разработчиков и бизнес-команд, вместе с техническим отчётом и исследовательской статьёй. Такой формат релиза призван ускорить развитие приватных ИИ и облегчить верификацию подхода.
Значение для индустрии и будущих приложений
Появление VaultGemma радикально расширяет возможности для внедрения приватных ИИ в чувствительных сферах — медицине, образовании, финансовых сервисах. Участники рынка получают не только модель, но и пошаговую методологию, позволяющую вывести на рынок сервисы, соответствующие ужесточающимся требованиям регуляторов по защите данных.
Пример VaultGemma подчёркивает лидерство Google в области ответственных технологий: крупные языковые модели могут быть обучены с формальными гарантиями приватности без ущерба для реальных бизнес-приложений. В ближайшие годы подобные подходы, равно как и отработанные на VaultGemma масштабируемые законы, будут активно тиражироваться, сужая пробел между приватными и "обычными" нейросетями.