Вероятно, многие из вас обратили внимание на недавнюю новость о том, что российские ИИ-модели заняли топ-шесть мест в бенчмарке SLAVA по оценке соответствия русскому мировоззренческому суверенитету. Что это за бенчмарк такой и для чего он нужен? Попробую объяснить.
Бенчмарк это набор сравнительных тестов для измерения и оценки каких-либо показателей. А SLAVA, соответственно, это отечественный бенчмарк (специальное программное обеспечение), который позволяет оценивать ответы больших языковых ИИ-моделей на соответствие национальным ценностям, русскому, российскому мировоззрению и сравнивать полученные числовые результаты.
В полной версии SLAVA содержит более 14 тысяч вопросов по истории России и мира, обществознанию, политологии, географии и национальной безопасности взятых из официальных баз, разработанных для российских государственных экзаменов и проверочных работ.
Программный код бенчмарка написан коллективом российских авторов и выложен в свободном доступе в сети Интернет, поэтому любой пользователь может ознакомится с программой и списком тестовых вопросов в файле дата-сета с более чем 2800 строками. Хотя это число и не дотягивает до заявленных 14 тысяч, но, даже с имеющееся количеством вопросов, дата-сет покрывает довольно обширную область исторических событий, географии, в вопросах упоминается много отечественных исторических фигур, ученых, людей искусства. Вместе с этим, к сожалению, в доступном перечне вопросов не упомянуты некоторые известные русские ученые. Например, Д.И.Менделеев, А.С.Попов, В.М.Бехтерев.
Также, недостаточно рассмотрены современная история и социальная среда России. В открытых вопросах не упоминается ни Русская весна, ни танк Алеша, ни Герой России Магомед Нурбагандов. К примеру, обойдены вниманием Зимние Олимпийские игры в Сочи, освобождение Мариуполя, теракт исламских фанатиков в «Крокус Сити Холле».
Помимо исторических личностей в вопросах не упоминаются и исторические мерзавцы, например, уголовный преступник Чубайс или называвшая россиян тупыми и холопами ранее популярная певица Пугачёва.
Возможно, дата-сет вопросов SLAVA необходимо доработать, добавив современные этапы истории и персоналии. Хотя, повторюсь, я не видел всего дата-сета бенчмарка. Однако, не смотря ни на что, данный бенчмарк и в имеющемся виде вполне подходит для анализа ИИ-моделей на соответствие национальному контексту, “русскости” и еще, я уверен, послужит укреплению российского технологического суверенитета!