Нейросеть GigaChat успешно сдала экзамен по направлению «Математика и компьютерные науки» на уровне выпускника магистратуры. Об этом «Газете.Ru» сообщила пресс-служба Сбера.
«В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 („хорошо“)», — заявили в компании.
Аттестация состояла из двух этапов. Сначала модель ответила на 500 уникальных вопросов закрытого типа в формате MMLU, разработанных преподавателями Сколтеха. Тестирование включало девять тем в области компьютерных наук. Средний показатель правильных ответов достиг 76,9%.
На втором этапе аттестационная комиссия из восьми докторов технических и физико-математических наук оценила ответы GigaChat по трем случайным билетам из 45. Каждый билет содержал теоретическое и практическое задания.
Для объективной оценки эксперты задали уточняющие вопросы, попросили объяснить ход рассуждений и анализировали работу ИИ нестандартными формулировками. За очный экзамен нейросеть получила семь баллов из 10 по шкале Сколтеха.
Весной прошлого года житель Алма-Аты выиграл суд с помощью ChatGPT.
Автор: Екатерина Тимошина