30 подписчиков
Как Иван Сергеевич и Сергей Геннадьевич заставили GigaChat сдавать российский тест на адвоката.
Сможет ли сберовский GigaChat справиться с тестовой частью российского экзамена на адвоката?
Зарегистрировали аккаунт на сайте ФПА и дали согласие на сбор персональных данных субъекта по имени Адвокат и фамилии Бандана от имени которого и проводили тестирование под видеозапись. Возможны некоторые артефакты записи в связи с нагрузкой на компьютер.
Описание тестирования: Иван Сергеевич подключился к вебинтерфейсу нейросетей YandexGPT , GigaChat и ChatGPT. Однако было решение задействовать только одну GigaChat. Сергей Геннадьевич копировал вопросы теста с сайта ФПА и отправлял (через Discord) Ивану Сергеевичу, и после этого загружали вопросы в интерфейс-чат GigaChat.
Некоторые вопросы имели несколько вариантов ответа, поэтому просили выдать ответ из нескольких вариантов. Вопросы были в том числе и по ЕСПЧ, в основном на знание нормативной части законодательных актов об адвокатуре, а не на размышление.
Ответы GigaChat проставлялись С.Г. в чекбоксах на сайте ФПА.
Результаты нашего тестирования такие.
Даже с учётом скидки на организационные недостатки проведения тестирования GigaChat, правильный ответ по итогам теста был получен только на 11 из 28 вопросов, т.е. 39% из числа заданных вопросов. В то время как по условиям прохождения тестирования необходимо дать 70 правильных ответов на 100 вопросов, т.е. 70%.
На данный момент GigaChat не может обойти по знаниям адвоката-человека. В пользу сберовской разработки говорит то, что YandexGPT вообще отказался отвечать на вопросы теста на адвоката.
Американскую нейросеть ChatGPT мы не тестировали. Сделаем в будущем. Методики тестирования будем совершенствовать, чтобы обойти организационные ограничения.
#экзамен_на_адвоката
1 минута
5 февраля 2024