День добрый! Этим летом Я уже тестировал нейросеть от Яндекса на возможность пройти текстовую часть стандартного теста по технической гидравлике (широко известный в узких кругах сайт gidravl.narod.ru). В прошлый раз нейросеть представляла собой имитацию лентяя-прогульщика и плавала на границе 60% правильных ответов. В начале сентября (видимо как подарок к началу учебного года) Yandex выкатили обновление своей GPT сети с заявленным улучшением результатов на 67%. Первое мое желание - конечно же вновь повторить тестирование и оценить, верно ли данное утверждение и скажется ли на результатах теста. Процедура оценки почти не изменилась, те же самые 5 разделов гидравлики, но Я чутка увеличил число вопросов. Важное пояснение - так как YandexGPT 2 не выполняет анализа графических изображений и документов, то в тесте участвовали только текстовые вопросы! Практически никаких формул и задач. Ссылка на прошлый тест в конце статьи. Результаты по всем разделам Я выписал отдельно. Приступим:
Раздел №1. Предмет гидравлики. Свойства жидкостей.
Результаты: суммарно 34 вопроса, 11 ошибок. Процент правильных ответов - 67,65% Оценка - удовлетворительно. Прошлый результат - менее 60%. Улучшение значительное.
Раздел № 2. Основы гидростатики.
Результаты: суммарно 28 вопросов, 5 ошибок. Процент правильных ответов - 82,14 % Оценка - Хорошо !!!. Прошлый результат - 65%. Результат значительно улучшился, это нынешний рекорд!
Раздел № 3. Основы гидродинамики.
Результаты: суммарно 33 вопроса, 8 ошибок. Процент правильных ответов - 75% Оценка - удовлетворительно. Прошлый результат - менее 60%. Новая версия смогла сдать этот раздел, так ещё на твердую тройку.
Раздел № 4. Гидравлические сопротивления.
Результаты: суммарно 34 вопроса, 10 ошибок. Процент правильных ответов - 70,5% Оценка - удовлетворительно. Прошлый результат - менее 60%. Новая версия смогла сдать раздел.
Раздел № 5. Истечение из отверстий и насадков.
Результаты: суммарно 26 вопроса, 11 ошибок. Процент правильных ответов - 57,6% Оценка - неудовлетворительно. Прошлый результат - 61%. Тут маленькая неожиданность. В этот раз Я сделал на 8 вопросов больше и нейросеть не справилась с заданием.
Выводы об улучшениях. Уровень нейросети вырос и вырос значительно! Показания улучшены по всем разделам, кроме №5, но там число вопросов было увеличено мной. Раньше нейросеть имитировала бестолкового лентяя, то теперь это уже стабильный троечник иногда сдающий тесты на хорошо.
Выводы для преподавателей. Уровень нейросети вырос и вырос значительно! Показания улучшены по всем разделам, кроме №5, но во всех тестах число вопросов было увеличено мной умышленно. Раньше нейросеть имитировала бестолкового лентяя, то теперь это уже стабильный троечник, иногда сдающий тесты на хорошо. Первое, Я надеюсь, что развитие нейросетей окончательно похоронит тестовую, и бальную вместе с ней, систему оценки! В строительстве Мы уже имеем все возможности для развития нормального проектного обучения. Второе, стоит уйти от простых тестовых вопросов на термины и определения, ИИ их сдает "на_раз_два"! Больше формул, больше вопросов на обдумывание и задач с представлением решения. Рекомендую все свои тесты или задания предварительно прогнать через нейросеть.
Если хотите разобраться в гидравлике и аэродинамике, стать шикарным специалистом, то посмотрите на наши прекрасные учебные курсы по технической гидравлике и аэродинамике, на сайте учебного центра: http://hydreducation.tilda.ws/. А иначе Вас однажды заменит нейросеть....
Заходите в Наш Telegram-канал t.me/HYDReducation тут дублируются все статьи канала и есть дополнительные бонусы.
Тест по гидравлике и YandexGPT // Имена на Эйфелевой башне // Разрушение Каховской ГЭС // Аэродинамическая лаборатория NASA Часть 1 и Часть 2 //
