Кроме того, ни одна из систем не смогла предоставить корректный список литературы или ссылок и часто придумывали их самостоятельно.
Популярные чат-боты, работающие на основе ИИ в почти в 50% случаев дают неверные ответы на медицинские запросы. Это следует из исследования, опубликованного в научном журнале BMJ Open.
Эксперты задали по 10 вопросов об онкологии, вакцинации, стволовых клетках, питании и физической активности Gemini, DeepSeek, Meta AI*, ChatGPT и Grok и проученные ответы передали учёным из США, Канады и Великобритании. В итоге выяснилось,
что 49,6% ответов содержало искажения фактов. Из них 30% были признаны слегка неточными, а 19% — содержали значительные ошибки.
Общее качество ответов у разных моделей было приблизительно схожим, кроме Grok, который показал самый худший результат. Отмечается, что наиболее достоверно ИИ отвечали на вопросы о вакцинации и онкологии. Хуже всего нейросети справились с темами, касающимися питания. При этом чат-боты почти всегда формулировали ответы с высокой степенью уверенности и отказывались отвечать лишь в двух случаях из 250.
Кроме того, ни одна из систем не смогла предоставить корректный список ссылок на источник и часто придумывали их самостоятельно.
* принадлежит корпорации Meta, признанной экстремистской и запрещённой в России