💪 Google протестировали LLM на реальных научных вопросах по сверхпроводимости.
Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям:
• GPT-4o
• Claude 3.5
• Gemini Advanced 1.5
• Perplexity
• NotebookLM
• специальной RAG-системе
Каждый ответ оценивали 12 международных экспертов по нескольким критериям:
• полнота ответа
• объективность
• точность
• наличие научных источников
• ясность объяснения
Интересный результат:
модели с закрытой, тщательно подобранной научной базой отвечали точнее, чем модели с доступом ко всему интернету.
В закрытой базе использовали:
• 15 ключевых обзорных статей
• около 3300 научных ссылок
• ~1700 отобранных источников по экспериментам и теории.
LLM могут быть полезны как “виртуальный научный ассистент”, который помогает исследователю быстро разобраться в сложной области и увидеть разные научные точки зрения.
Но качество сильно зависит от контролируемых источников знаний, а не просто от доступа к интернету.
https://research.google/blog/testing-llms-on-superconductivity-research-questions/
