Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики
Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).
Исследование показало:
· Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно от 38% до 115%
- o1-preview увеличивает производительность от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
· Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы, но также глубину и строгость самого юридического анализа.
· Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
· Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами, произошел прорыв, связанный с появлениям у моделей способности рассуждать.
Главных выводов два.
1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и кардинально изменит будущее адвокатуры в целом.
#LLMvsHomo