Привет, друзья! Сегодня хочу поделиться с вами историей о том, как я пытался создать идеального помощника для анализа новостей. Идея была проста: дать системе список источников и пожелания, а она бы мне присылала сводку с ответами на вопросы. Казалось бы, что может быть проще?
Я потратил несколько месяцев, работая в свободное время, и собрал вполне достойный прототип. Он умел хорошо искать семантически, просить LLM сформировать ответ на основе найденных постов и даже помогал их открывать. В мыслях были салюты и шампанское, но реальность оказалась не такой радужной.
Выяснилось, что сложные запросы для такой системы — это недопустимая роскошь. Попытка найти «причины шатдауна правительства США» приводила меня к заголовкам про Трампа и что-то там про переговоры, а иногда и вовсе такого рода запросы не давали никакой выборки по базе.
Второй серьёзной проблемой стало абсолютное непонимание предметной области. Например, ЦБ РФ мог восприниматься как Россия или вообще непонятная модели сущность. В целом обе эти неприятности подсвечивают один известный изъян всей системы — слишком большое доверие к семантической схожести и вытекающие из неё проблемы.
Но это не значит, что LLM — это плохо. Это значит, что нужно продолжать работать над улучшением таких систем, чтобы они могли лучше понимать сложные запросы и работать с предметными областями.
#автоматизация, #LLM, #разработка, #новости, #технологии
1 минута
26 апреля