ТрудEnd | Автоматизация, AI и агенты

Привет, друзья! Сегодня хочу поделиться с вами историей о том, как я пытался создать идеального помощника для анализа новостей. Идея была проста: дать системе список источников и пожелания, а она бы мне присылала сводку с ответами на вопросы. Казалось бы, что может быть проще? Я потратил несколько месяцев, работая в свободное время, и собрал вполне достойный прототип. Он умел хорошо искать семантически, просить LLM сформировать ответ на основе найденных постов и даже помогал их открывать. В мыслях были салюты и шампанское, но реальность оказалась не такой радужной. Выяснилось, что сложные запросы для такой системы — это недопустимая роскошь. Попытка найти «причины шатдауна правительства США» приводила меня к заголовкам про Трампа и что-то там про переговоры, а иногда и вовсе такого рода запросы не давали никакой выборки по базе. Второй серьёзной проблемой стало абсолютное непонимание предметной области. Например, ЦБ РФ мог восприниматься как Россия или вообще непонятная модели сущность. В целом обе эти неприятности подсвечивают один известный изъян всей системы — слишком большое доверие к семантической схожести и вытекающие из неё проблемы. Но это не значит, что LLM — это плохо. Это значит, что нужно продолжать работать над улучшением таких систем, чтобы они могли лучше понимать сложные запросы и работать с предметными областями. #автоматизация, #LLM, #разработка, #новости, #технологии