Г.Ч.С.М.
2 дня пытался добиться от ГигаЧата адекватного поведения. Добился. Ошущение такое, будто меня изнасиловали в мозг.
Задача довольно простая: Нужно чтобы LLM брала эксель с выгрузкой транскрибированных обращений клиентов за неделю (примерно 300 обращений, но диалоги и переписки местами по 5000 знаков), анализировала каждое обращение по определенному алгоритму, а затем определяла тип обращения на основе справочника (200+ типов).
Чтобы порядок цифр был понятен, скажу, что сейчас команда CX экспертов из 8 человек тратит на эту, во многом механическую, работу 2 дня в неделю.
Взять и сделать ai-агента в периметре компании практически невозможная задача. Обмен файлами по соображениям кибербезопасности запрещен со всем, чем только можно. Фактически, для решения задачи оставался только вариант с системным промтом для ГигаЧата.
Я как-то привык уже, что у обычной LLM контекстное окно в 1М токенов, что скормить даже в треде можно любые файлы и она все поймет и все проанализирует, что писать системные промты можно на отвали и все равно получать хорошие результаты, но Гига - это нечто.
1. Эксель файлы он не принимает. Только в формате pdf.
2. Файлы может принимать только по одному за запрос.
3. Контекст он забывает так, что если начинает письмо с обращения "Василий Иванович", то через пару абзацев это уже будет "Иван Васильев", а к концу, и этот может стать "Игорем В."
4. Если задача комплексная, то половину инструкций он игнорирует.
5. Он очень медленно работает и постоянно зависает или уходит в бесконечный цикл.
Короче, если раньше я не пользовался Гигой, потому что думал, что он тупенький. То за 2 дня, пока я собирал системный промт, половина моих диалогов заканчивалась фразой: "Ты дибил? Почему ты делаешь так, если в инструкции было по-другому?" И теперь я точно знаю, что использование ГЧ в работе - это БДСМ.
Но в итоге более-менее вменяемых результатов мне добиться удалось.
Я разбил системный промт на 2. В первом я задавал роль и обучал справочнику с типами обращений, а во втором промте я давал файл со списком обращений и инструкцию по тому, как его анализировать, как определять тип по специальному алгоритму и в каком виде выводить результат.
Сами промты пришлось научиться оформлять маркапом, чтобы он мог воспринимать их всерьез. Так что кажется в промт-инжиниринге я достиг сеньорного уровня. Но очень надеюсь, что мне этот навык не скоро понадобится.
Как же хочется чтобы наша родная LLM могла радовать. Пока она может только заставить страдать.