Jev: зачем использовать отдельную модель для принятия решений?
Большинство современных AI-сервисов строятся вокруг LLM: отправили контекст, модель что-то проанализировала и вернула ответ. Но далеко не каждой задаче нужен ChatGPT-подобный интеллект. Иногда от модели требуется гораздо более простая вещь: выбрать один вариант из известных заранее или оценить вероятность события. Именно для этого предназначена Jev от TypeSafe System One (есть и другие подобные решения, но сейчас не про это). Она не генерирует произвольный текст, а работает с типизированными решениями: Choice, Noul и Score.
То есть вместо:
- "Проанализируй ситуацию и расскажи, что делать"
мы задаём:
- A / B / C / ничего из перечисленного
и получаем выбранный вариант вместе с вероятностью.
Зачем это может понадобиться?
Пример 1. Проверка банковских операций
Допустим, есть поток транзакций. Для каждой нужно решить:
- операция выглядит обычной;
- требует дополнительной проверки;
- имеет высокий риск мошенничества.
LLM тоже способна это определить. Но какой ценой?
Нам не нужен результат в виде текста - "На основании предоставленной информации операция выглядит подозрительной...". Нужно одно конкретное решение, а именно его вероятность из предложенных вариантов.
Здесь подход Jev выглядит естественнее: пространство возможных ответов заранее ограничено, модель не может придумать четвёртый статус, а программа после ответа сразу выполняет следующий шаг.
Например:
"имеет высокий риск мошенничества" > 0.9 -> заблокировать автоматическую обработку
0.5–0.9 -> отправить на дополнительную проверку
В таком сценарии при больших объемах LLM становится довольно тяжёлым механизмом для получения нескольких структурированных значений.
Пример 2. Разбор большого потока резюме (актуалочка)
Представим сервис, через который ежедневно проходят тысячи резюме.
Для каждого кандидата нужно определить несколько вещей:
- соответствует ли опыт вакансии;
- насколько релевантный основной стек;
- есть ли обязательные требования;
- стоит ли передавать резюме рекрутеру.
Можно отправлять каждое резюме в LLM и просить написать заключение.
Но если итогом должно стать одно из событий: REJECT / MANUAL_REVIEW / NEXT_STAGE, то большая часть возможностей LLM просто не нужна.
У Jev можно сразу задать несколько вопросов одной "батареей": соответствие требованиям, уровень релевантности и финальный маршрут кандидата.
В результате мы получаем не эссе о кандидате, а набор решений, которые сразу может обработать код.
При большом количестве однотипных запросов это особенно интересно: согласно тестам (тут поверим интернету), Jev оказалась быстрее и дешевле LLM именно в задачах со стабильной структурой.
В этом и заключается основная ценность Jev для меня - цена, т. е. экономия токенов на больших объемах данных.
Далее я расскажу пример который хочу реализовать, не уверен что это будет именно Jev, но суть та же.
2 минуты
7 октября