Практика ИИ для бизнеса

Эта статья могла называться «Ещё один антикейс fine-tuning». Но было бы нечестно — в этот раз fine-tuning сработал. Не идеально, не без сюрпризов, но результат оправдал вложения. Клиент — консалтинговая компания в сфере налогового права. Продукт — внутренний ассистент для консультантов: помогает быстро находить ответы на типовые вопросы клиентов, готовить черновики писем, структурировать аргументацию. Первая версия на RAG + GPT-4o работала хорошо по фактической точности — 88% на тестовом наборе...

Рано или поздно этот вопрос встает перед каждым техлидом: продолжать платить провайдеру за токены или арендовать свои GPU? Обычно это происходит, когда счет за API начинает «съедать» маржу или когда юристы спрашивают, почему данные пациентов/клиентов улетают на внешние сервера. Мы просчитали экономику десятков сценариев и вывели формулу, которая поможет вам принять решение не на эмоциях, а на цифрах. Вы платите только за использование (Pay-as-you-go). Вы разворачиваете LLaMA 3.1 или Mistral на собственных или арендованных мощностях...

«Нам нужен агент» — эту фразу мы слышим всё чаще. Иногда это правильный запрос. Чаще — это желание использовать модную технологию там, где хватило бы простого RAG-пайплайна и хорошего промпта. Агенты — мощный инструмент с реальными сценариями применения. Но они несут с собой сложность, стоимость и непредсказуемость, которые в неправильном контексте убивают продукт быстрее, чем помогают. Разбираем честно: что такое агент, когда он нужен и когда он лишний. Обычный RAG-пайплайн детерминирован: запрос → поиск → генерация → ответ...

Промпт-инжиниринг выглядит просто. Написал инструкцию, получил ответ, подправил, снова получил. Кажется, что это интуитивно. На практике — это дисциплина с типичными ошибками, которые мы видим снова и снова: в чужих проектах, которые приходят к нам на аудит, и в своих собственных на ранних стадиях. Шесть шаблонов ниже — это не академическая классификация. Это конкретные ошибки с конкретными последствиями и конкретными исправлениями. Плохой промпт — это не просто «ответ чуть хуже». В продакшн-системе...