Aigentto

Новый обязательный вопрос на интервью разработчиков Сейчас ведём найм backend-разработчиков, и на screening-интервью я добавил новый обязательный вопрос: А как вы используете LLM или IDE с LLM для написания кода? Отвечать на такой вопрос — почти не использую, всё пишу сам — это примерно как отвечать 100 лет назад, что автомобиль пока не использую, лошадь надёжнее и понятнее. LLM и всякие Cursor, Anthropic уже несколько лет с нами, вы просто обязаны их использовать для увеличения своей производительности 🚀 👉 Первый уровень — это обычно просто web-чат с ChatGPT по конкретному коду 👉 Второй...

Как сделать чтобы RAG отвечал мгновенно

Chain-of-though или reasoning/thinking В LLM давно появились режимы reasoning/thinking, но такую же штуку можно сделать и на любой старой модели или, например, на модели локальной. Достаточно лишь попросить: 👉 Пошаговое объяснение - «Давай решим шаг за шагом», «Объясни ход мысли». 👉 Переформулировать задачу - «Расскажи своими словами, что нужно сделать». 👉 Разбить задачу на части - «На какие этапы можно разделить решение?». 👉 Проверить или предложить другой способ - «Проверь ответ», «Есть ли альтернативы?». 👉 Задай роль эксперта: «Ты — эксперт, рассуждающий логично и подробно». Но и самое главное — это просто после каждого ответа доспрашивать: «А что ты думаешь по...

ИИ-агенты для найма сотрудников В технических вакансиях, таких как Software Developer, где можно провести предварительную оценку по тех. заданиям и коду на GitHub, LLM очень сильно экономит время на отбор тех, с кем надо поговорить. У нас идет найм, и за 24 часа — 174 отклика. С помощью LLM уже всё разобрано и выбраны кандидаты для следующих этапов. Осталось только собрать всё это в ИИ-агента, который сам будет отвечать на hh...

Жесткие критерии тестирования RAG-систем или почему вопросы имеют значение? Так как LLM — очень гибкий инструмент, при создании RAG-систем и ИИ-агентов всегда будут кейсы, когда оно отвечает/понимает немного по-разному. Особенно это касается сложных запросов, где много предположений и недосказанностей. Поэтому список вопросов для тестирования LLM должен быть четким, и все вопросы должны быть развернутыми. Пример плохих вопросов: - кто у нас зам згд - дай контакты делле - кто у нас самый главный LLM, конечно, попробует догадаться, что «згд» в нашем контексте — возможно заместитель генерального директора...

Тонкая настройка работы RAG-системы Когда уже всё работает и система отвечает хорошо, но бывают кейсы галлюцинаций LLM, необходимо заняться тонкой настройкой выборки чанков. 🐳 Нужно поиграть с размером и overlap (взаимным перекрытием чанков) 🔪 Если не помогает, нужно изменить нарезку чанков: вместо отрезания по чёткой длине (300, 1000, 2000 символов) можно начать резать, учитывая целые слова и предложения 📦 В выборке нужно поиграть с количеством выбранных чанков — лишняя информация часто заставляет галлюцинировать LLM 💀 Нужно сравнить общий объём контекста, который вы даёте LLM, и размер промта...

Если уже всё оптимизировали, но задержка ответа даже на 2-3 секунды критична, то переходим на streaming. Дело в том, что все LLM генерируют текст последовательно (по токенам), и можно получать его либо как уже готовый результат, либо в процессе генерации. И выдавать его в адаптер (например, Telegram) в реальном времени. Тогда по сути будет иметь значение не полное время ответа, а только время реакции LLM, то есть время до начала генерации; дальше пользователь уже может читать ответ...

В создании ассистентов и RAG-систем очень важно понимать цель — от этого сильно зависят архитектура и инструменты. Из цели вытекают наши явные и неявные потребности, под которые подбираются соответствующие инструменты. Если для вас критична скорость ответа (секунды), использовать OpenAI Assistant — не лучший вариант. Лучше локальная векторная база данных и быстрая модель. В этом случае придётся самостоятельно реализовать локальное хранение данных и другие компоненты — кода будет значительно больше, а поддержка сложнее. Например, если мы делаем клона сотрудника или команды, можно использовать OpenAI Assistants вместе с OpenAI vectorstore, обновляя vectorstore раз в день или чаще...

Вышла статья Как сделать RAG/ИИ-Асистента без кода 🔥 Делаем генератор постов для канала📖, поиск рейсов ✈️ и бронирование отелей через Yandex Travel API 🛎 Подпишись 👉🏻 @Aigentto 🤖

Ограничения инфраструктуры OpenAI Сейчас помогаем делать RAG-систему для одной российской компании, которая уже использует OpenAI. Хотели перевести всё на рельсы AI Assistants + vectorstore, но передумали... Дело в том, что у ребят есть довольно хорошая схема сбора обратной связи: после каждого ответа боту в Telegram можно поставить like или dislike. Это, в свою очередь, меняет вес для выбранных векторов по запросу - либо понижает (dislike), либо повышает (like). Сделать подобную манипуляцию в OpenAI vectorstore нельзя - это blackbox. Туда можно только загрузить данные, а управлять выборкой будет сам OpenAI, что удобно, но лишает вас тонкой настройки...

Полезный AI генератор описания проекта git 👉 PocketFlow 👈 Выполняет то, что разработчики обычно делать не любят: генерирует очень хорошее описание каждого файла и общую диаграмму связей в формате Mermaid. GitHub и GitLab рендерят диаграму прямо внутри репозитория 🔥 Подключить можно любую LLM, и генерить на любом языке описание...

По следам: Как я сделал RAG для своей компании Как я сделал RAG для своей компании (часть 2). И как начал делать AI Агента AI агенты — клоны сотрудников (часть 3) В этой статье я постараюсь суммировать свой опыт, подвести итоги и предоставить верхнеуровневую картину решения. Для успешного создания RAG (Retrieval Augmented Generation) первым делом нужно определить примерный список вопросов, на которые система должна уметь отвечать. Вариант: у нас есть данные вот там, надо в неё всё загрузить - это плохой подход...