Давайте создадим mini-ChatGPT, который будет работать локально у вас на компьютере. В качестве базовой модели возьмем открытую LLM модель Llama3.2-vision. Что будем использовать: Начнем с метода start_chat, который вызывается, как только начинается новый чат-сеанс: Используем декоратор @cl.on_chat_start в вышеописанном методе. Теперь определим еще один метод, который будет вызываться для генерации ответа от LLM: Процесс будет выглядеть так: Наконец, определяем метод main: Готово!!! Осталось только запустить приложение: Вышеупомянутый код доступен на GitHub здесь
Давайте создадим mini-ChatGPT, который будет работать локально у вас на компьютере. В качестве базовой модели возьмем открытую LLM модель Llama3.2-vision.
Что будем использовать:
- Ollama - отвечает за развертывание модели Llama3.2-vision локально (как это сделать - смотри в нашей предыдущей статье)
- Chainlit - инструмент с открытым исходным кодом, позволяющий создавать готовые к использованию диалоговые приложения на основе искусственного интеллекта.
Начнем с метода start_chat, который вызывается, как только начинается новый чат-сеанс:
Используем декоратор @cl.on_chat_start в вышеописанном методе.
Теперь определим еще один метод, который будет вызываться для генерации ответа от LLM:
Процесс будет выглядеть так:
- Пользователь вводит запрос
- Добавляем запрос в историю взаимодействия
- Формируем ответ от LLM
- Сохраняем ответ LLM в истории взаимодействия
Наконец, определяем метод main:
Готово!!!
Осталось только запустить приложение:
Вышеупомянутый код доступен на GitHub здесь