LoRA (Locally Optimized Robust Attention) — это технология, разработанная для оптимизации и улучшения моделей искусственного интеллекта, в частности, трансформеров, которые лежат в основе многих современных систем, включая генеративные модели вроде Stable Diffusion. LoRA позволяет модифицировать предварительно обученные модели, внося изменения в матрицы внимания, что улучшает их способность адаптироваться к новым задачам с минимальными затратами на обучение и вычислительные ресурсы. Как LoRA используется...

Прошло уже около полугода как Meta* случайно слили свою языковую модель LLaMA. А недавно они сами выложили в открытый доступ ее 2-ую версию. Для понимания масштаба - на обучение Meta* потратили более 3 311 616 GPU часов. Это примерно 378 лет работы одной мощной видеокарты. В этой статье я расскажу как я смог бесплатно и без мощного железа дообучить LLaMA на диалогах с друзьями в ВК, чтобы сделать чат бота, который копирует наш стиль общения, оживляет разговор в чате и просто пишет странные и смешные вещи...