10,2 тыс подписчиков
🔥 Большое обновление: Meta's Long Llama обошла GPT-3.5 в длинных контекстах и сравнялась с GPT-4 в обобщении.
Основные моменты:
▸ Контекст: Поддерживает до 32 тыс.
▸ Производительность: Сравнивается с GPT-4 в суммировании, выигрывает у GPT-3.5 в длинных задачах.
▸ Эффективность: на 40% меньше вычислительных затрат при той же производительности.
Технические характеристики:
▸ Позиционное кодирование: Внесены изменения для улучшения работы с длинными текстами.
▸ Дополнительное обучение: Использовано больше наборов данных, включая длинные тексты.
Настройка инструкции:
▸ Задачи QA: Генерируются из длинных документов.
▸ Валидация: Llama 2 70B проверила пары QA.
▸ Тонкая настройка: Использовались синтетические данные и данные коротких инструкций.
Около минуты
26 октября 2023