🚀 OpenAI gpt-oss с ультрадлинным контекстом!
Unsloth представили Flex Attention, который обеспечивает до 61K контекста для gpt-oss bf16 при обучении на GPU с 80GB памяти.
📊 Ключевые преимущества:
- В 8 раз больше контекста
- На 50% меньше потребление VRAM
- В 1.5 раза быстрее по сравнению с конкурентами (включая FA3)
Теперь для BF16 LoRA можно проводить обучение с контекстом ~60K на одной H100 80GB.
🔗 Детали: https://docs.unsloth.ai/basics/long-context-gpt-oss-training
#Unsloth #OpenAI #gptoss #chatgpt
