06:44
1,0×
00:00/06:44
688,7 тыс смотрели · 4 года назад
1 неделю назад
🦥 Unsloth и GPT-OSS: как обучение с подкреплением стало доступным каждому
Обучение с подкреплением (RL) долгое время оставалось прерогативой гигантов: OpenAI, DeepMind, Anthropic. Требовались кластеры H100 и бюджеты уровня исследовательских лабораторий. Но платформа Unsloth сделала то, что можно назвать «демократизацией RL» для больших моделей. Теперь даже gpt-oss-20b можно дообучать с GRPO прямо в бесплатном Colab — всего на 15GB VRAM. То есть речь не просто о «тюнинге», а о полноценной переписке inference-ядра Transformers с кастомными оптимизациями и компиляцией под torch...
1 год назад
История создания GPT-2
GPT-2 (Generative Pre-trained Transformer 2) – это вторая версия модели GPT от компании OpenAI, выпущенная в феврале 2019 года. Именно с выхода GPT-2 началась новая эпоха в развитии искусственного интеллекта, вызвавшая большой общественный резонанс и привлекшая внимание к вопросам этики и безопасности ИИ. GPT-2 стала знаковой моделью, благодаря своим возможностям по генерации текстов и предсказаниям, которые значительно превзошли ожидания. До появления GPT-2 уже существовала первая версия модели...