В современном мире искусственного интеллекта разработчики и энтузиасты ищут доступные и мощные решения для работы с передовыми моделями. Для тех, кто нуждается в высокопроизводительных вычислениях без больших капитальных затрат, платформа G-PU.ru предоставляет уникальную возможность арендовать видеокарты различных конфигураций. Это решение особенно актуально в контексте недавних достижений в области локального ИИ, когда передовые модели становятся доступными для работы на персональных компьютерах.
Компания NVIDIA в сотрудничестве с OpenAI представила революционные модели gpt-oss-20b и gpt-oss-120b, которые впервые делают доступными на домашних ПК технологии искусственного интеллекта, ранее доступные только в облачных дата-центрах. Эти открытые модели рассуждения знаменуют начало новой эпохи более быстрого и интеллектуального локального ИИ, работающего на мощи графических процессоров GeForce RTX и RTX PRO.
Технические характеристики новых моделей
Модели gpt-oss представляют собой гибкие текстовые модели рассуждения с открытым весом, построенные на популярной архитектуре mixture-of-experts (MoE). Они обладают возможностями цепочки рассуждений и поддерживают инструкции и использование инструментов.
gpt-oss-20b оптимизирована для работы на ПК с ИИ на базе NVIDIA RTX с объемом видеопамяти не менее 16 ГБ, обеспечивая до 256 токенов в секунду на GPU RTX 5090. gpt-oss-120b, более крупная модель, предназначена для профессиональных рабочих станций с графическими процессорами NVIDIA RTX PRO.
Обе модели были обучены на графических процессорах NVIDIA H100 и являются первыми, поддерживающими точность MXFP4 на NVIDIA RTX. Эта технология улучшает качество и точность модели без дополнительных затрат производительности по сравнению с предыдущими методами. Модели поддерживают до 131,072 контекстных токенов - один из самых больших контекстов, доступных для локального вывода.
Простота внедрения через популярные инструменты
Ollama - самый простой способ начать
Самый простой способ протестировать новые модели на RTX AI ПК - использовать новое приложение Ollama. Его интерфейс включает встроенную поддержку моделей gpt-oss, полностью оптимизированных для графических процессоров RTX. Ollama популярен среди энтузиастов ИИ и разработчиков благодаря простоте интеграции.
После установки Ollama позволяет быстро и легко общаться с моделями - достаточно выбрать модель из выпадающего меню и отправить сообщение. Поскольку Ollama оптимизирована для RTX, не требуется никаких дополнительных конфигураций для обеспечения максимальной производительности.
Другие платформы разработки
llama.cpp: NVIDIA сотрудничает с сообществом открытого исходного кода для оптимизации производительности на графических процессорах RTX. Недавние улучшения включают использование CUDA Graphs для снижения накладных расходов.
Microsoft AI Foundry Local: Разработчики Windows могут получить доступ к моделям через Microsoft AI Foundry Local, который в настоящее время находится в публичном превью. Foundry Local - это решение для локального вывода ИИ, которое интегрируется в рабочие процессы через командную строку, SDK или API.
Производительность и оптимизация
На архитектуре NVIDIA Blackwell модели демонстрируют выдающуюся производительность - до 1,5 миллиона токенов в секунду на системе NVIDIA GB200 NVL72. Для персональных компьютеров производительность также впечатляет: gpt-oss-20b показывает высокие результаты на различных RTX AI ПК.
Модели используют передовые оптимизации, включая поддержку вычислений FP4, что позволяет генеративным моделям ИИ работать локально с меньшими требованиями к памяти по сравнению с предыдущим оборудованием.
Экосистема разработки RTX AI
NVIDIA RTX AI Toolkit предоставляет разработчикам комплексный набор инструментов для настройки, оптимизации и развертывания моделей ИИ. Платформа GeForce исторически играла ключевую роль для разработчиков ИИ - более 30% последних научных работ по ИИ ссылались на использование GeForce RTX.
Современные графические процессоры серии GeForce RTX 50, построенные на архитектуре NVIDIA Blackwell, обладают производительностью до 3,352 триллиона операций в секунду для ИИ и до 32 ГБ видеопамяти.
Заключение
Запуск моделей OpenAI gpt-oss на графических процессорах NVIDIA RTX знаменует новую эру доступного локального ИИ. Как отметил основатель и генеральный директор NVIDIA Дженсен Хуанг: "OpenAI показал миру, что можно построить на NVIDIA AI - и теперь они продвигают инновации в программном обеспечении с открытым исходным кодом".
Эти модели позволяют разработчикам всего мира строить на основе современного фундамента с открытым исходным кодом, укрепляя технологическое лидерство в области ИИ на самой большой в мире инфраструктуре вычислений ИИ. Благодаря оптимизации для RTX GPU и поддержке популярных инструментов разработки, барьеры для входа в мир продвинутого локального ИИ становятся минимальными, открывая новые возможности для инноваций в самых различных областях применения.
Подписывайтесь на нас: