95 подписчиков
Microsoft представила новую LLM Phi-3, которая переопределяет границы возможностей SLMs (small language models). Эта модель обладает исключительной производительностью даже при малом (на 3.8 миллиарда) и среднем размере - 14 миллиардов параметров и доступна в двух версиях окна контекста - на 4K и 128K.
Отличная эффективность и высокая точность делают Phi-3 идеальным выбором для различных задач, включая генерацию текста, понимание языка и многое другое. Phi-3 может быть легко интегрирована в чат-боты, и вы сможете добавить ее самостоятельно и в наш чат-бот на основе Ollama и OpenWebUI.
Новое поколение LLM от Microsoft — это шанс для всех, желающих использовать искусственный интеллект в своих проектах. Будь то разработка чат-ботов, создание персонализированных рекомендаций или развитие умного анализа текстовых данных, Phi-3 предоставляет надежные и эффективные возможности для достижения успеха в любом направлении.
Вышеупомянутые 14 миллиардов параметров, используемых в Phi-3, способны превзойти производительность моделей размером до 25 раз больше, что является убедительным свидетельством эффективности и инновационных подходов Microsoft Research.
Минусом модели можно считать то, что для работы версии 14B требуется GPU минимум с 12 гигабайтами видеопамять, поэтому если у вас только 8 Гб, то модель будет работать в режиме GPU offload, перекладывая часть нагрузки на центральный процессор и снижая скорость ответа в несколько раз. Хотя, по утверждению Microsoft, даже их small модель с 3.8B параметров превосходит по качеству ответов Llama3 8B Instruct.
Примечание: данная новость была создана при помощи Phi-3, что подчеркивает ее способность генерировать высококачественный и контекстно соответствующий текст на русском языке.
1 минута
23 мая 2024