Чем нам могут быть полезны нейросети / ai? Локальные версии.

На днях OpenAI (создатель ChatGPT) выпустил две локальные нейросети / LLM: gpt‑oss‑120b и gpt‑oss‑20b, - которые каждый может запустить локально (на своем ПК с определенными характеристиками). Разрешено коммерческое использование этих моделей.

Это значит, что:

✔️ вам не надо больше платить за запросы к условному ChatGPT;

✔️ вы можете добавлять эти модели в свой продукт (ПО, услуги, гаджет и т.д.) и зарабатывать на этом;

✔️ вы можете дообучить модель на внутренних документах (финансовая отчётность, медкарты, юридические документы и т.д.), в общем, создать модель под конкретную отрасль или компанию;

✔️ вы можете создать чат-ассистента или систему поиска по корпоративным данным, сохранив все данные внутри компании (ну, или свои личные данные - внутри своего ПК), не отдавая в сеть условному ChatGPT;

✔️ вы можете развернуть модель в закрытой среде банка / финансовой организации, обучить на исторических сделках, использовать как агента для анализа, прогнозирования акций и других финансовых инстурментов, а также для автоматизации отчётности;

✔️ сделать клиентский чат-бот нового высокого (!) уровня, подключить его к CRM, базе товаров и так далее;

✔️ младшая модель запускается и работает на компактных устройствах - можете пилить ПО для своих домашних умных систем / IoT, беспилотников и т.п. - и не надо зависеть от интернета / облачных систем (условного ChatGPT).

В принципе, предыдущие локальные модели [других производителей] тоже могли ~ это. Так что, этот текст, скорее, полезен будет тем, кто вообще еще не включился в эту "гонку".

А это именно гонка. И еще: фраза "новой высокий уровень" - условна. И в этом:"гонка" и "высокий уровень" - и есть основной минус.

Минус в том, что каждый следующий, кто будет делать то же самое, что делаете вы, но после вас (на более новой модели / модели другой компании-конкурента OpenAI), - будет иметь техническое преимущество перед вами. Техническое преимущество. Его модель будет "умнее".

Ваше преимущество будет маркетинговое - вы раньше выйдете на рынок и можете забрать свою долю. Но его модель будет "умнее" на старте (хотя, Т-800 из последнего "Терминатора" на практике может со мной не согласиться).

Другими словами. Для хайпового и быстро меняющегося рынка быть первым в маркетинге - это главное конкурентное преимущество: если у тебя быстрая команда и вы быстро вытаскиваете на рынок свой продукт - и зарабатываете на нем раньше всех / больше последователей. Поймав волну. Но для большого продукта, который строится на годы вперед, - маркетинг в ситуации с такими LLM играет роль только на старте. Дальше побеждают технологии [при одинаковых командах].

P.S. Из существенных минусов текущей локальной модели: задачку "про трех убийц" она правильно сразу решить не смогла:

В комнате было 3 убийцы. Пришел обычный человек и убил одного убийцу. Сколько убийц в комнате?

Получается, это не самая "умная" модель ;) Даже ваша облачная (ChatGPT или Perplexity) - ответит верно за секунду.

Но для задач, описанных ✔️ выше важнее быть не самой "умной", а быть использованной в хорошем и нужном сейчас продукте.

Продолжение в (с) Источник