Первые попытки создать системы, способные понимать и генерировать естественный язык, начались еще в 1950-х годах. На тот момент основное внимание уделялось созданию простых программ, основанных на правилах и словарях. Одной из первых таких систем стал ELIZA — чат-бот, созданный Джозефом Вейценбаумом в 1966 году. ELIZA имитировала поведение психотерапевта, используя простые шаблоны и правила для обработки текста.
Однако подобные системы обладали серьезными ограничениями: они не понимали контекста и не могли вести осмысленные диалоги за пределами заранее заданных сценариев.
С середины 2000-х годов в области обработки естественного языка произошел настоящий прорыв благодаря внедрению нейронных сетей. Первым значимым достижением стало создание моделей на основе рекуррентных нейронных сетей (RNN) и долгосрочной краткосрочной памяти (LSTM), которые смогли работать с последовательностями данных и учитывать контекст.
Настоящая революция началась с разработки архитектуры Transformer компанией Google в 2017 году. Архитектура Transformer позволила значительно улучшить качество обработки текста за счет параллельной обработки информации и механизма внимания (attention). Эта технология легла в основу многих современных LLM-моделей, таких как BERT и GPT.
Развитие моделей GPT и их влияние на рынок
Первая версия GPT от компании OpenAI была представлена в 2018 году и уже тогда продемонстрировала впечатляющие возможности по генерации связного текста. Однако настоящим прорывом стал релиз GPT-3 в 2020 году — модели с 175 миллиардами параметров, способной генерировать тексты, практически неотличимые от написанных человеком.
Забавный парадокс заключается в том, что GPT-4 проходит тест Тьюринга, но при этом не демонстрирует признаков разумности, хотя в её работе встречаются интересные артефакты.
С появлением GPT, Gemini и других LLM многие компании начали интегрировать эти системы в свои сервисы. Увы, в большинстве случаев это были инновации ради инноваций, так как компании зачастую не понимали, как ИИ может помочь им в развитии пользовательского сервиса.
Зато нейросети по достоинству оценили программисты, копирайтеры и иллюстраторы. Согласно отчету Stack Overflow (2024), 45% разработчиков используют искусственный интеллект для написания кода. Появление моделей-иллюстраторов привело к снижению спроса на услуги иллюстраторов на 30%, что является серьезным сигналом для всей отрасли. Растет и число тех, кто использует LLM для рутинной работы — написания писем, составления шаблонных документов и других задач.
А что в России?
Возможно, вы удивитесь, но в России с искусственным интеллектом всё не так уж и плохо. Согласно опросам «Российской газеты» эксперты назвали искусственный интеллект главным трендом наступившего 2024 года. К примеру, генеративный ИИ используют уже 20% компаний, а через 2 года и количество должно вырасти в 60%.
Сегодня мощности для обучения продвинутых языковых моделей имеются у нескольких крупных игроков: Яндекс, Сбер и МТС. Эти компании создают собственные модели, некоторые из которых уже давно являются коммерческими.
Например, Алиса GPT способна вести осмысленный диалог и в некоторых аспектах приближается к GPT-4 mini. Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров, однако она всё ещё часто путается в ответах.
Мы в ОК
Безусловно, хорошо, что Россия ведёт свои работы в этом направлении, однако от лидеров нас сегодня отделяет огромный разрыв в части вычислительных мощностей, а также качества и количества доступного оборудования.
Успехи России в практическом применении ИИ
Зато в области практического применения систем на базе ИИ Россия демонстрирует очевидные успехи. К примеру, тот же Kandinsky от Сбера и Шедеврум от Яндекса активно используются иллюстраторами, Suno умеет генерировать песни, а Rytr — генерировать идеи для авторов.
Одним из наиболее интересных проектов последнего времени является виртуальный юрист с искусственным интеллектом LLL.pro. Система не просто умеет понимать проблему, но и выдаёт ответы со ссылками на законы, а также без труда ориентируется в сложных и запутанных ситуациях. В ходе проведения тестов нам ни разу не удалось её запутать.
По всей видимости, уже в ближайшие несколько лет подобные системы смогут взять на себя решение основных правовых вопросов и коренным образом изменить рынок юридических услуг.
В заключение стоит сказать, что уже сегодня мы столкнулись с техническим прогрессом, который может изменить наше общество даже сильнее, чем это происходило во времена Промышленной революции XIX века. Важно также понимать, что если 150 лет назад изменения были растянуты на десятилетия, то сегодня всё меняется за считанные годы, а иногда и месяцы.
Например, если ещё два года назад предел возможностей генеративных моделей сводился к формулированию осмысленных предложений, то сегодня ИИ работает в качестве юриста и способен давать правдивые и осмысленные ответы.
Безусловно, нет смысла скрывать отставание от Запада в части технологий, связанных с разработкой больших моделей. Здесь нашей стране не хватает и мощностей и технологий. Западные большие модели имеют количественное превосходство параметров в десятки, а иногда и сотни раз. Другое дело, что россияне сами по себе гораздо охотнее доверяют инновациям, нежели жители развитых стран. Именно поэтому, в России активно и успешно развиваются прикладные ИИ-сервисы и это внушает оптимизм.
