Про ИИ (Искусственный интеллект)

Краткая история больших языковых моделей

Краткая история больших языковых моделей

Большие языковые модели — это искусственные нейронные сети (алгоритмы), которые за несколько лет прошли путь от недавней разработки до широкого использования. Они сыграли важную роль в разработке ChatGPT, следующего шага в развитии искусственного интеллекта. Генеративный ИИ был объединен с большими языковыми моделями для создания более умной версии искусственного интеллекта.

Большие языковые модели (LLM) основаны на искусственных нейронных сетях, и недавние улучшения в области глубокого обучения поддержали их развитие.

Большая языковая модель также использует семантические технологии (семантику, семантическую сеть и процессы естественного языка). История больших языковых моделей начинается с концепции семантики, разработанной французским филологом Мишелем Бреалем в 1883 году. Бреаль изучал способы организации языков, их изменения с течением времени и то, как слова соединяются внутри языка. 

В настоящее время семантика используется для языков, разработанных для людей, таких как голландский или хинди, и искусственных языков программирования, таких как Python и Java.

Однако обработка естественного языка направлена ​​на перевод человеческого общения на язык, понятный компьютерам, и обратно. Он использует системы, которые могут обеспечить понимание человеческих инструкций, позволяя компьютерам понимать письменный текст, распознавать речь и переводить между компьютерным и человеческим языками.

Как обработка естественного языка была почти потеряна еще до того, как она началась

С 1906 по 1912 год Фердинанд де Соссюр преподавал индоевропейскую лингвистику, общее языкознание и санскрит в Женевском университете. За это время он разработал основу для высокофункциональной модели языков как систем.

Затем, в 1913 году, он умер, не успев организовать и опубликовать свою работу. 

К счастью, Альберт Сеше и Чарльз Балли, два преподавателя, которые также были коллегами Соссюра, осознали потенциал его концепций и решили, что они достаточно важны, чтобы их можно было спасти. Два преподавателя собрали его записи для будущей рукописи, а затем попытались собрать записи учеников Соссюра. На их основе они написали книгу Соссера под названием  Cours de Linguistique Générale  (переведенную на Язык как наука, которая в конечном итоге превратилась в обработку естественного языка (НЛП), которая была опубликована в 1916 году. 

Язык как наука  заложил основу структуралистский подход, а позже и процессы естественного языка.

Потребность в языковом переводе дает толчок обработке естественного языка

После окончания Великой Отечественной войны (1945 г.) обработка естественного языка удостоился большого внимания. Мирные переговоры и стремление к международной торговле привели к признанию важности понимания друг друга и породили надежды на создание машины, которая могла бы автоматически переводить языки. 

Неудивительно, что цель создания машины языкового перевода оказалась не такой простой, как предполагалось вначале. Однако в то время как человеческие языки наполнены хаосом и нарушенными правилами, язык математики — нет. Машины языкового перевода можно было бы вполне успешно адаптировать к математике с ее неизменными правилами.

Машинное обучение и игра в шашки

Артур Сэмюэл из IBM разработал компьютерную программу для игра в шашки в начале 1950-х годов. Он разработал ряд алгоритмов, которые позволили улучшить его программу игры в шашки, и описал ее как «машинное обучение» в 1959 году.