Мы уже рассказали, как появились языковые модели и как они научились беседовать с людьми. Но до последнего времени они умели делать это полноценно только по-английски. Например, для обучения GPT-3 использовали всего 7 процентов неанглийских текстов, так что нейросеть практически не знала другие языки, в том числе русский. А значит, её нельзя было интегрировать в русскоязычные сервисы. Из текста вы узнаете, как разработчики Яндекса учили русскому свою генеративную модель YaLM (Yet another Language Model), на которую их вдохновила GPT-3. Читайте дальше.
Мы уже рассказали, как появились языковые модели и как они научились беседовать с людьми. Но до последнего времени они умели делать это полноценно только по-английски. Например, для обучения GPT-3 использовали всего 7 процентов неанглийских текстов, так что нейросеть практически не знала другие языки, в том числе русский. А значит, её нельзя было интегрировать в русскоязычные сервисы.
Из текста вы узнаете, как разработчики Яндекса учили русскому свою генеративную модель YaLM (Yet another Language Model), на которую их вдохновила GPT-3. Читайте дальше.