Одно из основных направлений работы Google — разработка технологий понимания естественного языка. Поисковый гигант создал отличные продукты: поиск, переводчик, ассистент, но при этом ни один из алгоритмов еще не совершенен в обработке естественной человеческой диалоговой речи. В диалоге присутствует все: информативность, образность, ирония, сарказм, которые машинным технологиям крайне сложно распознать и правильно интерпретировать.
Другая сторона диалога — открытость. Любая беседа может начаться с обсуждения концерта, а завершиться критикой политического уклада страны. Предсказать такой поворот машины также пока не способны.
Новая технология Google — LaMDA (Language Model for Dialogue Applications — языковая модель для диалогов) — направлена на обработку диалоговой речи:
Изменчивость диалога часто ставит в тупик повсеместно применяемых чатботов, которые запрограммированы вести беседу по определенным скриптам. Но LaMDA способна поддерживать диалог, перетекающий в разнообразные темы. Такая способность технологии расширит сферы применения чатботов, повысит результативность обращений. Эксперты Google полагают, что LaMDA откроет новые направления применения и позволит внедрить чатботов в совершенно новые сферы.
Как создавалась LaMDA
Отдел работал над технологией долгие годы. Как и недавние модели обработки речи BERT и GPT-3, она построена на трансформерах — архитектуре нейронной сети, которую создал Google и выложил в открытый доступ в 2017 году. Нейросеть создает модель, способную прочитать и понять длинную цепочку слов и предложений (абзац или раздел), определить, как слова связаны друг с другом, и спрогнозировать, какие слова далее появятся в тексте.
В отличие от других моделей LaMDA обучалась на диалогах. Особый акцент в обучении делался на выбор открытых диалогов. В частности модель училась определять, насколько ответ подходит к предыдущей фразе или вопросу. Например:
— Я вчера пошел на курсы игры на гитаре.
— Супер! У моей мамы есть старая гитара Martin, она любит на ней играть.
Это уместный ответ на реплику. Но уместность — не единственный фактор хорошего ответа. Такие ответы, как “хорошо”, “не знаю”, “может быть” тоже уместны для большого количества абсолютно разных вопросов и реплик. Удовлетворительные же ответы четко соотносятся с контекстом реплики. В примере выше ответ уместный и удовлетворительный.
В основе создания технологии LaMDA — более ранее исследование Google, доказывающее, что модели, обученные на диалогах, могут поддержать практически любой диалог. LaMDA способна обучаться, чтобы давать уместные и удовлетворительные ответы.
Дальнейшее развитие технологии LaMDA
Google был бы не Google, если бы не попытался усовершенствовать модель. Не интересно просто взять и создать очередную технологию обработки одного из аспектов речи (как, например, диалог). Эксперты продолжают работать над тем, чтобы повысить “интересность” ответов, а также оценивают, насколько ответы опираются на факты. Цель — научить модель давать аргументированный и фактически корректный ответ.
Вторая критичная задача команды — исключить возможность злоупотребления такими моделями: распространение предубеждений, пропаганду ненависти, искажение фактов. Даже учитывая то, что модель обучается на модерированных речевых выборках, это не исключает возможности использования в корыстных целях. Для разработчиков, применяющих речевые модели и ИИ, Google создал отдельный ресурс, где собраны все инструменты и базы, используемые для обучения.