123 подписчика

Bidirectional Encoder Representations from Transformers (BERT) - нейросеть, которая научилась глубоко понимать текст

26 мая26 мая

~1 мин

BERT (Bidirectional Encoder Representations from Transformers) — нейросеть от Google, которая научилась глубоко понимать текст. Её главный принцип: читать все слова предложения одновременно, учитывая контекст слева и справа. В отличие от старых моделей, которые шли по фразе последовательно, BERT видит картину целиком. Например, в предложении «Он забил гвоздь» и «Он забил гол» смысл слова «забил» меняется в зависимости от окружения, и BERT это улавливает. Обучение происходит без учителя на гигантских объёмах текста. BERT играет в простую игру: из предложения случайно удаляют (маскируют) 15% слов, а нейросеть должна их угадать по контексту. Каждый раз, угадывая маску, BERT улучшает своё понимание языка. Дополнительно сеть учится определять, связаны ли два предложения логически. Это не состязательные сети (GAN) и не обучение с учителем. Это самообучение через предсказание скрытого. В результате BERT отлично отвечает на вопросы, анализирует тональность текста и ищет смысл, а не просто ключ

В отличие от старых моделей, которые шли по фразе последовательно, BERT видит картину целиком. Например, в предложении «Он забил гвоздь» и «Он забил гол» смысл слова «забил» меняется в зависимости от окружения, и BERT это улавливает.

Обучение происходит без учителя на гигантских объёмах текста. BERT играет в простую игру: из предложения случайно удаляют (маскируют) 15% слов, а нейросеть должна их угадать по контексту. Каждый раз, угадывая маску, BERT улучшает своё понимание языка. Дополнительно сеть учится определять, связаны ли два предложения логически.

Это не состязательные сети (GAN) и не обучение с учителем. Это самообучение через предсказание скрытого. В результате BERT отлично отвечает на вопросы, анализирует тональность текста и ищет смысл, а не просто ключевые слова. Модель стала фундаментом для большинства современных языковых ИИ.