Спартанская система из MIT
упрощает компьютерный анализ предложений
по последнему слову техники.
При всей своей красоте, образности и богатстве речевых смысловых вариаций, любой человеческий язык в качестве средства передачи точной (и однозначной в понимании ) информации зачастую бывает крайне неэффективным. И хоть он и обеспечивает культурное становление личности, в нём кроятся подвохи двусмысленности, к которым мы привыкаем с самого детства.
Неслучайно в любой профессиональной специализации есть такое понятие как термин – ключевое важное слово, имеющее лишь одно конкретное значение. Другими словами, чтобы избежать недопонимания, во многих сферах человеческой деятельности некоторым словам отводится жизненно важная роль. Прочие же становятся расходными материалами.
Итак: «человеческий язык может быть неэффективным ». Перечитайте это ещё раз и подумайте вот о чём: всего два слова – «язык» и «неэффективный» – передают почти весь смысл предложения.
Важность ключевых слов лежит в основе механизма внимания – нового популярного инструмента компьютернойОбработки Естественного Языка (Natural Language Processing – NLP ; не путать с нелинейным, а также и с нейролингвистическим программированием! ). В противовес рассмотрению каждого слова с равной важностью, как происходит обычно, при кодировании в более широкий алгоритм НЛП, механизм внимания сосредоточен лишь на ключевых словах. Это даёт лучшие результаты и в прогнозах о том, какими должны быть следующие слова в предложении, и в распознавании настроений фраз, и в прочих многочисленных задачах обработки.
С самого своего появления механизм внимания чуть ли не единолично занял нишу по обработке языка компьютером и царствует там вполне обосновано вот уже около 6 лет: он встроен в современные модели НЛП вроде Google BERT и OpenAI GPT-3. Но несмотря на триумф этого механизма в моделях НЛП, само его участие в них – предприятие довольно затратное. Модели НЛП требуют огромной нагрузки на компьютер отчасти благодаря высокой потребности в памяти механизма внимания.
Исследователи Массачусетского технологического института разработали комбинированную программно-аппаратную систему SpAtten , обеспечивающую более оптимизированное НЛП с меньшей вычислительной мощностью, специализируясь, тем не менее, на работе того же механизма внимания.
«Нам нужны алгоритмические оптимизации и специализированное оборудование, чтобы удовлетворить постоянно растущие потребности в вычислениях », – подытожил доктор философии Ханруи Ван .
Конструкция системы SpAtten , разработанной для более эффективного управления механизмом внимания, совмещает программные и аппаратные решения, что дало хороший прирост и в скорости НЛП-технологий, и в их энергоэффективности. Оно позволило исключить ненужные или неэффективные манипуляции с данными и, в то же время, сосредоточиться исключительно на задачах, необходимых для достижения цели пользователя.
Философия системы отражена в её названии. Сами исследователи отмечают, что SpAtten «созвучен спартанскому [нраву]», что означает простой и экономный. Ван говорит: «Это похоже на нашу технику: сделать предложение более лаконичным ».
Эта лаконичность подтвердилась при тестировании. Ещё до изготовления физического чипа, исследователи разработали симуляцию своего детища и протестировали её на конкурирующих процессорах общего назначения. «Спартанец» работал более чем в 100 раз быстрее, чем лучший конкурент (графический процессор TITAN Xp). Кроме того, он оказался более чем в 1000 раз более энергоэффективен, чем конкуренты, что позволяет существенно сократить потребности НЛП в электричестве.
«Наше видение будущего заключается в том, что новые алгоритмы и оборудование, устраняющие избыточность в языках, снизят затраты и сэкономят средства на энергопотребление для рабочих нагрузок NLP центров обработки данных », – говорит Ван .
На противоположном конце спектра возможностей SpAtten располагается перспектива принести НЛП на небольшие персональные устройства. «Мы можем увеличить время автономной работы мобильных телефонов или устройств Интернета вещей , – поясняет доктор Ван . – Это особенно важно, потому что в будущем многочисленные устройства IoT будут взаимодействовать с людьми с помощью голоса и обычного языка, поэтому НЛП будет первым приложением, которое мы хотим использовать ».
По материалам АРМК