В сфере машинного обучения применяется два основных подхода — это обучение с учителем и без него. В первом случае необходимо использование вручную размеченных данных, где каждому входящему сигналу соответствует определённый выход, благодаря чему алгоритмы могут точно следовать установленным инструкциям. С другой стороны, обучение без учителя предполагает применение только необработанных данных, в связи с чем алгоритму предоставляется свобода в обнаружении закономерностей самостоятельно.
В течение нескольких последних лет некоторые компании работают над реализацией совершенно нового подхода — полного самообучения (self-supervised learning, SSL), устраняющего границы между двумя описанными выше способами. В отличие от традиционного обучения с учителем, зависящего от разметки данных операторами, в процессе самообучения применяются алгоритмы для автоматического формирования меток из необработанных данных, что существенно расширяет возможности алгоритма.
Специалисты из Массачусетского технологического института и Технического университета Мюнхена разработали новый метод, который называется «Контекстное самообучение» (ContextSSL). Основная его особенность — это возможность преодоления ограничений существующих сейчас подходов в обучении. В частности, вместо того чтобы в качестве основы своей работы использовать заранее заданные преобразования данных, новый алгоритм самостоятельно адаптирует представление к различным задачам с учётом контекста — обобщённого представления о той или иной задаче, или окружающей среде.
В качестве одной из проблем, которую необходимо в этом случае будет решить разработчикам, выступает необходимость применения стандартных преобразований данных, например изменения цвета, ориентации, текстуры или обрезки изображений. Подобные преобразования формируют для обучения модели пары данных — похожие (положительные) и разные (отрицательные). Вместе с этим алгоритм становится или стойким к изменениям (инвариантность), или же сохраняет чувствительность к ним (эквивариантность).
По словам аналитиков, реализация подобного подхода неразрывно связана с серьёзными ограничениями свойств данных, что далеко не всегда универсально для всех задач. С помощью нового метода специалисты Массачусетского технологического института намерены реализовать намного более адаптивный путь, в процессе которого алгоритмы будут самостоятельно подбирать необходимые им поведения в зависимости от определённой задачи.
Главная суть метода ContextSSL заключается в применении контекста, вдохновлённого различными общепринятыми моделями представлений об окружающей среде, фиксирующими её структуру и динамику. То есть контекст будет кодироваться с применением трансформеров в виде последовательности данных, в которых будет описываться предыдущий опыт: состояние-действие-следующее состояние.
Ещё по теме: