Машинное обучение (ML) - это метод, с помощью которого алгоритмы адаптируют свою деятельность используя динамические данные, а не запрограммированные . Написание и «обучение» этих алгоритмов требует времени и часто вызывает у общественности опасения.
Чтобы преодолеть эти ограничения и обеспечить прогресс в машинном обучении, исследователи исследовали область AutoML , благодаря которой процесс машинного обучения можно постепенно автоматизировать, полагаясь на компьютерные обучаемые системы, а не только на написаные человеком алгоритмы.
До сих пор, хотя некоторые этапы были автоматизированы, эталон практически нулевого человеческого участия еще не достигнут. Тем не менее, команда ученых из Google видела «предварительный успех» в разработке алгоритмов машинного обучения с нуля, что указывает на «многообещающее новое направление для этой области».
В документе, опубликованном на сервере препринтов arXiv , разработчики из Google использовали концепции дарвинизма, такие как естественный отбор, чтобы позволить алгоритмам ML улучшать совершенствовать самих себя. Комбинируя базовые математические операции, их программа, называемая AutoML-Zero, сгенерировала 100 уникальных алгоритмов, которые они затем протестировали для простых задач, таких как распознавание изображений.
После проведения сравнительного анализа, лучшие из них были сохранены, и в их код были введены небольшие случайные «мутации». Так был найден высокопроизводительный набор алгоритмов, некоторые из которых сопоставимы с рядом классических методов машинного обучения, таких как нейронные сети (своего рода компьютерная программа, которая свободно имитирует работу наших мозговых клеток для создания решения).
Результаты работы подтвердили концепцию исследователей, и они надеются, что процессы могут быть расширены, чтобы в конечном итоге создать гораздо более сложные модели ИИ. Программа обнаруживает алгоритмы, используя свободное модели эволюции. Он начинается с создания совокупности из 100 возможных алгоритмов путем случайного объединения математических операций. Затем она проверяет их на простой задаче, такой как проблема распознавания изображений, когда необходимо решить, что изображено на картинке, кошка или грузовик. В каждом цикле программа сравнивает производительность алгоритмов с разработанными вручную алгоритмами. Копии лучших исполнителей «видоизменяются» путем случайной замены, редактирования или удаления некоторого кода для создания небольших вариаций лучших алгоритмов, цикл повторяется. «Наша цель - показать, что AutoML может пойти дальше: сегодня можно автоматически обнаруживать полные алгоритмы машинного обучения, просто используя базовые математические операции в качестве строительных блоков», - пишут авторы в своей статье статье. «Начиная с пустых компонентных функций и используя только основные математические операции, мы разработали линейные регрессоры, нейронные сети, градиентный спуск, мультипликативные взаимодействия, усреднение веса, нормализованные градиенты и т. д.». Система создает тысячи таких групп одновременно, что позволяет ей использовать десятки тысяч алгоритмов в секунду, пока не найдет хорошее решение. Программа также использует приемы для ускорения поиска, такие как случайный обмен алгоритмами между популяциями, чтобы предотвратить любые эволюционные тупики, и автоматическое устранение дублирующих алгоритмов. «Эти результаты многообещающие, но предстоит еще много работы».
Опубликовано в <Science>