Разработчик ПО Юрий Цой — о том, как работает AutoML, чем он отличается от агентов и почему большие модели не всегда доходят до реального рынка
Разработчик ПО Юрий Цой — о том, как работает AutoML, чем он отличается от агентов и почему большие модели не всегда доходят до реального рынка
Последние десять лет Юрий Цой занимается разработкой программного обеспечения, которое использует анализ данных и машинное обучение для решения прикладных задач в финансовых организациях — банках, страховых компаниях, кредитных учреждениях.
Юрий — кандидат технических наук, выпускник ТПУ, специалист по нейроэволюции и обработке изображений, а в 2000-е — преподаватель томских вузов. Когда-то он работал в академической среде и занимался исследованиями, но давно ушёл в прикладную разработку, где наукоёмкость уступает место практической пользе и бизнес-логике. В разговоре с нами Юрий рассказал о технологии AutoML — автоматическом машинном обучении, которое ещё несколько лет назад казалось прорывом для компаний, не имевших собственных команд data science, а сегодня переживает кризис идентичности на фоне появления ИИ-агентов и изменившегося рынка.
Что такое AutoML и чем он отличается от ML?
Суть технологии проста и лежит на поверхности. На чём основывается традиционное машинное обучение? Есть данные, и исследователь обучает алгоритмы предсказывать что-то на основе этих данных — например, вероятность дефолта заёмщика или риск страхового случая. AutoML делает практически то же самое, только весь промежуточный путь от сырых данных до готового прогноза строится автоматически, без участия человека на каждом этапе.
Система сама решает, какие признаки нужно использовать, какие новые признаки сгенерировать (это называется feature engineering), какой алгоритм машинного обучения лучше подходит для конкретной задачи из множества доступных вариантов, и как именно его обучить — какие гиперпараметры подобрать, сколько итераций провести, как валидировать результат… Это удобно для клиентов, у которых есть данные и понимание бизнес-задачи, но нет глубокой экспертизы в машинном обучении. Особенно актуально это было для финансовых компаний, где традиционно модели строились на базе классической статистики — логистической регрессии или линейных моделей. В то время машинное обучение воспринималось как нечто новое, сложное и не всегда понятное.
AutoML призван был стать мостом между тем, что есть у компании (данные, бизнес-потребность), и тем, что она хочет получить (работающую прогнозную модель). Технология автоматизирует рутинные этапы, которые раньше требовали участия специалиста — перебор алгоритмов, настройку параметров и оценку качества на тестовых выборках. По сути, AutoML — это не какая-то принципиально новая математика или алгоритм, а именно автоматизация цепочки решений, которую обычно принимает data scientist вручную.
Где применяется AutoML: https://postnauka.org/faq/157879