Для тех, кто не знает - Google BigQuery, это такая база данных, в которой вы очень просто можете хранить очень много данных, при этом очень дешево. Эта БД предоставляет стандартный SQL интерфейс, что значительно упрощает взаимодействие с ней для знающих людей - это вам на MongoDb какой-нить, со своим птичьим языком запросов.
Так вот, где-то около года назад в BigQuery был добавлен ML движок. Простой, по началу продет как только с линейной регрессией и бинарной логистической регрессией. Настоящие ML сварщики сказали, что это - фигня и там все равно нет решающих деревьев, а значит ручками в питоне все равно будут работать и данные воротить. Вот только данные эти надо еще и скачать сперва и иметь мощный комп. Ровно так думает и Гугл.
Так вот, недавно я решил опять потыкать палкой в их муравейник, захожу к ним на страничку и вижу, что BigQuery уже почти во всеоружии.
Поддерживаемые модели в BigQuery ML
- Линейная регрессия. Для прогнозирования - например продажи товара в определенный день
- Бинарная логистическая регрессия. Для классификации - например совершит ли пользователь покупку или нет. Имеет два возможных значения.
- Мультиклассовая логистическая регрессия. Для классификации - прогноз нескольких возможных значений. Например - будут ли паты «небольшими», «средними», «большими»
- K-means. Для сегментации данных, например, чтобы разделить клиентские сегменты. Важно, что k-means обучается без учителя.
- Факторизация матрицы. Для создания рекомендательных систем. Используйте данные ваших клиентов, чтобы предсказать поведение новых и рекомендовать товар к покупке.
- Временные ряды. Для прогнозирования временных рядов. Модель автоматически обрабатывает аномалии, сезонность и праздники
- Boosted Tree. Для создания моделей классификации и регрессии на основе XGBoost
- Deep Neural Network (DNN). Для создания глубоких нейронных сетей на основе известного TensorFlow
- AutoML Table. Это ML движок в Google Cloud. Лучше почитать самим что это и для чего
- Импорт моделей TensorFlow. Загружайте ранее обученные модели TensorFlow и выполняйте прогноз в BigQueryML
А зачем это вообще?
- Это SQL, а не какой-нить pandas и т.д.
- Это реально просто по сравнению с решениями на pandas + numpy + catboost и пр.
- Не нужно ничего экспортировать из BigQuery. Это особенно актуально, если данных у вас реально много.
- Это быстро работает
- Обученную модель можно выгрузить и стартануть у себя локально http сервер с api
Да, это платная история, но это не стоит много денег, плюс ваш комп не обязан быть быстрым.
Читайте на сайте у BigQuery ML подробности.
А на этом всё, спасибо за внимание!
Подписывайтесь на канал, ставьте лайки, оставляйте комментарии - это помогает продвижению в Дзене.
Кроме этого:
Подписывайтесь в Telegram: https://t.me/lets_goto_it
#bigquery #ml #machine learning #sql #машинное обучение #машинный интеллект #ai