7 лет назад
Машинное обучение в Spark: классификация, кластеризация и ALS
На этих занятиях мы научились работать с библиотекой pyspark.ml, которую можно назвать аналогом sklearn, но для работы в Spark. Преимущество этой библиотеки - она позволяет обучать модели распределенно, однако хорошо себя показывает только на больших объемах данных. Обучение и создание моделей примерно такое же как в sklearn: импортируем нужную модель, берем данные и обучаем на них. Также есть инструменты для токенизации, работы с текстом и проверки качества модели. Ну и классификация с кластеризацией такие же как в sklearn...
328 читали · 1 год назад
🤖 Машинное обучение: что это такое и как оно работает
В этой статье мы разберемся, что такое машинное обучение, как оно работает, из каких компонентов состоит и как применяется на практике для решения сложных задач вроде распознавания образов, прогнозирования и классификации данных. Зачем нам машинное обучение В детективных фильмах следователям часто приходится в поисках улик просматривать многочасовые записи с камер видеонаблюдения. Если приметы подозреваемого (внешность, одежда) уже известны, задача упрощается. Но что, если преступника еще предстоит...