Машинное обучение за 10 уроков!

Предыдущий урок: Урок 9. Как понять, что модель работает хорошо — метрики, ошибки и проверка качества Мы дошли до последнего урока, и теперь самое время собрать всё, чему мы научились, в один большой практический проект. Это будет не просто “ещё одна статья”, а полноценный пример того, как создаются реальные ML-системы: от понимания данных — до готовой модели, оценивающей медицинские параметры. Вместо недвижимости, как в предыдущих уроках, мы возьмём датасет о диабете, который входит в стандартную библиотеку sklearn...

Предыдущий урок: Урок 8. Кластеризация — как компьютер сам находит группы, когда ему ничего не сказали До этого момента мы научились строить модели, обучать их, визуализировать данные и даже находить скрытые группы. Но есть одна огромная проблема, на которую многие новички сначала не обращают внимания — как понять, что модель действительно работает так, как нам нужно? Человек может смотреть на графики, сравнивать таблички, наблюдать, делает ли модель что-то “разумное”. Но машинное обучение работает...

Предыдущий урок: Урок 7. Случайный лес — когда думают не одно, а много деревьев До этого момента мы занимались задачами обучения с учителем. Это когда у нас есть данные, и к каждому объекту прикреплена “правильная метка” — например, что цветок относится к виду «setosa» или что площадь квартиры равна 70 м² и цена у неё — 8 200 000 рублей. Модель смотрит на примеры, учится и затем делает предсказания для новых данных. Но в реальной жизни огромное количество задач устроены иначе. Например: база клиентов магазина; коллекция фотографий; список товаров; набор отзывов; данные датчиков с завода...

Предыдущий урок: Урок 6. Деревья решений — как компьютер “задаёт вопросы” и принимает решения В предыдущем уроке мы познакомились с деревьями решений — удивительно простыми, визуальными и понятными моделями, которые принимают решение, задавая цепочку логических вопросов. Они работают почти как человек: «Если ширина лепестка больше X, то это…». Мы увидели, что такие модели действительно хороши, но у них есть слабое место: деревья очень легко переобучаются. Стоит им дать слишком много свободы — и они начинают запоминать данные вместо того, чтобы учиться мыслить обобщённо...

Предыдущий урок: Урок 5. Классификация — учим компьютер различать объекты. Первая модель KNN В прошлых уроках мы научились решать две большие задачи: — регрессию (выдавать числа), — классификацию (определять классы). Мы уже использовали алгоритмы, основанные на разных идеях: линейная регрессия ищет прямую, KNN — ближайших соседей. Но сейчас мы познакомимся с одним из самых популярных и интуитивно понятных методов машинного обучения — деревьями решений. Этот алгоритм замечателен тем, что буквально...