Machine Learning Explained

Такую награду получило две статьи. Про первую статью уже было тут. Вторая статья называется Rates of Convergence for Sparse Variational Gaussian Process Regression. Как и предполагает название, описывает она достижения в области сходимости регреcсии на основе гауссовских процессов. Гауссовские процессы часто используют для задания априорных распределения в байесовских моделях. Их плюс в том, что известно аналитическое решение для апостериорного и маргинального распределения для регрессионной модели. Их минус - в вычислительной сложности O(N³) и O(N²) по памяти, где N - количество экземпляров в данных...

Классическая классика ML Pattern Recognition and Machine Learning, Bishop The Elements of Statistical Learning Классика нейронок Neural Networks and Learning Machines, Haykin Нейросети Deep Learning...

Для тех, кто только начинает свой путь в байесовских методах, есть отличный курс на русском и материалы к нему. Для тех, кто уже продолжает, есть записи с летней школы Deep Bayes (на английском). И наконец,...

Заметка о том, что работает и не работает из практик Agile в data science. Часть 1 Часть 2 TL;DR Работает: - планирование и приоритезация - разбиение на задачи с ограничением по времени - ретроспективы и демо. Что не работает и как быть: - временные оценки - их можно заменить ограниченными по времени экспериментальными задачами - быстро меняющиеся требования - собственно использование планирования и приоритезации с фиксацией задач хотя бы на время спринта должно показать бизнесу, что работа без переключения контекста эффективнее - ожидание результата в виде кода в конце спринта - здесь поможет...

​​Есть такой исследователь из Оксфорда - Yarin Gal. Он занимается Bayesian Deep Learning и с 2016 года является главным организатором Bayesian Deep Learning Workshop на NeurIPS. Сквозной темой своих исследований он сам называет "понимание эмпирически разработанных техник машинного обучения". Только с начала этого года появилось десять статей с его участием arxiv. Тем не менее самой цитируемой остается статья "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning"....

​​Буквально три дня назад вышла статья от Google Research и Google Hardware о представлении трехмерных объектов в виде набора выпуклых оболочек. Это представление обучается через нейронную сеть и дифференцируемо. Если упростить до двумерного примера, то модель, имея выпуклый объект, может представить его в виде набора полуплоскостей (на картинке понятнее). При этом возникает два представления объекта: в виде полигональной сетки (polygon mesh) и в виде индикаторной функции, которая отображает точку в 0, 1 (принадлежит объекту или нет)...

Если вы ещё сомневаетесь, что трансформеры повсюду, то вот еще одно тому доказательство. Тринадцать дней назад закончилось соревнование Predicting Molecular Properties на Kaggle. Для пар атомов в молекулах, имея тип связи и структуру молекулы, нужно было предсказать константу связи, то есть одно число. Было дано еще много физической информации, но только для тренировочного сета, значит, использовать её напрямую не получилось бы. Такие алгоритмы важны в области создания новых молекул, которые выполнения различных задач на клеточном уровне, в том числе для создания лекарств...

"Когда-нибудь мечтали, чтобы у вас была не эффективно написанная, но понятная библиотека ML алгоритмов, реализованная только с использованием numpy? Нет?" Хватит мечтать, все уже сделали за вас. Остается только смотреть и изучать, для самых увлеченных - делать pull request'ы. https://github.com/ddbourgin/numpy-ml...

Основное отличие PyTorch от TensorFlow было в том, что PyTorch использует динамический граф вычислений, а TensorFlow статический. То есть TensorFlow сначала строит граф вычислений, а потом повторяет одни и те же вычисления для разных входных значений. PyTorch же создает граф для каждого входного значения. Это позволяет в PyTorch использовать циклы, условия и другие способы изменения порядка выполнения (control flow) в зависимости от входного значения. Отличием это было, потому что вот-вот появится TensorFlow 2...

Недавно мне попалась очередная подборка "44 часто задаваемых вопроса в Deep Learning" с ответами. Предположительно для подготовки к собеседованиям. Помимо всяких скучных вопросов типа чем Machine Learning отличается от Deep Learning (кто-то реально такое спрашивает?) был вопрос "Что такое Computation Graph?" И автор дает ответ: "Это несколько операций в TensorFlow, организованных в виде графа". Не советую отвечать так. Это покажет, что с понятием computation graph вы встречались только в документации к tensorflow...

Многие из вас наверняка уже слышали о Roberta - модель от Фейсбука, которая обгоняет Bert и xlnet на таких бенчмарках, как glue и squad. Авторы модели подняли интересный вопрос о важности выбора архитектуры...

Разрабатывать новые эффективные модели это круто, но ещё круче их применять в жизни. Тут возникает столько обстоятельств, что конечно ни одной машине не справиться. Возьмём только одну сферу, очень важную, анализ медицинских изображений. На этой неделе вышло 2 статьи, которые объединяет один факт - они появились, потому что все наши любимые крутые алгоритмы столкнулись с реальной жизнью. В первой, авторы из Google Health разработали микроскоп дополненной реальности. На самом деле, это обычный микроскоп...