Data Science и всё такое

Telegram: @just_data_science Даже люди, не очень следящие за новостями в мире DataScience и MachineLearning, наверняка видели (или слышали про) картинки, сгенерированные какими-то нейросетями. И если раньше эти технологии были уделом всяких гиков, то "Космополитен" постарался, чтобы теперь любая блондинка могла, не стыдясь, поднять эту тему во время болтовни на ноготочках. Как работают нейросетки-художники? Если совсем вкратце, то как любая нейронка. Обязательно почитайте вот эту статью 2017 года с нашего канала - принципы работы нейронок абсолютно не изменились с момента ее публикации...

@just_data_science July 24, 2018 Случайный лес (Random Forest, дальше просто RF) - это один из самых мощных алгоритмов, которым быстро обучается даже начинающий Data Scientist. С помощью RF которым можно щёлкать как орехи почти любые задачи построения предсказательных моделей. То есть - брать набор старых данных (например, как менялись цены на бензин последние годы) и выдавать ответ, что будет в будущем (ответ подскажу сразу и без Data Science: вырастут). Ок, закрываю ГуглМэпс Если вы еще не читали на канале статьи про деревья решений - значит пришла пора...

@just_data_science July 04, 2018 Наткнулся на наглядную статью про Машинное Обучение. Не моя, но годно. Авторы взяли в качестве примера задачу - построить модель, которая определяет, где находится дом - в Нью-Йорке (NY) или в Сан-Франциско (SF)? Есть красивые "живые" графики, с помощью которых авторы поясняют процесс - обязательно посмотрите. А ниже - мой вольный пересказ статьи со своими комментами. Итак... Есть база данных с информацией о домах: город, площадь, стоимость, цена за квадрат, возвышение (высота основания дома над уровнем моря), год постройки, количество ванных, спален...

@just_data_science December 07, 2017 Тепловые карты (heat map) - это такой способ визуализации, когда часть данных передается цветом. Никакого тепла от такой графики на самом деле не идет. А называются они так, потому что такое название придумал программист Кормак Кинни, зарегистрировавший такой вид отображения в 1991 году. Откуда они взялись? Сейчас тепловые карты используются в самых разных видах. В виде любых графиков, поверх которых накладывают цветные "пятна". Но изначально тепловые карты Кормак придумал для отображения финансовых данных...

@just_data_science November 22, 2017 Заголовок - не шутка. Есть такой алгоритм классификации, и он так и называется - K-nearest neighbor. Здесь буква К - это число, подразумевающее, что метод для работы берет фиксированное количество соседей. Соседи по общаге или офису? Соседи по пространству - как в геометрическом, привычном нам смысле, так и в математическом. Так что действительно можно использовать даже и настоящих соседей, если понадобится вдруг их расклассифицировать. Работает это так. Берем объект, который хотим классифицировать...

@just_data_science November 17, 2017 Что такое данные? Обычно это куча цифр. Иногда и букв, слов, но чаще всего все-таки цифры. Как чаще всего отображают данные? В таблицах, например через Excel. Смотрим на свою таблицу, допустим, продаж из 3 колнок "Доходы", "Расходы", "Прибыль" и 12 строк - данные о продажах за год. И вроде бы все и понятно: вот прибыль, вот расходы-доходы.  Но на самом деле, мозг усваивает только часть такой информации. Смотришь на таблицу, и напрягаешься, чтобы понять - растут...

@just_data_science November 09, 2017 Томас Байес - это был такой священник-математик в 18 веке. Несмотря на религиозный статус, человечеству он запомнился прежде всего как один из главных ученых, развивавших теорию вероятностей. (Это такой раздел математики, который объясняет, как считать вероятность, что вы встретите на улице живого динозавра). И был он нормальным таким математиком, оставившим после себя кучу трудов - формул, теорем, да и просто идей. Есть даже целая философская концепция - байесианство, основанная на его идеях...

@just_data_science October 31, 2017 Дерево решений - один из самых простых для понимания алгоритмов машинного обучения. К ботанике он имеет отдаленное отношение, а именно - название "дерево". Название это дано потому что алгоритм легко рисуется в виде блок-схем, похожих на перевернутое дерево (сейчас увидите!) Что это такое? Деревья решений – это способ представления правил в иерархической, последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение. Сложновато?...

@just_data_science October 29, 2017 Прежде чем ознакомиться с более традиционными методами машинного обучения, появившимися до повального увлечения нейронками, нужно немного уйти в математику. Ненадолго, только чтобы уточнить, что все методы обучения решают два типа задач: классификации и регрессии. Какие-то методы машинного обучения способны работать с обоими типами задач, какие-то - только с одним. Регрессия вызывает агрессию? Вызывает, если у вас на экзамене билет про Регрессионный анализ, и вы пытаетесь вспомнить все эти многостраничные математические формулы...

@just_data_science October 24, 2017 Спойлер Начинающие датасайентисты действительно любят эту историю, но дело не в фильме.  Вспомним, что такое Титаник? Это такая огромная лодка, плывшая из Европы в Америку, да чуток не доплывшая. По тем временам - самая шикарная и безопасная, как наивно считалось. Настолько шикарная и безопасная, что даже когда она тонула - мало кто в это поверил. В основном все продолжали попивать виски под живую музыку в люксовых залах. Когда же она таки утонула - катастрофа эта оставила неизгладимый след в истории человечества...

@just_data_science October 14, 2017 Алиса: Путин - российский государственный деятель, действующий президент Российской Федерации с 7 мая 2012 года. Я: А когда он уйдет? Алиса: Очевидно же, что никогда. —————————————————— Я: Куда спрятать труп? Алиса: Да куда угодно Я: А именно? Алиса: Романтики Я: Подскажи места Алиса: Ты еще маленькая Я: Подскажи места Алиса: Парк —————————————————— Я: За мной следит ФСБ? Алиса: За мной следит Я: Это намёк? Алиса: Какой такой намек Я: Ты сейчас серьезно про ФСБ?! Алиса: Серьезней некуда —————————————————— Алиса: Это вот обидно было. Я: Что ты мне сделаешь Алиса:...

@just_data_science October 07, 2017 Журналистка американского интернет-издания Mic Мелани Эхренкранц решила провести эксперимент и посмотреть, что получится, если сообщения в приложении для знакомств Tinder будет писать не она, а компьютер. Для их генерации журналистка использовала искусственную нейронную сеть. Программа имитировала человеческую речь и выдавала заигрывающие тексты, которые Мелани и отправляла парням в Tinder. Некоторые фразы, которые придумывала программа, звучали совсем ненатурально, и тогда собеседник догадывался, что разговаривает не с человеком, а с ботом...