Найти в Дзене
Модель классификации от дилетанта
Мы продолжаем цикл статей: И в этот раз мы с вами займемся классификацией. Помните, мы как-то обсуждали, что точно спрогнозировать определенное значение почти невозможно, зато можно с определенной вероятностью попасть в диапазон значений. Теперь мы делаем следующий шаг - вместо диапазона значений используем классификацию. Например, прогноз на падение в пределах одного стандартного отклонения можно обозначить цифрой буквой, словом и т.д., таким образом, мы будем прогнозировать какого класса будет следующее значение...
4 года назад
Линейная регрессия от дилетанта
В прошлой статье мы подготовили данные, но на самом деле эта статья продолжает серию статей: тыц, тыц, тыц, тыц, тыц и тыц (получается это 8 статья). Как уже вошло в привычку, создаем новый блокнот, посмотреть который вы можете здесь. Импортируем библиотеки: import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error from sklearn.preprocessing...
4 года назад
Получение и обработка данных для машинного обучения от дилетанта
С одной стороны мы продолжаем решать задачу, поставленную здесь, а потом было несколько шагов по решению этой задачи: С другой стороны мы начинаем все с начала, в том числе с уточнения условий задачи. В прошлый раз мы пытались спрогнозировать будущее значение цены, анализируя предыдущие цены (авторегрессия). Сейчас мы будем прогнозировать цену по значениям нескольких показателей, с которыми эта цена коррелирует, то есть движения цен похожи друг на друга. Попробуем логически определить от чего зависит валютная пара доллар/рубль, ну естественно от доллара, потому что он в числителе этой дроби. И...
4 года назад
Долгосрочный анализ временных рядов от дилетанта
Каюсь, упустил основную цель, которую обозначил в самом начале. К которой последовательно двигались здесь и здесь, а вот здесь мы вроде как достигли этой цели, но внимательный читатель может вполне закономерно высказать свое "фи", потому что мы прогнозировали только один день вперед. А уже вот тут сказали, что все это неправильно. И так возвращаемся к поставленной цели - получить прогноз (пусть плохой), но на месяц вперед, тем более месяц уже прошел с того момента как мы стали прогнозировать. Поэтому сделаем анализ на старых данных и сравним с реальным значением...
4 года назад
Можно ли заработать спекуляциями на бирже?
Эта тема поднималась в этой статье, но в ней использовались данные 2020 года. И вот 16 декабря 2021 года закончен конкурс "Лучший частный инвестор 2021", результаты которого можно посмотреть здесь. Мы же попробуем сделать анализ по эти результатам. Во-первых, количество участников выросло в разы и превысило 20 тысяч. Но количество не перешло в качество. Даже визуализировать данные по доходности участников очень сложно из-за огромных выбросов. Левый выброс доходит почти до -100, а правый превышает тысячу процентов...
4 года назад
Что не так с анализом временных рядов от дилетанта, показавшим хорошие результаты?
Данная статья является продолжением серии статей, которая началась здесь, развилась здесь и здесь, а здесь мы получили хороший прогноз. Но тут же было предупреждение, что здесь закралась ошибка. Сейчас пришло время разобраться, что мы делали неправильно. И делать это мы будем в предыдущем блокноте, немного модифицируя его. Если запутаетесь, то можно подглядеть здесь. И начнем мы с оценки "правильности" модели, и делать это мы с помощью функции среднеквадратичной ошибки, а именно возьмем прогноз и сравним с фактическими данными, а результат возведем в квадрат, чтобы устранить знак ошибки...
4 года назад
Анализ временных рядов от дилетанта
Мы с вами продолжаем практический курс по анализу данных, и это уже 4 занятие. Предыдущие занятия можно посмотреть здесь, здесь и здесь. На последнем занятии мы подготовили данные, которые сохранили в csv-файл, а также определили, что вместо 4 цен можно использовать цену закрытия. И по сложившейся традиции мы создаем новый блокнот, подключаем гугл-диск. Весь код можно увидеть здесь. Мы начинаем с импорта библиотек: import pandas as pd import numpy as np import matplotlib.pyplot as plt import statsmodels...
4 года назад
Продолжение обработки данных в python от дилетанта
Это третья статья в данном цикле. Предыдущие статьи можно посмотреть здесь и здесь. В прошлый раз мы с вами закончили тем, что сохранили наши данные в csv. Теперь пришло время загрузить их из csv. И сделаем мы это в новом блокноте, для этого просто создайте новый блокнот, в котором нужно подключить ваш гугл-диск и импортировать библиотеки: import numpy as np import pandas as pd df = pd.read_csv('/content/drive/MyDrive/usdrub.csv', parse_dates=['date']) Почему мы не подключили библиотеку pandas_datareader? Потому что она нам не нужна в этом занятии, мы будем работать с данными из csv...
4 года назад
Получение и обработка данных в python от дилетанта
Это вторая статья цикла анализ данных в python, первая статья была введением и ответами на общие вопросы, в том числе о необходимых приготовлениях. Запускаем браузер, заходим на colab, создаем новый блокнот. Можем сразу же переименовать, например, в FirstNote: Файл -> Переименовать. Сделаем еще одно действие в colab, а именно подключим Google-диск. Это можно было бы сделать и позже, а можно вообще обойтись без этого, но мы предполагаем, что мы будем работать в colab дольше одной сессии, поэтому...
4 года назад
Введение в анализ данных на python от дилетанта
Наверняка вы встречали большое количество предложений обучить вас специальности, которая будет в разы превосходить вашу текущую по заработной плате. И, наверняка, у вас на слуху: big data, data science, machine learning, deep learning, искусственный интеллект и т.д. Хоть названия разные, но на платных курсах будут вас обучать программированию на python, работе в jupyter notebook, использованию библиотек: numpy, pandas, matplotlib, sklearn, tensorflow и т.д. Некоторые учебные заведения добавляют...
4 года назад
Выгодно ли быть спекулянтом?
Определение спекулянта не носит какого-то отрицательного значения, потому что оно относится к профессиональной деятельности людей, занимающихся спекулятивной торговлей. Спекулятивная торговля подразумевает покупку актива по более дешевым ценам, чем его продажа. Противоположностью спекулянтам являются инвесторы, которые вкладывают свои средства в активы, которые будут генерировать прибыль. На Московской бирже оба типа участников называются инвесторами, и даже проводится конкурс на лучшего частного инвестора, где соревнуются спекулянты. Дело в том, что для настоящего инвестора 3 месяца (столько длится...
4 года назад
Макроэкономика США на пальцах
Существует огромное количество объяснений парадокса "вот в США деньги печатают, а инфляции у них нет". Давайте попробуем разобраться в этом вопросе и объяснить это простыми словами. Начнем с термина "печатания денег", который должен бы обозначать увеличение денежной массы без увеличения продукта, обеспечивающего эту увеличенную массу. Надо сразу заметить, что это определение уже устарело, но термин "печатания денег" остался. Существует несколько агрегатов, обозначающих денежную массу, мы же будем...
4 года назад