Заметки DataScientist`а

0. Импорт библиотек Подключение к облаку: from google.colab import drive drive.mount('/content/gdrive') Для работы с таблицами: import pandas as pd Для работы с массивами и математических операций: import numpy as np from math import sqrt Для обучения: from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error Для сжатия и разложения матриц: import scipy.sparse as sp from scipy.sparse.linalg import svds # если не установлено, то скачиваем через "!pip install scipy" 1...

0. Импорт библиотек Подключение к облаку: from google.colab import drive drive.mount('/content/gdrive') Импорт библиотек: import pandas as pd import numpy as np from scipy.sparse import csr_matrix from sklearn.neighbors import NearestNeighbors 1. Загрузка данных и первичная работа с ними Загрузка таблиц с данными: movies = pd.read_csv('/content/gdrive/MyDrive/recomend/movies.csv') ratings = pd.read_csv('/content/gdrive/MyDrive/recomend/ratings.csv') Создание pivot таблицы: user_item_matrix = ratings...

Импорт облака: from google.colab import drive drive.mount('/content/gdrive') Импорт библиотек: import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from math import sqrt from  sklearn.metrics.pairwise import pairwise_distances Загрузка данных: movies = pd.read_csv('/content/gdrive/MyDrive/recomend/movies.csv') ratings = pd.read_csv('/content/gdrive/MyDrive/recomend/ratings.csv') Подсчёт общего количества пользователей и предметов: n_users = len(ratings['userId'].unique()) n_movies = len(ratings['movieId'].unique()) Приведение movie_id в пригодный вид (от 0 до n_movies): movie_ids = ratings['movieId']...

0. Импорт библиотек Для работы с облаком в Google Colab: from google.colab import drive drive.mount('/content/gdrive') Для работы с ОС и взаимодействия с локальными файлами: import os import shutil Для математических операций, удобнoй работы с матрицами и массивами: import numpy as np Для работы с таблицами: import pandas as pd Для визуализации данных и вывода статистики по обучению import matplotlib.pyplot as plt Самое важное из TF: import keras_tuner # !pip install keras_tuner from tensorflow.keras.models import Sequential, save_model, load_model from tensorflow.keras.layers import Dense, Embedding, Conv2D, MaxPooling2D, Flatten, BatchNormalization, Dropout, Activation from tensorflow...