"Ошибка памяти" - это слишком знакомое страшное сообщение в блокнотах Jupyter, когда мы пытаемся выполнить алгоритм машинного обучения или глубокого обучения на большом наборе данных. Большинство из нас не имеют доступа к неограниченной вычислительной мощности на наших машинах. И давайте посмотрим правде в глаза, дорогого стоит, чтобы получить приличный графический процессор от существующих облачных провайдеров.
Итак, как мы строим большие модели глубокого обучения, не тратя наши сбережения?
И так - это Google Colaboratory! Это облачная платформа от Google, которая позволяет нам обучать наши модели на бесплатных машинах! Звучит слишком хорошо, чтобы быть правдой, но благодаря Google мы теперь можем работать с большими наборами данных, строить сложные модели и даже легко делиться своей работой с другими. Вот в чем сила Google Colab.
Содержание
- Графические процессоры и TPUs
- Начало работы с Google Colab
- Среда выполнения
- Использование терминальных команд
- Клонирование репозиториев в блокнот
- Загрузка файлов и данных
- Сохранение Вашего блокнота
- Экспорт данных / файлов из блокнота
- Общий доступ к Вашему блокноту
- А что дальше?
Графические процессоры и TPU
Спросите любого, кто использует Colab, почему они его любят. Ответ единодушен-наличие бесплатных графических процессоров и ТПУ.
Обучение моделей, особенно глубокого обучения, занимает много часов на процессоре. Мы все сталкивались с этой проблемой на наших локальных машинах. Графические процессоры и ТПУ, с другой стороны, могут обучать эти модели в течение нескольких минут или секунд.
Google Colab предоставляет нам три типа среды выполнения для наших ноутбуков:
- ЦПУ,
- Графические процессоры
- ТПУ
Давайте взглянем на спецификации различных сред выполнения, предлагаемых Google Colab:
Начало работы с Google Colab
Вы можете перейти в Google Colab, используя эту ссылку. Это экран, который вы получите, когда откроете Colab:
Нажмите на на кнопку создать блокнот, чтобы создать новый ноутбук Colab. Вы также можете загрузить свой локальный ноутбук в Colab, нажав кнопку Загрузить:
Вы также можете импортировать свой ноутбук с Google Диска или GitHub, но они требуют процесса аутентификации.
Вы можете переименовать свой блокнот, нажав на его название и изменив его на все, что вы хотите. Я обычно называю их в соответствии с проектом, над которым работаю.
Весь код размещается в ячейках, которые выполняются отдельно друг от друга.
Вставим тестовый код ->
Для запуска ячейки нажмет ctrl+enter или на кнопочку play. В результате у нас визуализируются случайно сгенерированные данные:
Среда выполнения
Возможность выбора различных типов сред выполнения-это то, что делает Colab таким популярным и мощным. Вот шаги, чтобы изменить среду выполнения вашего ноутбука:
Шаг 1: Нажмите кнопку "Среда выполнения’ в верхнем меню и выберите пункт "Сменить среду выполнения":
Шаг 2: Здесь вы можете изменить аппаратный ускоритель в соответствии с вашими потребностями:
Я прошу Вас закрыть свой ноутбук после того, как вы закончите свою работу, чтобы другие могли использовать эти ресурсы, потому что различные пользователи разделяют их. Вы можете прекратить работу своего блокнота так:
Использование терминальных команд
Ячейку можно использовать для выполнения команд терминала. Большинство популярных библиотек устанавливаются по умолчанию на Google Colab. Да, библиотеки Python, такие как Pandas, NumPy, scikit-learn, все предварительно установлены.
Если вы хотите запустить другую библиотеку Python, вы всегда можете установить ее в свой блокнот следующим образом:
Довольно легко, правда? Все похоже на то, как это работает в обычном терминале. Мы просто обязаны поставить восклицательный знак(!) перед написанием каждой терминальной команды, например:
Клонирование репозиториев в блокнот
Просто зайдите в свой репозиторий Git и скопируйте ссылку клонирования репозитория:
И наберите:
После чего репозиторий успешно клонируется:
Загрузка файлов и данных
Вот обязательный аспект для любого исследователя данных. Возможность импортировать набор данных в блокнот - это первый шаг в вашем путешествии по анализу данных.
Самый простой подход заключается в том, чтобы загрузить свой набор данных непосредственно в блокнот:
Вы можете использовать этот подход, если ваш набор данных или файл очень мал, потому что скорость загрузки в этом методе довольно низкая. Еще один подход, который я рекомендую, - это загрузить свой набор данных на Google Диск и смонтировать его на блокнот.
Вы также можете загрузить свой набор данных на любую другую платформу и получить доступ к нему по ссылке.
Сохранение Вашего блокнота
Все записные книжки на Colab хранятся на вашем Google Диске. Самое лучшее в Colab - это то, что ваш ноутбук автоматически сохраняется через определенный промежуток времени, и вы не теряете свой прогресс.
Если вы хотите, вы можете экспортировать и сохранить свой ноутбук как в формате python-файла *. py, так и в формате блокнота *.ipynb:
Кроме того, вы также можете сохранить копию своей записной книжки непосредственно на GitHub или создать GitHub Gist:
Экспорт данных / файлов из Google Colab
Вы можете экспортировать свои файлы непосредственно на Google Диск или экспортировать их в экземпляр виртуальной машины и загрузить самостоятельно:
Экспорт непосредственно на диск является лучшим вариантом, когда у вас есть большие файлы или более одного файла. Вы поймете эти нюансы, когда будете работать над большими проектами.
Общий Доступ К Вашему Блокноту
Google Colab также дает нам простой способ поделиться своей работой с другими:
Просто нажмите кнопку Поделиться, и это даст нам возможность создать общедоступную ссылку, которой мы можем поделиться через любую платформу. Вы также можете пригласить других людей, используя их идентификаторы электронной почты.
А что дальше?
Дальше будет более близкое знакомство с Google Colaboratory, реализация загрузки больших данных (ОЗУ не бесконечно), обучение моделей, визуализация данных и многое другое!
Так что подписывайся дорогой читатель и самообучайся!
