Библиотеки и модули облегчают жизнь программиста.
Когда вы работаете над проектами, вы можете столкнуться со сценариями, которые вы не сможете решить с помощью стандартного кодирования языка программирования. Нам нужны некоторые библиотеки и модули для преодоления этих проблем.
К счастью, Python поддерживает множество модулей и библиотек. Python имеет встроенные модули, а также сторонние библиотеки и модули для разработки.
CSV
Мы можем использовать файлы CSV (значения, разделенные запятыми) для хранения табличных данных. Наиболее часто используемый формат для импорта и экспорта данных из электронных таблиц и баз данных. Python поставляется с модулем под названием CSV для обработки CSV файлов.
Давайте рассмотрим один пример чтения данных из CSV-файла.
Создайте файл с именем sample.csv на своем ноутбуке и вставьте следующие данные:
Имя, возраст, год рождения
Инна, 21,1985
Алексей, 23,1990
Мария, 21,1987
У нас есть методы для чтения и записи в модуле CSV. Давайте посмотрим, как считывать данные из CSV-файлов с помощью модуля CSV.
import csv
with open('sample.csv') as file:
# создание программы чтения
reader = csv.reader(file)
# чтение построчно с помощью цикла
for row in reader:
# строка - это список, содержащий элементы из CSV-файла
# присоединение к списку с помощью метода join(список)
print(','.join(row))
Запустите приведенный выше код, чтобы увидеть результат.
У нас также будет вызываемый объект csv.writer() для записи данных в CSV файл. Поиграйте с другими методами самостоятельно, используя dir() и help()встроенные методы. У нас есть еще один модуль под названием JSON, который используется для обработки JSON файлов. Это также встроенный модуль.
Random
В Python есть модуль под названием random , который позволяет генерировать данные случайным образом. Мы можем создавать что угодно случайным образом, используя различные способы использования модуля random. Вы можете использовать этот модуль в таких приложениях, как крестики-нолики, игра в кости и т.д..,
Давайте посмотрим простую программу для генерации случайных целых чисел из заданного диапазона.
import random
# генерация случайного числа из диапазона 1-100
print(random.randint(1, 100))
Вы можете проверить другие методы модуля random, используя методы dir()и help(). Давайте напишем небольшую и простую игру, используя модуль random. Ну и конечно назовём её Игрой в Угадывание чисел.
Что такое игра в угадывание чисел?
Программа сгенерирует случайное число в диапазоне от 1 до 100. Пользователь будет угадывать число до тех пор, пока оно не совпадет со случайным числом, сгенерированным программой. Каждый раз, когда вы будете печатать, будет ли номер пользователя меньше случайного числа или больше случайного числа. Затем исходный код отобразит количество предположений.
Смотрите приведенный ниже код вышеупомянутой программы:
# импорт случайного модуля
import random
# генерация случайного числа
random_number = random.randint(1, 100)
# инициализируем номер предположения равным 0
guess_count = 0
# выполняется цикл до тех пор, пока пользователь не угадает случайное число
while True:
# получение пользовательского ввода
user_guessed_number = int(input("Enter a number in the range of 1-100:- "))
# проверка на равенство
if user_guessed_number == random_number:
print(f"You have guessed the number in {guess_count} guesses")
# разрывая петлю
break
elif user_guessed_number < random_number:
print("Слишком большое число")
elif user_guessed_number > random_number:
print("Слишком малое число")
# увеличение количества догадок
guess_count += 1
Tkinter
Tkinter - это встроенный модуль для разработки приложений с графическим пользовательским интерфейсом. Это удобно для начинающих. Мы можем разрабатывать приложения с графическим интерфейсом, такие как калькуляторы, системы входа в систему, текстовый редактор и т.д.; существует множество ресурсов для изучения разработки с графическим интерфейсом с помощью Tkinter.
Requests
Модуль Requests используется для отправки всех видов HTTP запросов на сервер. Это позволяет отправлять запросы HTTP / 1.1 . Мы также можем добавлять заголовки, данные и другие вещи, используя словари Python. Поскольку это модуль стороннего производителя, мы должны его установить. Запустите следующую команду в терминале или командной строке, чтобы установить модуль requests.
pip install requests
Работать с модулем requests очень просто. Мы можем начать работать с запросами без каких-либо предварительных знаний. Давайте посмотрим, как отправить get-запрос и что он возвращает.
import requests
# отправка запроса get
request = requests.get("https://www.google.com/")
#
print(request.status_code)
print(request.url)
print(request.request)
Приведенный выше код выведет status_code, URL и метод запроса (GET, POST). Вы также получите исходный URL -адрес. А ещё можно получить к нему доступ с помощью байтов request.content.
BeautifulSoup4
БиблиотекаBeautifulSoup используется для очистки веб-страниц. Это удобный модуль для работы. Даже новички могут начать работать с ним, используя docs. Смотрите пример кода, чтобы удалить детали отчетов клиентов.
Для установки BeautifulSoup, введя следующую команду в терминале / командной строке.
pip install beautifulsoup4
И, простая программа для вашей первой очистки:
## Очистка списка продуктов Consumer Report с помощью BeautifulSoup
## импортируя bs4, запрашивает модули
import bs4
import requests
## инициализация url-адреса
url = "https://www.consumerreports.org/cro/a-to-z-index/products/index.htm"
## получение ответа со страницы с помощью метода get модуля запросов
page = requests.get(url)
## сохранение содержимого страницы в переменной
html = page.content
## создание объекта BeautifulSoup
soup = bs4.BeautifulSoup(html, "lxml")
## смотрите класс или идентификатор тега, который содержит имена и ссылки
div_class = "crux-body-copy"
## получение всех divs с помощью метода find_all
div_tags = soup.find_all("div", class_=div_class) ## поиск divs, в котором есть упомянутый класс
## мы увидим все теги с тегами, у которых есть имя и ссылка внутри div
for tag in div_tags:
print(tag)
Numpy
Numpy используется для научных вычислений.
Позволяет нам работать с многомерными массивами. Реализации массивов в Python нет. В основном разработчики используют numpy в своих проектах машинного обучения. Это простая в освоении библиотека с открытым исходным кодом. Почти каждый инженер по машинному обучению или специалист по обработке данных использует этот модуль для сложных математических вычислений.
Выполните следующую команду для установки модуля numpy .
pip install numpy
Pandas
Pandas - это модуль анализа данных. Мы можем наиболее эффективно фильтровать данные, используя библиотеку pandas . Он предлагает различные типы структур данных, с которыми удобно работать. Он также обеспечивает обработку файлов в различных форматах.
Установите модуль с помощью следующей команды.
pip install pandas
Matplotlib
Matplotlib - это библиотека для построения 2D-графиков. Вы можете визуализировать данные с помощью Matplotlib.
Мы можем генерировать изображения фигур в разных форматах. Построить различные типы диаграмм, такие как столбчатые диаграммы, диаграммы ошибок, гистограммы, диаграммы рассеяния и т.д.
Вы можете установить matplotlib с помощью следующей команды.
pip install matplotlib
Краткое примечание: - Для удобства выполнения скриптов пайтана установите Anaconda, чтобы получить все библиотеки и модули, необходимые для Data Science.
TensorFlow
TensorFlow - это библиотека Python для машинного обучения, разработанная Google.
С помощью TensorFlow вы можете запускать стандартные алгоритмы машинного обучения, создавать нейронные сети и выполнять численные вычисления. Однако для работы с TensorFlow необходимо глубокое понимание векторов и алгебры.
Как использовать TensorFlow
Создайте проект, перейдите в него, а затем установите TensorFlow с помощью этой команды:
pip install tensorflow-cpu
TensorFlow довольно популярен по этим причинам:
- Гибкость: TensorFlow может выполнять различные задачи машинного обучения, такие как распознавание речи, изображений и обработка естественного языка, и это лишь некоторые из них.
- Масштабируемость: Вы можете использовать TensorFlow для обучения и развертывания моделей машинного обучения на различных аппаратных системах, таких как TPU, графические процессоры и CPU.
- Большое сообщество: TensorFlow привлекла большую базу пользователей с более чем 174 тысячами и 88 тысячами форков на GitHub.
- Расширяемый: Вы можете настроить TensorFlow в соответствии с конкретными потребностями вашего проекта.
TensorFlow - это бесплатный проект с открытым исходным кодом, исходный код которого находится на GitHub.
Keras
Keras - это интерфейс прикладного программирования с глубоким обучением (API), построенный на TensorFlow, платформе машинного обучения. Глубокое обучение - это подраздел машинного обучения. Keras был создан для быстрого экспериментирования, позволяя пользователям быстро переходить от идеи к продукту.
В то время как TensorFlow действует как инфраструктурный уровень для дифференцируемого программирования, Keras предлагает необходимые строительные блоки и абстракции для создания и доставки решений для машинного обучения. С Keras инженеры используют преимущества кроссплатформенных возможностей и масштабируемости TensorFlow.
Чтобы начать использовать Keras, установите его с помощью pip:
pip install keras
Почему Keras?
- Гибкий: Keras был создан с использованием принципа “постепенного раскрытия сложности”. Таким образом, вы можете создавать различные нейронные сети, поскольку он поддерживает различные оптимизаторы, функции активации и типы слоев.
- Простота использования: Keras создан простым, но не упрощенческим. Как инженер, Keras позволяет вам сосредоточиться на важных решениях, одновременно снимая с вас когнитивную нагрузку.
- Большое сообщество: Keras имеет большое подающее надежды сообщество с более чем 57,9тыс. звезд на GitHub.
- Масштабируемость: вы можете использовать Keras для экспериментов.
Keras - это бесплатная библиотека Python для глубокого обучения с открытым исходным кодом.
Scikitt-Learn
Scikitt-Learn - это модуль машинного обучения Python, построенный на SciPy. Модуль предлагает эффективные и простые инструменты, которые инженеры могут использовать для анализа прогнозных данных.
Scikitt-Learn имеет множество вариантов использования, таких как классификация, кластеризация, регрессия и предварительная обработка, среди прочих.
В функции классификации вы можете использовать этот модуль для определения категории объекта. Эта функция полезна для распознавания изображений и обнаружения спама.
Вы можете установить Scikitt-Learn в папку вашего проекта с помощью pip следующим образом:
pip install scikit-learn
После установки вы можете убедиться, что она правильно настроена, импортировав в свои файлы как:
import sklearn
Почему Scikitt-Learn?
- Различные алгоритмы машинного обучения: Вы можете получить доступ к алгоритмам, нейронных сетей и машин поддержки векторных вычислений.
- Визуализация модели: Модуль содержит различные инструменты для визуализации моделей машинного обучения.
- Оценка модели: С помощью этого модуля вы можете выполнять перекрестную проверку и оценивать показатели.
- Предварительная обработка данных: Вы можете выполнять уменьшение размерности, нормализацию и выбор функций с помощью инструмента предварительной обработки данных этого модуля.
Scikkit-Learn имеет открытый исходный код и коммерчески применим с лицензией BSD.
# Веб-фреймворки
Мы можем найти множество веб-фреймворков на Python. Мы обсудим два фреймворка, которые широко используются разработчиками. Двумя фреймворками являются Django и Flask.
Django
Django - это веб-фреймворк с открытым исходным кодом, разработанный на Python. С помощью Django удобно создавать веб-сайты. Мы можем создавать любые типы сайтов, используя этот фреймворк. Некоторые из самых популярных сайтов, созданных с помощью Django, - это Instagram, bitbucket, Disqus, Mozilla Firefox и др.:
- Мы можем быстро создавать сложные веб-сайты с помощью возможностей Django.
- Django уже выполняет множество задач, необходимых для веб-разработки.
- Он также обеспечивает защиту от атак SQL-инъекций, межсайтового скриптинга, подделки межсайтовых запросов и взлома кликов.
- Мы можем создать любой веб-сайт, от системы управления контентом до социальных сайтов.
Flask
Flask - это микро-веб-фреймворк, разработанный на Python.
Это более pythonic, чем Django. Здесь можно посмотреть документацию по нему. Flask использует движок шаблонов Jinja . Создавать большие веб-сайты Flask очень сложно. Большинство функций, таких как маршрутизация URL, отправка запросов, безопасные файлы cookie, сеансы и т.д., присутствуют как в Django, так и во Flask.
Выбирайте фреймворк, исходя из сложности вашего сайта. Django набирает популярность среди разработчиков. Это наиболее используемый фреймворк для веб-разработки на Python.
Заключение
Я надеюсь, вы узнали о различных модулях, библиотеках и фреймворках для Python.
Каждый когда-то был новичком.
