Источник: Nuances of Programming Один из лучших способов автоматизировать получение данных с сайта —  создать веб-сборщика, выполняющего эту работу. Вы можете запрограммировать его на сбор данных различными методами. Например, чтобы получать данные с сайта один раз в несколько часов или в неделю, нужно написать программу, которая будет автоматически отправлять HTTP-запрос или открывать браузер. Однако, если вам необходимо получать данные в течение нескольких секунд, все же лучше подключаться через веб-сокет (протокол дуплексной связи)...

В данной статье мы рассмотрим Redis – сетевое журналируемое хранилище данных типа "ключ-значение" с открытым исходным кодом. Redis, по сути, является базой данных, которая упрощена и работает быстрее, чем MySQL за счет отсутствия связи между данными и простого механизма работы с данными в подходе NoSQL. Redis работает по принципу хранения данных в оперативной памяти и доступа к данным по ключу. В Redis данные можно сохранять на диск, что позволяет снизить вероятность их потери при аварийном завершении...