В этой статье читатели познакомятся ближе со Splunk, узнают его характерные особенности, преимущества и недостатки. Также будут подробно описаны все компоненты, которые относятся к данному ПО.
Вступление
Splunk Inc. – это американская общественная транснациональная корпорация, базирующаяся в Сан-Франциско, штат Калифорния, которая выпускает программное обеспечение для поиска, мониторинга и анализа данных, генерируемых машинами, с помощью веб-интерфейса.
Splunk (ПО) захватывает, индексирует и коррелирует данные в реальном времени в хранилище с возможностью поиска. Инструмент также может генерировать графики, отчеты, выводить на экран оповещения, создавать панели мониторинга и визуализации процессов.
Что такое Splunk?
Splunk — это программное обеспечение, которое используется для поиска и анализа машинных данных, генерируемых различными процессорами, работающими на веб или локальных серверах, устройствах Интернета вещей, мобильных приложениях, датчиках или данных, созданных самим пользователем. Он удовлетворяет потребности IT-инфраструктуры, анализируя журналы, генерируемые системами в различных процессах, в структурированном или полуструктурированном формате с надлежащим моделированием данных, а затем позволяет пользователям создавать отчеты, оповещения, теги и информационные панели на основе имеющихся данных.
Особенности Splunk
- Поиск данных: поиск в Splunk включает в себя шаблон создания метрик или индексов на панелях мониторинга.
- Прием данных: Splunk принимает данные в различных форматах, таких как XML, JSON, и неструктурированные машинные данные, такие как журналы процессоров, работающих на веб-серверах.
- Индексирование данных: Splunk Auto индексирует принятые данные от машин для более быстрого поиска в любых условиях.
- Оповещения: Splunk Alert используется для работы с электронными письмами или другими каналами, когда анализируется какая-то необычная подозрительная активность, обнаруженная в данных.
- Панели мониторинга: показываются результаты поиска в виде сводок, определенных областей, круговых диаграмм, отчетов.
Архитектура Splunk
Существует три основных компонента Splunk:
- Splunk Forwarder
- Splunk Indexer
- Splunk Head
Необходимые компоненты
Для настройки Splunk на своей платформе Ubuntu, есть некоторые предварительные требования:
- Ubuntu 20.04.1 с минимальным объемом оперативной памяти 4 ГБ и 2 процессорами;
- SSH-доступ с правами root;
- Порт межсетевого экрана – 8000.
Среда Splunk
В этой статье пользователь нацелен на установку корпоративной версии, которая доступна бесплатно в течение 60 дней со всеми включенными функциями. Читатели могут скачать Splunk, перейдя по ссылке ниже.
https://www.splunk.com/en_us/download/splunk-enterprise.html
Версия Linux
Пользователю нужно создать учетную запись Splunk и загрузить версию для Linux по приведенной выше ссылке. Далее он выбирает пакет .deb для установки ее на Ubuntu.
Также есть возможность установить ПО непосредственно через терминал, человек скопирует фрагмент wget.
Скачивание и установка Splunk
Теперь пользователю нужно нажать на терминал и загрузить Splunk в каталог tmp. Он введет следующую команду:
cd /tmp
wget -O splunk-8.0.5-a1a6394cc5ae-linux-2.6-amd64.deb 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=8.0.5&product=splunk&filename=splunk-8.0.5-a1a6394cc5ae-linux-2.6-amd64.deb&wget=true'
Затем будет введена команда dpkg для извлечения и установки сервера Splunk. Для извлечения данных из пакета .deb пользователю необходимо ввести следующую команду:
dpkg -i splunk-8.0.5-a1a6394cc5ae-linux-2.6-amd64.deb
Человеку также нужно создать скрипт init.d, чтобы он мог легко запустить или остановить службу Splunk. Для этого он изменит двоичный каталог на /opt/splunk/ bin / и выполнит следующую команду. Она будет запускать Splunk вместе с загрузкой системы.
cd /opt/splunk/bin/
./splunk enable boot-start
Во время этого процесса человек нажмет на пробел, чтобы пройти через лицензионное соглашение, а затем введет «Y», чтобы принять его, а после укажет имя пользователя и пароль, которые он создал на официальном сайте Splunk. Наконец, есть возможность запустить службу Splunk с нижеприведенным аргументом.
service splunk start
Теперь нужно убедиться, что порт 8000 открыт для межсетевого экрана сервера, а затем пользователь может получить доступ к Splunk:
http://server-Ip:8000/
http://server-hostname:8000
Пользователь вводит учетные данные для входа, созданные в процессе установки, чтобы получить доступ к графическому интерфейсу. Как только он войдет в систему, то у него будет готова панель Splunk Dashboard, чтобы заняться журналами.
Добавление задачи
В веб-интерфейсе Splunk пользователь найдет различные категории, отображаемые на главной странице. Человек может выбрать сам, с чего начать свою работу. Пользователь приводит пример задачи, которая была добавлена в систему Splunk: добавить или переслать системные журналы на панель мониторинга.
Чтобы переслать журналы на консоль мониторинга Splunk, следует просто открыть терминал и ввести следующие команды в каталоге установки Splunk с приведенными ниже аргументами.
cd /opt/splunk/bin
./splunk add forward-server 192.168.205.135:9997 -auth splunk:Splunk@123
./splunk add monitor /var/log -sourcetype linux_logs -index remotelogs
./splunk restart
А затем пользователь откроет вкладку «Splunk search and reporting» и выполнит запрос в строке поиска.
index=remotelogs * host-ubuntu
Пользователь также может добавить эту задачу непосредственно на панель мониторинга Splunk, выполнив следующие действия:
Шаг 1.
Следует запустить веб-интерфейс Splunk в любимом браузере и выбрать опцию “Добавить данные” для начала.
Шаг 2.
«Добавить данные» включает в себя три варианта: загрузка, мониторинг и пересылка. Каждый вариант имеет соответствующее краткое описание. Задача пользователя – следить за системными журналами, поэтому выбирается опция мониторинга.
В опции мониторинга есть четыре категории (смотреть ниже):
- Файлы и каталоги: для мониторинга файлов и папок;
- Сборник событий http: отслеживает передачу данных по протоколу HTTP;
- TCP/UDP: для мониторинга сетевого трафика через порты TCP/UDP;
- Скрипты: для мониторинга скриптов и команд.
Шаг 3.
В соответствии с целью пользователь выбирает опцию «Файлы и каталоги».
Затем он переходит к просмотру пути, где хранятся системные журналы.
Теперь пользователь собирается просмотреть точный путь /var / log, который идет от сервера к монитору. Как только он это сделает, нужно выбрать следующую опцию.
После выбора системных файлов для мониторинга необходимо действовать таким образом.
Кроме того, пользователь может внести в белый или черный список определенные каталоги, которые он не хочет отслеживать в данном диалоговом окне, а затем просмотреть свои настройки и нажать кнопку «Отправить».
Отлично! Наконец, пользователь успешно добавил задачу в консоль поиска и отчетности и теперь начинает поиск.
Шаг 4.
Пользователь успешно добавил источник данных в Splunk для мониторинга. Он может искать и отслеживать файлы журналов по мере необходимости, просто запустив поисковый запрос.
source="/var/log/*" host="ubuntu"
Создание панели мониторинга
Теперь пользователь может сохранить эти журналы в каталоге на своей панели мониторинга, а также создать предупреждение, которое используется для запуска электронных писем или других каналов, когда анализируется какая-то необычная подозрительная активность, обнаруженная в данных.
Чтобы добавить эту консоль поиска и отчетности на свою панель мониторинга, необходимо выполнить следующие действия.
Шаг 5.
Пользователь найдет опцию «Сохранить как» на верхней панели консоли поиска и отчетности и выберет «Панель мониторинга».
Выбрав опцию «Панель мониторинга», инструмент предложит сохранить все как “панель”. Пользователь введет название и описание панели, а затем сохранит его.
Отлично! Человек успешно создал свою панель мониторинга. Теперь он может непосредственно контролировать системные журналы, возглавляя их под панелью Dashboards.
Далее пользователь настроит параметры, доступные на его панели мониторинга, указав, что именно он хочет отслеживать. В данном случае человек просматривает журналы сервера, сохраненные в панели мониторинга. Теперь пользователь будет способен просматривать как можно больше файлов сервера, просто добавив его на панель.
Мониторинг журналов
Нужно перейти на вкладку “Панель мониторинга” и выбрать опции, связанные с тем, что хочет контролировать человек.
Например, пользователь собирается получить доступ к своему серверу по другому протоколу, как описано ниже:
- SSH
- Telnet
- Vsftpd
SSh
Пользователь применяет putty для получения SSH-доступа к его серверной машине.
После настройки хоста или порта нужно открыть приглашение SSH и войти на сервер.
После получения доступа к серверу пользователь вернется на свою панель мониторинга и «сузит» журналы до SSH на сервере, выполнив запрос sshd.
Теперь пользователь имеет SSH-доступ к серверной машине на панели мониторинга под сохраненной панелью с именем «Системные журналы».
Telnet
Пользователь применил тот же putty, чтобы получить доступ к Тelnet своей серверной машины. Используются учетные данные для входа на сервер.
Настало время проверить, что случилось с панелью Splunk. После получения доступа к серверу пользователь вернется на свою панель мониторинга и «сузит» журналы до Telnet на сервере, выполнив запрос telnet.
Теперь пользователь имеет доступ к журналам Telnet и серверной машине в Dashboard под той же панелью.
Vsftpd
Пользователь получит доступ vsftpd его серверной машины с помощью winscp. Он сможет использовать нужные ему приложения.
Нужно «сузить» поиск, выполняется запрос vsftpd. Затем пользователь может просматривать журналы vsftpd сервера. Он также способен запустить больше поисковых запросов, чтобы произвести глубокий анализ.
Автор переведенной статьи: Vijay.