Представьте себе: кластер Kubernetes каждый день выплёвывает от 30 до 50 гигабайт логов. И где-то в этом океане данных затаилась проблема, которая может снести весь сервис. Звучит как кошмар, верно? Но вот в чём парадокс — в эпоху искусственного интеллекта мы всё ещё полагаемся на людей, которые вручную роются в этих горах информации.
Как ёмко выразился Кен Экснер, главный технолог Elastic: «Честно говоря, это совсем уж несовременно — в мире AI думать, что люди могут сами наблюдать инфраструктуру». И он прав. Машины просто убивают людей в распознавании паттернов.
Почему текущий подход сломан
Сейчас работает примерно так: инженеры настраивают метрики, логи и трейсы. Потом заводят алерты и задают пороги срабатывания (Service Level Objectives — SLOs). Когда что-то срабатывает, они начинают охоту: смотрят на дашборд метрик, сравнивают CPU с памятью, прыгают в трейсы, потом ныряют в логи конкретного сервиса. А потом часто прыгают между разными инструментами — то в одном, то в другом.
В результате человек вынужден:
- Визуально интерпретировать данные с дашбордов
- Гадать о взаимосвязях между системами
- Тратить часы на поиск корневой причины проблемы
- Потом ещё долго разбираться, как это исправить
«Это не тот процесс, в котором должен быть человек, — говорит Экснер. — Люди копаются в логах, гадают что случилось, потом пытаются это исправить. AI может автоматизировать весь этот процесс».
Что меняет Streams
Elastic выпустила новую фишку для observability под названием Streams. Она работает с исходными, грязными, необработанными логами и превращает их в… ну, в то, что можно вообще использовать.
Вот что она делает:
- Автоматически разбирает сырые логи и вытаскивает нужные поля
- Выделяет критичные ошибки и аномалии
- Выдаёт ранние предупреждения
- И самое важное — предлагает шаги для исправления проблемы
«Из сырых, огромных, грязных данных Streams автоматически создаёт структуру, выводит это в понятную форму, автоматически вас предупреждает и помогает исправить ошибку, — объясняет Экснер. — Вот это и есть магия Streams».
Будущее за LLM
Большие языковые модели (LLM) и специализированные модели рассуждения (Large Reasoning Models) — это будущее observability. Они отлично ловят паттерны в огромных объёмах повторяющихся данных (а логи как раз из них). И их можно научить решать конкретные IT-задачи.
По словам Экснера, полная автоматизация исправления ошибок — это дело будущего. Но вот автоматические runbooks и playbooks, которые генерирует LLM, станут обычным делом через пару лет. Человек больше не будет вызывать экспертов — LLM предложит исправление, а человек его просто проверит и запустит.
Решение дефицита талантов
У индустрии есть огромная проблема — не хватает людей, которые могут быстро диагностировать и исправлять проблемы в IT-инфраструктуре. Опытные инженеры — это редкость и дороговизна. А что если AI может быть таким экспертом?
«Мы можем решить проблему нехватки кадров, дав людям LLM, который сделает их всех мгновенными экспертами, — говорит Экснер. — Это позволит новичкам работать как опытные профессионалы в security и observability».
Представьте: новый Junior инженер с помощью AI-ассистента начинает работать как Senior? Это звучит как научная фантастика, но похоже, мы уже близко.
Streams в Elastic Observability уже доступен прямо сейчас. Логи перестают быть инструментом последней инстанции и становятся первичным источником сигналов для расследования проблем. И это действительно меняет игру.
Логи, AI и автоматизация — это то, на что стоит обратить внимание всем, кто работает с инфраструктурой и надёжностью систем. Будущее observability — это не про людей, копающихся в данных, а про системы, которые сами находят проблемы и предлагают решения.🔔 Чтобы узнать больше о AI, observability и как технологии меняют IT-индустрию, подпишитесь на канал «ProAI» в Telegram!