Elastic Stack recipes

Wazuh без ограничений дашборда: работаем напрямую с индексами Wazuh хорош ровно до тех пор, пока вам хватает того, что умеют его штатные дашборды. А потом внезапно выясняется, что все нужные данные уже давно лежат в обычном OpenSearch. В статье — как работать с Wazuh Indexer напрямую: читать алерты и состояния, строить агрегации, выгружать большие объёмы данных, делать свои отчёты, алертинг и обогащение. Отдельно полезен разбор того, чем отличается Server API от Indexer, как не положить кластер тяжёлыми запросами и к чему готовиться в Wazuh 5.0, где схему индексов заметно поменяли. Ссылка на статью @elasticsearch_ru

Поиск в глубину: какие инструменты помогают работать поиску в Uzum Market Интересная статья про подход к поиску в Uzum Market (маркетплейс из Узбекистана). Под капотом там ElasticSearch, но не только он. Они как раз и рассказывают как устроен поиск до момента непосредственного запроса в ElasticSearch. @elasticsearch_ru

Проведем аудит систем логирования Elasticsearch / OpenSearch Системы централизованного логирования редко ломаются в один день. Обычно проблемы накапливаются постепенно: растут индексы, увеличивается нагрузка на CPU и диски, ingestion начинает отставать, очереди переполняются, а часть логов незаметно теряется. В итоге компания платит больше за инфраструктуру, а в момент инцидента может оказаться, что нужных данных либо нет, либо система логирования сама недоступна. Мы предлагаем услугу комплексного аудита систем логирования на базе Elasticsearch и OpenSearch. В рамках аудита мы анализируем не только сам кластер, но и весь путь данных — от источника до индекса: — архитектуру и конфигурацию Elasticsearch / OpenSearch; — распределение ролей, shards и replicas; — sizing CPU, RAM, heap и дисковой подсистемы; — политики ILM / ISM, rollover и retention; — mappings, templates и структуру индексов; — использование compression и эффективность хранения; — скорость indexing и search workloads; — риски отказа отдельных узлов и потерю доступности кластера; — snapshot / backup strategy и возможность восстановления; — конфигурации Filebeat, Vector и OpenTelemetry Collector; — pipelines Logstash и Vector; — batching, buffering, retry, backpressure и очереди; — ситуации, при которых данные могут быть потеряны между источником и Elasticsearch / OpenSearch. Что это даёт вам? Во-первых — возможность снизить стоимость инфраструктуры. Очень часто кластер потребляет больше CPU, RAM и дисков не потому, что данных действительно много, а из-за неэффективной структуры индексов, слишком большого количества shards, неправильного rollover или избыточной обработки событий. Во-вторых — понимание реальной надёжности pipeline. Например: Vector/Filebeat → Kafka → Vector/Logstash → ElasticSearch/OpenSearch может выглядеть надёжно на схеме, но достаточно неправильно настроенного memory buffer, отсутствия persistent queue или некорректного retry — и при кратковременной недоступности OpenSearch или ElasticSearch часть логов просто исчезнет. В-третьих — снижение риска ситуации, когда во время аварии система логирования становится недоступна именно тогда, когда она нужна больше всего. По итогам аудита вы, как заказчик, получите в удобном формате PDF список найденных проблем, оценку рисков и конкретные рекомендации по оптимизации архитектуры и конфигурации — с приоритетами, что нужно исправлять в первую очередь. Наша цель — ответить на три простых вопроса: Не переплачиваете ли вы за хранение и обработку логов? Не теряются ли ваши данные по дороге? Переживёт ли система логирования реальный отказ? Если у вас Elasticsearch или OpenSearch уже давно работает в production и никто системно не пересматривал его архитектуру — аудит обычно быстро показывает, где находятся самые дорогие и самые рискованные места. Вопросы можно задать @galssoftware или на почту hello@gals.software.

Вышел Elastic 9.5 Уж не знаем договаривались они или нет, но анонс по новым релизам у Elastic и OpenSearch случился в один и тот же день — вчера. Обновления Elastic более масштабные: 🚀 Elasticsearch теперь умеет хранить данные аки колоночная база данных 🚀 Появился режим индексирования VectorDB и автоматическая калибровка векторного поиска 🚀 Появилась встроенная поддержка Prometheus и PromQL 🚀 Реализован принцип «нулевого почтового ящика» — очередь важных событий со встроенным анализом событий 🚀 Улучшенный Elastic Agent Builder , включая мониторинг и отслеживание действий агентов, а также расширенные возможности утверждения с участием человека 🚀 и несколько других улучшений. Подробности в блоге Elastic @elasticsearch_ru

Вышел OpenSearch 3.8 Что нового: 🚀 Расширение MCP-интеграций на большее количество типов агентов 🚀 Потоковая передача результатов машинного обучения с меньшей задержкой с использованием транспортного протокола gRPC 🚀 Ускоренная обработка векторов в 4,16 раз быстрее и повышение производительности радиального поиска до 2,1 раз 🚀 Масштабирование оценки релевантности поиска за счет доступа к большему количеству крупных поставщиков LLM 🚀 Оптимизация анализа логов с помощью визуального конструктора языка конвейерной обработки (PPL), SQL-запросов и шаблона 🚀 Формирование, преобразование и сравнение данных временных рядов с помощью новых команд PPL Подробности в блоге OpenSearch @elasticsearch_ru

OpenSearch Demystified Знакомьтесь — удобный путеводитель по возможностям OpenSearch. Здесь вы можете ознакомиться с разными возможностями системы в интерактивном формате. Подойдет тем, кто только начинает знакомство с OpenSearch. opensearch.9cld.com А если вы хотите изучить OpenSearch в простом и удобном формате — приходите 📅 23-25 сентября на наш 3-дневный интенсив 🎓 OpenSearch База, где вы познакомитесь с этой системой. Программа интенсива. @elasticstack_ru

Два полезных плагина VSCode для OpenSearch и OpenSearch OpenSearch DevTools & Support Elasticsearch DevTools & Support Оба плагина поддерживают выполнение запросов и команд, автодополнение, оборачивание фрагменты запроса логическими условиями (filter, should, must_not), проверка типа поля анализ влияния на производительность. и содержат генератор фиктивных данных. @elasticstack_ru

Проведем тренинг ElasticSearch 8-10 июля Освойте Elasticsearch на практике за 3 дня, научитесь уверенно использовать его в промышленной эксплуатации и быстро погрузитесь в тему. За 3 дня вы: ✅ Разберётесь с архитектурой Elasticsearch и принципами работы кластера. ✅ Научитесь правильно проектировать mappings и выбирать типы данных. ✅ Освоите Query DSL — от простых запросов до сложных агрегаций и полнотекстового поиска. ✅ Поймёте, как работают анализаторы, токенизаторы и скоринг. ✅ Настроите отказоустойчивый кластер, репликацию, резервное копирование и восстановление. ✅ Разберёте ILM, Data Streams, Ingest Pipelines и другие механизмы жизненного цикла данных. ✅ Выполните десятки лабораторных работ на готовой инфраструктуре и получите опыт, максимально приближенный к реальным задачам. Тренинг уже на следующей неделе! Следующий такой только в октябре. Программа ElasticSearch 8-10 июля Вопросы можно задать @galssoftware или через форму обратной связи на странице с программой тренинга.

ES|QL Workshop Регистрируйтесь на воркшоп от Elastic, который состоится 23 июня в 11 часов по московскому времени. ES|QL вскоре будет основным языком запросов для Elasticsearch. Он разработан таким образом, чтобы его было легко освоить и использовать конечным пользователям, командам SRE, аналитикам безопасности, разработчикам приложений и администраторам. Используя ES|QL, вы сможете находить конкретные события, проводить статистический анализ и создавать визуализации. @elasticstack_ru

Вышел OpenSearch 3.7 Пролетели 2 месяца и вот уже следующая версия подоспела. Что нового: ➡️ Метрики Prometheus теперь можно запрашивать при помощи PromQL непосредственно из OSD ➡️ Новое представление Explore Metrics позволяет выполнять запросы в Prometheus и визуализировать эти данные ➡️ Новый унифицированный интерфейс оповещений: мониторы OpenSearch + правила оповещений Prometheus ➡️ Новый каталог SLO с бюджетом ошибок с указанием скорости расходования бюджета ➡️ Появились переменные дашбордов, что позволяет параметризовать панели мониторинга с помощью многократно используемых переменных вместо поддержания практически идентичных копий для каждого набора данных. ➡️ Появился конвейер преобразований на уровне визуализации при выполнении PPL-запросов. ➡️ Появилась симуляция выполнения ISM-политики ➡️ В интерфейс Query Insights добавились инструменты профилирования (ранее для профилирования запроса приходилось переходить в отдельное представление) ➡️ Появились API-ключи, предоставляющие разрешения для кластера и индекса, непосредственно связанные с ключом. И многое другое. Подробнее в блоге OpenSearch. @elasticstack_ru

Спасибо за ваши голоса🙏 На этой неделе анонсируем вебинар по оптимизации хранения. Следите за анонсами 🔥

8-10 июня тренинг OpenSearch Advanced Приходите на 3-дневный интенсив по продвинутой работе с OpenSearch для тех, кто уже с ним знаком. На интенсиве вас ждет погружение в расширенный функционал системы, у вас будет возможность поработать в лабораторном окружении с функциями, которые вы, возможно, раньше не использовали. 🚀 Безопасность в OpenSearch (ролевая модель и уровни доступа). 🚀 Распределенная архитектура (кросс-кластерный поиск и репликация). 🚀 Продвинутая репликация (распределение нагрузки, удаленное хранилище и поиск по снапшотам). 🚀 Оптимизация хранения данных (продвинутый маппинг и другие настройки индексов). 🚀 Работа с Vector, DataPrepper, Ingest Pipeline и Kafka (загрузка и обработка данных). 🚀 Работа с PPL, DQL и SQL (эффективный поиск по данным). 🚀 Мониторинг кластера (методы и инструменты). 🚀 OpenSearch Dashboards (ролевая модель, Workspaces, Tenants, отчеты, Data Sources и визуализации). В лабораторном окружении мы развернем два кластера OpenSearch, Prometheus, Vector, Kafka и много чего другого, чтобы вы смогли поработать с перечисленным выше функционалом. Приходите и познакомьтесь с OpenSearch поближе! Программа тренинга OpenSearch Advanced Дополнительные вопросы можно задать через hello@gals.software или @galssoftware.

Мы пропустили этот момент, но 7 апреля вышел OpenSearch 3.6 Что нового: 🚀 Автоматизация разработки поисковых приложений при помощи OpenSearch Launchpad 🚀 OpenSearch Relevance Agent для автоматической настройки релевантности поиска 🚀 APM-мониторинг с визуализацией в OpenSearch Dashboards, где можно группировать сервисы по атрибутам ресурсов, таким как язык SDK, фильтровать по пороговым значениям частоты ошибок или сбоев 🚀 Улучшен опыт использования PPL 🚀 Улучшен опыт использования Query Insights Подробности в блоге OpenSearch @elasticstack_ru

Вышел Elastic 9.4: Workflows в GA, обновления Agent Builder и поддержка Prometheus/PromQL Подробности в блоге Elastic @elasticstack_ru

OpenSearchCon Europe 2026 Посмотрите записи с мероприятия. Много интересных докладов. @elasticstack_ru

Вышел Data Prepper 2.15 Что нового: 🚀 появилась поддержка Apache Iceberg в качестве источника. Apache Iceberg — это формат хранения, используемый в архитектурах типа datalake. Пайплайн в data Prepper регулярно считывает состояние (изменения) таблиц Iceberg и записывает их в OpenSearch. 🚀 Data Prepper теперь может извлекать данные из Prometheus (RW) и записывать в него. Поддерживаются все стандартные типы метрик Prometheus, включая counter, gauge, histogram и sum. Можно использовать его вместе с приемником Prometheus для создания сквозных конвейеров метрик Prometheus в Data Prepper. Подробнее в блоге OpenSearch @elasticstack_ru

The 2026 OpenSearch Roadmap: Four pillars for AI-native innovation Роудмэп развития проекта на 2026 год состоит из 4 основных компонентов: 🔴 Модернизация поиска 🔴 Наблюдаемость и аналитика 🔴 Масштабируемость и отказоустойчивость 🔴 Сообщество и платформа В этой статье в блоге OpenSearch рассматривается каждый из компонентов, начиная с общего обзора и заканчивая техническими деталями. В статье вы найдете ссылки на соответствующие RFC и задачи GitHub, где можно изучить конкретные нововведения, оставить отзыв и внести свой вклад в разработку. @elasticstack_ru

Snapshot Operations in OpenSearch Статья хоть и не совсем свежая, но с момента ее публикации механизм создания снапшотов не изменился. Здесь описана структура хранения данных, как происходит обновление хранящихся данных и как выполняется восстановление из снапшотов. @elasticstack_ru

Вышел Data Prepper 2.14 В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus. 🚀 Появился процессор otel_apm_service_map, который является развитием процессора service_map в части возможностей отслеживания вызовов между компонентами с течением времени. Также новый процессор автоматически генерит метрики Rate, Errors и Duration (RED). 🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция out_of_order_time_window, которая позволяет принимать и пересортировать метрики, поступающие не по порядку. 🚀 Появилась поддержка ARM-архитектуры. 🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру. Статья в блоге OpenSearch @elasticstack_ru