Elastic Stack recipes

описание

Платные консультации, администрирование, поддержка, обучение ElasticSearch/OpenSearch в России, Казахстане и других странах — @galssoftware Consulting and implementation for ElasticSearch/OpenSearch. Ask @galssoftware Web: gals.software

← к каналу @elasticstack_ru

1 549

подписчиков

Охват к подписчикам

65,2%

ERR

Реакции к просмотрам

0,79%

184 на 22 постов

Пересылки к просмотрам

0,80%

186

Постов в день

0,4

всего 22

Где отзываются чаще

доля реакций к просмотрам

11 авг.Проведем аудит систем логирования Elasticsearch / OpenSearch Системы централизованного логирования редко ломаются в один день. Обычно проблемы накапливаются постепенно: растут индексы, увеличивается нагрузка на CPU и диски, ingestion начинает отставать, очереди переполняются, а часть логов незаметно теряется. В итоге компания платит больше за инфраструктуру, а в момент инцидента может оказаться, что нужных данных либо нет, либо система логирования сама недоступна. Мы предлагаем услугу комплексного аудита систем логирования на базе Elasticsearch и OpenSearch. В рамках аудита мы анализируем не только сам кластер, но и весь путь данных — от источника до индекса: — архитектуру и конфигурацию Elasticsearch / OpenSearch; — распределение ролей, shards и replicas; — sizing CPU, RAM, heap и дисковой подсистемы; — политики ILM / ISM, rollover и retention; — mappings, templates и структуру индексов; — использование compression и эффективность хранения; — скорость indexing и search workloads; — риски отказа отдельных узлов и потерю доступности кластера; — snapshot / backup strategy и возможность восстановления; — конфигурации Filebeat, Vector и OpenTelemetry Collector; — pipelines Logstash и Vector; — batching, buffering, retry, backpressure и очереди; — ситуации, при которых данные могут быть потеряны между источником и Elasticsearch / OpenSearch. Что это даёт вам? Во-первых — возможность снизить стоимость инфраструктуры. Очень часто кластер потребляет больше CPU, RAM и дисков не потому, что данных действительно много, а из-за неэффективной структуры индексов, слишком большого количества shards, неправильного rollover или избыточной обработки событий. Во-вторых — понимание реальной надёжности pipeline. Например: Vector/Filebeat → Kafka → Vector/Logstash → ElasticSearch/OpenSearch может выглядеть надёжно на схеме, но достаточно неправильно настроенного memory buffer, отсутствия persistent queue или некорректного retry — и при кратковременной недоступности OpenSearch или ElasticSearch часть логов просто исчезнет. В-третьих — снижение риска ситуации, когда во время аварии система логирования становится недоступна именно тогда, когда она нужна больше всего. По итогам аудита вы, как заказчик, получите в удобном формате PDF список найденных проблем, оценку рисков и конкретные рекомендации по оптимизации архитектуры и конфигурации — с приоритетами, что нужно исправлять в первую очередь. Наша цель — ответить на три простых вопроса: Не переплачиваете ли вы за хранение и обработку логов? Не теряются ли ваши данные по дороге? Переживёт ли система логирования реальный отказ? Если у вас Elasticsearch или OpenSearch уже давно работает в production и никто системно не пересматривал его архитектуру — аудит обычно быстро показывает, где находятся самые дорогие и самые рискованные места. Вопросы можно задать @galssoftware или на почту hello@gals.software.2,41%
13 авг.Поиск в глубину: какие инструменты помогают работать поиску в Uzum Market Интересная статья про подход к поиску в Uzum Market (маркетплейс из Узбекистана). Под капотом там ElasticSearch, но не только он. Они как раз и рассказывают как устроен поиск до момента непосредственного запроса в ElasticSearch. @elasticsearch_ru2,22%
14 авг.Wazuh без ограничений дашборда: работаем напрямую с индексами Wazuh хорош ровно до тех пор, пока вам хватает того, что умеют его штатные дашборды. А потом внезапно выясняется, что все нужные данные уже давно лежат в обычном OpenSearch. В статье — как работать с Wazuh Indexer напрямую: читать алерты и состояния, строить агрегации, выгружать большие объёмы данных, делать свои отчёты, алертинг и обогащение. Отдельно полезен разбор того, чем отличается Server API от Indexer, как не положить кластер тяжёлыми запросами и к чему готовиться в Wazuh 5.0, где схему индексов заметно поменяли. Ссылка на статью @elasticsearch_ru2,01%
23 июл.OpenSearch Demystified Знакомьтесь — удобный путеводитель по возможностям OpenSearch. Здесь вы можете ознакомиться с разными возможностями системы в интерактивном формате. Подойдет тем, кто только начинает знакомство с OpenSearch. opensearch.9cld.com А если вы хотите изучить OpenSearch в простом и удобном формате — приходите 📅 23-25 сентября на наш 3-дневный интенсив 🎓 OpenSearch База, где вы познакомитесь с этой системой. Программа интенсива. @elasticstack_ru1,56%
5 авг.Вышел Elastic 9.5 Уж не знаем договаривались они или нет, но анонс по новым релизам у Elastic и OpenSearch случился в один и тот же день — вчера. Обновления Elastic более масштабные: 🚀 Elasticsearch теперь умеет хранить данные аки колоночная база данных 🚀 Появился режим индексирования VectorDB и автоматическая калибровка векторного поиска 🚀 Появилась встроенная поддержка Prometheus и PromQL 🚀 Реализован принцип «нулевого почтового ящика» — очередь важных событий со встроенным анализом событий 🚀 Улучшенный Elastic Agent Builder , включая мониторинг и отслеживание действий агентов, а также расширенные возможности утверждения с участием человека 🚀 и несколько других улучшений. Подробности в блоге Elastic @elasticsearch_ru1,42%
5 авг.Вышел OpenSearch 3.8 Что нового: 🚀 Расширение MCP-интеграций на большее количество типов агентов 🚀 Потоковая передача результатов машинного обучения с меньшей задержкой с использованием транспортного протокола gRPC 🚀 Ускоренная обработка векторов в 4,16 раз быстрее и повышение производительности радиального поиска до 2,1 раз 🚀 Масштабирование оценки релевантности поиска за счет доступа к большему количеству крупных поставщиков LLM 🚀 Оптимизация анализа логов с помощью визуального конструктора языка конвейерной обработки (PPL), SQL-запросов и шаблона 🚀 Формирование, преобразование и сравнение данных временных рядов с помощью новых команд PPL Подробности в блоге OpenSearch @elasticsearch_ru1,30%
2 мар.Как мы организовали работу с логами с помощью OpenSearch В этой статье вы узнаете об использовании OpenSearch в качестве системы аналитики логов. @elasticstack_ru1,27%
3 июл.Два полезных плагина VSCode для OpenSearch и OpenSearch OpenSearch DevTools & Support Elasticsearch DevTools & Support Оба плагина поддерживают выполнение запросов и команд, автодополнение, оборачивание фрагменты запроса логическими условиями (filter, should, must_not), проверка типа поля анализ влияния на производительность. и содержат генератор фиктивных данных. @elasticstack_ru1,20%
6 мар.Вышел Data Prepper 2.14 В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus. 🚀 Появился процессор otel_apm_service_map, который является развитием процессора service_map в части возможностей отслеживания вызовов между компонентами с течением времени. Также новый процессор автоматически генерит метрики Rate, Errors и Duration (RED). 🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция out_of_order_time_window, которая позволяет принимать и пересортировать метрики, поступающие не по порядку. 🚀 Появилась поддержка ARM-архитектуры. 🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру. Статья в блоге OpenSearch @elasticstack_ru0,77%
11 июн.Вышел OpenSearch 3.7 Пролетели 2 месяца и вот уже следующая версия подоспела. Что нового: ➡️ Метрики Prometheus теперь можно запрашивать при помощи PromQL непосредственно из OSD ➡️ Новое представление Explore Metrics позволяет выполнять запросы в Prometheus и визуализировать эти данные ➡️ Новый унифицированный интерфейс оповещений: мониторы OpenSearch + правила оповещений Prometheus ➡️ Новый каталог SLO с бюджетом ошибок с указанием скорости расходования бюджета ➡️ Появились переменные дашбордов, что позволяет параметризовать панели мониторинга с помощью многократно используемых переменных вместо поддержания практически идентичных копий для каждого набора данных. ➡️ Появился конвейер преобразований на уровне визуализации при выполнении PPL-запросов. ➡️ Появилась симуляция выполнения ISM-политики ➡️ В интерфейс Query Insights добавились инструменты профилирования (ранее для профилирования запроса приходилось переходить в отдельное представление) ➡️ Появились API-ключи, предоставляющие разрешения для кластера и индекса, непосредственно связанные с ключом. И многое другое. Подробнее в блоге OpenSearch. @elasticstack_ru0,76%
7 маяВышел Elastic 9.4: Workflows в GA, обновления Agent Builder и поддержка Prometheus/PromQL Подробности в блоге Elastic @elasticstack_ru0,69%
14 февр.elasticsearch-labs В этом репозитории на Github вы найдете Python notebooks, примеры приложений и другие ресурсы для тестирования платформы Elastic: 🚀 Использование Elasticsearch в качестве векторной базы данных для хранения эмбеддингов, обеспечения гибридного и семантического поиска. 🚀 Разработка сценариев: расширенная генерация поисковых запросов (RAG), суммаризация и ответы на вопросы (QA). 🚀 Примеры интегрираций OpenAI, Hugging Face и LangChain и использование Elasticsearch в качестве основы для приложений, работающих на базе LLM. @elasticstack_ru0,61%