#logstash — Public Fediverse posts

🚀 Deploy Elastic Stack on Ubuntu VPS (5 Minute Quick-Start Guide) #certbot #elasticsearch #filebeat #kibana #letsencrypt #logstash #nginx #opensource #reverseproxy #selfhosting #selfhosted #ubuntu #ufw #vps #Cloud #Guides #VPS

🚀 Deploy Elastic Stack on Ubun...

New Post: Deploy Elastic Stack on Ubuntu VPS #certbot #elasticsearch #filebeat #kibana #letsencrypt #logstash #nginx #opensource #reverseproxy #selfhosting #selfhosted #ubuntu #ufw #vps #Cloud #Guides #VPS

Deploy Elastic Stack on Ubuntu...

Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

#elk #kibana #logstash

This project is a SIEM with SIRP and Threat Intel, all in one.

https://github.com/V1D1AN/S1EM

#docker #elasticsearch #kibana #logstash #filebeat #malware #suricata #misp #thehive #cortex #sigma #yara #zeek #opencti #mwdb #n8n #velociraptor #arkime #zircolite

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq #оптимизация_кода #асинхронность #asyncio #nosql

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink. 🪵 ⬇️

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"? 🤔

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

Enhancing Events with Geolocation Data in Logstash – Source: socprime.com https://ciso2ciso.com/enhancing-events-with-geolocation-data-in-logstash-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Elasticsearch #KnowledgeBits #socprimecom #Logstash #socprime #Blog

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

#opensearch #logstash #dynamic_mapping #logstash_filter

Using Ruby Code in Logstash for Translating Text from HEX – Source: socprime.com https://ciso2ciso.com/using-ruby-code-in-logstash-for-translating-text-from-hex-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Latestthreats #socprimecom #ELKStack #Logstash #socprime #Blog

continuing the shell tools: tuistash for #logstash looks great — https://github.com/edmocosta/tuistash
data is retrieved from the logstash API (local or remote) or offline from a diagnostic bundle (https://github.com/elastic/support-diagnostics). no support for aggregating data from multiple logstashs for now

PS: this one is a side project of one of our colleagues

Standard Logstash Template for Event Processing (Gold Template) – Source: socprime.com https://ciso2ciso.com/standard-logstash-template-for-event-processing-gold-template-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #KnowledgeBits #socprimecom #ELKStack #Logstash #socprime #Blog

Adding Processing Timestamp and Hostname in Logstash Using Ruby – Source: socprime.com https://ciso2ciso.com/adding-processing-timestamp-and-hostname-in-logstash-using-ruby-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #KnowledgeBits #socprimecom #ELKStack #Logstash #socprime #Blog

open source is coming in 2 broad flavors:
* permissive "do what you want" with the apache license 2.0 as a popular choice: this is what #logstash (dual-licensed) and #elasticsearch language clients have always been using
* copyleft "do what you want but share changes alike" 2/10

Logstash. Преимущества фильтра Dissect над Grok

Мы в Домклике много лет используем ELK-stack (сейчас уже OpenSearch) для хранения и работы с логами, которых у нас очень много: около 400 гигабайтов в день. Весь этот объём проходит через Logstash, где логи частично парсятся, обогащаются метаданными и т. д. Недавно мы решили стандартизировать логи инфраструктурных сервисов, которые подняты в нескольких экземплярах. Начали с HAproxy. У нас несколько групп экземпляров под разные цели, с разным количеством логов. Раньше каждая группа HAproxy писала логи в каком-то собственном формате, и мы парсили эти логи с помощью всего одного паттерна для Grok-фильтра. Сообщение либо подходило под паттерн и разбивалось на поля, либо отправлялось в виде одной текстовой строки. Расскажу о проблемах, с которыми мы столкнулись при добавлении новых Grok-паттернов, и о том, как мы их решили, отказавшись от Grok.

https://habr.com/ru/companies/domclick/articles/840338/

#logstash #grok #dissect #производительность

Logstash power users, check this out! 💯

🪵 **tuistash**: A terminal UI for monitoring Logstash.

🔥 Inspect pipelines, flows, and nodes with ease!

🦀 Written in Rust & built with @ratatui_rs

⭐ GitHub: https://github.com/edmocosta/tuistash

#rustlang #ratatui #tui #logstash #log #terminal #commandline #opensource #monitoring

The #s390x open source team at IBM confirms the latest versions of various software packages run well on #Linux on #IBMZ & #LinuxONE

In July of 2024 validation was maintained for over 30 projects, including: #Logstash, the #R programming language & #zabbix

In the community, the bootc and Kueue projects both added s390x support to their respective CI systems 🎉

Full report: https://community.ibm.com/community/user/ibmz-and-linuxone/blogs/elizabeth-k-joseph1/2024/08/23/linuxone-open-source-report-july-2024

structured logging in @springboot, supporting #elastic common schema (ECS) and #logstash *nice*
https://spring.io/blog/2024/08/23/structured-logging-in-spring-boot-3-4

SELKS 10: la distribución especializada en la seguridad de redes celebra su décimo aniversario https://blog.elhacker.net/2024/06/selks-10-ids-ips-suricata-logstash-kibana-.html #Elasticsearch #logstash #suricata #kibana #selks #ids #ips

Any elasticsearch / kubernetes peeps on here?

Trying to deploy logstash with helm, but I can't find anywhere how to specify the elasticsearch hostname... (logstash defaults to 'elasticsearch')

#kubernetes #elasticsearch #logstash #helm

Chart:
https://artifacthub.io/packages/helm/elastic/logstash

Lions, and tigers, and... #AI? Oh my?! 🦁 / 🐯 / ✖🐻 ✔🤖
In the log aggregation game, the biggest difficulty you face could be setting up parsing rules for your logs. 😓 In other words, getting log files into #Graylog is easy, but what about when you have a log source that does not neatly fall into one of the parsed out-of-the-box categories? 🤔 It is a common joke in the field that as technology gets better, parsing data that can be given in a wide array of different formats — in particular, timestamps — remains very challenging. 🤣 🙁

But, not to worry, friends! We've got just the thing to help you. This #GraylogLabs guide provides useful, quick examples and links to the primary methods of parsing logs. Take a look.

👀 👉​ https://graylog.org/post/graylog-parsing-rules-and-ai-oh-my/ #logmanagement #logs #logstash