#logstash — Public Fediverse posts on home.social

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

#c #net_core #net #логи #логирование #filebeat

Habr @[email protected] · 2025-11-13 · 10:22 UTC

Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

#c #net_core #net #логи #логирование #filebeat

Habr @[email protected] · 2025-11-13 · 10:22 UTC

Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

#c #net_core #net #логи #логирование #filebeat

Habr @[email protected] · 2025-11-13 · 10:22 UTC

Пошаговая настройка вывода логов из .NET-автотестов в ELK (Filebeat → Logstash → Elasticsearch → Kibana)

Всем привет, с вами Юрий Ковальчук, backend разработчик в ВебРайз. В этой статье разберем процесс вывода логов из приложения c автотестами на .NET в ELK с последующей визуализаций в Kibana. ELK представляет из себя достаточно массивный инструмент для сбора, хранения, обработки и анализа логов, организации мониторингов. С наскоку разобраться с ним вряд ли получится, поэтому подготовили небольшую инструкцию с примерами - на базе простого теста прокинуть результаты до Kibana.

https://habr.com/ru/articles/966038/

#elk #elasticsearch #logstash #kibana #filebeat #логирование #логи #net #net_core #c#

#elk #elasticsearch #logstash #kibana #filebeat #логирование

Trainfo.eu @[email protected] · 2025-06-29 · 04:59 UTC

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

#elk #kibana #logstash

Trainfo.eu @[email protected] · 2025-06-29 · 04:59 UTC

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

#elk #kibana #logstash

Trainfo.eu @[email protected] · 2025-06-29 · 04:59 UTC

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

#elk #kibana #logstash

Trainfo.eu @[email protected] · 2025-06-29 · 04:59 UTC

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

#elk #kibana #logstash

#logstash #kibana #elk

Habr @[email protected] · 2025-05-13 · 07:42 UTC

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

#grafana #prometheus #kibana #elasticsearch #logstash #filebeat

Habr @[email protected] · 2025-05-13 · 07:42 UTC

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

#grafana #prometheus #kibana #elasticsearch #logstash #filebeat

Habr @[email protected] · 2025-05-13 · 07:42 UTC

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

#grafana #prometheus #kibana #elasticsearch #logstash #filebeat

Habr @[email protected] · 2025-05-13 · 07:42 UTC

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch #kibana #prometheus #grafana

#python3 #fastapi #clean_architecture #filebeat #logstash #elasticsearch

BSI WID Advisories Feed @[email protected] · 2025-05-07 · 10:04 UTC

#BSI WID-SEC-2025-0952: [NEU] [mittel] #LogStash: Schwachstelle ermöglicht Umgehen von Sicherheitsvorkehrungen

Ein entfernter, anonymer Angreifer kann eine Schwachstelle in LogStash ausnutzen, um Sicherheitsvorkehrungen zu umgehen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2025-0952

#bsi #logstash

BSI WID Advisories Feed @[email protected] · 2025-05-07 · 10:04 UTC

#BSI WID-SEC-2025-0952: [NEU] [mittel] #LogStash: Schwachstelle ermöglicht Umgehen von Sicherheitsvorkehrungen

Ein entfernter, anonymer Angreifer kann eine Schwachstelle in LogStash ausnutzen, um Sicherheitsvorkehrungen zu umgehen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2025-0952

#logstash #bsi

ck 👨‍💻 @[email protected] · 2025-04-24 · 18:45 UTC

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

#kibana #elasticsearch #logstash

ck 👨‍💻 @[email protected] · 2025-04-24 · 18:45 UTC

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

#kibana #elasticsearch #logstash

ck 👨‍💻 @[email protected] · 2025-04-24 · 18:45 UTC

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

#kibana #elasticsearch #logstash

ck 👨‍💻 @[email protected] · 2025-04-24 · 18:45 UTC

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

#logstash #elasticsearch #kibana

Habr @[email protected] · 2025-02-05 · 06:52 UTC

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq #оптимизация_кода #асинхронность #asyncio #nosql

#nosql #asyncio #асинхронность #оптимизация_кода #rabbitmq #redis

Habr @[email protected] · 2025-02-05 · 06:52 UTC

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq #оптимизация_кода #асинхронность #asyncio #nosql

#nosql #asyncio #асинхронность #оптимизация_кода #rabbitmq #redis

Habr @[email protected] · 2025-02-05 · 06:52 UTC

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq #оптимизация_кода #асинхронность #asyncio #nosql

#nosql #asyncio #асинхронность #оптимизация_кода #rabbitmq #redis

Habr @[email protected] · 2025-02-05 · 06:52 UTC

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq #оптимизация_кода #асинхронность #asyncio #nosql

#zabbix_мониторинг #производительность #logstash #микросервисная_архитектура #redis #rabbitmq

ck 👨‍💻 @[email protected] · 2025-01-08 · 07:13 UTC

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink. 🪵 ⬇️

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"? 🤔

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

#logsink #logstash

ck 👨‍💻 @[email protected] · 2025-01-08 · 07:13 UTC

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink. 🪵 ⬇️

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"? 🤔

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

#logsink #logstash

ck 👨‍💻 @[email protected] · 2025-01-08 · 07:13 UTC

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink. 🪵 ⬇️

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"? 🤔

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

#logsink #logstash

ck 👨‍💻 @[email protected] · 2025-01-08 · 07:13 UTC

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink. 🪵 ⬇️

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"? 🤔

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

#logstash #logsink

ck 👨‍💻 @[email protected] · 2024-12-30 · 16:05 UTC

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

#logstash #elk #nginx #observability

ck 👨‍💻 @[email protected] · 2024-12-30 · 16:05 UTC

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

#logstash #elk #nginx #observability

ck 👨‍💻 @[email protected] · 2024-12-30 · 16:05 UTC

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

#logstash #elk #nginx #observability

ck 👨‍💻 @[email protected] · 2024-12-30 · 16:05 UTC

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

#observability #nginx #elk #logstash

Pyrzout :vm: @[email protected] · 2024-12-19 · 21:00 UTC

Enhancing Events with Geolocation Data in Logstash – Source: socprime.com https://ciso2ciso.com/enhancing-events-with-geolocation-data-in-logstash-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Elasticsearch #KnowledgeBits #socprimecom #Logstash #socprime #Blog

#rssfeedpostgeneratorecho #cybersecuritynews #elasticsearch #knowledgebits #socprimecom #logstash

Pyrzout :vm: @[email protected] · 2024-12-19 · 21:00 UTC

Enhancing Events with Geolocation Data in Logstash – Source: socprime.com https://ciso2ciso.com/enhancing-events-with-geolocation-data-in-logstash-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Elasticsearch #KnowledgeBits #socprimecom #Logstash #socprime #Blog

#blog #socprime #logstash #socprimecom #knowledgebits #elasticsearch

Pyrzout :vm: @[email protected] · 2024-12-19 · 21:00 UTC

Enhancing Events with Geolocation Data in Logstash – Source: socprime.com https://ciso2ciso.com/enhancing-events-with-geolocation-data-in-logstash-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Elasticsearch #KnowledgeBits #socprimecom #Logstash #socprime #Blog

#rssfeedpostgeneratorecho #cybersecuritynews #elasticsearch #knowledgebits #socprimecom #logstash

Habr @[email protected] · 2024-12-19 · 08:32 UTC

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

#opensearch #logstash #dynamic_mapping #logstash_filter

Habr @[email protected] · 2024-12-19 · 08:32 UTC

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

#opensearch #logstash #dynamic_mapping #logstash_filter

Habr @[email protected] · 2024-12-19 · 08:32 UTC

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

#opensearch #logstash #dynamic_mapping #logstash_filter

Habr @[email protected] · 2024-12-19 · 08:32 UTC

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

#opensearch #logstash #dynamic_mapping #logstash_filter

#logstash_filter #dynamic_mapping #logstash #opensearch

Pyrzout :vm: @[email protected] · 2024-12-19 · 01:30 UTC

Using Ruby Code in Logstash for Translating Text from HEX – Source: socprime.com https://ciso2ciso.com/using-ruby-code-in-logstash-for-translating-text-from-hex-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Latestthreats #socprimecom #ELKStack #Logstash #socprime #Blog

#rssfeedpostgeneratorecho #cybersecuritynews #latestthreats #socprimecom #elkstack #logstash

Pyrzout :vm: @[email protected] · 2024-12-19 · 01:30 UTC

Using Ruby Code in Logstash for Translating Text from HEX – Source: socprime.com https://ciso2ciso.com/using-ruby-code-in-logstash-for-translating-text-from-hex-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Latestthreats #socprimecom #ELKStack #Logstash #socprime #Blog

#blog #socprime #logstash #elkstack #socprimecom #latestthreats

Pyrzout :vm: @[email protected] · 2024-12-19 · 01:30 UTC

Using Ruby Code in Logstash for Translating Text from HEX – Source: socprime.com https://ciso2ciso.com/using-ruby-code-in-logstash-for-translating-text-from-hex-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Latestthreats #socprimecom #ELKStack #Logstash #socprime #Blog

#rssfeedpostgeneratorecho #cybersecuritynews #latestthreats #socprimecom #elkstack #logstash

Philipp Krenn @[email protected] · 2024-12-17 · 21:58 UTC

continuing the shell tools: tuistash for #logstash looks great — https://github.com/edmocosta/tuistash
data is retrieved from the logstash API (local or remote) or offline from a diagnostic bundle (https://github.com/elastic/support-diagnostics). no support for aggregating data from multiple logstashs for now

PS: this one is a side project of one of our colleagues

#logstash