home.social
Sign in Create account

#data_infrastructure — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #data_infrastructure, aggregated by home.social.

  1. Habr @[email protected] ·

    Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных

    В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности». Проблема: Байты сильнее времени Решение: Метрика «Data Safety Window» Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.

    habr.com/ru/articles/1020422/

    #Kafka #Data_Loss #Platform_Engineering #Observability #Grafana #Monitoring #DevOps #SRE #Data_Infrastructure #Retention

    #retention #data_infrastructure #sre #devops #monitoring #grafana
  2. Habr @[email protected] ·

    Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных

    В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности». Проблема: Байты сильнее времени Решение: Метрика «Data Safety Window» Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.

    habr.com/ru/articles/1020422/

    #Kafka #Data_Loss #Platform_Engineering #Observability #Grafana #Monitoring #DevOps #SRE #Data_Infrastructure #Retention

    #retention #data_infrastructure #sre #devops #monitoring #grafana
  3. Habr @[email protected] ·

    Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных

    В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности». Проблема: Байты сильнее времени Решение: Метрика «Data Safety Window» Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.

    habr.com/ru/articles/1020422/

    #Kafka #Data_Loss #Platform_Engineering #Observability #Grafana #Monitoring #DevOps #SRE #Data_Infrastructure #Retention

    #retention #data_infrastructure #sre #devops #monitoring #grafana
  4. Habr @[email protected] ·

    Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных

    В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности». Проблема: Байты сильнее времени Решение: Метрика «Data Safety Window» Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.

    habr.com/ru/articles/1020422/

    #Kafka #Data_Loss #Platform_Engineering #Observability #Grafana #Monitoring #DevOps #SRE #Data_Infrastructure #Retention

    #kafka #data_loss #platform_engineering #observability #grafana #monitoring