#dlq — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #dlq, aggregated by home.social.
-
Немезида для хаоса: как мы построили событийную архитектуру для 500+ интеграций
Когда у компании много сервисов и данных, то лучше всего иметь план Б на любую ситуацию, например когда нужно быстро оптимизировать ресурсы и работать в режиме «минус один дата‑центр» без просадок, в то время как утилизация серверов при этом стремится к 100%. Смертельный номер? Вполне посильная задача, с которой справилась команда Яндекс Go. Мы провели аудит и поняли, что у нас очень много синхронных походов из критичных сервисов в некритичные, а ещё и поллинг. И это требовало внедрения событийной модели. Тысяча микросервисов, 150 команд разработки, несколько языков программирования, и у каждого разработчика своё представление о том, как правильно читать сообщения из Kafka. Библиотека, которую мы раздали командам, быстро бы обросла форками, заплатками и костылями. За шесть месяцев командой из шести человек мы превратили эту библиотеку в централизованную платформу Немезида. Сейчас на ней крутится больше 500 интеграций, а новую можно запустить меньше чем за четыре часа. Меня зовут Алексей Терентьев, я руководитель одной из служб отдела эффективности Яндекс Go. В этой статье я расскажу, как мы прошли путь от простого «прочитал — обработал — закоммитил» к по‑настоящему масштабной архитектуре: со всеми граблями, факапами и конкретными решениями.
https://habr.com/ru/companies/yandex/articles/1007378/
#событийная_модель #kafka #logbroker #dlq #очередь_сообщений
-
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock -
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock -
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock -
Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock -
DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды
Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).
https://habr.com/ru/companies/otus/articles/905810/
#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing
-
DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды
Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).
https://habr.com/ru/companies/otus/articles/905810/
#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing
-
DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды
Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).
https://habr.com/ru/companies/otus/articles/905810/
#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing
-
DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды
Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).
https://habr.com/ru/companies/otus/articles/905810/
#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing
-
Работа с очередями мертвых писем (DLQ) в AWS SNS
Amazon Simple Notification Service (AWS SNS) — это мощный инструмент в арсенале облачных сервисов Amazon Web Services, предоставляющий простые и эффективные средства для управления уведомлениями и распределения сообщений в распределенных системах. SNS обеспечивает высокую гибкость в организации коммуникации между различными компонентами приложений, позволяя быстро и эффективно реагировать на разнообразные события и изменения в окружающей среде. В данной статье мы рассмотрим ключевые особенности и возможности AWS SNS, а также проанализируем, как этот сервис способствует созданию устойчивых и масштабируемых архитектур облачных приложений.