#backpressure — Public Fediverse posts

Как мы заменили 30-минутный polling на IMAP IDLE и построили маленькую распределённую систему

Когда-то наш почтовый загрузчик был обычным методом с @Scheduled . Раз в 30 минут он подключался к ящикам, искал новые вложения и запускал их обработку. Решение было простым, понятным и долгое время вполне рабочим. Через несколько итераций вокруг того же загрузчика уже существовали IMAP IDLE listener'ы, PostgreSQL leases, heartbeat экземпляров приложения, перебалансировка почтовых ящиков между pod'ами, UID checkpoints, постоянная идемпотентность и отдельная обработка FolderClosedException . В какой-то момент мы даже попробовали держать несколько IMAP-соединений к одному ящику, но затем сознательно удалили эту часть архитектуры. Это история не о том, как мы «заменили polling на push» одной настройкой. Она о том, как безобидный интеграционный адаптер постепенно превратился в маленькую распределённую систему. И о границе параллелизма, которую мы сначала провели не там. Получить письмо

https://habr.com/ru/articles/1065768/

#Java #Spring_Boot #IMAP_IDLE #distributed_systems #PostgreSQL_leases #idempotency #backpressure #virtual_threads #concurrency #atleastonce_delivery

[Перевод] 9 AI-агентов делят одну API-квоту. Почему обычные ретраи только ломают систему

Девять AI-агентов делят одну API-квоту — и один ответ 429 быстро превращается в каскадный отказ всей системы. В этой статье разбираемся, почему стандартные ретраи и jitter перестают работать при общей квоте, и показывает архитектуру Rate Governor: с приоритетами, общим пулом токенов, предиктивным Circuit Breaker и координацией между агентами. Изучить паттерны

https://habr.com/ru/companies/otus/articles/1044504/

#AIагенты #мультиагентные_системы #rate_limiting #ограничение_запросов #APIквоты #Circuit_Breaker #распределённые_системы #backpressure #Redis

Backpressure is all you need

https://www.lucasfcosta.com/blog/backpressure-is-all-you-need

#HackerNews #backpressure #programming #concurrency #performance #efficiency

Динамические квоты и лимиты: как не завалить очередь в highload

Представьте: ваш сервис Y генерирует 10 000 событий в секунду, а сервис X может проглотить только 500. И при этом нельзя потерять ни одного события, а порядок обработки обязан быть строгим. Очередь? Конечно. Но какую? И что делать, когда она переполнится? В статье — разбираем реальную архитектурную задачу с разбором типовых ошибок, двух подходов к порядку (strict FIFO и per‑key ordering), нюансами DLQ, backpressure, идемпотентностью и скрытыми проблемами типа head‑of‑line blocking. Разобрать задачу

https://habr.com/ru/companies/otus/articles/1031282/

#highload #очереди_сообщений #kafka #backpressure #динамические_квоты #системный_анализ #архитектура_highload

Buffer Pool и Clock-sweep: как мы боремся с cache pollution и p99 latency

Один аналитический запрос способен испортить p99 latency всего OLTP-трафика — на время, пока горячий рабочий набор не прогреется заново с диска. Это cache pollution, и с ним рано или поздно сталкивается любая СУБД с честным LRU. Разбираем, как мы решили эту проблему в нашем OLTP-движке: почему выбрали Clock-sweep вместо LRU, как BufferRing изолирует полные сканы от горячих данных, и почему no-steal — это не стилистический выбор, а требование корректности recovery. С кодом, инвариантами и честными оговорками про то, что ещё не сделано.

https://habr.com/ru/articles/1030822/

#buffer_pool #clock_sweep #cache_pollution #lru #eviction_algorithm #oltp #p99_latency #nosteal #wal #backpressure

dc.send(file) не существует: что на самом деле нужно для передачи файла в браузере

dc.send(file) не означает, что файл уже доставлен. Между отправкой и реальной доставкой – буфер, relay, запись на диск, ACK, reconnect и потерянный после refresh File. Разбираю шесть production-проблем WebRTC-файлообмена, которые обычно остаются за пределами туториалов.

https://habr.com/ru/articles/1022522/

#WebRTC #RTCDataChannel #TURN #SCTP #File_System_Access_API #backpressure #signaling #ACK #P2P #передача_файлов

Moss insists you don’t squander your precious "back pressure" on lazy AI agents 🦾🔧, because nothing says #innovation like trusting robots to monitor themselves 🙄. Apparently, if you wrap them in enough structure and automated pats on the back, they’ll magically become error-free and tackle the tasks you can't be bothered with 🤖✨.
https://banay.me/dont-waste-your-backpressure/ #Moss #lazyAI #backpressure #automation #robotmonitoring #HackerNews #ngated

Don't waste your back pressure

https://banay.me/dont-waste-your-backpressure/

#HackerNews #BackPressure #Optimization #DeveloperTips #SoftwareEngineering #TechInsights

Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)

Как сделать надёжную очередь задач без Rabbit/Kafka, используя только Postgres? Разбираю боевой паттерн: FOR UPDATE SKIP LOCKED для конкурентного забора, lease/heartbeat для возврата задач после падений и backpressure, чтобы воркеры не съели память.

https://habr.com/ru/articles/984102/

#PostgreSQL #очередь_задач #SKIP_LOCKED #FOR_UPDATE #lease #heartbeat #backpressure #atleastonce #idempotency #graceful_shutdown

🎓 Ah, the age-old struggle of backpressure: a term that just sounds like a gastrointestinal condition, yet it's somehow vital to your glorified #Excel sheet #leaderboard. 🏆 Let's pretend that #juggling packets and messages is the modern-day equivalent of scaling Everest, while we all know it's just a fancy way of saying "don't break the #internet, please." 🙄
https://blog.pranshu-raj.me/posts/backpressure/ #backpressure #safety #packet #modern #challenges #HackerNews #ngated

Backpressure in Distributed Systems

https://blog.pranshu-raj.me/posts/backpressure/

#HackerNews #Backpressure #Distributed #Systems #Scalability #Performance #Engineering #TechInsights

Cancelling HTTP requests on the JVM: https://softwaremill.com/cancelling-http-requests-on-the-jvm/

#Java #Scala #HTTP #backpressure

#Backpressure is equivalent to #WIPLimits