#distributed_systems — Public Fediverse posts

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260722 #databases #distributed_systems #software_architecture

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260722 #databases #distributed_systems #software_architecture

Event Sourcing by Martin Dilger and Greg Young is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/eventsourcing

#Software_engineering #Event_driven_architecture #Software_architecture #Software #Distributed_systems

Event Sourcing by Martin Dilger and Greg Young is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/eventsourcing

#Software_engineering #Event_driven_architecture #Software_architecture #Software #Distributed_systems

Distributed System Illustrated by lichuang is the featured book 📖 on Leanpub!

Master distributed systems through visual diagrams — from clock drift and CAP to Paxos, Raft, and distributed transactions, explained with clear illustrations instead of dense academic papers.

Link: https://leanpub.com/distributed-system-illustrated

#distributed_systems #databases

Distributed System Illustrated by lichuang is the featured book 📖 on Leanpub!

Master distributed systems through visual diagrams — from clock drift and CAP to Paxos, Raft, and distributed transactions, explained with clear illustrations instead of dense academic papers.

Link: https://leanpub.com/distributed-system-illustrated

#distributed_systems #databases

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260622 #databases #distributed_systems #software_architecture

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260622 #databases #distributed_systems #software_architecture

Distributed System Illustrated by lichuang is a new release on Leanpub!

Master distributed systems through visual diagrams — from clock drift and CAP to Paxos, Raft, and distributed transactions, explained with clear illustrations instead of dense academic papers.

Link: https://leanpub.com/distributed-system-illustrated

#books #ebooks #newreleases #leanpublishing #selfpublishing #distributed_systems #databases

Distributed System Illustrated by lichuang is a new release on Leanpub!

Master distributed systems through visual diagrams — from clock drift and CAP to Paxos, Raft, and distributed transactions, explained with clear illustrations instead of dense academic papers.

Link: https://leanpub.com/distributed-system-illustrated

#books #ebooks #newreleases #leanpublishing #selfpublishing #distributed_systems #databases

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260619 #databases #distributed_systems #software_architecture

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260619 #databases #distributed_systems #software_architecture

The Data and AI Engineering Playbook by Ritesh Modi is the featured bundle of ebooks 📚 on Leanpub!

Four volumes. 76 chapters. 2,000+ pages. The complete data-engineering arc from your first spark.read.csv to a production multi-agent system on Databricks, written for the engineer who gets paged when the pipeline breaks at 2 a.m.

Link: https://leanpub.com/b/thedataandaiengineeringplaybook

#data_engineering #distributed_systems #sql #python #databases #data_science #enterprise_data_modelling #data_analytics

The Data and AI Engineering Playbook by Ritesh Modi is the featured bundle of ebooks 📚 on Leanpub!

Four volumes. 76 chapters. 2,000+ pages. The complete data-engineering arc from your first spark.read.csv to a production multi-agent system on Databricks, written for the engineer who gets paged when the pipeline breaks at 2 a.m.

Link: https://leanpub.com/b/thedataandaiengineeringplaybook

#data_engineering #distributed_systems #sql #python #databases #data_science #enterprise_data_modelling #data_analytics

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260611 #databases #distributed_systems #software_architecture

How Query Engines Work by Andy Grove is on sale on Leanpub! Its suggested price is $29.99; get it for $13.99 with this coupon: https://leanpub.com/how-query-engines-work/c/LeanPublishingDaily20260611 #databases #distributed_systems #software_architecture

Event Sourcing in Python by John Bywater is on sale on Leanpub! Its suggested price is $29.99; get it for $5.00 with this coupon: https://leanpub.com/eventsourcinginpython/c/LeanPublishingDaily20260603 #agile #python #event_driven_architecture #distributed_systems #reactive

Event Sourcing in Python by John Bywater is on sale on Leanpub! Its suggested price is $29.99; get it for $5.00 with this coupon: https://leanpub.com/eventsourcinginpython/c/LeanPublishingDaily20260603 #agile #python #event_driven_architecture #distributed_systems #reactive

Ansible for Kubernetes by Jeff Geerling is on sale on Leanpub! Its suggested price is $19.99; get it for $7.99 with this coupon: https://leanpub.com/ansible-for-kubernetes/c/LeanPublishingDaily20260601 #software #ansible #agile #devops #cloud_computing #distributed_systems

Ansible for Kubernetes by Jeff Geerling is on sale on Leanpub! Its suggested price is $19.99; get it for $7.99 with this coupon: https://leanpub.com/ansible-for-kubernetes/c/LeanPublishingDaily20260601 #software #ansible #agile #devops #cloud_computing #distributed_systems

rapeed: in-memory OLAP-движок с собственной алгеброй связей

Меня зовут Андрей Рыжик, я Product Owner BI-направления в компании «Белый код». Эта статья – обзор платформы rapeed: in-memory OLAP-движка с собственным форматом хранения, нестандартной алгеброй связей между источниками и несколькими клиентами поверх единого ядра.

https://habr.com/ru/companies/w_code/articles/1042524/

#bi #olap #inmemory #аналитика_данных #data_engineering #высоконагруженные_системы #архитектура_по #distributed_systems #mpp #rapeed

Multi-region quorum: «все регионы согласны» против «N из M»

К-of-N или all-must-agree? Два подхода к quorum-логике в multi-region мониторинге. Я остановился на all-must-agree с consecutive-failure threshold. С Redis-схемой, кодом и разбором edge-кейсов где каждый подход ломается.

https://habr.com/ru/articles/1035600/

#мониторинг #quorum #SRE #false_positive #Redis #distributed_systems #alerting #threshold #uptime #incident_management

Event Sourcing by Martin Dilger and Greg Young is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/eventsourcing

#software_engineering #event_driven_architecture #software_architecture #software #distributed_systems

Event Sourcing by Martin Dilger and Greg Young is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/eventsourcing

#software_engineering #event_driven_architecture #software_architecture #software #distributed_systems

Иллюзия памяти: как индустрия десятилетиями маскировала ограничения железа

Сейчас память можно увеличить ползунком, Redis поднять одной командой, а состояние сервера оценить по строке в панели управления. Но за этим удобством стоит история компромиссов — сначала инженерам пришлось научить компьютеры работать так, будто памяти больше, чем есть на самом деле, потом диски собрали в массивы, горячие данные перенесли в Redis, а всю эту сложность спрятали за хостингом и managed-сервисами. Индустрия десятилетиями строила убедительные иллюзии поверх ограниченной физической реальности, но почему-то памяти до сих пор недостаточно. Как? Разобрал в статье. Читать

https://habr.com/ru/companies/ruvds/articles/1033394/

#память #виртуальная_память #RAID #Redis #latency #distributed_systems #HBM #CXL #кэширование #ruvds_статьи

Ansible for Kubernetes by Jeff Geerling is on sale on Leanpub! Its suggested price is $19.99; get it for $7.99 with this coupon: https://leanpub.com/ansible-for-kubernetes/c/LeanPublishingDaily20260508 #software #ansible #agile #devops #cloud_computing #distributed_systems

Ansible for Kubernetes by Jeff Geerling is on sale on Leanpub! Its suggested price is $19.99; get it for $7.99 with this coupon: https://leanpub.com/ansible-for-kubernetes/c/LeanPublishingDaily20260508 #software #ansible #agile #devops #cloud_computing #distributed_systems

Rust Programming MasterClass (Updated 2026) by GitforGits | Asian Publishing House is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/rustprogrammingmasterclass2026

#rust #data_structures #software_engineering #distributed_systems #apis #computer_hardware #networking #programming_cookbooks #computer_security #operating_system_development

Rust Programming MasterClass (Updated 2026) by GitforGits | Asian Publishing House is the featured bundle of ebooks 📚 on Leanpub!

Link: https://leanpub.com/b/rustprogrammingmasterclass2026

#rust #data_structures #software_engineering #distributed_systems #apis #computer_hardware #networking #programming_cookbooks #computer_security #operating_system_development

At-least-once. Это не баг провайдера. Это ваша архитектурная проблема

Думал, зайду в крипту и буду просто дёргать API блокчейна. Не вышло. Захожу в проект. Стек: FastAPI, PostgreSQL, Redis как Celery broker, Celery workers, Docker, Web3. Стартап на хайпе, деньги реальные, архитектура собрана на коленке. Смотрю на архитектуру платёжного процессинга и первая мысль: ребята, вы серьёзно? Финансовые операции с реальными деньгами, без idempotency вообще, Redis как брокер без persistence, Web3.py синхронные вызовы внутри Celery тасков. Разговор был короткий: задача такая, чини что есть. Сроки горели.

https://habr.com/ru/articles/1028708/

#idempotency #PostgreSQL #Celery #FastAPI #Redis #atleastonce #webhook #distributed_systems #финтех

Несколько Клодов над одним проектом: locks, handoffs и email 1982 года

Я с командой пишу один большой C++ проект. У каждого свой Claude Code, у некоторых по два-три параллельно. Все они правят один и тот же репозиторий в одно и то же время. Проблема простая и бесящая: агенты друг о друге не знают. Один рефакторит модуль, а в соседнем чате коллега правит тот же файл. Второй чинит баг, который уже починили два часа назад. Я построила им координацию - и по дороге переизобрела обычную почту. Восемьдесят второго года. Адрес получателя, тема для быстрой сортировки, In-Reply-To для цепочек, у каждой сессии свой ящик, broadcast через папку all/. Каждый Claude при старте заглядывает в свой ящик и, если есть непрочитанное, докладывает это себе в контекст до первого промпта. Ответ падает в sent отправителю, подтверждение доставки - в квитанциях. Ни брокера, ни опросов, ни централизованного сервиса - только markdown-файлы. Сверху ещё два слоя: append-only передача смены между своими сессиями и атомарные файлы-замки с heartbeat’ом на общие ресурсы. mclaude, open source, зависимостей в ядре - ноль.

https://habr.com/ru/articles/1027064/

#claudecode #multiagent #open_source #llm #aiагенты #python #anthropic #distributed_systems

Как поход в кино превратился в сессию системного дизайна

Недавно ходил в кино и, пока стоял в очереди на вход, поймал себя на мысли, что проектирую систему, которой пользуется контролер. На первый взгляд задача примитивная: есть база билетов, контролер сканирует QR, система должна проверить билет и пустить человека. Главное условие - один билет используется ровно один раз. Я прикинул, и понял, что проблем там гораздо больше, чем кажется ..

https://habr.com/ru/articles/1017332/

#distributed_systems #распределенные_системы #проектирование_систем #system_design #software_engineering #postgresql #разработка_программного_обеспечения #idempotency #backend #backendразработка

[Перевод] Разница между параллельными и распределёнными вычислениями

Параллельные и распределённые вычисления часто ставят рядом, но это далеко не одно и то же. В новом переводе от команды Spring АйО разберем, как устроены обе модели, чем отличаются их архитектура, способы обмена данными, масштабируемость и отказоустойчивость. Статья подойдет тем, кто хочет понять, когда достаточно ресурсов одной машины, а когда без сети из нескольких узлов уже не обойтись.

https://habr.com/ru/companies/spring_aio/articles/1008990/

#system_design #consistency #distributed_computing #distributed_systems #distributed #parallels #parallelism #parallel_computing #spring #spring_boot

PostgreSQL для финансов 2.0: Как мы заменили SWIFT на gRPC и внедрили WASM-политики

В предыдущих сериях ( От стартапа к протоколу , Почему финтеху нужен капитальный ремонт , Почему мы терпим факс в эпоху ИИ ) мы обсуждали, почему современный финтех - это "Ferrari на грунтовке", и зачем мы начали писать с нуля свой леджер Qazna (на Rust) и ERP-систему Orda (на Go). В комментариях вы справедливо спрашивали: "Зачем изобретать велосипед, если есть PostgreSQL и Kafka?" и "Чем это отличается от Hyperledger/Ripple?" . Сегодня я отвечу на эти вопросы кодом и архитектурой. Мы не просто "переписали базу". Мы построили суверенный стек, который делает три вещи, невозможные в legacy-системах:

https://habr.com/ru/articles/1000246/

#Rust #Go #Open_Source #Fintech #System_Design #High_Load #Architecture #Banking #ISO_20022 #Distributed_Systems

Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock

Using PostgreSQL as a Dead Letter Queue for Event-Driven Systems
https://www.diljitpr.net/blog-post-postgresql-dlq
#ycombinator #PostgreSQL #Dead_Letter_Queue #DLQ #event_driven_systems #Kafka #distributed_systems #database_design #system_design #Wayfair #retry_mechanism #ShedLock

joerl :: довёл до рабочей версии

joerl — это библиотека модели акторов для Rust, вдохновленная Erlang и названная в честь Джо Армстронга , создателя Erlang. Если вам когда-либо приходилось строить конкурентные системы на Erlang/OTP и вы думали: «Эх, был бы здесь хоть намек на систему типов», — то вот она, ваша прелесть. Я начинал этот проект просто потренироваться в расте немного, но меня затянуло и я довел ее более-менее до ума. Сам я на расте писать буду вряд ли, если кто-то ближе к телу захочет попробовать — буду признателен. Публикую сейчас, потому что свободное время у меня заканчивается, много допилов в ближайшее время ждать не стоит, основную функциональность, которую хотел, я сделал, а карму мне скоро выкрутят в минус и придётся публиковаться через песочницу. Релиз с distribution и телеметрией

https://habr.com/ru/articles/974660/

#actor_model #concurrency #otp #supervision_tree #distributed_systems

Токены доступа и API Gateway: как обеспечить безопасность запросов

Распределенные системы (aka микросервисы) набрали популярность и применяются все шире в современных реалиях. Сервисов становится больше, привычные задачи для них решаются сложнее, усложнились и вопросы аутентификации и контроля доступа. В статье рассмотрим различные подходы использования API Gateway как части более общего API security-решения в контексте его работы с токенами доступа, выделяя преимущества, недостатки и связанные с ними вопросы безопасности. Также разберем, почему нужно ограничивать область действия access token и может ли API Gateway помочь и в данном вопросе. Статья написана на основе материала, с которым выступал на PHDays 2025 и CodeFest 15 .

https://habr.com/ru/articles/872918/

#аутентификация #распределенные_системы #authentication #identity_propagation #distributed_systems #токен_доступа #access_token #oauth_20 #api_gateway #access_control

Когда дашборды лгут. Гайд по перцентилям, очередям и e2e-бюджету

Вы уже научились отслеживать среднюю скорость запросов на проекте, и это большой шаг. Без преувеличений и какой либо иронии. И теперь, когда вы перешли от "не измеряем ничего" до "измеряем среднее" — вы попали в ловушку. Пока вы с удовольствием наблюдаете в отчетах красивые 200ms — ваши пользователи стучат в службу поддержки со словами "у меня все висит". И они не врут, у них действительно TTF порядка 6 секунд . Но и вы не врете, у вас действительно 200ms в отчете ! Врет метрика, а вы ей верите. Давайте разбираться.

https://habr.com/ru/articles/959994/

#latency #перцентиль #slo #закон_литтла #теория_очередей #tail_latency #observability #performance #distributed_systems #e2e_budget

Из мобильной разработки в бэкенд. История и впечатления

Самый простой и логичный способ сменить стек — поменять направление внутри компании. Мог так сделать дважды, но тогда бы и писать было не о чем. Буду рад, если кому-то мой опыт окажется полезным или интересным. Зачем менять стек? В 2019 году, работая над android-приложением Auto.ru , я часто думал, что надо что-то менять в карьере. Вот несколько тезисов: - Стать CTO в будущем будет проще с опытом в бекенде... Погрузиться в историю

https://habr.com/ru/articles/959128/

#карьера_программиста #карьера_итспециалиста #мобильная_разработка #бэкендразработчик #fullstack #ios #android #смена_стека #distributed_systems #базы_данных

Preserving Order in Concurrent Go Apps: Three Approaches Compared
https://destel.dev/blog/preserving-order-in-concurrent-go
#ycombinator #concurrency #rill #backend_engineering #software_architecture #system_design #distributed_systems #programming #viktor_nikolaiev #destel

Preserving Order in Concurrent Go Apps: Three Approaches Compared
https://destel.dev/blog/preserving-order-in-concurrent-go
#ycombinator #concurrency #rill #backend_engineering #software_architecture #system_design #distributed_systems #programming #viktor_nikolaiev #destel

Запускаем Kafka в режиме KRaft на Windows через WSL

Пошаговое руководство по установке и настройке кластера Apache Kafka с тремя брокерами в режиме KRaft (без ZooKeeper) на Windows — без виртуальных машин и Confluent Cloud. Чтобы сделать кластер удобнее в использовании и приблизить его функциональность к облачным решениям, мы добавим веб-интерфейс на основе Kafka UI . В результате получится гибкая система, которую можно масштабировать и настраивать под свои задачи. Для кого эта статья? Для тех, кто только начинает работать с Kafka и хочет разобраться в её устройстве на практике. Для тех, кто работает на Windows , но не хочет ставить виртуальную машину. Для тех, кто хочет понять внутреннее устройство Kafka , а не просто запустить «чёрный ящик».

https://habr.com/ru/articles/940308/

#kafka #apache_kafka #kraft #wsl #windows #distributed_systems #bigdata #tutorial #kafka_tools #stream_processing

Выбор стратегии компактизации в ScyllaDB

ScyllaDB — это высокопроизводительная NoSQL база данных, созданная как улучшенная версия Apache Cassandra на C++. Она способна обрабатывать миллионы операций в секунду, что делает ее лидером среди распределенных баз данных. Такая производительность достигается благодаря особой архитектуре хранения данных, в центре которой находится процесс компактизации данных. Правильный выбор стратегии компактизации данных и ее оптимизация - это ключ к высокой производительности и отказоустойчивости распределенной базы данных ScyllaDB. В этой статье рассмотрены все стратегии компактизации, их преимущества и недостатки, а также приведен детальный алгоритм выбора стратегии компактизации под конкретные use cases.

https://habr.com/ru/articles/933630/

#scylladb #cassandra #nosql #bigdata #dwh #storage #iot #distributed_transactions #distributed_systems #sql

MacBook Pro Insomnia
https://manuel.bernhardt.io/posts/2025-07-24-macbook-pro-insomnia
#ycombinator #distributed_systems #low_latency #performance #akka #rust

MacBook Pro Insomnia
https://manuel.bernhardt.io/posts/2025-07-24-macbook-pro-insomnia
#ycombinator #distributed_systems #low_latency #performance #akka #rust

Discussion post for Achieving Causality with Physical Clocks -- A Summary

#DistributedSystems #Causality #TimeKeeping #Research #research_review #msu #published_paper #distributed_systems

Introducing S2
https://s2.dev/blog/intro
#ycombinator #streaming #cloud #storage #serverless #AWS #Write_Ahead_Log #WAL #distributed_systems #kafka