#sharding — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #sharding, aggregated by home.social.
-
Шардинг* с равномерным распределением
Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).
-
Шардинг* с равномерным распределением
Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).
-
Шардинг* с равномерным распределением
Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).
-
Шардинг* с равномерным распределением
Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).
-
10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси
Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на
https://habr.com/ru/companies/yandex/articles/985030/
#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных
-
10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси
Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на
https://habr.com/ru/companies/yandex/articles/985030/
#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных
-
10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси
Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на
https://habr.com/ru/companies/yandex/articles/985030/
#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных
-
10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси
Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на
https://habr.com/ru/companies/yandex/articles/985030/
#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных
-
#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.
This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.
Read more on #InfoQ 👉 https://bit.ly/4rjf8IW
-
#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.
This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.
Read more on #InfoQ 👉 https://bit.ly/4rjf8IW
-
#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.
This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.
Read more on #InfoQ 👉 https://bit.ly/4rjf8IW
-
#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.
This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.
Read more on #InfoQ 👉 https://bit.ly/4rjf8IW
-
#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.
This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.
Read more on #InfoQ 👉 https://bit.ly/4rjf8IW
-
#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.
Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.
https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22
-
#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.
Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.
https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22
-
#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.
Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.
https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22
-
#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.
Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.
https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22
-
#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.
Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.
https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22
-
Previsão de Preços Zilliqa (ZIL) 2030#AnáliseCripto #Blockchain #Criptomoedas #investimento #Sharding #Zilliqa Enquanto o mundo das criptomoedas permanece hypnotizado por narrativas de “próximo Bitcoin”, uma revolução silenciosa está reescrevendo as regras da escalabilidade blockchain. Será que Zilliqa (ZIL) representa a chave perdida para desbloquear o verdadeiro potencial das aplicações descentralizadas em massa, e c...
https://cryptoativo.com/previsao-de-precos-zilliqa-zil-2030/?fsp_sid=28656 -
Khám phá Phần 3 xây dựng hạ tầng SaaS: Citus Database Performance – khi sharding giúp và khi gây hại. Bài viết phân tích khi nào phân vùng dữ liệu thực sự tăng hiệu suất, khi nào lại khiến truy vấn chậm và tăng chi phí. Các lưu ý: phù hợp với read‑heavy workloads, tránh sharding khi write‑bound hoặc dữ liệu liền kề. Bạn muốn tối ưu Citus? Đọc ngay nhé!
#SaaS #Citus #Sharding #CơSởDữLiệu #DatabaseOptimizationhttps://www.reddit.com/r/SaaS/comments/1p6rpq3/part_3_saas_infrastructure_buildout_ci
-
#CaseStudy - #Airbnb upgraded Mussel!
The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficientlyDiscover more here: https://bit.ly/48yJalh
#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding
-
#CaseStudy - #Airbnb upgraded Mussel!
The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficientlyDiscover more here: https://bit.ly/48yJalh
#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding
-
#CaseStudy - #Airbnb upgraded Mussel!
The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficientlyDiscover more here: https://bit.ly/48yJalh
#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding
-
#CaseStudy - #Airbnb upgraded Mussel!
The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficientlyDiscover more here: https://bit.ly/48yJalh
#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding
-
#CaseStudy - #Airbnb upgraded Mussel!
The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficientlyDiscover more here: https://bit.ly/48yJalh
#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding
-
#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐
It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.
We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offsin our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard -
#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐
It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.
We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offsin our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard -
#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐
It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.
We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offsin our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard -
#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐
It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.
We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offsin our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard -
#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐
It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.
We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offsin our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard -
A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec
https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge
#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance
-
A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec
https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge
#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance
-
A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec
https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge
#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance
-
A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec
https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge
#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance
-
A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec
https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge
#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance
-
Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!
Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity🔗 Details here: https://bit.ly/3VTWLNb
#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding
-
Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!
Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity🔗 Details here: https://bit.ly/3VTWLNb
#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding
-
Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!
Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity🔗 Details here: https://bit.ly/3VTWLNb
#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding
-
Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!
Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity🔗 Details here: https://bit.ly/3VTWLNb
#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding
-
Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!
Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity🔗 Details here: https://bit.ly/3VTWLNb
#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding
-
Previsão de Preços Zilliqa (ZIL) 2030#AnáliseCripto #Blockchain #Criptomoedas #investimento #Sharding #Zilliqa Enquanto o mundo das criptomoedas permanece hypnotizado por narrativas de “próximo Bitcoin”, uma revolução silenciosa está reescrevendo as regras da escalabilidade blockchain. Será que Zilliqa (ZIL) representa a chave perdida para desbloquear o verdadeiro potencial das aplicações descentralizadas em massa, e como isso pode transformar r...
https://forexinvesti.com/?p=227231&fsp_sid=5413 -
NEAR Protocol (NEAR)
#Tradingan - #Grafik #harga #NEAR Protocol (NEAR) hari ini untuk membantu #analisa #pasar sebelum memulai #investasi dan #trading #kripto NEAR Protocol #NEAR. NEAR Protocol adalah #blockchain generasi ketiga yang dirancang untuk mengatasi masalah skalabilitas, kecepatan, dan biaya transaksi tinggi yang dihadapi oleh jaringan seperti Ethereum. NEAR menggunakan #teknologi #sharding dan mekanisme #konsensus Proof-of-Stake (PoS) untuk menciptakan…
-
😂 Ah, another magical tool promising to effortlessly transform your crusty old #Postgres into a horizontally scaling unicorn without any of those annoying extensions! #PgDog, because why bother understanding your #database when you can just slap on some "automatic sharding" and call it a day? 🚀🐶
https://github.com/pgdogdev/pgdog #automatic #sharding #humor #HackerNews #ngated -
😂 Ah, another magical tool promising to effortlessly transform your crusty old #Postgres into a horizontally scaling unicorn without any of those annoying extensions! #PgDog, because why bother understanding your #database when you can just slap on some "automatic sharding" and call it a day? 🚀🐶
https://github.com/pgdogdev/pgdog #automatic #sharding #humor #HackerNews #ngated -
😂 Ah, another magical tool promising to effortlessly transform your crusty old #Postgres into a horizontally scaling unicorn without any of those annoying extensions! #PgDog, because why bother understanding your #database when you can just slap on some "automatic sharding" and call it a day? 🚀🐶
https://github.com/pgdogdev/pgdog #automatic #sharding #humor #HackerNews #ngated
