#sharding — Public Fediverse posts

Set spec.shards on the Prometheus CR and the operator spins up N StatefulSets, hashing each target's __address__ to scrape a disjoint 1/N slice. Beats high https://www.valtersit.com/vault/scale-prometheus-shards-with-operatormanaged-sharding-for-hi-f00d6d/

#prometheus #sharding #ValtersIT

Uber redesigned shard placement in M3DB using fixed-size subclusters to reduce the impact of node failures, maintenance, and scaling.

The approach limits shard dependencies, preserves replica isolation, and uses a greedy algorithm to minimize data movement.

🔗 Details on #InfoQ ⇨ https://www.infoq.com/news/2026/09/uber-m3db-subcluster-sharding/

#DistributedSystems #Databases #Scalability #Sharding #Algorithms

Redis 7.0 Sharded Pub/Sub binds channels to hash slots, so messages stay on the primaries/replicas that own the slot instead of broadcasting to every https://www.valtersit.com/vault/redis-70-sharded-pubsub-ssubscribe-for-cluster-horizontal-sc-b53d4e/ #redis #sharding #ValtersIT

Welcome to "Neki" - where we take the concept of #sharding and sprinkle it with #tech jargon to create a product no one asked for. 🎉 Now you can dive into the #irony of making #Postgres as complicated as humanly possible, all for the low price of your sanity! 🧠💸
https://planetscale.com/blog/introducing-neki #Neki #Sanity #HackerNews #ngated

Как я сделал mmap-базу для 4 миллионов товаров и 700 тысяч посадочных страниц

Сделал mmap-базу для 4 млн товаров и получил ~35k RPS. Поиск оказался настолько быстрым, что bottleneck пришлось искать уже после базы. В итоге оптимизировал JSON, получил ~1.8× прироста HTTP workload — и упёрся в w.Write.

https://habr.com/ru/articles/1073724/

#Go #mmap #JSON #SilentJSON #Makodb #производительность #highload #индексы #sharding #СУБД

It's not easy being a database.

#sql #sharding #database

🎉 Behold! The groundbreaking "Database Traffic Control" that will revolutionize the way you stare blankly at your screen while pretending to understand #sharding and traffic shaping. 🚦 Now you can finally sleep soundly knowing that your database is being controlled by AI agents, because who needs humans in the mix anyway? 🙄💼
https://planetscale.com/blog/introducing-database-traffic-control #DatabaseTrafficControl #AIagents #TrafficShaping #TechRevolution #HackerNews #ngated

Manticore Search 27.1.5: аутентификация, шардированные таблицы, диалоговый поиск и более быстрый векторный поиск

Manticore Search 27.1.5 выпущен. Этот релиз приносит встроенные аутентификацию и авторизацию, шардированные таблицы, conversational search, более быструю сборку HNSW, улучшенные фасетирование и агрегации, а также длинный список исправлений в KNN, репликации, совместимости протоколов и других областях. Этот пост - сводка всего, что вышло с 25.0.1 по 27.1.5 .

https://habr.com/ru/articles/1050120/

#полнотекстовый_поиск #векторный_поиск #аутентификация #семантический_поиск #sql #sharding

Manticore Search 27.1.5: Auth, sharding, conversational and faster vector search

https://manticoresearch.com/blog/manticore-search-27-1-5/

#HackerNews #ManticoreSearch #VectorSearch #Auth #Sharding #TechUpdate

Шардинг* с равномерным распределением

Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

https://habr.com/ru/articles/1008762/

#Шардинг #sharding

10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

https://habr.com/ru/companies/yandex/articles/985030/

#postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

#CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

Read more on #InfoQ 👉 https://bit.ly/4rjf8IW

#DistributedData #LowLatency #Sharding #LoadBalancing

#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22

Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

Previsão de Preços Zilliqa (ZIL) 2030#AnáliseCripto #Blockchain #Criptomoedas #investimento #Sharding #Zilliqa Enquanto o mundo das criptomoedas permanece hypnotizado por narrativas de “próximo Bitcoin”, uma revolução silenciosa está reescrevendo as regras da escalabilidade blockchain. Será que Zilliqa (ZIL) representa a chave perdida para desbloquear o verdadeiro potencial das aplicações descentralizadas em massa, e c...
https://cryptoativo.com/previsao-de-precos-zilliqa-zil-2030/?fsp_sid=28656

Khám phá Phần 3 xây dựng hạ tầng SaaS: Citus Database Performance – khi sharding giúp và khi gây hại. Bài viết phân tích khi nào phân vùng dữ liệu thực sự tăng hiệu suất, khi nào lại khiến truy vấn chậm và tăng chi phí. Các lưu ý: phù hợp với read‑heavy workloads, tránh sharding khi write‑bound hoặc dữ liệu liền kề. Bạn muốn tối ưu Citus? Đọc ngay nhé!
#SaaS #Citus #Sharding #CơSởDữLiệu #DatabaseOptimization

https://www.reddit.com/r/SaaS/comments/1p6rpq3/part_3_saas_infrastructure_buildout_ci

#CaseStudy - #Airbnb upgraded Mussel!

The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
✅ Ensures resilience during traffic spikes
✅ Protects critical workflows
✅ Maintains fair usage across thousands of tenants
✅ Scales efficiently

Discover more here: https://bit.ly/48yJalh

#InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding

#Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐

It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.

We cover, in depth:
- what shards are
- how #CouchDB uses them
- performance gains and trade-offs

in our new post:
https://neighbourhood.ie/blog/2025/10/01/first-steps-sharding-in-couchdb?pk_campaign=mastodon&pk_kwd=shard

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!

Written in #RustLang, it unifies metrics storage infrastructure to deliver:
⇨ Higher ingestion throughput
⇨ Lower query latency
⇨ Reduced operational complexity

🔗 Details here: https://bit.ly/3VTWLNb

#InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding

Previsão de Preços Zilliqa (ZIL) 2030#AnáliseCripto #Blockchain #Criptomoedas #investimento #Sharding #Zilliqa Enquanto o mundo das criptomoedas permanece hypnotizado por narrativas de “próximo Bitcoin”, uma revolução silenciosa está reescrevendo as regras da escalabilidade blockchain. Será que Zilliqa (ZIL) representa a chave perdida para desbloquear o verdadeiro potencial das aplicações descentralizadas em massa, e como isso pode transformar r...
https://forexinvesti.com/?p=227231&fsp_sid=5413

NEAR Protocol (NEAR)

#Tradingan - #Grafik #harga #NEAR Protocol (NEAR) hari ini untuk membantu #analisa #pasar sebelum memulai #investasi dan #trading #kripto NEAR Protocol #NEAR. NEAR Protocol adalah #blockchain generasi ketiga yang dirancang untuk mengatasi masalah skalabilitas, kecepatan, dan biaya transaksi tinggi yang dihadapi oleh jaringan seperti Ethereum. NEAR menggunakan #teknologi #sharding dan mekanisme #konsensus Proof-of-Stake (PoS) untuk menciptakan…

https://tradingan.com/near-protocol

😂 Ah, another magical tool promising to effortlessly transform your crusty old #Postgres into a horizontally scaling unicorn without any of those annoying extensions! #PgDog, because why bother understanding your #database when you can just slap on some "automatic sharding" and call it a day? 🚀🐶
https://github.com/pgdogdev/pgdog #automatic #sharding #humor #HackerNews #ngated

Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало

Шардирование, двухфазный коммит и распределенные транзакции окружены определенными мифами и заблуждениями. Например, может быть достаточно неочевидно, что двухфазный коммит обеспечивает только атомарность транзакций, но не их изоляцию. Поэтому мы решили написать пост, который бы помог разобраться в этих сложных вещах и сделать правильный выбор, когда Postgres'а Вам станет мало и Вы столкнётесь с шардированием.

https://habr.com/ru/companies/ydb/articles/907024/

#субд #postgres #postgresql #citus #sharding #distributed #ydb #dbms #consistency #acid

Sharding Pgvector

https://pgdog.dev/blog/sharding-pgvector

#HackerNews #Sharding #Pgvector #Sharding #Database #PostgreSQL #Tech #Blog #Data #Management

Linked is a modern explanation of sharding and other approaches to dealing with scaling db backends. https://salas.com/2025/01/26/database-sharding-explained/#database #sharding #explainer #software-engineering

#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22

7 confusing crypto terms (almost) nobody understands - The crypto world is full of technical terms, some of which are so diffic... - https://cointelegraph.com/news/crypto-terms-confusing-sharding-rollups #cryptography #blockchain #technology #sharding #bitcoin #mining #blocks

How to improve database performance from DesignGurus.io? Forgot who is the author … discovered it on the @LinkedIn a couple of days ago … Because the original *GIF* file but shows the static image on the #WeChat moment I have to share it via a small *MP4* file on the #WeChat channel …

#RDBMS #Database #PerformanceTuning #Indexing #MaterializedViews #VerticalScaling #Denormalization #Caching #Replication #Sharding #Partitioning #QueryOptimization

NEAR Blockchain Gets Major Upgrade to Add 'Stateless Validation' - NEAR Protocol has deployed a major upgrade known as "Nightshade 2.0" on its main network,... - https://www.coindesk.com/tech/2024/08/22/near-blockchain-gets-major-upgrade-to-add-stateless-validation/?utm_medium=referral&utm_source=rss&utm_campaign=headlines #nearfoundation #nearprotocol #scalability #technology #sharding #scaling #upgrade #news #near

🚀 Excited to share I Just published a new blog post on scaling strategies at Wix Engineering:
🔹 When to switch to horizontal scaling?
🔹 How to choose the perfect routing or sharding key?

We'd love for you to check it out: https://medium.com/p/29ab44b2d5b4

#Scaling #Sharding #Hashing

In our new #InfoQ #podcast, Deepthi Sigireddi dives deep into the architecture of cloud-native distributed databases, sharding, replication, and failover.

🎧 Listen now 👉 https://bit.ly/3QRUXSD

#CloudNativeArchitecture #Database #DistributedData #Sharding

Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД

Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом. В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.

https://habr.com/ru/companies/postgrespro/articles/811041/

#postgresql #распределенные_системы #sharding #shardman

Ethereum Blockchain Counts Down to 'Dencun' Upgrade, Set to Reduce Fees - The upgrade is designed to usher in a new era of cheaper fees for the growing array of la... - https://www.coindesk.com/tech/2024/03/12/ethereum-blockchain-counts-down-to-dencun-upgrade-set-to-reduce-fees/?utm_medium=referral&utm_source=rss&utm_campaign=headlines #transactionfees #technology #ethereum #sharding #rollups #gasfees #dencun #layer2 #ether #news

#ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

https://knowledgezone.co.in/posts/Sharding-Architecture-Pattern-659903618562c2adedb9de22

Today at #pgconfeu I shared as many pics as I could of the amazing #PostgreSQL speakers—but I haven’t yet shared one of myself!

My talk in Prague was a “Beginners Guide to Partitioning vs Sharding in Postgres” & it was so much fun! Thank you to all of you who attended 👏👏👏
#OpenSource #database #community #oartitioning #sharding #Citus

PGSQL Phriday 011 - Partitioning vs Sharding in PostgreSQL

#PostgreSQL #Sharding #Partitioning #PGSQLPhriday #Blogging
https://engineering.adjust.com/post/pgsql_phriday_011_-_partitioning_vs_sharding_in_postgresql/

Word of the day: #Sharding as in #DataSharding
Practice of splitting big data across servers for faster and better querying
...you're welcome
#GIS #GEO #DataManagement

PostgreSQL Blogging Challenge:

#PGSQLPhriday v011: Partitioning vs. Sharding

Get your pens sharpened, and your blog posting written!

#PostgreSQL #Blogging #Blog #Sharding

https://www.pgsqlphriday.com/2023/08/pgsql-phriday-011/