home.social

#sharding — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #sharding, aggregated by home.social.

  1. Habr @[email protected] ·

    Шардинг* с равномерным распределением

    Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

    habr.com/ru/articles/1008762/

    #Шардинг #sharding

    #sharding #шардинг
  2. Habr @[email protected] ·

    Шардинг* с равномерным распределением

    Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

    habr.com/ru/articles/1008762/

    #Шардинг #sharding

    #sharding #шардинг
  3. Habr @[email protected] ·

    Шардинг* с равномерным распределением

    Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

    habr.com/ru/articles/1008762/

    #Шардинг #sharding

    #sharding #шардинг
  4. Habr @[email protected] ·

    Шардинг* с равномерным распределением

    Договоримся о терминах:· *Шардинг БД (db sharding) — это метод горизонтального масштабирования, при котором большая база данных разбивается на более мелкие, независимые части (shards), размещаемые на разных физических или виртуальных серверах. Каждый шард содержит подмножество данных, что снижает нагрузку на отдельные узлы, ускоряет запросы и позволяет хранить большие объемы информации, преодолевая ограничения вертикального масштабирования · **Read consistency (согласованность чтения) в БД — это гарантия того, что транзакция видит согласованное состояние данных, соответствующее определенному моменту времени (обычно моменту начала транзакции или запроса).

    habr.com/ru/articles/1008762/

    #Шардинг #sharding

    #шардинг #sharding
  5. Habr @[email protected] ·

    10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

    Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

    habr.com/ru/companies/yandex/a

    #postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

    #миграции_данных #распределенные_системы #userver #sharding #шардирование #postgresql
  6. Habr @[email protected] ·

    10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

    Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

    habr.com/ru/companies/yandex/a

    #postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

    #миграции_данных #распределенные_системы #userver #sharding #шардирование #postgresql
  7. Habr @[email protected] ·

    10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

    Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

    habr.com/ru/companies/yandex/a

    #postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

    #миграции_данных #распределенные_системы #userver #sharding #шардирование #postgresql
  8. Habr @[email protected] ·

    10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси

    Когда система растёт, нагрузка на базу становится критичной, а готовых решений для шардирования PostgreSQL не хватает. Стандартные подходы не подошли — поэтому команда сделала свое решение для шардирования в ядре процессинга заказов. Оно позволяет решардировать данные без простоев и деградации метрик. Привет, Хабр! Меня зовут Игорь Березняк, я руковожу группой процессинга в Техплатформе Городских сервисов Яндекса. В этой статье по мотивам моего доклада на

    habr.com/ru/companies/yandex/a

    #postgresql #шардирование #sharding #userver #Распределенные_системы #Миграции_данных

    #postgresql #шардирование #sharding #userver #распределенные_системы #миграции_данных
  9. InfoQ @[email protected] ·

    #CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

    This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

    Read more on #InfoQ 👉 bit.ly/4rjf8IW

    #DistributedData #LowLatency #Sharding #LoadBalancing

    #casestudy #uber #infoq #distributeddata #lowlatency #sharding
  10. InfoQ @[email protected] ·

    #CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

    This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

    Read more on #InfoQ 👉 bit.ly/4rjf8IW

    #DistributedData #LowLatency #Sharding #LoadBalancing

    #casestudy #uber #infoq #distributeddata #lowlatency #sharding
  11. InfoQ @[email protected] ·

    #CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

    This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

    Read more on #InfoQ 👉 bit.ly/4rjf8IW

    #DistributedData #LowLatency #Sharding #LoadBalancing

    #casestudy #uber #infoq #distributeddata #lowlatency #sharding
  12. InfoQ @[email protected] ·

    #CaseStudy - Discover how #Uber evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

    This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

    Read more on #InfoQ 👉 bit.ly/4rjf8IW

    #DistributedData #LowLatency #Sharding #LoadBalancing

    #loadbalancing #sharding #lowlatency #distributeddata #infoq #uber
  13. InfoQ @infoq ·

    - Discover how evolved their distributed storage platform from static rate limiting to a priority-aware load management system to safeguard their in-house databases.

    This shift tackled the limits of QPS-based rate limiting in large, multi-tenant systems - handling noisy neighbors, and protecting tail latency.

    Read more on 👉 bit.ly/4rjf8IW

    #casestudy #uber #infoq #distributeddata #lowlatency #sharding
  14. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #itbyte #sharding #database #architecture #pattern
  15. Knowledge Zone @kzoneind ·

    : is a that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #itbyte #sharding #database #architecture #pattern
  16. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #itbyte #sharding #database #architecture #pattern
  17. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #pattern #architecture #database #sharding #itbyte
  18. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #itbyte #sharding #database #architecture #pattern
  19. 1337 $#!+ I did that @[email protected] ·

    Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

    #sharding #dram
  20. 1337 $#!+ I did that @[email protected] ·

    Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

    #sharding #dram
  21. 1337 $#!+ I did that @[email protected] ·

    Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

    #sharding #dram
  22. 1337 $#!+ I did that @[email protected] ·

    Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

    #dram #sharding
  23. 1337 $#!+ I did that @[email protected] ·

    Sharding is not new, but #sharding data around #DRAM in clusters is certainly going to be a topic in #2026! Happy new year! Hug every little 4gb stick you may have!

    #sharding #dram
  24. Hacker News @[email protected] ·

    A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

    gizmodata.com/blog/gizmoedge-o

    #HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

    #rows #bigdata #performance #hackernews #duckdb #sharding
  25. Hacker News @[email protected] ·

    A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

    gizmodata.com/blog/gizmoedge-o

    #HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

    #rows #bigdata #performance #hackernews #duckdb #sharding
  26. Hacker News @[email protected] ·

    A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

    gizmodata.com/blog/gizmoedge-o

    #HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

    #rows #bigdata #performance #hackernews #duckdb #sharding
  27. Hacker News @[email protected] ·

    A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

    gizmodata.com/blog/gizmoedge-o

    #HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

    #1t #challenge #aggregation #sharding #duckdb #hackernews
  28. Hacker News @[email protected] ·

    A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

    gizmodata.com/blog/gizmoedge-o

    #HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

    #rows #bigdata #performance #hackernews #duckdb #sharding
  29. QuanwenZhao @[email protected] ·

    How to improve database performance from DesignGurus.io? Forgot who is the author … discovered it on the @LinkedIn a couple of days ago … Because the original *GIF* file but shows the static image on the #WeChat moment I have to share it via a small *MP4* file on the #WeChat channel …

    #RDBMS #Database #PerformanceTuning #Indexing #MaterializedViews #VerticalScaling #Denormalization #Caching #Replication #Sharding #Partitioning #QueryOptimization

    #wechat #rdbms #database #performancetuning #indexing #materializedviews
  30. Nicolas Fränkel 🇪🇺🇺🇦🇬🇪 @[email protected] ·

    Managing Data Residency - the demo.

    Follow-up of my previous post on #dataresidency with @\ApacheAPISIX and @\ShardingSphere blog.frankel.ch/data-residency

    #datalocation #data #datamangement #sharding

    #dataresidency #datalocation #data #datamangement #sharding
  31. InfoQ @[email protected] ·

    #CaseStudy - #Airbnb upgraded Mussel!

    The multi-tenant key-value store now replaces static per-client rate limits with an adaptive, resource-aware traffic control system.
    ✅ Ensures resilience during traffic spikes
    ✅ Protects critical workflows
    ✅ Maintains fair usage across thousands of tenants
    ✅ Scales efficiently

    Discover more here: bit.ly/48yJalh

    #InfoQ #SoftwareArchitecture #LowLatency #Kubernetes #CostSavings #RealTime #Algorithms #Sharding

    #casestudy #airbnb #infoq #softwarearchitecture #lowlatency #kubernetes
  32. Neighbourhoodie Software @[email protected] ·

    #Sharding is (another) one of the things that makes @couchdb such a scalable distributed database 📐

    It’s an architectural consideration that very few DBs make as automatic and transparent as CouchDB.

    We cover, in depth:
    - what shards are
    - how #CouchDB uses them
    - performance gains and trade-offs

    in our new post:
    neighbourhood.ie/blog/2025/10/

    #sharding #couchdb
  33. InfoQ @[email protected] ·

    Meet 𝐌𝐨𝐧𝐨𝐜𝐥𝐞 – Datadog’s new 𝐫𝐞𝐚𝐥-𝐭𝐢𝐦𝐞 𝐭𝐢𝐦𝐞𝐬𝐞𝐫𝐢𝐞𝐬 𝐬𝐭𝐨𝐫𝐚𝐠𝐞 𝐞𝐧𝐠𝐢𝐧𝐞!

    Written in #RustLang, it unifies metrics storage infrastructure to deliver:
    ⇨ Higher ingestion throughput
    ⇨ Lower query latency
    ⇨ Reduced operational complexity

    🔗 Details here: bit.ly/3VTWLNb

    #InfoQ #SoftwareArchitecture #Observability #DataStorage #Sharding

    #rustlang #infoq #softwarearchitecture #observability #datastorage #sharding
  34. N-gated Hacker News @[email protected] ·

    😂 Ah, another magical tool promising to effortlessly transform your crusty old #Postgres into a horizontally scaling unicorn without any of those annoying extensions! #PgDog, because why bother understanding your #database when you can just slap on some "automatic sharding" and call it a day? 🚀🐶
    github.com/pgdogdev/pgdog #automatic #sharding #humor #HackerNews #ngated

    #postgres #pgdog #database #automatic #sharding #humor
  35. Habr @[email protected] ·

    Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало

    Шардирование, двухфазный коммит и распределенные транзакции окружены определенными мифами и заблуждениями. Например, может быть достаточно неочевидно, что двухфазный коммит обеспечивает только атомарность транзакций, но не их изоляцию. Поэтому мы решили написать пост, который бы помог разобраться в этих сложных вещах и сделать правильный выбор, когда Postgres'а Вам станет мало и Вы столкнётесь с шардированием.

    habr.com/ru/companies/ydb/arti

    #субд #postgres #postgresql #citus #sharding #distributed #ydb #dbms #consistency #acid

    #acid #consistency #dbms #ydb #distributed #sharding
  36. Hacker News @[email protected] ·

    Sharding Pgvector

    pgdog.dev/blog/sharding-pgvect

    #HackerNews #Sharding #Pgvector #Sharding #Database #PostgreSQL #Tech #Blog #Data #Management

    #hackernews #sharding #pgvector #database #postgresql #tech
  37. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #itbyte #sharding #database #architecture #pattern
  38. Crypto News @[email protected] ·

    7 confusing crypto terms (almost) nobody understands - The crypto world is full of technical terms, some of which are so diffic... - cointelegraph.com/news/crypto- #cryptography #blockchain #technology #sharding #bitcoin #mining #blocks

    #blocks #mining #bitcoin #sharding #technology #blockchain
  39. Crypto News @[email protected] ·

    NEAR Blockchain Gets Major Upgrade to Add 'Stateless Validation' - NEAR Protocol has deployed a major upgrade known as "Nightshade 2.0" on its main network,... - coindesk.com/tech/2024/08/22/n #nearfoundation #nearprotocol #scalability #technology #sharding #scaling #upgrade #news #near

    #near #news #upgrade #scaling #sharding #technology
  40. Natan Silnitsky @natansil ·

    🚀 Excited to share I Just published a new blog post on scaling strategies at Wix Engineering:
    🔹 When to switch to horizontal scaling?
    🔹 How to choose the perfect routing or sharding key?

    We'd love for you to check it out: medium.com/p/29ab44b2d5b4

    #scaling #sharding #hashing
  41. InfoQ @[email protected] ·

    In our new #InfoQ #podcast, Deepthi Sigireddi dives deep into the architecture of cloud-native distributed databases, sharding, replication, and failover.

    🎧 Listen now 👉 bit.ly/3QRUXSD

    #CloudNativeArchitecture #Database #DistributedData #Sharding

    #infoq #podcast #cloudnativearchitecture #database #distributeddata #sharding
  42. Habr @[email protected] ·

    Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД

    Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом. В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.

    habr.com/ru/companies/postgres

    #postgresql #распределенные_системы #sharding #shardman

    #shardman #sharding #распределенные_системы #postgresql
  43. Crypto News @[email protected] ·

    Ethereum Blockchain Counts Down to 'Dencun' Upgrade, Set to Reduce Fees - The upgrade is designed to usher in a new era of cheaper fees for the growing array of la... - coindesk.com/tech/2024/03/12/e #transactionfees #technology #ethereum #sharding #rollups #gasfees #dencun #layer2 #ether #news

    #news #ether #layer2 #dencun #gasfees #rollups
  44. Crypto News @[email protected] ·

    Ethereum Developers Target March 13 for Milestone 'Dencun' Upgrade on Mainnet - The timing for the long-awaited Dencun upgrade, with its much-touted "proto-danksharding"... - coindesk.com/tech/2024/02/08/e #dataavailability #technology #sharding #ethereum #upgrade #rollups #dencun #rollup #layer2 #news

    #news #layer2 #rollup #dencun #rollups #upgrade
  45. Crypto News @[email protected] ·

    Ethereum's Dencun Upgrade Reaches Final ‘Holesky’ Testnet, Starting Countdown to Data 'Blobs' - The test simulated “proto-danksharding,” a technical feature aimed at reducing the cost o... - coindesk.com/tech/2024/02/07/e #technology #ethereum #sharding #testnets #upgrade #testnet #rollups #dencun #rollup #news

    #news #rollup #dencun #rollups #testnet #upgrade
  46. Crypto News @[email protected] ·

    Ethereum's 'Dencun' Upgrade Goes Live on Second Testnet, With Just One Remaining - Next week, on Feb. 7, Dencun will go live on its final Ethereum testnet, Holesky. After t... - coindesk.com/tech/2024/01/30/e #technology #ethereum #sharding #upgrade #dencun #news

    #news #dencun #upgrade #sharding #ethereum #technology
  47. Crypto News @[email protected] ·

    Ethereum Developers Set Timeline for Final ‘Dencun’ Testnet Upgrades - Developers will run through Dencun on the Sepolia and Holesky testnets on Jan. 30 and Feb... - coindesk.com/tech/2024/01/25/e #technology #ethereum #sharding #hardfork #upgrade #testnet #dencun #news

    #news #dencun #testnet #upgrade #hardfork #sharding
  48. Knowledge Zone @[email protected] ·

    #ITByte: #Sharding is a #Database #Architecture #Pattern that involves splitting a large dataset into smaller chunks.

    Sharding can help distribute traffic load by splitting data into separate rows and columns on separate database server instances.

    knowledgezone.co.in/posts/Shar

    #pattern #architecture #database #sharding #itbyte
  49. Claire Giordano ✨ @[email protected] ·

    Today at #pgconfeu I shared as many pics as I could of the amazing #PostgreSQL speakers—but I haven’t yet shared one of myself!

    My talk in Prague was a “Beginners Guide to Partitioning vs Sharding in Postgres” & it was so much fun! Thank you to all of you who attended 👏👏👏
    #OpenSource #database #community #oartitioning #sharding #Citus

    #pgconfeu #postgresql #opensource #database #community #oartitioning
  50. Crypto News @[email protected] ·

    Nil Foundation Revolutionizes Ethereum with ZK-Rollup Sharding - The Nil Foundation has launched a pioneering ZK-Rollup Layer 2 solution for Ethere... - coingape.com/nil-foundation-re #24/7cryptocurrencynews #blockchainnews #sharding #eth

    #eth #sharding #blockchainnews