home.social
Sign in Create account

#spdk — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #spdk, aggregated by home.social.

  1. Habr @[email protected] ·

    SPDK в публичном облаке: лезем внутрь дисковой подсистемы в user-space

    Всем привет! Меня зовут Василий Иванов, я ведущий разработчик в команде Data Storage в

    habr.com/ru/companies/mws/arti

    #cloud #mwscloudplatform #mws #разработка_облака #spdk #data_storage #dpdk #vhost

    #vhost #dpdk #data_storage #spdk #разработка_облака #mws
  2. Habr @[email protected] ·

    Почему СУБД такие медленные

    Недавно на Хабре публиковался перевод статьи «Просто выберите Postgres» ( оригинал , англ. яз) с аргументами, что Postgres — оптимальная БД для десктопных и мобильных приложений. Аналогичное мнение высказывают в других популярных статьях вроде «До свидания MongoDB, здравствуй PostgreSQL» . Главным недостатком SQLite называют то, что данные хранятся в одном файле, а MongoDB (а также DynamoDB и Cassandra) — низкую производительность: «Всё это связано с тем, что подобные базы данных, по сути, представляют собой огромную распределённую хеш-таблицу. Единственные операции, работающие без необходимости сканирования всей базы данных — это поиск по секционному ключу и сканы, при которых используется ключ сортировки. …Если паттерны доступа существенно изменятся, то может потребоваться полная повторная обработка всех данных». Более производительные резидентные БД хранят данные в памяти (Redis, Valkey), но их использование ограничено объёмом ОЗУ. После такого заявления интересно посмотреть на независимые тесты производительности разных СУБД.

    habr.com/ru/companies/ruvds/ar

    #MySQL #MongoDB #PostgreSQL #DynamoDB #Cassandra #PostgreSQL_17 #LeanStore #SSD #NVMe #SPDK #SATA #PCIe #SQLite #Redis #Valkey #резидентная_БД #IMDB #UmbraDB #CedarDB #TPCH #TPCDS #соединение_хештаблиц #структуры_данных #DuckDB #OrioleDB #ruvds_статьи

    #mysql #mongodb #postgresql #dynamodb #cassandra #postgresql_17
  3. simplyblock @[email protected] ·

    Combining data durability, high performance, fault tolerance, and scalability, simplyblock had to rethink the distributed data placement.

    Built upon the #SPDK, simplyblock was able to focus on the things that matter, data protection, data placement.

    t.co/TRynq8hbYb

    #spdk
  4. Chris Engelbert / noctarius @[email protected] ·

    Hey folks!

    We (simplyblock) are hiring a C/C++ engineer with experience in #DPDK (Data Plane Development Kit) and / or #SPDK (Storage Performance Development Kit).

    While the position claims location Poland, we're a remote-first company, and are open to other locations (we just have to put something for LinkedIn) 💪

    If this sounds interesting, please let us know!

    linkedin.com/jobs/view/3824243

    #dpdk #spdk
  5. Lars Marowsky-Brée 😷 @[email protected] ·

    $Someone should rewrite #SPDK in #rustlang

    The rationale given in spdk.io/doc/concurrency.html for why it "needs" to be in C no longer holds up in 2023, I'd venture.

    #rustlang #spdk
  6. Mike Gerdts @mgerdts ·

    A while back while developing some code, I was sorely missing the ability to:

    ASSERT(MUTEX_HELD(...))

    The more I dug into the intersection of pthread mutexes and SPDK's concurrency model, the more I realized that there was a lot of room for improvement. This all led to SPDK's new spinlock implementation. A blog post with the details is at spdk.io/spdk_spinlock/2023/01/.

    Much of the new behavior is inspired by mutexes.

    #spdk #solaris
  7. Mike Gerdts @mgerdts ·

    @[email protected] There's some great work done here, which is sorely needed. Having been working on for a while, I wonder how much benefit there may be message passing such that IO for a particular dataset is always done by the same CPU thread or a very small group of them if that's too much work for one. I'd need to refresh my memory of internals, but I think this could reduce lock contention and perhaps eliminate some locks.

    #spdk #zfs
  8. Mike Gerdts @mgerdts ·

    @b0rk's threads about debuggers made me nostalgic for on Solaris and illumos. Currently I'm working on , which seems to be only supported on Linux and . Ever so hopeful, I tried:

    [mgerdts@freebsd ~/spdk]$ mdb ./test/unit/lib/bdev/bdev.c/bdev_ut
    mdb: no target ctor: No error: 0

    😦

    That's probably a pretty big hint that there is much to do to get the to level of functionality I'd want. Prolly better to write some gdb commands in python.

    #mdb #spdk #freebsd #yakshaving
  9. Mike Gerdts @mgerdts ·

    Huh. Somehow I’m first on the list of speakers at the SPDK Virtual Summit 2022. The pressure! If you are interested in this is the place to be in a couple weeks.

    web.cvent.com/event/62e99886-2

    #spdk
  10. Mike Gerdts @mgerdts ·

    What better to than a look at what I think was my first contribution. I’d like to apologize now for the unbounded memory allocation bug I introduced. Oops.

    github.com/php/php-src/commit/

    Since then I’ve done a bunch of work (mostly ) followed by OS ( ) development and more recently various storage stuff ( ).

    I love through the and other natural areas.

    #introduction #fosstodon #foss #sysadmin #solaris #illumos