home.social

#oom — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #oom, aggregated by home.social.

  1. Цікавий випадок сьогодні з #MongoDB. На одному із secondary в replica set раптово злетіло навантаження на диск до 80-90%. Почав копати - виявилось, що йшло створення індексу на колекції з 16 мільйонами документів (розробники додали індекс та забули попередити). На primary та hidden secodary індекс побудувався з невеликим додатковим IO, але на доступному для запитів secondary активно молотив диск, але чому так довго і так важко?
    Виявилось що WiredTiger cache був заповнений під зав'язку і постійно виганяв сторінки щоб читати нові - класичний cache thrashing. В результаті система почала свапувати, своп заповнився повністю (8GB/8GB), і #MongoDB почав читати та писати через swap - звідси і дисковий ад.
    Вирішення виявилось простим - вимкнути swap. До речі #claude сказав не робити цього, бо буде #OOM та mongodb процес помре першим.
    Я все ж таки зробив swapoff -a. Команда працювала 1.5 години :-(
    #Ubuntu поступово відвойовувала місце в свопе за рахунок зменшення дискового кешу. На скріншоті біла полоса - це коли почався процес зменшення свопа - система була перевантажена, що не могла відправляти телеметрію.
    Дані повернулись в RAM і IO впав до норми буквально одразу.
    Ще #claude радим поставити`vm.swappiness=1`, але не дивлячись на це система усе одно використовувала своп, бо MongoDB віджирав усю доступну памʼять від свої кеші.
    Треба спробувати обмежети wiredTiger розмір кеша, щоб він не добирався до свопа.

  2. Цікавий випадок сьогодні з #MongoDB. На одному із secondary в replica set раптово злетіло навантаження на диск до 80-90%. Почав копати - виявилось, що йшло створення індексу на колекції з 16 мільйонами документів (розробники додали індекс та забули попередити). На primary та hidden secodary індекс побудувався з невеликим додатковим IO, але на доступному для запитів secondary активно молотив диск, але чому так довго і так важко?
    Виявилось що WiredTiger cache був заповнений під зав'язку і постійно виганяв сторінки щоб читати нові - класичний cache thrashing. В результаті система почала свапувати, своп заповнився повністю (8GB/8GB), і #MongoDB почав читати та писати через swap - звідси і дисковий ад.
    Вирішення виявилось простим - вимкнути swap. До речі #claude сказав не робити цього, бо буде #OOM та mongodb процес помре першим.
    Я все ж таки зробив swapoff -a. Команда працювала 1.5 години :-(
    #Ubuntu поступово відвойовувала місце в свопе за рахунок зменшення дискового кешу. На скріншоті біла полоса - це коли почався процес зменшення свопа - система була перевантажена, що не могла відправляти телеметрію.
    Дані повернулись в RAM і IO впав до норми буквально одразу.
    Ще #claude радим поставити`vm.swappiness=1`, але не дивлячись на це система усе одно використовувала своп, бо MongoDB віджирав усю доступну памʼять від свої кеші.
    Треба спробувати обмежети wiredTiger розмір кеша, щоб він не добирався до свопа.

  3. Цікавий випадок сьогодні з #MongoDB. На одному із secondary в replica set раптово злетіло навантаження на диск до 80-90%. Почав копати - виявилось, що йшло створення індексу на колекції з 16 мільйонами документів (розробники додали індекс та забули попередити). На primary та hidden secodary індекс побудувався з невеликим додатковим IO, але на доступному для запитів secondary активно молотив диск, але чому так довго і так важко?
    Виявилось що WiredTiger cache був заповнений під зав'язку і постійно виганяв сторінки щоб читати нові - класичний cache thrashing. В результаті система почала свапувати, своп заповнився повністю (8GB/8GB), і #MongoDB почав читати та писати через swap - звідси і дисковий ад.
    Вирішення виявилось простим - вимкнути swap. До речі #claude сказав не робити цього, бо буде #OOM та mongodb процес помре першим.
    Я все ж таки зробив swapoff -a. Команда працювала 1.5 години :-(
    #Ubuntu поступово відвойовувала місце в свопе за рахунок зменшення дискового кешу. На скріншоті біла полоса - це коли почався процес зменшення свопа - система була перевантажена, що не могла відправляти телеметрію.
    Дані повернулись в RAM і IO впав до норми буквально одразу.
    Ще #claude радим поставити`vm.swappiness=1`, але не дивлячись на це система усе одно використовувала своп, бо MongoDB віджирав усю доступну памʼять від свої кеші.
    Треба спробувати обмежети wiredTiger розмір кеша, щоб він не добирався до свопа.

  4. Цікавий випадок сьогодні з #MongoDB. На одному із secondary в replica set раптово злетіло навантаження на диск до 80-90%. Почав копати - виявилось, що йшло створення індексу на колекції з 16 мільйонами документів (розробники додали індекс та забули попередити). На primary та hidden secodary індекс побудувався з невеликим додатковим IO, але на доступному для запитів secondary активно молотив диск, але чому так довго і так важко?
    Виявилось що WiredTiger cache був заповнений під зав'язку і постійно виганяв сторінки щоб читати нові - класичний cache thrashing. В результаті система почала свапувати, своп заповнився повністю (8GB/8GB), і #MongoDB почав читати та писати через swap - звідси і дисковий ад.
    Вирішення виявилось простим - вимкнути swap. До речі #claude сказав не робити цього, бо буде #OOM та mongodb процес помре першим.
    Я все ж таки зробив swapoff -a. Команда працювала 1.5 години :-(
    #Ubuntu поступово відвойовувала місце в свопе за рахунок зменшення дискового кешу. На скріншоті біла полоса - це коли почався процес зменшення свопа - система була перевантажена, що не могла відправляти телеметрію.
    Дані повернулись в RAM і IO впав до норми буквально одразу.
    Ще #claude радим поставити`vm.swappiness=1`, але не дивлячись на це система усе одно використовувала своп, бо MongoDB віджирав усю доступну памʼять від свої кеші.
    Треба спробувати обмежети wiredTiger розмір кеша, щоб він не добирався до свопа.

  5. Пришлось переписать код загрузчика БД с Питона на C++.
    Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

    Sanity Level increased

    #oom #программирование

  6. Пришлось переписать код загрузчика БД с Питона на C++.
    Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

    Sanity Level increased

    #oom #программирование

  7. Пришлось переписать код загрузчика БД с Питона на C++.
    Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

    Sanity Level increased

    #oom #программирование

  8. Пришлось переписать код загрузчика БД с Питона на C++.
    Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

    Sanity Level increased

    #oom #программирование

  9. #новости #OOM
    #HalfLife3 не выходит, потому что закончилась ОЗУ

    РАД СТАРАТЬСЯ, ТОВАРИЩ НЬЮВЕЛЛ

  10. LXC теряли память и падали. И при чем же здесь tmpfs и journald?

    Старый добрый Proxmox с его контейнерами и виртуалками - по-прежнему рабочая лошадка многих компаний. И если нарезать много-много мелких контейнеров, то может случиться, что память куда-то девается со временем, а контейнеры падают в OOM без очевидной причины. Причем не все. Причем иногда. И зачастую проще перезапустить и ехать дальше чем разбираться. А причина есть, и она оказалось довольно проста.

    habr.com/ru/articles/883562/

    #proxmox #lxc #tmpfs #journald #oom #oom_killer #systemd

  11. Coroot 0.11.0 now monitors memory usage and detects memory leaks before the #OOM killer invokes container restarts. buff.ly/3Y4ChAh #observability

    More release speed-run updates in my Ops In Dev newsletter opsindev.news - subscribe at buff.ly/3XHVXtK 💡 #learntogether

  12. Spring JPA и OOM: 5 способов спастись от кэш-ловушки Hibernate

    Spring JPA + большие данные = OOM? Hibernate скрывает коварную ловушку, которая может перегрузить память и обрушить приложение. Разбираем причины, а главное – 5 эффективных способов избежать OOM , чтобы работать с миллионами записей без проблем! 🚀

    habr.com/ru/articles/882132/

    #jpa #spring #hibernate #cache #oom #outofmemory #outofmemoryerror #оптимизация #orm #springdata

  13. MemHawk — профилировщик памяти для многопоточных приложений

    Практически каждому разработчику однажды приходилось искать утечки памяти в его приложении / либо же профилировать использование памяти процессом. Задача эта довольно трудоемкая и непростая. Большинство популярных профилировщиков памяти либо дают неточную информацию (sampling), либо значительно замедляют выполнение (Valgrind, heaptrack). При этом в многопоточной среде они плохо масштабируются и требуют сложной настройки. Желание совместить детализацию аналогичную heaptrack и при этом решить проблему с многопоточностью привело к созданию MemHawk . Новый профилировщик сочетает преимущества традиционного подхода с учетом каждой аллокацией, но при этом предоставляет статистику по каждому уникальному стектрейсу без записи каждой аллокации в лог. В данной статье рассмотрим какие ключевые вопросы нужно решить при разработке своего профайлера, чем не угодили существующие решения и на какие ограничения пришлось пойти. Спойлер - удалось ускориться по отношению к heaptrack в 30 раз.

    habr.com/ru/articles/929410/

    #profiling #memory_leaks #heaptrack #oom #profiler #heap

  14. ✅ Заставить полноценный FLUX1.dev работать без OOM на картинках 1024x1024
    ✅ Также успешно запустить квантизированный FLUX под ROCm несмотря на то, что у Invoke в образе с ROCm поломана bitsandbytes
    ✅ Смириться, что генерировать в нормальном разрешении и с нормальными параметрами - это меееедленно.

    #log #GenAI #Invoke #FLUX #server #AMD #ROCm #troubleshooting #memory #OOM

  15. Next one. She's still in need of a name. I like Peaches, but I heard that's a pretty oldtimey name? #orborbmagi #oom #pixelart #魔法少女

  16. 𝗙𝗿𝗲𝗲𝗸 𝗩𝗼𝗻𝗸 𝗱𝗼𝗼𝗿 𝗴𝗲𝗯𝗼𝗼𝗿𝘁𝗲 𝗻𝗲𝗲𝗳𝗷𝗲 𝘃𝗼𝗼𝗿 𝗵𝗲𝘁 𝗲𝗲𝗿𝘀𝘁 𝗼𝗼𝗺 𝗴𝗲𝘄𝗼𝗿𝗱𝗲𝗻

    Freek Vonk is voor het eerst oom geworden. Op Instagram deelt hij het blije nieuws van de geboorte van zijn neefje Melle.

    rtl.nl/boulevard/artikel/55452

    #FreekVonk #neefje #oom

  17. Finally! I'm exhausted all RAM on my homelab server, trying to install some python 3.13 things via pip, which involved compilation of some C++ things from sources :drgn_hyper:

    At least, I'm checked that kernel successfully kills some random processes, when it got OOM. Was very surprised, when I received some notifications on my phone about dead PostgreSQL, sshd and main nginx, lol

    Still has no money to install the maximal amount of memory to my home server — 4 Gb (max for Intel Atom N2800 1866 MHz) :drgn_sigh:

    #homelab #NetBSD #OOM

  18. Плашка оперативной памяти на #64gb уже стоит 100 тысяч рублей.

    Даааа. Даааааааааа. Let the #OOM flow through you

  19. Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  20. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  21. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vii3

  22. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 160000Z AUTO 28011KT 9999 // NCD 08/M02 Q1011 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  23. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 100100Z AUTO 31015KT 9999 // NCD 05/M00 Q0998 RMK RF00.0/000.2” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  24. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 100030Z AUTO 31012KT 9999 // NCD 05/00 Q0998 RMK RF00.0/000.2” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  25. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 172230Z AUTO 30004KT 250V360 9999 // NCD M00/M01 Q1024 RMK RF00.0////./” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  26. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 060130Z AUTO 05007KT 9999 // OVC125 06/00 Q1017 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  27. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 312230Z AUTO 01005KT 9999 // NCD M00/M00 Q1026 RMK RF00.0////./” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  28. Maybe some Linux Kernel expert could help me with this:

    Due to the nature of my work, I regularily run a very memory intensive process and my system runs out of memory during very few peak moments.

    The system can't swap out memory fast enough and freezes. If I disable swap, the process gets killed instead.

    Is there any way I can keep the system responsive? Ideally, only the offending process would get slowed down, but not other applications.

    #Linux #Kernel #Memory #OOM
    #Swap #AskFedi

  29. Дорога родино! Шановні котики! Хочемо анонсувати квітневий випуск нашої газети! Він з дірками для стеження 😎

    Ми вирішили, що кожен четвертий випуск має бути особливим і так співпало, що квітневий номер саме №4.

    1. Обкладинка випуску присвячена мему параноїк-оптиміст — людини, яка постійно підозрює, що світ замислює проти неї щось чудове!

    2. Обкладинка має два фізичних прорізи в районі очей, щоб ви могли взяти газету та стежити за кимось у кафе або на вулиці.

    3. Випуск є спеціальним і здебільшого присвячений гумору! У випуску присутня рекордна кількість запрошених гостей.

    4. Ми написали спеціального Trump-alert бота, який надсилатиме вам сповіщення, що Дональд Трамп прокинувся і почав щось висирати в мережі. Бот даватиме "тривогу", коли Трамп активний і "відбій", коли активність заяв спадатиме. Знайти бота можна буде на сторінках газети!

    5. Матеріали. Список матеріалів, що ви знайдете на сторінках квітневого випуску:

    • Велике інтерв'ю з псом Патроном! Точніше з командою, що стоїть за його величною особистістю. Про зустрічі Патрона з великими політиками, спроби купити Патрона або запросити на день народження;

    • Історія українського мем-андеграунду. Від початку десятих років до повномасштабної війни. Переказ подій від адміна каналу "постіронічні політичні меми". У гостях: Український наступ, адмін #OOM, Україна нульових, Тойво (творець Ґєї), адмін Атланту, Реальний канал Шария, адміни каналів «Незрозумілі і несмішні меми», «Цитати Порошенка і його друзів», Mhu Thulan, ч0рт;

    • Велике інтерв'ю з стендап-коміком Антоном Тимошенко. Вийшла справжня сповідь на тему українського стендапу. Матеріал розкриває усі етапи життя коміка від ідеї спробувати виступити до палацу "Україна". Робоча назва Курс молодого стендапера;

    • Стаття про складнощі регіональної журналістики та любов ЗМІ до трафіку на прикладі Регіоналіті;

    • Реконструкція подій першого мему повномасштабної війни "чел в днепре насрал на метку";

    • Кросворд та відповіді на кросворд з 3-го випуску;

    • Плейлисти! Ще три крутих плейлисти від крутих людей. У цьому випуску від соліста групи Хейтспіч, адмінів Першої приватної мемарні та від патронів Новинача;

    • Драматичні новини квітня;

    • Гороскоп від справжнього безхатька. Ми знайшли безхатька, який часто вгадує в кого з людей є цигарка, і запропонували йому скласти гороскоп. Він погодився!

    • Результати конкурсу фотографій та новий конкурс фотографій.

    • Анекдоти без панчлайнів, гіфки по кодах, знайди відмінності, дошка оголошень

    У комплекті олівець та оригінальний стікер з обкладинкою. Доставка як завжди безкоштовна, а частина прибутку як завжди у наступний збір!

    Днями випуск №4 надійде у продаж

  30. Как должен выглядеть правильный Docker Image для Spring Boot приложения?

    Когда мы упаковываем Spring Boot-приложение в Docker-образ, важно не только обеспечить его запуск. Нам нужен такой образ, который поможет понять причины проблем: падений, тормозов и других сбоев. В новой статье от эксперта сообщества Spring АйО , Александра Шустанова, выясним, какие нештатные ситуации могут возникнуть, какие инструменты пригодятся для диагностики и как собрать образ, в котором всё это учтено.

    habr.com/ru/companies/spring_a

    #java #docker #jib #spring #kubernetes #jfr #oom

  31. Can’t find any document or report on how compilation flags like optimization levels affect memory usage when combined with ASAN. Anyone can light my candle here? #asan #gcc #clang #oom

  32. Huh!?

    I'm trying to open qsv (csv toolkit written in #Rust) in VSCode and rust-analyzer keeps loading and loading until my 8GB RAM is full. 😬

    What in the name of Ferris is happening!? :ferris:

    There is a process "cc1plus" that allocates 6GB of RAM! Oh my!

    Oh noes, it's C++!😵

    Wait, what!? Have I just hit this weird UTF-16 bug in GCC?

    stackoverflow.com/questions/29

    #OOM #OutOfMemory #Bug #GCC #CPlusPlus #UTF16 #UTF8 #Encoding

  33. I'm using on @hollo, but it frequently dies due to . Am I doing something wrong, or is this a bug in Meilisearch?

  34. Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  35. Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  36. Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  37. Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  38. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  39. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  40. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

  41. Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl