#oom — Public Fediverse posts

Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте

При обучении графных нейросетей и гигантских эмбеддингов на миллионы узлов стандартный torch.optim.SparseAdam в PyTorch моментально забивает RAM и VRAM, вызывая ошибку CUDA out of memory (OOM). В этой статье разбираем, как устроена легковесная Open Source библиотека Disk Sparse Adam (DSA), которая выносит состояния моментов на диск через memory mapping (mmap) и позволяет обучать огромные спарс-модели на обычной домашней видеокарте.

https://habr.com/ru/articles/1068202/

#PyTorch #Machine_Learning #Open_Source #Python #GNN #OOM #SparseAdam #Оптимизация_памяти #Disk_Sparse_Adam #Глубокое_обучение

Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT, вероятнее всего, будет приятным. Но когда сервис неделю живет под реальной нагрузкой, начинаются проблемы: p99 растет, память утекает, а однажды прилетает OOM на запросе, который вчера проходил без проблем. Я Стас Погоржельский, технологический евангелист VK Cloud, неоднократно наблюдал этот сценарий в демонстрационных средах. Инференс редко выходит из строя сразу и явно; как правило, его работа постепенно ухудшается, оставаясь незаметной до достижения критического состояния. Ниже я разберу четыре механизма, приводящие к деградации производственной среды на длительном интервале: фрагментацию KV-кэша, нехватку памяти (OOM) при работе с длинным контекстом, блокировку очереди (head-of-line blocking) внутри батча и расхождение метрик p50 и p99. Для каждого случая опишу внутреннее поведение системы, способы воспроизведения проблемы и метрики, сигнализирующие о надвигающемся инциденте.

https://habr.com/ru/companies/vktech/articles/1064026/

#vk_cloud #llm_inference #kv_cache #gpu_memory #oom #latency_p99 #continuous_batching #paged_attention #vllm #tail_latency

Разбор утечки памяти в StackExchange.Utils: как 4 КБ конфигурации съели 2 ГБ RAM

Привет, Хабр! Я Антон Пронькин, разработчик в команде развития сервисов продаж для юридических лиц в Т-Банке. Расскажу, как мы переносили конфигурационные данные в файлы и наткнулись на OOM-крэш, вызванный всего одним методом расширения. Добавление YAML-файла на 4 КБ съедало больше 2 ГБ RAM. При этом локально все работало, а падало только при прогоне тестов на пайплайне. В статье — расследование с профайлингом, экспоненциальный рост памяти, фикс в одну строку и разбор особенности работы библиотеки StackExchange.Utils .

https://habr.com/ru/companies/tbank/articles/1059160/

#траблшутинг #утечка_памяти #ram #профайлинг #oom #библиотека #c#

Adjust OOM killer scores for critical daemons like sshd or systemd-journald to prevent termination under memory pressure. Write values from -1000 to 1000 to /proc/[pid]/oom_score_adj to lower or raise kill priority. Works on Linux 2.6.36+, Ubuntu 20.04+, Debian 11+, RHEL 8+. #linux #oom-killer #memory-management

https://www.valtersit.com/vault/oom-score-adjustment-for-critical-system-daemons-9cb970/

Why does the linux kernel not automatically warn somehow when RAM OOM is about to happen? Is that really so hard? Or do the applications just launch and say 'sod it, not my problem, let's go' and the OS says 'Not my job to stop anything' ? How do you stop OOM boom ? #oom #NixOS A tool that performs a plausibility check on the amount of #RAM about to be used would be nice. Or a 'swap in use' warning?

Why does the linux kernel not automatically warn somehow when RAM OOM is about to happen? Is that really so hard? Or do the applications just launch and say 'sod it, not my problem, let's go' and the OS says 'Not my job to stop anything' ? How do you stop OOM boom ? #oom #NixOS A tool that performs a plausibility check on the amount of #RAM about to be used would be nice. Or a 'swap in use' warning?

Re: [PATCH] OOM_pardon, a.k.a. don't kill my xlock

https://lwn.net/Articles/104185/

#HackerNews #OOM #OOMkiller #xlock #patch #Linux #kernel #softwaredevelopment

Re: [PATCH] OOM_pardon, a.k.a. don't kill my xlock

https://lwn.net/Articles/104185/

#HackerNews #OOM #OOMkiller #xlock #patch #Linux #kernel #softwaredevelopment

Als je nichtje je komt ophalen met HAAR auto, en ZIJ staat erop om de lunch te betalen.

Kleine kinderen worden groot...

#Oom

Als je nichtje je komt ophalen met HAAR auto, en ZIJ staat erop om de lunch te betalen.

Kleine kinderen worden groot...

#Oom

#OOM semantic-search.allgraph.ro/advanced-sea... #CASTELO DE #SÃO #JORGE semantic-search.allgraph.ro/advanced-sea... Semantic CLUSTERS: The Bridge between Humans and Artificial Intelligence. NOSTR.com - Jumble: jumble.social/users/npub1j...

MultiSearch Tag Explorer

Цікавий випадок сьогодні з #MongoDB. На одному із secondary в replica set раптово злетіло навантаження на диск до 80-90%. Почав копати - виявилось, що йшло створення індексу на колекції з 16 мільйонами документів (розробники додали індекс та забули попередити). На primary та hidden secodary індекс побудувався з невеликим додатковим IO, але на доступному для запитів secondary активно молотив диск, але чому так довго і так важко?
Виявилось що WiredTiger cache був заповнений під зав'язку і постійно виганяв сторінки щоб читати нові - класичний cache thrashing. В результаті система почала свапувати, своп заповнився повністю (8GB/8GB), і #MongoDB почав читати та писати через swap - звідси і дисковий ад.
Вирішення виявилось простим - вимкнути swap. До речі #claude сказав не робити цього, бо буде #OOM та mongodb процес помре першим.
Я все ж таки зробив swapoff -a. Команда працювала 1.5 години :-(
#Ubuntu поступово відвойовувала місце в свопе за рахунок зменшення дискового кешу. На скріншоті біла полоса - це коли почався процес зменшення свопа - система була перевантажена, що не могла відправляти телеметрію.
Дані повернулись в RAM і IO впав до норми буквально одразу.
Ще #claude радим поставити`vm.swappiness=1`, але не дивлячись на це система усе одно використовувала своп, бо MongoDB віджирав усю доступну памʼять від свої кеші.
Треба спробувати обмежети wiredTiger розмір кеша, щоб він не добирався до свопа.

Пришлось переписать код загрузчика БД с Питона на C++.
Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

Sanity Level increased

#oom #программирование

Пришлось переписать код загрузчика БД с Питона на C++.
Теперь БД в памяти занимает всего 32 ГБ, а не все 130.

Sanity Level increased

#oom #программирование

ВСЁ ЕЩЁ ДОСТОИН!

#oom #программирование #192gb

ВСЁ ЕЩЁ ДОСТОИН!

#oom #программирование #192gb

✅ Заставить полноценный FLUX1.dev работать без OOM на картинках 1024x1024
✅ Также успешно запустить квантизированный FLUX под ROCm несмотря на то, что у Invoke в образе с ROCm поломана bitsandbytes
✅ Смириться, что генерировать в нормальном разрешении и с нормальными параметрами - это меееедленно.

#log #GenAI #Invoke #FLUX #server #AMD #ROCm #troubleshooting #memory #OOM

✅ Заставить полноценный FLUX1.dev работать без OOM на картинках 1024x1024
✅ Также успешно запустить квантизированный FLUX под ROCm несмотря на то, что у Invoke в образе с ROCm поломана bitsandbytes
✅ Смириться, что генерировать в нормальном разрешении и с нормальными параметрами - это меееедленно.

#log #GenAI #Invoke #FLUX #server #AMD #ROCm #troubleshooting #memory #OOM

Next one. She's still in need of a name. I like Peaches, but I heard that's a pretty oldtimey name? #orborbmagi #oom #pixelart #魔法少女

Next one. She's still in need of a name. I like Peaches, but I heard that's a pretty oldtimey name? #orborbmagi #oom #pixelart #魔法少女

#pixelart #oom #goblin #魔法少女 She got a little makeover ✨

𝗙𝗿𝗲𝗲𝗸 𝗩𝗼𝗻𝗸 𝗱𝗼𝗼𝗿 𝗴𝗲𝗯𝗼𝗼𝗿𝘁𝗲 𝗻𝗲𝗲𝗳𝗷𝗲 𝘃𝗼𝗼𝗿 𝗵𝗲𝘁 𝗲𝗲𝗿𝘀𝘁 𝗼𝗼𝗺 𝗴𝗲𝘄𝗼𝗿𝗱𝗲𝗻

Freek Vonk is voor het eerst oom geworden. Op Instagram deelt hij het blije nieuws van de geboorte van zijn neefje Melle.

https://www.rtl.nl/boulevard/artikel/5545212/freek-vonk-door-geboorte-neefje-voor-het-eerst-oom-geworden

#FreekVonk #neefje #oom

𝗙𝗿𝗲𝗲𝗸 𝗩𝗼𝗻𝗸 𝗱𝗼𝗼𝗿 𝗴𝗲𝗯𝗼𝗼𝗿𝘁𝗲 𝗻𝗲𝗲𝗳𝗷𝗲 𝘃𝗼𝗼𝗿 𝗵𝗲𝘁 𝗲𝗲𝗿𝘀𝘁 𝗼𝗼𝗺 𝗴𝗲𝘄𝗼𝗿𝗱𝗲𝗻

Freek Vonk is voor het eerst oom geworden. Op Instagram deelt hij het blije nieuws van de geboorte van zijn neefje Melle.

https://www.rtl.nl/boulevard/artikel/5545212/freek-vonk-door-geboorte-neefje-voor-het-eerst-oom-geworden

#FreekVonk #neefje #oom

Плашка оперативной памяти на #64gb уже стоит 100 тысяч рублей.

Даааа. Даааааааааа. Let the #OOM flow through you

Плашка оперативной памяти на #64gb уже стоит 100 тысяч рублей.

Даааа. Даааааааааа. Let the #OOM flow through you

Has #OOM in #Linux been solv

Has #OOM in #Linux been solv

Aviation weather for Cooma Snowy Mountains airport (Australia) is “SPECI YCOM 120120Z AUTO 27017G27KT 9999 // NCD 17/M02 Q1009 RMK RF00.0/000.0” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

something is eating my RAM and it's pretty stealthy.
My used memory is about double of what it should be according to process usage. This is with #linux 6.16, gnome, browser and mailer running.

If I start a VM with 16 GB allocation, it runs into #OOM pretty quickly. If I start said VM with 12 GB, it also OOMs, just slower. Stealth usage increases there otherwise it wouldn't run OOM.

Found this promising thread but it's not this https://unix.stackexchange.com/questions/777046/how-to-analyse-cause-of-memory-usage-not-shown-by-htop

any idea?

#debugging #troubleshooting

Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 180130Z AUTO 01010KT 9999 // SCT037 12/03 Q1022 RMK RF00.0/000.0” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vii3

What Happens When You Run a VPS with Zero Swap? https://lowendbox.com/blog/what-happens-when-you-run-a-vps-with-zero-swap/ #virtualmemory #Tutorials #oomkiller #linux #swap #oom

#Google #engineer Roman #Gushchin has proposed the ability for the #Linux #kernel to customize the out-of-memory " #OOM" behavior using #BPF programs.

https://www.phoronix.com/news/Linux-OOM-BPF-Proposal

#Google #engineer Roman #Gushchin has proposed the ability for the #Linux #kernel to customize the out-of-memory " #OOM" behavior using #BPF programs.

https://www.phoronix.com/news/Linux-OOM-BPF-Proposal

Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 160000Z AUTO 28011KT 9999 // NCD 08/M02 Q1011 RMK RF00.0/000.0” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

MemHawk — профилировщик памяти для многопоточных приложений

Практически каждому разработчику однажды приходилось искать утечки памяти в его приложении / либо же профилировать использование памяти процессом. Задача эта довольно трудоемкая и непростая. Большинство популярных профилировщиков памяти либо дают неточную информацию (sampling), либо значительно замедляют выполнение (Valgrind, heaptrack). При этом в многопоточной среде они плохо масштабируются и требуют сложной настройки. Желание совместить детализацию аналогичную heaptrack и при этом решить проблему с многопоточностью привело к созданию MemHawk . Новый профилировщик сочетает преимущества традиционного подхода с учетом каждой аллокацией, но при этом предоставляет статистику по каждому уникальному стектрейсу без записи каждой аллокации в лог. В данной статье рассмотрим какие ключевые вопросы нужно решить при разработке своего профайлера, чем не угодили существующие решения и на какие ограничения пришлось пойти. Спойлер - удалось ускориться по отношению к heaptrack в 30 раз.

https://habr.com/ru/articles/929410/

#profiling #memory_leaks #heaptrack #oom #profiler #heap

Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 100100Z AUTO 31015KT 9999 // NCD 05/M00 Q0998 RMK RF00.0/000.2” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

Aviation weather for Cooma Snowy Mountains airport (Australia) is “METAR YCOM 100030Z AUTO 31012KT 9999 // NCD 05/00 Q0998 RMK RF00.0/000.2” : See what it means on https://www.bigorre.org/aero/meteo/ycom/en #cooma #australia #coomasnowymountainsairport #ycom #oom #metar #aviation #aviationweather #avgeek #airport vl

Maybe some Linux Kernel expert could help me with this:

Due to the nature of my work, I regularily run a very memory intensive process and my system runs out of memory during very few peak moments.

The system can't swap out memory fast enough and freezes. If I disable swap, the process gets killed instead.

Is there any way I can keep the system responsive? Ideally, only the offending process would get slowed down, but not other applications.

#Linux #Kernel #Memory #OOM
#Swap #AskFedi

Can’t find any document or report on how compilation flags like optimization levels affect memory usage when combined with ASAN. Anyone can light my candle here? #asan #gcc #clang #oom

@ralphruthe Grrr 🙁

2025-02-16T11:25:22.058706+01:00 halde kernel: [734389.864147] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=containerd.service,mems_allowed=0,global_oom,task_memcg=/user.slice/user-0.slice/session-1264.scope,task=ffmpeg,pid=3251305,uid=0
2025-02-16T11:25:22.058707+01:00 halde kernel: [734389.864721] Out of memory: Killed process 3251305 (ffmpeg) total-vm:43868596kB, anon-rss:20741624kB, file-rss:0kB, shmem-rss:0kB, UID:0 pgtables:57436kB oom_score_adj:0
2025-02-16T11:25:24.151424+01:00 halde kernel: [734391.954556] oom_reaper: reaped process 3251305 (ffmpeg), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

So ein Mist. eine 64GB-Kiste habe ich nicht gerade rumstehen 🙁

#ffmpeg #linux #oom

I can haz too many tabs open? ^^
#linux #kernel #oom

Weirdness writeup.

https://xahteiwi.eu/resources/hints-and-kinks/max-fd/

#Linux #Kubernetes #OOM #Gardener #Django #uWSGI #OpenedX #systemd

This is old. But it still makes me laugh. Too hard to admit.

#linux #os #error #oom #kernel #stupid #computer

I'm using #Meilisearch on @hollo, but it frequently dies due to #OOM. Am I doing something wrong, or is this a bug in Meilisearch?

Wait, who is St. Oom, anyway? Are they related to Spare?

#oomscrolling #oom #signs

(Spotted today when grabbing lunch.)

𝗠𝗮𝘅 𝗩𝗲𝗿𝘀𝘁𝗮𝗽𝗽𝗲𝗻 𝗼𝗽𝗻𝗶𝗲𝘂𝘄 𝗼𝗼𝗺 𝗴𝗲𝘄𝗼𝗿𝗱𝗲𝗻: '𝗪𝗲𝗹𝗸𝗼𝗺 𝗼𝗽 𝗱𝗲 𝘄𝗲𝗿𝗲𝗹𝗱'

Max Verstappen (26) is voor de derde keer oom geworden. De zus van de F1-coureur, Victoria (24), heeft na twee zoons een dochter verwelkomd en laat het meisje trots zien aan de wereld.

https://www.rtlnieuws.nl/entertainment/artikel/5453507/max-verstappen-opnieuw-oom-zus-victoria-dochter-kinderen

#MaxVerstappen #oom #welkomopdewereld

𝗢𝗼𝗺 𝗯𝗲𝗺𝗼𝗲𝗶𝘁 𝘇𝗶𝗰𝗵 𝗺𝗲𝘁 𝗵𝘂𝘄𝗲𝗹𝗶𝗷𝗸 𝗝𝘂𝘀𝘁𝗶𝗻 𝗲𝗻 𝗛𝗮𝗶𝗹𝗲𝘆 𝗕𝗶𝗲𝗯𝗲𝗿: '𝗛𝗲𝗲𝗹 𝗶𝗻𝗴𝗲𝘄𝗶𝗸𝗸𝗲𝗹𝗱'

Waar Hailey (27) en Justin Bieber (30) hun lippen stijf op elkaar houden als het gaat om hun huwelijk, hebben de familieleden van Hailey er een handje van om dit onderwerp uitgebreid met de pers te bespreken. Eerder liet haar vader op Instagram weten 'te bidden' voor hun...

https://www.rtlnieuws.nl/entertainment/artikel/5452452/oom-hailey-huwelijk-justin-bieber

#Oom #huwelijk #ingewikkeld

78-𝗷𝗮𝗿𝗶𝗴𝗲 𝗼𝗼𝗺 𝗮𝗹 𝗵𝗮𝗹𝗳𝗷𝗮𝗮𝗿 𝗴𝗲𝗴𝗶𝗷𝘇𝗲𝗹𝗱 𝗱𝗼𝗼𝗿 𝗛𝗮𝗺𝗮𝘀: '𝗚𝗲𝘃𝗮𝗻𝗴𝗲𝗻 𝗶𝗻 𝗲𝗲𝗻 𝗿𝗮𝘁𝘁𝗲𝗻𝗵𝗼𝗹'

Duizenden mensen gingen de afgelopen dagen de straat op in Tel Aviv en Jeruzalem om te protesteren tegen premier Benjamin Netanyahu. Ze eisen de terugkeer van alle gijzelaars en roepen op tot nieuwe verkiezingen. Zahiro-Shahar Mor, wiens oom nog steeds vastzit in Gaza, zegt...

https://www.rtlnieuws.nl/nieuws/buitenland/artikel/5443225/verkiezingen-israel-gijzelaars-netanyahu-hamas-oorlog-jeruzalem

#78jarige #oom #Hamas

My Linux experience just got so much better with this tool! 🚀

🐧 **earlyoom**: Early OOM (out of memory) daemon for Linux.

🚫 No more waiting for OOM killer to do its thing!
💀 No more sitting in front of a frozen system.

⭐ GitHub: https://github.com/rfjakob/earlyoom

#linux #memory #oom #desktop #opensource #system #tool

Hey, @mozilla - what's with #Firefox since an update last week? I'm on v123.0.1, and it is chewing #memory to an insane degree -- enough to have the #OOM killer visit me every day (well, night, actually).

Within ~12 hours, with my admittedly-many windows and tabs, Firefox's various processes are now occupying somewhere close to 100 GB of #virtmem! Before I get up tomorrow, it will have exhausted all virtual memory and have been OOM-killed - it has the last 4 nights.

Never like this before.