#оптимизация_памяти — Public Fediverse posts

Как устроен словарь в CPython: compact dict, key sharing и что с ним делает free-threading

У dict в Python слишком простая внешность: положили ключ, достали значение, пошли дальше. Но за этим стоит один из самых вылизанных участков CPython — с компактным хранением, сохранением порядка вставки, общими ключами для экземпляров классов, оптимизациями доступа к атрибутам и новыми компромиссами из-за free-threading. В статье разберём, почему обычный словарь давно перестал быть «просто хеш-таблицей», как его устройство влияет на память и скорость кода, и какие привычки Python-разработчика могут незаметно ломать быстрый путь интерпретатора. Разобрать dict

https://habr.com/ru/companies/otus/articles/1029210/

#python #CPython #словарь_Python #хештаблица #compact_dict #оптимизация_памяти

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

От вет-ИИ для коров до имперского глянца: хардкорный MLOps на бесплатных GPU

В начале 2026 года ленты новостей принесли тревожные сообщения из Сибири: массовые вспышки опасных заболеваний у КРС (крупного рогатого скота) привели к необходимости вынужденного забоя тысяч голов. Для многих фермеров это означало потерю бизнеса и средств к существованию. Мы задались вопросом: может ли доступный Computer Vision стать первой линией обороны? Инструментом, который позволит фермеру в отдаленном районе провести первичный скрининг (триаж) животного с помощью обычного смартфона и вовремя вызвать ветеринара, не дожидаясь начала эпидемии. Так родился проект AI-Vet-Scanner ( наше пространство на Hugging Face ), определяющий признаки заболеваний по фотографии.

https://habr.com/ru/articles/1013214/

#MLOps #Kaggle #Computer_Vision #OpenCV #PyMuPDF #Hugging_Face #датасет #парсинг #оптимизация_памяти #SDXL_LoRA

От вет-ИИ для коров до имперского глянца: хардкорный MLOps на бесплатных GPU

В начале 2026 года ленты новостей принесли тревожные сообщения из Сибири: массовые вспышки опасных заболеваний у КРС (крупного рогатого скота) привели к необходимости вынужденного забоя тысяч голов. Для многих фермеров это означало потерю бизнеса и средств к существованию. Мы задались вопросом: может ли доступный Computer Vision стать первой линией обороны? Инструментом, который позволит фермеру в отдаленном районе провести первичный скрининг (триаж) животного с помощью обычного смартфона и вовремя вызвать ветеринара, не дожидаясь начала эпидемии. Так родился проект AI-Vet-Scanner ( наше пространство на Hugging Face ), определяющий признаки заболеваний по фотографии.

https://habr.com/ru/articles/1013214/

#MLOps #Kaggle #Computer_Vision #OpenCV #PyMuPDF #Hugging_Face #датасет #парсинг #оптимизация_памяти #SDXL_LoRA

От вет-ИИ для коров до имперского глянца: хардкорный MLOps на бесплатных GPU

В начале 2026 года ленты новостей принесли тревожные сообщения из Сибири: массовые вспышки опасных заболеваний у КРС (крупного рогатого скота) привели к необходимости вынужденного забоя тысяч голов. Для многих фермеров это означало потерю бизнеса и средств к существованию. Мы задались вопросом: может ли доступный Computer Vision стать первой линией обороны? Инструментом, который позволит фермеру в отдаленном районе провести первичный скрининг (триаж) животного с помощью обычного смартфона и вовремя вызвать ветеринара, не дожидаясь начала эпидемии. Так родился проект AI-Vet-Scanner ( наше пространство на Hugging Face ), определяющий признаки заболеваний по фотографии.

https://habr.com/ru/articles/1013214/

#MLOps #Kaggle #Computer_Vision #OpenCV #PyMuPDF #Hugging_Face #датасет #парсинг #оптимизация_памяти #SDXL_LoRA

От вет-ИИ для коров до имперского глянца: хардкорный MLOps на бесплатных GPU

В начале 2026 года ленты новостей принесли тревожные сообщения из Сибири: массовые вспышки опасных заболеваний у КРС (крупного рогатого скота) привели к необходимости вынужденного забоя тысяч голов. Для многих фермеров это означало потерю бизнеса и средств к существованию. Мы задались вопросом: может ли доступный Computer Vision стать первой линией обороны? Инструментом, который позволит фермеру в отдаленном районе провести первичный скрининг (триаж) животного с помощью обычного смартфона и вовремя вызвать ветеринара, не дожидаясь начала эпидемии. Так родился проект AI-Vet-Scanner ( наше пространство на Hugging Face ), определяющий признаки заболеваний по фотографии.

https://habr.com/ru/articles/1013214/

#MLOps #Kaggle #Computer_Vision #OpenCV #PyMuPDF #Hugging_Face #датасет #парсинг #оптимизация_памяти #SDXL_LoRA

[Перевод] Руководство по оптимизации памяти в Unity 6

Случалось ли вам ловить падение приложения из-за исключения OutOfMemoryException? Управление памятью — важная часть разработки игр, и оно способно сберечь немало нервов. В этом материале разберём, как устроено выделение памяти, как профилировать состояние памяти приложения и как его улучшить. Разобраться в деталях

https://habr.com/ru/companies/otus/articles/959150/

#геймдев #unity #оптимизация_памяти #профилирование #утечки_памяти #unity_6 #сборщик_мусора #фрагментация_памяти

[Перевод] Оптимизация памяти в Go: 20 приёмов для эффективных приложений

Команда Go for Devs подготовила перевод статьи о том, как оптимизировать использование памяти в Go-приложениях. Автор делится двадцатью приёмами — от выбора ресивера метода и правильной инициализации slice до кастомного управления памятью и профилирования с pprof . TL;DR: мелкие улучшения складываются в заметный прирост производительности и стабильности.

https://habr.com/ru/articles/943664/

#go #golang #оптимизация_памяти #garbage_collector #профилирование #производительность

Всё что нужно знать про torch.sparse

Разработчики PyTorch предоставили модуль torch.sparse для работы с разреженными тензорами , где большинство элементов – нули. Зачем это нужно? Представьте матрицу смежности графа, сильно обрезанную сеть или облако точек – хранить такие данные плотным массивом без надобности расточительно. Разрежённая структура сохраняет только ненулевые элементы и их индексы, что сильно экономит память и ускоряет вычисления . Например, матрица размером 10,000 на 10,000 с 100 000 ненулевых float-значений в разрежённом COO-формате займёт не 400 МБ, а около 2 МБ. Несмотря на перспективы, API разрежённых тензоров в PyTorch пока в бете и может менять крошечные детали . Будьте к этому готовы: часть операций поддерживается, часть – нет, и некоторые автоград-ячейки пока работают только для COO, а для CSR, например, градиент не считается. Но обо всём по порядку.

https://habr.com/ru/companies/otus/articles/942164/

#ml #Data_Science #разрежённые_тензоры #PyTorch #оптимизация_памяти #torchsparse #матричное_умножение

Flat-контейнеры в C++

Привет, Хабр! Еще в C++23 появились «плоские» ассоциативные контейнеры: std::flat_set , std::flat_map и их многоключевые аналоги. Проще говоря, это полные аналоги обычных std::set и std::map , но реализованные иначе – через упорядоченный последовательный контейнер (по умолчанию std::vector ). Зачем вообще понадобились эти штуки? Официальная причина – экономия памяти и выигрыш в производительности при чтении данных.

https://habr.com/ru/companies/otus/articles/940306/

#C++ #c++23 #ассоциативные_контейнеры #производительность #оптимизация_памяти #бинарный_поиск #итераторы

Экономия RAM с pandas.read_sql

Как экономить до 90% оперативной памяти при загрузке pandas DataFrame из базы данных? Сравним различные способы выгрузки данных и найдем метод для снижения потребления оперативной памяти.

https://habr.com/ru/articles/895330/

#оптимизация_памяти #pandas #sql

Три способа оптимизировать работу с памятью на Go с помощью memory pools

Привет, Хабр! Меня зовут Александр Иванов, я разрабатываю средства управления сетевыми элементами сотовой связи и пишу на языке Go в YADRO. Однажды я работал над приложением, которое испытывало пиковые нагрузки каждые 10 минут, но выполнить обработку памяти быстро мешал Garbage Collector. Чтобы решить эту проблему, я изучил несколько способов реализации memory pool и провел испытания скорости работы. В этой статье расскажу, как уменьшить влияние GC на выполнение программы и покажу бенчмарки для разных memory pools. Объясню, какая из реализаций подойдет вашему проекту, а когда лучше не использовать memory pools и полагаться на встроенные механизмы рантайм-окружения Go.

https://habr.com/ru/companies/yadro/articles/842314/

#go #оптимизация_памяти #syncpool #memory_arena #garbage_collector #memory_pool #бенчмарки #channel_pool

Для чего подходит ультрадешёвый сервер за 130 рублей

В рекламе RUVDS постоянно упоминаются дешёвые VPS-серверы «за 130 рублей в месяц» . Но многие думают, что это маркетинговый трюк: такие серверы может и есть, но только для рекламы, чтобы предложение звучало красиво, а в реальности они совершенно непригодны. Ну что может сервер с 512 МБ оперативной памяти? Конечно же, ничего. На него даже операционка не встанет… В реальности всё совсем иначе. На этот сервер ставятся разные дистрибутивы Linux, задачи он выполняет реальные и вы даже получаете выделенный IP-адрес.

https://habr.com/ru/companies/ruvds/articles/785110/

#ruvds_статьи #RUVDS #VDS #хостинг_сайтов #VPN_наоборот #SSH #оптимизация_памяти #zRam #XMPP #PuTTY #Teamspeak #Snappymail #Docker

Кардинально сжимаем память в NodeJS

Возможно некоторые знают аналогию с краном и плотиной - заткнуть протечку воды в кране на кухне это один инструмент, а вот в плотине - совершенно другой. Иногда нам надо переложить JSON из одного микросервиса в другой. Иногда JSON размером в пару гигабайт и ты ловишь ошибку с максимальным размером строки в V8. Решаем проблему

https://habr.com/ru/articles/782746/

#nodejs #nodejs #оптимизация_памяти #алгоритмы #задачи_для_собеседований

Кардинально сжимаем память в NodeJS

Возможно некоторые знают аналогию с краном и плотиной - заткнуть протечку воды в кране на кухне это один инструмент, а вот в плотине - совершенно другой. Иногда нам надо переложить JSON из одного микросервиса в другой. Иногда JSON размером в пару гигабайт и ты ловишь ошибку с максимальным размером строки в V8. Решаем проблему

https://habr.com/ru/articles/782746/

#nodejs #nodejs #оптимизация_памяти #алгоритмы #задачи_для_собеседований

Кардинально сжимаем память в NodeJS

Возможно некоторые знают аналогию с краном и плотиной - заткнуть протечку воды в кране на кухне это один инструмент, а вот в плотине - совершенно другой. Иногда нам надо переложить JSON из одного микросервиса в другой. Иногда JSON размером в пару гигабайт и ты ловишь ошибку с максимальным размером строки в V8. Решаем проблему

https://habr.com/ru/articles/782746/

#nodejs #nodejs #оптимизация_памяти #алгоритмы #задачи_для_собеседований