#joblib — Public Fediverse posts

I have some computations that I am joblibbing. The RAM consumption is very predictable as a function of the processes. However, the swap is also creeping up and I have no idea what can be causing this. Is there a rule-of-thumb for predicting swap use in parallel operations ?

#hivemind #joblib #python #computation #swap #ram #memory #calculations

[Перевод] Уроки, извлеченные из масштабирования до многотерабайтных датасетов

В этой статье я расскажу об уроках, которые вынес при работе с многотерабайтными датасетами. Объясню, с какими сложностями столкнулся при увеличении масштабов датасета и как их удалось решить. Я разделил статью на две части: первая посвящена масштабированию на отдельной машине, вторая — масштабированию на множестве машин. Наша цель — максимизировать доступные ресурсы и как можно быстрее выполнить поставленные задачи.

https://habr.com/ru/companies/magnus-tech/articles/834506/

#датасеты #big_data #joblib #машинное+обучение #параллелизация #spark #dask #виртуализация #инстансы #виртуальная_машина