#celery — Public Fediverse posts

Я думал, что 16 воркеров ускорят обработку задач в 16 раз. Но что‑то пошло не так

Недавно я написал свою систему распределённой обработки задач. Сначала это был учебный проект. Мне хотелось лучше разобраться в очередях задач, координации воркеров, блокировках строк в PostgreSQL, retry‑механизмах и планировании фоновых задач. Когда основная функциональность была готова, я понял, что не знаю, как система ведёт себя под нагрузкой . Поэтому вместо того, чтобы добавлять очередную фичу, я решил провести простой эксперимент. Взять одинаковый набор задач и постепенно увеличивать количество воркеров. Первые результаты выглядели именно так, как я ожидал. А потом масштабирование внезапно остановилось. Увеличение количества воркеров с 16 до 32 практически не дало прироста производительности, а при 64 воркерах ситуация стала ещё интереснее: задачи, которые должны были выполняться около 0.5 секунды, начали занимать больше секунды. Первой моей мыслью было, что я упёрся в PostgreSQL. Оказалось, что нет.

https://habr.com/ru/articles/1070210/

#python #celery #worker #optimisation #backend #многопоточность #асинхронность #тестирование #docker #распределенные_системы

With the Django 6.1 release, Threadmill officially leaves beta. 🎉

https://github.com/codingjoe/threadmill

#Django #Python #celery #async #tasks

With the Django 6.1 release, Threadmill officially leaves beta. 🎉

https://github.com/codingjoe/threadmill

#Django #Python #celery #async #tasks

QuotaRadar — уведомления о сбросах лимитов Codex и Claude Code

Всем привет! У вас было такое, когда заканчиваются недельные или часовые лимиты в Codex или Claude Code, а потом вы внезапно обнаруживаете, что лимиты уже сбросили? Приятно, да? Особенно Codex этим часто радует :) Так вот, я хотел получать уведомления о таких сбросах. Но при этом не хотел самостоятельно мониторить X — бывший Twitter — или постоянно проверять другие источники.

https://habr.com/ru/articles/1061668/

#QuotaRadar #Codex #Claude_Code #Telegramбот #мониторинг_лимитов #Open_Source #Python #Celery #X_API #YandexGPT

Oh, so with al the #Cyclospora stuff going around, I decided to roast the store-bought #celery just in case... And of course, I had some home-grown green onions on hand and store-bought mushrooms. Roasting veggies inactivates the parasite! We used balsamic vinegar and Italian seasoning instead of cumin and celery seed...

Jennie's Roasted Celery And Mushrooms

"You know I had sort of forgotten about the idea of roasted celery until this theme came along - but the I remembered that my stepmom LOVES it, and often makes big batches to keep on hand. It easy and delicious and healthy - what's not to love? This recipe is dedicated to Jennie!"

https://food52.com/recipes/16463-jennie-s-roasted-celery-and-mushrooms

#SolarPunkSunday #HealthAndSafety #USA #Cyclosporiasis #FoodSafety #VegetarianRecipes #CeleryRecipes

Oh, so with al the #Cyclospora stuff going around, I decided to roast the store-bought #celery just in case... And of course, I had some home-grown green onions on hand and store-bought mushrooms. Roasting veggies inactivates the parasite! We used balsamic vinegar and Italian seasoning instead of cumin and celery seed...

Jennie's Roasted Celery And Mushrooms

"You know I had sort of forgotten about the idea of roasted celery until this theme came along - but the I remembered that my stepmom LOVES it, and often makes big batches to keep on hand. It easy and delicious and healthy - what's not to love? This recipe is dedicated to Jennie!"

https://food52.com/recipes/16463-jennie-s-roasted-celery-and-mushrooms

#SolarPunkSunday #HealthAndSafety #USA #Cyclosporiasis #FoodSafety #VegetarianRecipes #CeleryRecipes

Celery: contraindications and side effects #celery #celeryjuice #contraindications #herbs ... Continue to: https://www.facebook.com/reel/4482064198736520/

#jouRapNal #book19 day 89

20260713Mon

#3goodThings #baseboards #juicer #celery #threeGoodThings

#evercross #A1 #kw2woodstock

#jouRapNal #book19 day 89

20260713Mon

#3goodThings #baseboards #juicer #celery #threeGoodThings

#evercross #A1 #kw2woodstock

BIG NEWS! 😮

#Django got another task backend. 🎉

Threadmill has a durable message queue based on Redis as well as a monitoring interface based on textual.

https://github.com/codingjoe/threadmill

#Django #redis #valkey #textual #python #tui #tasks #celery #dramatiq

BIG NEWS! 😮

#Django got another task backend. 🎉

Threadmill has a durable message queue based on Redis as well as a monitoring interface based on textual.

https://github.com/codingjoe/threadmill

#Django #redis #valkey #textual #python #tui #tasks #celery #dramatiq

@jake Just to let you know: I migrated a project at work who was using #Django 5.2 and #Celery to use Django 6.0 and #django_tasks_db and that worked very well 👍

I had to adapt my back API because the status returned by #django_tasks were not exactly the same as celery ones but the new ones are better anyway 🙂

I also watched your Django Chat talk and better understand why the cancel or timeout actions is not there yet and it makes sense.

Anyway thanks for your tremendous contribution 🎉

@jake Just to let you know: I migrated a project at work who was using #Django 5.2 and #Celery to use Django 6.0 and #django_tasks_db and that worked very well 👍

I had to adapt my back API because the status returned by #django_tasks were not exactly the same as celery ones but the new ones are better anyway 🙂

I also watched your Django Chat talk and better understand why the cancel or timeout actions is not there yet and it makes sense.

Anyway thanks for your tremendous contribution 🎉

Yay another #TipOfDay post. Just look at these 3 show and tell photos I can text over to anyone who needs this idea or method. Get this: for slicing celery into really thin small slices. And why this way helps someone who may have dexterity issues or swallowing and choking risks or sensitivity to food
textures.

Most of the young caregivers we had had over the years for my adult son who is disabled have no idea what I mean by “really thin slices”. His favorite sandwich is made with tuna salad. If I tell someone to add a stalk of celery cut into very thin slices they have little idea of what I mean. Some have never prepared celery for anyone.

I start with taking 1 stalk of celery and cut off the bunch stalk end and the top part with tiny branching stems and leaves. Then wash stalk. Celery is usually dirty once it’s in the grocery. Slices are thin, small crescent shapes pieces cut across the ribs. When at the lower part of stalk, cut the wide sections in half vertically the hold them together as you continue slim cuts. Otherwise wide crescents are a little too chunky to use this way. The first photo shows these steps. You can see how thin I ask the slices to be cut. (Yes I know I can use more of the scraps in my own cooking but I don’t ask caregivers to worry about this ) Second photo shows they are added to a bowl with sweet pickle relish, tuna and mayonnaise. Third photo shows finished tuna salad ready for sandwiches.
#Food #Celery #FoodPrep #Vegetable #Sandwich #Caregivers #Disability

Yay another #TipOfDay post. Just look at these 3 show and tell photos I can text over to anyone who needs this idea or method. Get this: for slicing celery into really thin small slices. And why this way helps someone who may have dexterity issues or swallowing and choking risks or sensitivity to food
textures.

Most of the young caregivers we had had over the years for my adult son who is disabled have no idea what I mean by “really thin slices”. His favorite sandwich is made with tuna salad. If I tell someone to add a stalk of celery cut into very thin slices they have little idea of what I mean. Some have never prepared celery for anyone.

I start with taking 1 stalk of celery and cut off the bunch stalk end and the top part with tiny branching stems and leaves. Then wash stalk. Celery is usually dirty once it’s in the grocery. Slices are thin, small crescent shapes pieces cut across the ribs. When at the lower part of stalk, cut the wide sections in half vertically the hold them together as you continue slim cuts. Otherwise wide crescents are a little too chunky to use this way. The first photo shows these steps. You can see how thin I ask the slices to be cut. (Yes I know I can use more of the scraps in my own cooking but I don’t ask caregivers to worry about this ) Second photo shows they are added to a bowl with sweet pickle relish, tuna and mayonnaise. Third photo shows finished tuna salad ready for sandwiches.
#Food #Celery #FoodPrep #Vegetable #Sandwich #Caregivers #Disability

iRODS Automated Ingest v0.7.0 is released!

https://github.com/irods/irods_capability_automated_ingest/releases/tag/v0.7.0

https://pypi.org/project/irods-capability-automated-ingest/

#irods #python #ingest #celery #redis #pypi

Простой API, умный сервер: третий класс брокеров, который пропускают между Kafka и RabbitMQ

Привет, Хабр! Меня зовут Андрей Серебрянский. Раньше я строил платформы потоковой обработки данных в банках, а теперь вместе с командой разрабатываю YDB Topics и YMQ. После своих докладов на конференциях мы с коллегами по индустрии часто обсуждаем брокеры сообщений. И меня, как разработчика таких решений, огорчает упрощённый подход: «RabbitMQ не нужен, всё можно собрать на Kafka». Вспоминая известную шутку: да, с помощью буханки бородинского и двух спиц можно собрать модель троллейбуса. Но зачем? Да, я люблю Kafka и с удовольствием про неё рассказываю на Хабре и Хайлоаде. Но, кроме Kafka и RabbitMQ, есть и третий класс брокеров сообщений: SQS-совместимые очереди в облачных платформах ( и не только ), которые для многих продакшн-задач подходят лучше, чем Kafka. Опытные разработчики, проводя system design interview, любят спрашивать друг друга о разнице между брокерами сообщений. А мне каждый раз хочется ответить: «Зависит от контекста». В статье под катом я начну с такого контекста: напомню, для чего изначально создавались SQS, RabbitMQ, Kafka. После этого расскажу про принцип «простой API, умный сервер» и про задачи, которые в эпоху микросервисов решаются с помощью брокеров. А в завершение — про реализацию SQS, над которой сейчас работаю: Yandex Message Queue.

https://habr.com/ru/companies/ydb/articles/1042560/

#kafka #rabbitmq #sqs #celery #ydb

«1-РБПО для бедных»: сказ о том, как стартап безопасность прикручивал
https://habr.com/ru/companies/bastion/articles/1038686/

«2-РБПО для бедных»: разворачиваем виртуальные машины
https://habr.com/ru/companies/bastion/articles/1038692/

«3-РБПО для бедных»: разворачиваем сервисы безопасной разработки
https://habr.com/ru/companies/bastion/articles/1038710/

«4-РБПО для бедных»: собираем CI/CD-конвейер безопасной разработки
https://habr.com/ru/companies/bastion/articles/1041724/

#devops #security #DefectDojo #PostgreSQL #Redis #Nginx #uWSGI #Celery #DependencyTrack #Checkov #Trivy #Gitleaks #OpenGrep #Nuclei

Django gets a new worker for its task framework inspired by Gunicorn:

https://github.com/codingjoe/threadmill

You'll have to wait for Django 6.1 and someone to provide a matching message queue.

#django #tasks #jobs #message #redis #rabbitmq #foss #openSource #python #celery #dramatiq

Django gets a new worker for its task framework inspired by Gunicorn:

https://github.com/codingjoe/threadmill

You'll have to wait for Django 6.1 and someone to provide a matching message queue.

#django #tasks #jobs #message #redis #rabbitmq #foss #openSource #python #celery #dramatiq

A comprehensive comparison of Celery and Temporal for orchestrating AI tasks, covering architecture, performance, features, and use cases in distributed AI workflows.

#Celery #Temporal #AI task orchestration #distributed systems #workflow automation

https://dasroot.net/posts/2026/02/orchestrating-ai-tasks-celery-temporal/

A comprehensive comparison of Celery and Temporal for orchestrating AI tasks, covering architecture, performance, features, and use cases in distributed AI workflows.

#Celery #Temporal #AI task orchestration #distributed systems #workflow automation

https://dasroot.net/posts/2026/02/orchestrating-ai-tasks-celery-temporal/

Django Crontask version 2.0 is out the door! Thanks for all your wonderful contributions and bug chases.

https://github.com/codingjoe/django-crontask

#Django #Python #Celery

Django Crontask version 2.0 is out the door! Thanks for all your wonderful contributions and bug chases.

https://github.com/codingjoe/django-crontask

#Django #Python #Celery

Heartbeat-мониторинг cron-job'ов: dead-man-switch на FastAPI

Обычный uptime-мониторинг проверяет, отвечает ли сервис на запросы. Cron-job ничего не отвечает — он запускается раз в N часов, делает работу и молча завершается. Если cron перестал запускаться (uptime daemon упал, машина в read-only mode после fsck, disk full) — обычный мониторинг этого не видит. Решение известно с 70-х — паттерн dead-man-switch (он же heartbeat). Я недавно делал heartbeat-эндпоинты для Valpero. Здесь разберу серверную часть на FastAPI + клиентский bash-pattern, и edge-кейсы которые их ломают. В конце готовый код, который можно адаптировать под свой стек.

https://habr.com/ru/articles/1035624/

#cron #heartbeat #deadmanswitch #monitoring #alerting #bash #FastAPI #Celery #devops #linux

Зеленые потоки Celery. Gevent и Eventlet

Вторая статья цикла о внутрянке Celery: на этот раз — зелёные потоки (gevent/eventlet). Как gevent и eventlet работают под капотом Celery, что такое Hub, monkey patching и почему autoscale для гринлетов бесполезен. А ещё — неожиданный бенчмарк: prefork против gevent на одном ядре. Спойлер: gevent проигрывает, но не спешите его хоронить. Для тех, кто выбирает пул под свои задачи. А пойду готовить докер-селери-кубер-автоскейл .

https://habr.com/ru/articles/1036606/

#celery #gevent #eventlet

Transport Evolved Chicken and Garden Update: It’s Starting To Feel Like A Garden Again! https://www.allforgardening.com/1774525/transport-evolved-chicken-and-garden-update-its-starting-to-feel-like-a-garden-again/ #celery #ChickenAndGarden #courgettes #cucumbers #FavaBeans #garden #gardener #gardening #garlic #GreenhouseGrowing #PacificNorthwestGarden #peppers #Raspberries #strawberries #tomatillos #tomatoes #TransportEvolved #zucchini

Transport Evolved Chicken and Garden Update: It’s Starting To Feel Like A Garden Again! https://www.allforgardening.com/1774525/transport-evolved-chicken-and-garden-update-its-starting-to-feel-like-a-garden-again/ #celery #ChickenAndGarden #courgettes #cucumbers #FavaBeans #garden #gardener #gardening #garlic #GreenhouseGrowing #PacificNorthwestGarden #peppers #Raspberries #strawberries #tomatillos #tomatoes #TransportEvolved #zucchini

Celery Autoscale: что в лоб — то по лбу?

Celery популярен. Модель prefork работает по умолчанию. Autoscale смотрится неплохим вариантом для любого воркера. Идея посмотреть, как выглядит механизм изнутри родилась давно, когда по работе сталкивался с проблемами у клиентов в отложенных задачах, но никаких артефактов или задокументированного аномального поведения не было. Это стартовая статья об архитектуре, моделях и масштабировании Celery.

https://habr.com/ru/articles/1030838/

#celery #очереди

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

At-least-once. Это не баг провайдера. Это ваша архитектурная проблема

Думал, зайду в крипту и буду просто дёргать API блокчейна. Не вышло. Захожу в проект. Стек: FastAPI, PostgreSQL, Redis как Celery broker, Celery workers, Docker, Web3. Стартап на хайпе, деньги реальные, архитектура собрана на коленке. Смотрю на архитектуру платёжного процессинга и первая мысль: ребята, вы серьёзно? Финансовые операции с реальными деньгами, без idempotency вообще, Redis как брокер без persistence, Web3.py синхронные вызовы внутри Celery тасков. Разговор был короткий: задача такая, чини что есть. Сроки горели.

https://habr.com/ru/articles/1028708/

#idempotency #PostgreSQL #Celery #FastAPI #Redis #atleastonce #webhook #distributed_systems #финтех

Как я реализовал Blue-Green деплой с нулевым даунтаймом на Docker Compose

Недавно я внедрил blue‑green деплой в проде. Реализация довольно простая и кастомная, но справляется со своей задачей на ура! Также сообщу, что используется обычный докер композ на виртуалке — возможно, кому‑то такой подход будет полезен. Для фоновых процессов (воркеров) В приложение добавляется специальный инфрастуктурный singleton класс с флагом is_accepting, и обертка на consumers. В каждом консьюмере перед обработкой проверяем этот флаг: если True — обрабатываем задачу, если False — переносим задачу на повторную обработку (например, в rabbitmq делаем сразу nack(requeue=true))

https://habr.com/ru/articles/1025776/

#bluegreen_deployment #zero_downtime #dockercompose #cicd #rabbitmq #kafka #faststream #celery

Picked up some celery leaves to make a stew.

I have been harvesting celery from the 4 bunch I bought at the farmers market 2 years ago and planted them in a pot on the balcony.

It's the best 4 Euros I've ever spent on the market.

#Gardening #celery #ContainerGarden #BalconyGarden #GrowOwnFood #Plants
@[email protected]
@[email protected]

Picked up some celery leaves to make a stew.

I have been harvesting celery from the 4 bunch I bought at the farmers market 2 years ago and planted them in a pot on the balcony.

It's the best 4 Euros I've ever spent on the market.

#Gardening #celery #ContainerGarden #BalconyGarden #GrowOwnFood #Plants
@[email protected]
@[email protected]

#Django VTasks is a faster and asyncio-friendly django.tasks extension supporting ORM and valkey/redis backends. Scheduler, unique, batch, and prioritize tasks embedded in your ASGI app or as a standalone worker.

4x faster than #celery.

https://glitchtip.com/blog/2026-04-13-django-vtasks

#Django VTasks is a faster and asyncio-friendly django.tasks extension supporting ORM and valkey/redis backends. Scheduler, unique, batch, and prioritize tasks embedded in your ASGI app or as a standalone worker.

4x faster than #celery.

https://glitchtip.com/blog/2026-04-13-django-vtasks

Как я выбирал стек для SaaS-мониторинга сайтов

Как в одиночку собрать полноценный сервис мониторинга с проверками из 10 точек мира, алертами в Telegram/Slack и собственным агентом? Делюсь личным опытом выбора стека: почему FastAPI выиграл у Django, как TimescaleDB справляется с миллионами строк логов и зачем писать агент на Go, если основной код на Python. Только практика, архитектурные решения и честный расчет стоимости инфраструктуры в €11/мес. Изучить стек

https://habr.com/ru/articles/1021000/

#FastAPI #Vuejs #TimescaleDB #SaaS #мониторинг_сайтов #Celery #Go #архитектура #стартап #разработка

I ended up transplanting some #celery plants too. 👩‍🌾

#Gardening #GrowFood #FoodPlants #GrowFoodNotLawns #FoodSecurity #FoodGarden #GardeningIsRevolutionary #SmallActsOfResistance #AntiCapitalist

I ended up transplanting some #celery plants too. 👩‍🌾

#Gardening #GrowFood #FoodPlants #GrowFoodNotLawns #FoodSecurity #FoodGarden #GardeningIsRevolutionary #SmallActsOfResistance #AntiCapitalist

@publicdomainrev Here's a contemporary take on the medium by Mark Oatis, as featured in BLAG 08 (https://bl.ag/08).

This short film explores its inspiration, development, and execution: https://video.bl.ag/w/sLwMew6kPgXwr1vEb7d8f4.

#SignPainting #Mural #PublicArt #WheatRidge #Celery

Transport Evolved Chicken and Garden Update: Nikki’s Got A New Stash! https://www.allforgardening.com/1657173/transport-evolved-chicken-and-garden-update-nikkis-got-a-new-stash/ #abutilon #BackyardGarden #Baldur'sGate #BG3 #BroadBeans #Broccoli #CaliforniaBellPeppers #celery #DanversCarrots #FavaBeans #garden #geraniums #greenhouse #HickenAndGarden #Karlach #Parsnip #PortlandNursery #RaisedBeds #SeedPotatoes #SeedSaving #SnowPeas #squash #SweetCorn #TelegraphCucumber #VancouverCentennial #WinterGardening #zucchini

Dinge die schön wären: wenn man #celery sagen könnte: "mach so viel concurrency wie du willst, aber von diesem einen Task maximal 3 parallel". Habe ein super dummer Ratelimit, mit dem ich dealen muss und will nicht absolut alles an tasks runter reduzieren.

Westway’s open! Don’t change a hair for me, New York.
I should have left a tip, he had a dollar in the NYC coffee cup already…
#sidewalk #snowman #NewYorkCity #diner #midtown #Manhattan #Clinton #HellsKitchen #NYC #plow #shovel #carrot #nose #celery #arms

@RikerGoogling also #vaguelyrelated :awesome: #celery

https://mastodon.social/@nrmacdonald/116086199336340193

Drug of Choice

Celery. Get addicted to celery.

Gambling, sugar, sex, heroin, tobacco, meth-amphetamine addictions will kill you or ruin your life.

Celery is the answer.

Celery is a pretty harmless thing to be addicted to, just don’t mainline the bloody stuff!

10th or 11th harvest of celery from the plants I put in a pot last summer.

I bought a bunch at the farmers market in Nice last year after I had my annual physical there.

I have been enjoying them ever since. Very low maintenance, easy to pick and delicious when fresh.
#celery #BalconyGarden #ContainerGardening #vegetables #GrowOwnFood #France #Antibes
@gardening