home.social

#bentoml — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #bentoml, aggregated by home.social.

  1. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #сервинг_моделей #детекция_объектов #компьютерное_зрение #grounding_dino #docker #bentoml
  2. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #сервинг_моделей #детекция_объектов #компьютерное_зрение #grounding_dino #docker #bentoml
  3. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #сервинг_моделей #детекция_объектов #компьютерное_зрение #grounding_dino #docker #bentoml
  4. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #ml #mlops #bentoml #docker #grounding_dino #компьютерное_зрение
  5. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #cybersecurity #vulnerability #checkmarx #security #bentoml #python
  6. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #cybersecurity #vulnerability #checkmarx #security #bentoml #python
  7. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #ai #waf #rce #python #bentoml #security
  8. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #cybersecurity #vulnerability #checkmarx #security #bentoml #python
  9. Hackread.com @[email protected] ·

    A critical RCE vulnerability (CVE-2025-27520) has been found in BentoML. Affects versions 1.3.8–1.4.2 - Update to v1.4.3 ASAP.

    Read: hackread.com/bentoml-vulnerabi

    #CyberSecurity #BentoML #Vulnerability #AI #Python

    #cybersecurity #bentoml #vulnerability #ai #python
  10. Hackread.com @Hackread ·

    A critical RCE vulnerability (CVE-2025-27520) has been found in BentoML. Affects versions 1.3.8–1.4.2 - Update to v1.4.3 ASAP.

    Read: hackread.com/bentoml-vulnerabi

    #cybersecurity #bentoml #vulnerability #ai #python
  11. Hackread.com @[email protected] ·

    A critical RCE vulnerability (CVE-2025-27520) has been found in BentoML. Affects versions 1.3.8–1.4.2 - Update to v1.4.3 ASAP.

    Read: hackread.com/bentoml-vulnerabi

    #CyberSecurity #BentoML #Vulnerability #AI #Python

    #cybersecurity #bentoml #vulnerability #ai #python
  12. Hackread.com @[email protected] ·

    A critical RCE vulnerability (CVE-2025-27520) has been found in BentoML. Affects versions 1.3.8–1.4.2 - Update to v1.4.3 ASAP.

    Read: hackread.com/bentoml-vulnerabi

    #CyberSecurity #BentoML #Vulnerability #AI #Python

    #python #ai #vulnerability #bentoml #cybersecurity
  13. Hackread.com @[email protected] ·

    A critical RCE vulnerability (CVE-2025-27520) has been found in BentoML. Affects versions 1.3.8–1.4.2 - Update to v1.4.3 ASAP.

    Read: hackread.com/bentoml-vulnerabi

    #CyberSecurity #BentoML #Vulnerability #AI #Python

    #cybersecurity #bentoml #vulnerability #ai #python
  14. Darren Meyer :donor: @[email protected] ·

    As an interesting side note to this finding, this #BentoML vulnerability is a *reintroduction* of an older bug. Imagine BetoML is your product: what would your #AppSec program do to help reduce the risk of this type of regression?

    #bentoml #appsec
  15. Darren Meyer :donor: @[email protected] ·

    Correcting advisory data based on research is one of the more important things we do. With #CVE-2025-27520 (Critical RCE in #Python #AI agent , #BentoML) we actually needed to *remove* some affected versions. checkmarx.com/zero-post/bentom

    #cve #python #ai #bentoml
  16. BentoML - Run Any AI Models in the Cloud @[email protected] ·
    We're thrilled about the release of Llama 3.1 by @AIatMeta! Today marks a milestone for the future of open-source AI, possibly the most significant open-source AI announcement ever! Llama 3.1 introduces a collection of frontier models that rival proprietary models in performance while leading in cost and customizability! You can now deploy Llama 3.1 on #BentoCloud and start building custom #LLM applications on top. ☁️ Sign up for a free trial here 👉 https://t.co/Q8dzOphYjc #BentoML #OpenSource #Llama31 #OpenLLM
    #llm #opensource #bentocloud #bentoml #openllm #llama31
  17. BentoML - Run Any AI Models in the Cloud @[email protected] ·
    We're thrilled about the release of Llama 3.1 by @AIatMeta! Today marks a milestone for the future of open-source AI, possibly the most significant open-source AI announcement ever! Llama 3.1 introduces a collection of frontier models that rival proprietary models in performance while leading in cost and customizability! You can now deploy Llama 3.1 on #BentoCloud and start building custom #LLM applications on top. ☁️ Sign up for a free trial here 👉 https://t.co/Q8dzOphYjc #BentoML #OpenSource #Llama31 #OpenLLM
    #llm #opensource #bentocloud #bentoml #openllm #llama31
  18. BentoML - Run Any AI Models in the Cloud @[email protected] ·
    🚀 OpenLLM 0.6 is out providing fast inference speed! Check out our video comparing #OpenLLM and #Ollama handling concurrent requests on the Llama 3 8B model. Ollama is ideal for local LLM deployment, but it is not designed for high concurrency scenarios essential for deployments in the cloud, powering applications with a large number of users. OpenLLM enables you to run any open-source model as OpenAI-compatible endpoints with just a single command. It supports a broad array of models like Llama 3, Mistral, and Qwen 2, including those fine-tuned with proprietary datasets and quantized versions. Ready to speed up your AI deployments? See the OpenLLM repo https://t.co/PVhLM89LSc #BentoML #OpenSource
    #opensource #bentoml #openllm #ollama