home.social

#bentoml — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #bentoml, aggregated by home.social.

  1. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #сервинг_моделей #детекция_объектов #компьютерное_зрение #grounding_dino #docker #bentoml
  2. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #сервинг_моделей #детекция_объектов #компьютерное_зрение #grounding_dino #docker #bentoml
  3. Habr @[email protected] ·

    Сервинг модели Grounding DINO с BentoML

    Готовь сани летом, а план доставки ML-модели конечным пользователям — еще на этапе разработки. Иначе даже самая крутая обученная система будет пылиться без дела, а большинство пользователей о ней даже не узнает. Запуск ML-моделей в production-среде — это тот еще квест: • необходимо хранить и версионировать модели; • нужен мониторинг ресурсопотребления, производительности и дрейфа данных в реальном времени; • нужна поддержка разнородных сценариев — пакетная обработка или стриминг. К счастью, есть специальные инструменты, которые существенно облегчают такую задачу. В этой статье рассмотрим сервинг модели Grounding DINO при помощи популярного фреймворка BentoML. Под катом вас ждет много кода, скриншоты и практические советы.

    habr.com/ru/companies/magnus-t

    #ML #mlops #BentoML #docker #grounding_dino #компьютерное_зрение #детекция_объектов #сервинг_моделей

    #ml #mlops #bentoml #docker #grounding_dino #компьютерное_зрение
  4. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #cybersecurity #vulnerability #checkmarx #security #bentoml #python
  5. Pyrzout :vm: @[email protected] ·

    BentoML Vulnerability Allows Remote Code Execution on AI Servers hackread.com/bentoml-vulnerabi #Cybersecurity #Vulnerability #Checkmarx #Security #BentoML #Python #RCE #WAF #AI

    #cybersecurity #vulnerability #checkmarx #security #bentoml #python
  6. BentoML - Run Any AI Models in the Cloud @[email protected] ·
    We're thrilled about the release of Llama 3.1 by @AIatMeta! Today marks a milestone for the future of open-source AI, possibly the most significant open-source AI announcement ever! Llama 3.1 introduces a collection of frontier models that rival proprietary models in performance while leading in cost and customizability! You can now deploy Llama 3.1 on #BentoCloud and start building custom #LLM applications on top. ☁️ Sign up for a free trial here 👉 https://t.co/Q8dzOphYjc #BentoML #OpenSource #Llama31 #OpenLLM
    #llm #opensource #bentocloud #bentoml #openllm #llama31
  7. BentoML - Run Any AI Models in the Cloud @[email protected] ·
    🚀 OpenLLM 0.6 is out providing fast inference speed! Check out our video comparing #OpenLLM and #Ollama handling concurrent requests on the Llama 3 8B model. Ollama is ideal for local LLM deployment, but it is not designed for high concurrency scenarios essential for deployments in the cloud, powering applications with a large number of users. OpenLLM enables you to run any open-source model as OpenAI-compatible endpoints with just a single command. It supports a broad array of models like Llama 3, Mistral, and Qwen 2, including those fine-tuned with proprietary datasets and quantized versions. Ready to speed up your AI deployments? See the OpenLLM repo https://t.co/PVhLM89LSc #BentoML #OpenSource
    #opensource #bentoml #openllm #ollama