#lmdeploy — Public Fediverse posts

vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM

Лучший способ сжечь бюджет компании на инфраструктуру — запуск LLM в продакшене. Но только если вы не знаете, какой бэкенд использовать и как его настраивать. Проблема в том, что параметры современных нейросетей растут по экспоненте, а обрабатываемый контекст становится все длиннее. Из-за этого операционные расходы на генерацию текста превращаются в главный барьер для масштабирования сервисов. Обслуживать запросы к LLM в десятки раз сложнее и дороже, чем крутить классический поиск по ключевым словам. Чтобы не разориться на счетах и выжать максимум из дорогостоящих

https://habr.com/ru/companies/selectel/articles/1060180/

#mlops #selectel #ml #nvidia #vllm #tritoninferenceserver #lmdeploy

vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM

Лучший способ сжечь бюджет компании на инфраструктуру — запуск LLM в продакшене. Но только если вы не знаете, какой бэкенд использовать и как его настраивать. Проблема в том, что параметры современных нейросетей растут по экспоненте, а обрабатываемый контекст становится все длиннее. Из-за этого операционные расходы на генерацию текста превращаются в главный барьер для масштабирования сервисов. Обслуживать запросы к LLM в десятки раз сложнее и дороже, чем крутить классический поиск по ключевым словам. Чтобы не разориться на счетах и выжать максимум из дорогостоящих

https://habr.com/ru/companies/selectel/articles/1060180/

#mlops #selectel #ml #nvidia #vllm #tritoninferenceserver #lmdeploy

vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM

Лучший способ сжечь бюджет компании на инфраструктуру — запуск LLM в продакшене. Но только если вы не знаете, какой бэкенд использовать и как его настраивать. Проблема в том, что параметры современных нейросетей растут по экспоненте, а обрабатываемый контекст становится все длиннее. Из-за этого операционные расходы на генерацию текста превращаются в главный барьер для масштабирования сервисов. Обслуживать запросы к LLM в десятки раз сложнее и дороже, чем крутить классический поиск по ключевым словам. Чтобы не разориться на счетах и выжать максимум из дорогостоящих

https://habr.com/ru/companies/selectel/articles/1060180/

#mlops #selectel #ml #nvidia #vllm #tritoninferenceserver #lmdeploy

LMDeploy Vulnerability Exploited Within 13 Hours of Disclosure

A critical vulnerability in LMDeploy's vision-language module was exploited in the wild just 13 hours after its disclosure, allowing attackers to access sensitive resources and internal networks. This server-side request forgery flaw, tracked as CVE-2026-33626, affects all versions of the toolkit prior to 0.12.0.

https://osintsights.com/lmdeploy-vulnerability-exploited-within-13-hours-of-disclosure?utm_source=mastodon&utm_medium=social

#ServersideRequestForgery #Ssrf #Lmdeploy #Cve202633626 #VulnerabilityExploitation

LMDeploy Vulnerability Exploited Within 13 Hours of Disclosure

A critical vulnerability in LMDeploy's vision-language module was exploited in the wild just 13 hours after its disclosure, allowing attackers to access sensitive resources and internal networks. This server-side request forgery flaw, tracked as CVE-2026-33626, affects all versions of the toolkit prior to 0.12.0.

https://osintsights.com/lmdeploy-vulnerability-exploited-within-13-hours-of-disclosure?utm_source=mastodon&utm_medium=social

#ServersideRequestForgery #Ssrf #Lmdeploy #Cve202633626 #VulnerabilityExploitation