#gie — Public Fediverse posts

https://www.europesays.com/es/586643/ Miguel D’Entremont, policía foral fallecido en el accidente de Elgoibar: un «fuera de serie» en lo físico y en lo personal #agente #BreakingNews #BreakingNews #d #entremont #ES #España #FeaturedNews #FeaturedNews #gie #Headlines #LatestNews #LatestNews #miguel #News #Noticias #NoticiasDestacadas #NoticiasDestacadas #Spain #Titulares #ÚltimasNoticias #ÚltimasNoticias

AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Для многих обывателей, да и инженеров, которые не углублялись в тему, работа с LLM выглядит как работа с обычным сервисом: мы просто кидаем запросы по нужному endpoint и получаем JSON с ответом. Но на деле появляется много вопросов: как здесь работает кэш? От чего зависит время ответа? Что делать с огромным контекстным окном? И если у нас один GPU-сервер, на котором происходят все вычисления, то это не так и важно. Но что делать с масштабными распределёнными системами? Обычный Kubernetes не понимает, как устроен запрос языковой модели. Однако за последний год платформенные инженеры очень хорошо продвинулись в этом вопросе. И в этой статье я хочу подробно разобрать, как именно строится K8s-кластер под высоконагруженные LLM.

https://habr.com/ru/companies/ruvds/articles/1042292/

#llm #kubernetes #dra #gie #llmd #kserve #ruvds_статьи

AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Для многих обывателей, да и инженеров, которые не углублялись в тему, работа с LLM выглядит как работа с обычным сервисом: мы просто кидаем запросы по нужному endpoint и получаем JSON с ответом. Но на деле появляется много вопросов: как здесь работает кэш? От чего зависит время ответа? Что делать с огромным контекстным окном? И если у нас один GPU-сервер, на котором происходят все вычисления, то это не так и важно. Но что делать с масштабными распределёнными системами? Обычный Kubernetes не понимает, как устроен запрос языковой модели. Однако за последний год платформенные инженеры очень хорошо продвинулись в этом вопросе. И в этой статье я хочу подробно разобрать, как именно строится K8s-кластер под высоконагруженные LLM.

https://habr.com/ru/companies/ruvds/articles/1042292/

#llm #kubernetes #dra #gie #llmd #kserve #ruvds_статьи

AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Для многих обывателей, да и инженеров, которые не углублялись в тему, работа с LLM выглядит как работа с обычным сервисом: мы просто кидаем запросы по нужному endpoint и получаем JSON с ответом. Но на деле появляется много вопросов: как здесь работает кэш? От чего зависит время ответа? Что делать с огромным контекстным окном? И если у нас один GPU-сервер, на котором происходят все вычисления, то это не так и важно. Но что делать с масштабными распределёнными системами? Обычный Kubernetes не понимает, как устроен запрос языковой модели. Однако за последний год платформенные инженеры очень хорошо продвинулись в этом вопросе. И в этой статье я хочу подробно разобрать, как именно строится K8s-кластер под высоконагруженные LLM.

https://habr.com/ru/companies/ruvds/articles/1042292/

#llm #kubernetes #dra #gie #llmd #kserve #ruvds_статьи

An out nonbinary candidate just won a seat in their ruby-red Ohio town by 13 votes. They didn’t believe it, either.

Gie May thought their race would help show Wadsworth that other candidates existed besides Republicans. Turns out, voters wanted m...

https://thebuckeyeflame.com/2025/12/09/gie-may-nonbinary-elected-official/#angela-may #genderqueer-nonbinary #gie-may #leah-nichols #lgbt-ohio #lgbtq-elected-official #lgbtq-ohio #lgbtq+-elected-official #medina-county #wadsworth #wadsworth-democratic-party

An out nonbinary candidate just won a seat in their ruby-red Ohio town by 13 votes. They didn’t believe it, either.

Gie May thought their race would help show Wadsworth that other candidates existed besides Republicans. Turns out, voters wanted m...

https://thebuckeyeflame.com/2025/12/09/gie-may-nonbinary-elected-official/#angela-may #genderqueer-nonbinary #gie-may #leah-nichols #lgbt-ohio #lgbtq-elected-official #lgbtq-ohio #lgbtq+-elected-official #medina-county #wadsworth #wadsworth-democratic-party