#проксисерверы — Public Fediverse posts

Как мы заставили vLLM «лениться» под нагрузкой и спасли Time-to-First-Token

Теги: Инфраструктура, LLM, Python, Прокси-серверы, Оптимизация Когда GPU-кластер с vLLM задыхается от пиковых нагрузок, классический Rate Limiting и блокировка пользователей — это худший UX из возможных. А что если не отбрасывать запросы, а заставить саму языковую модель «сжать» свои промпты и стать предельно лаконичной, выдавая только самую суть? В этой статье мы разбираем архитектуру LazyGate — open-source шлюза, который в фоновом режиме читает метрики видеокарты и с помощью системных промптов динамически регулирует «болтливость» нейросети, кардинально спасая метрику Time-to-First-Token.

https://habr.com/ru/articles/1027288/

#Инфраструктура #LLM #Python #Проксисерверы #Оптимизация

Мобильные прокси в эпоху перемен — что это такое и как они работают

Еще никогда тема прокси и VPN не была на такой волне популярности. Спрашивать у аудитории - “а что случилось” конечно глупо, тем более, после того, как один богатый человек ввел термин “цифровое сопротивление”, поэтому просто примем этот факт как должное - люди начали активнее изучать и использовать технологию, именуемую прокси.

https://habr.com/ru/articles/1024302/

#мобильные_прокси #прокси #проксисервер #прокси_сервера #проксисерверы #прокси_сервер #прокси_для_телеграм

UDP прокси в повседневной жизни: что это и как использовать — чем UDP прокси отличаются от других видов прокси

Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить!

https://habr.com/ru/articles/944076/

#udp #udpxy #прокси #проксисервер #прокси_сервер #проксисерверы #резидентные_прокси #мобильные_прокси #серверные_прокси

UDP прокси в повседневной жизни: что это и как использовать — чем UDP прокси отличаются от других видов прокси

Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить!

https://habr.com/ru/articles/944076/

#udp #udpxy #прокси #проксисервер #прокси_сервер #проксисерверы #резидентные_прокси #мобильные_прокси #серверные_прокси

UDP прокси в повседневной жизни: что это и как использовать — чем UDP прокси отличаются от других видов прокси

Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить!

https://habr.com/ru/articles/944076/

#udp #udpxy #прокси #проксисервер #прокси_сервер #проксисерверы #резидентные_прокси #мобильные_прокси #серверные_прокси

UDP прокси в повседневной жизни: что это и как использовать — чем UDP прокси отличаются от других видов прокси

Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить!

https://habr.com/ru/articles/944076/

#udp #udpxy #прокси #проксисервер #прокси_сервер #проксисерверы #резидентные_прокси #мобильные_прокси #серверные_прокси

Как настроить прокси сервер на базе squid-proxy для LLM-провайдеров и не только. Самый простой гайд для чайников

Салют! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee. Если LLM-провайдер блокирует ваши запросы из России, то решить данную проблему поможет прокси-сервер. В данном гайде я рассказываю, как быстро настроить squid-proxy на вашей удалённой машине. Поехали!

https://habr.com/ru/articles/889388/

#proxy #proxyserver #squid #llmприложения #прокси #проксисервер #прокси_сервера #прокси_сервер #проксисерверы

Свой кинозал для каждого сегмента сети: уменьшаем медиатрафик в десятки раз с помощью кэширующих серверов

Привет, Хабр! Меня зовут Роман Кармалов, в МТС Диджитал я руковожу группой, которая поддерживает инфраструктуру, в том числе работу прокси-серверов. В компании регулярно проводятся корпоративные онлайн-трансляции: их смотрит от двух до пятнадцати тысяч человек. Если не предпринять необходимых мер, то это вызовет нагрузку, которая может «уронить» внутреннюю инфраструктуру компании. В нашем случае решением проблемы стали кэширующие прокси-серверы на базе ПО Squid, сокращающие медиатрафик в десятки раз. В этой статье я расскажу, как мы настраивали и где в сети размещали серверы, чтобы избежать проблем во время трансляций.

https://habr.com/ru/companies/ru_mts/articles/847026/

#видеотрансляции #squid #проксисерверы #кэширование_медиатрафика #itинфраструктура #системное_администрирование