#guardrails — Public Fediverse posts on home.social

Habr @[email protected] · 2026-09-03 · 06:02 UTC

Как мы построили multilabel guardrail-классификатор и как мы сделали его в 3 раза быстрее и дешевле

Привет, дорогой читатель! Мы не будем переворачивать календарь, а лучше расскажем, как построили систему, которая ловит небезопасный контент автоматически, в реальном времени и на двух языках. Давайте посмотрим, что у нас получилось и сколько это стоит в деньгах.

https://habr.com/ru/companies/raft/articles/1077768/

#информационная_безопасность #ии #ииагенты #гардрейл #guardrails #ml #bert

#bert #ml #guardrails #гардрейл #ииагенты #ии

Habr @[email protected] · 2026-09-03 · 06:02 UTC

Как мы построили multilabel guardrail-классификатор и как мы сделали его в 3 раза быстрее и дешевле

Привет, дорогой читатель! Мы не будем переворачивать календарь, а лучше расскажем, как построили систему, которая ловит небезопасный контент автоматически, в реальном времени и на двух языках. Давайте посмотрим, что у нас получилось и сколько это стоит в деньгах.

https://habr.com/ru/companies/raft/articles/1077768/

#информационная_безопасность #ии #ииагенты #гардрейл #guardrails #ml #bert

#информационная_безопасность #ии #ииагенты #гардрейл #guardrails #ml

eddieoz @[email protected] · 2026-08-13 · 17:30 UTC

Modelos 'obliterated': quando removem os guardrails

Você sabia que existe uma versão de modelos de IA onde os controles são simplesmente removidos? 😳

• O que significa: modelos rotulados como "obliterated" ou "heretic" foram retreinados sem as camadas de segurança.
• O que fizeram: removeram guardrails, bloqueios e camadas que impedem acesso a informações sensíveis ou respostas perigosas.
• Exemplo real: há poucos dias a...

#IA #modelos #segurança #guardrails #obliterated #MorningCrypto

#morningcrypto #obliterated #guardrails #seguranca #modelos #ia

Habr @[email protected] · 2026-08-05 · 11:42 UTC

Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve

Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента. Guard стоит на входе/выходе LLM‑приложения. В статье речь про небольшую модель — чуть больше 0.5 Gb. Но она вызывается дважды за один ход диалога, и сначала пользователь ждет, пока guard проверит его запрос перед отправкой в LLM, затем — пока он проверит сгенерированный ответ перед выдачей пользователю. Моей задачей было ускорить такую небольшую guard‑модель (Locustfile, базовые benchmark‑конфиги и инструкции по воспроизведению экспериментов в репо ). Я потестила пять инструментов: TensorRT, NVIDIA Triton, vLLM, Ray Serve и отдельно — переход бэкбона на Flash DeBERTa. Про допущенные ошибки, результаты и выводы — о том, как бы я построила подобную работу сейчас — ниже. Надеюсь, это сбережет вам время.

https://habr.com/ru/articles/1067008/

#gliner2 #gliner_guard #guardrails #tensorrt #vllm #nvidia #инференс_нейросетей #tritoninferenceserver