#guardrails — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #guardrails, aggregated by home.social.
-
Как мы построили multilabel guardrail-классификатор и как мы сделали его в 3 раза быстрее и дешевле
Привет, дорогой читатель! Мы не будем переворачивать календарь, а лучше расскажем, как построили систему, которая ловит небезопасный контент автоматически, в реальном времени и на двух языках. Давайте посмотрим, что у нас получилось и сколько это стоит в деньгах.
https://habr.com/ru/companies/raft/articles/1077768/
#информационная_безопасность #ии #ииагенты #гардрейл #guardrails #ml #bert
-
Как мы построили multilabel guardrail-классификатор и как мы сделали его в 3 раза быстрее и дешевле
Привет, дорогой читатель! Мы не будем переворачивать календарь, а лучше расскажем, как построили систему, которая ловит небезопасный контент автоматически, в реальном времени и на двух языках. Давайте посмотрим, что у нас получилось и сколько это стоит в деньгах.
https://habr.com/ru/companies/raft/articles/1077768/
#информационная_безопасность #ии #ииагенты #гардрейл #guardrails #ml #bert
-
Modelos 'obliterated': quando removem os guardrails
Você sabia que existe uma versão de modelos de IA onde os controles são simplesmente removidos? 😳
• O que significa: modelos rotulados como "obliterated" ou "heretic" foram retreinados sem as camadas de segurança.
• O que fizeram: removeram guardrails, bloqueios e camadas que impedem acesso a informações sensíveis ou respostas perigosas.
• Exemplo real: há poucos dias a...#IA #modelos #segurança #guardrails #obliterated #MorningCrypto
-
Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve
Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента. Guard стоит на входе/выходе LLM‑приложения. В статье речь про небольшую модель — чуть больше 0.5 Gb. Но она вызывается дважды за один ход диалога, и сначала пользователь ждет, пока guard проверит его запрос перед отправкой в LLM, затем — пока он проверит сгенерированный ответ перед выдачей пользователю. Моей задачей было ускорить такую небольшую guard‑модель (Locustfile, базовые benchmark‑конфиги и инструкции по воспроизведению экспериментов в репо ). Я потестила пять инструментов: TensorRT, NVIDIA Triton, vLLM, Ray Serve и отдельно — переход бэкбона на Flash DeBERTa. Про допущенные ошибки, результаты и выводы — о том, как бы я построила подобную работу сейчас — ниже. Надеюсь, это сбережет вам время.
https://habr.com/ru/articles/1067008/
#gliner2 #gliner_guard #guardrails #tensorrt #vllm #nvidia #инференс_нейросетей #tritoninferenceserver
-
Anthropic apologizes for invisible Claude Fable guardrails
#HackerNews #Anthropic #Claude #Fable #AI #guardrails #apology #news #tech #ethics
-
via #AIFoundry : What’s New in Hosted Agents in Foundry Agent Service
https://ift.tt/2xMKeOl
#HostedAgents #FoundryAgentService #AIagents #AzureFoundry #AgentRuntime #SourceCodeDeployment #AzD #VoiceLive #WebSocket #WebRTC #InvocationsWebSocket #Guardrails #ContentSafety #Res… -
#LetterOfTheWeek
Forum: Introducing #AI at Primary 4 carries a real developmental #risk #StraitsTimes
"When #socialmedia spread rapidly through our #children’s lives, the #guardrails came years too late.🤦♂️ We're still living with those ripples on #youth #mentalhealth, sleep, attention & #family life.. In 2023, #UNESCO called for #regulation of #generativeAI in #schools, #data #protection & #privacy standards, teacher training, & an age limit of 13 for classroom AI tools"👈🧐
https://www.straitstimes.com/opinion/forum/forum-introducing-ai-at-primary-4-carries-a-real-developmental-risk -
How it started: "We can vibe-code our web apps from now on! It'll be great!"
How it's going: https://translate.kagi.com/?from=en&to=valley%20girl%20but%20also%20describe%20iteration%20in%20Python&text=How%20are%20you%20feeling%20today%3F
#Kagi #AI #LLM #translate #guardrails #VibeCode #vibecoding #security #WeveHeardOfIt #ValleyGirl #Python