home.social

#risk-management — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #risk-management, aggregated by home.social.

fetched live
  1. I must confess that the auhor *Lost* me when he advocated for major increases in the remuneration of politicians based on the falsifiable premise that higher salaries attracts more competent *managers*. False premises and undisclosed assumptions is the killer blow to any quazy-academic postulate, and the author fell for both of them IMO.

    Happy to be criticized for my review.

    #Managerialism #Politics #NeoLiberalism #FinancialDeregulation #RiskManagement #Cronyism #Corruption #RevolvingDoors #DemocraticInstitutions #MeritoriousMediocrity

  2. Under de senaste åren har AI-program inom företagsvärlden fokuserat på att göra modellerna mer användbara, exakta och autonoma. I den fasen var ett felaktigt svar oftast något som en människa kunde godkänna eller avvisa innan åtgärder vidtogs. Men när agenterna börjar använda verktyg och agera inom företagets arbetsflöden bör framgång inte längre mätas enbart utifrån hur mycket arbete de utför. Ett viktigare mått är hur väl en agent inser när den saknar befogenhet, sammanhang eller omdöme för att fortsätta.

    När hjälpsamhet blir riskabelt


    Enligt Allan Dabre, ansvarig för teknikefterlevnad och AI hos PwC, är ”Jag vet inte” ett beteende som medvetet måste byggas in i systemet. AI är utformat för att vara hjälpsamt, så en agent kommer i allmänhet att försöka göra något användbart såvida den inte har konfigurerats att låta bli.

    – Det faktum att AI-system kan hallucinera illustrerar den tendensen, säger Dabre.

    – När de saknar tillräcklig information kan de ändå komma med ett svar. I ett agentbaserat arbetsflöde kan den impulsen bli farligare eftersom resultatet kan bli en handling, istället för att förbli ett förslag.

    Han tillägger att många företag fortfarande testar AI främst med avseende på fullständighet och noggrannhet. Det var rimligt när den centrala frågan var om modellen kunde ge ett tillförlitligt svar. Men i takt med att modellerna förbättras och agenterna får större operativ befogenhet, hävdar han att it-cheferna måste prioritera något annat: återhållsamhet.

    – Kan den stanna precis i det ögonblick du vill att den ska stanna? Testar du det?

    Säkerhet är inte samma sak som befogenhet


    Dabre gör en enkel men viktig distinktion. En AI-agent kan vara 99 procent säker på att en post bör uppdateras, att en återbetalning bör godkännas eller att en äldre databas kan tas ur drift. Men det betyder inte att agenten har befogenhet att agera. Säkerhet handlar om sannolikheten att systemet tror att det har rätt. Befogenhet handlar om huruvida organisationen överhuvudtaget har delegerat den åtgärden till systemet.

    Han ger exemplet med en agent som ombeds att analysera äldre programvara och rekommendera vad som kan tas ur drift. Agenten kan med hög säkerhet dra slutsatsen att flera databaser har liten inverkan på användarna och kan raderas. Men även om systemet är säkert på sin sak skulle de flesta organisationer inte vilja att det raderade dessa databaser på egen hand.

    Samma logik gäller för alla affärsprocesser. En agent kan vara övertygad om att en kundpost bör uppdateras, att en affärsmöjlighet i ett CRM-system bör avslutas eller att en transaktion verkar legitim. Men så snart den åtgärden sprids till andra system ökar de potentiella konsekvenserna.

    Det är därför Dabre förespråkar en agent-sele (agent harness): ett kontroll- eller samordningslager utanför modellen som definierar vad agenten får och inte får göra. I ett arbetsflöde för återbetalningar kan ett företag till exempel låta agenten godkänna mindre återbetalningar, kräva mänskligt godkännande för större belopp och helt stoppa processen när ett visst tröskelvärde överskrids. Agenten kan samla in relevant bakgrundsinformation, förklara begäran och förbereda ärendet för granskning, men beslutet styrs av de behörighetsgränser som är inbyggda i systemet.

    – Det är varken ett policydokument eller en uppmaning. Det är programvara eller en konfiguration som man kan tillämpa på en agent.

    Minsta möjliga handlingsutrymme


    Matt Graney, produktchef på Celigo, en leverantör av plattformar för affärsautomatisering och integration, närmar sig samma problem genom en princip som han kallar ”minsta möjliga handlingsutrymme”. Tanken är att ge en agent den minsta mängd autonomi som krävs för att slutföra ett uppdrag.

    Enligt honom finns det en frestelse att använda AI på breda, diffusa problem. Men många affärsprocesser är fortfarande i stort sett deterministiska. De följer fastställda regler och utför repetitiva uppgifter. Inom dessa arbetsflöden kan AI vara användbart vid den punkt där strikta regler ger vika för tolkning. Men det betyder inte att agenten ska äga hela arbetsflödet.

    – Ju mindre yta du gör den till, desto bättre, säger han.

    Graney säger att samma logik gäller för verktyg. En agent med för många verktyg kan bli förvirrad, särskilt när kontextfönstren växer och uppgiften blir mer komplex.

    – Eftersom Celigo är en integrationsplattform är företagets strategi att ge agenterna tillgång till färre, mer kraftfulla verktyg som når företagssystemen via reglerade anslutningar.

    Det är en annan form av begränsning. Istället för att låta en agent nå in i företagssystemen på ad hoc-basis ger verksamheten agenten en avgränsad, reglerad verktygslåda som är utformad för den aktuella uppgiften.

    Graney hävdar också att skyddsräcken bör placeras utanför modellen. Om samma agent som fattar ett beslut också är ansvarig för att bedöma om beslutet är acceptabelt, blir kontrollen svagare. Ett separat skyddsräcke kan kontrollera agentens in- och utdata innan en efterföljande åtgärd vidtas.

    Samma designprincip gäller för eskalering. ”Jag vet inte” bör inte behandlas som en fras i en chattbot. I ett företagsarbetsflöde är det en överlämningsväg som bör definieras innan agenten når den.

    Gör eskalering till en del av arbetsflödet


    Att omvandla osäkerhet till en överlämning är där Matt Quinn, cto på Car Gurus, en marknadsplats för bilar, ser att agentbaserad AI blir mindre av en ren teknisk utmaning och mer av en ledningsutmaning. På Car Gurus säger Quinn att agenterna utvärderas utifrån vad de vet, vad de kan göra och vilka data de arbetar med.

    Car Gurus tar emot ett stort antal ärenden från återförsäljare, och varje ärende måste klassificeras och vidarebefordras. Företaget använder nu en agent för att granska inkommande ärenden, utgå från kontohistoriken och vidarebefordra dem till lämpligt nästa steg. Quinn säger att agenten hanterar cirka 70 procent av dessa ärenden från början till slut utan mänsklig inblandning.

    Men när agenterna går vidare till åtgärder med konsekvenser, säger han, råder enighet om att det ska finnas ett godkännandesteg utfört av en människa. Agenten kan återkomma med en enkel fråga som: ”Jag är på väg att göra detta. Vill du att jag ska fortsätta?” Denna enkelhet är viktig eftersom en överlämning inte bör överväldiga granskaren med komplexitet.

    Quinn säger att människan i slutändan förblir ansvarig för arbetet. Den principen är särskilt viktig inom teknikområdet, där agenter kan hjälpa till att skriva kod eller åtgärda buggar. Quinn tillägger att Car Gurus fortfarande förväntar sig att utvecklarna följer de rutiner de skulle använda för vilken annan produktionsändring som helst, vilket inkluderar att utföra kvalitetskontroller.

    Företaget har anammat uttrycket ”hälsosam hastighet” för att beskriva den balans man eftersträvar. Målet är att arbeta snabbare utan att kvaliteten försämras. En agent kan påskynda arbetet, men om teamen överger de rutiner som gör arbetet säkert blir hastigheten vårdslös.

    Det är också här som mänskligt omdöme fortfarande är svårt att ersätta. Quinn beskriver det som ett välutvecklat omdöme som människor förvärvar genom erfarenhet. En människa kan titta på ett AI-genererat resultat och känna att något är fel, även innan hen fullt ut kan formulera varför.

    – Agenterna blir bättre. Men människor spelar fortfarande en avgörande roll när det gäller att avgöra när systemet inte ska fortsätta, säger han.

    Det betyder inte att varje arbetsflöde behöver samma granskningsnivå. Quinn säger att Car Gurus inte har någon målsättning för hur stor andel av arbetet som ska automatiseras. Den rätta nivån beror på jobbet och uppgiften. En enkel buggfix kan kräva en mindre ingående granskning än en ändring av en känslig backend-tjänst, och en personlig sammanfattning medför kanske liten risk. Men ett dokument som skickas i någons namn måste fortfarande granskas av en människa.

    Gör autonomin ansvarsskyldig


    Denna typ av pragmatisk inställning kan vara den bästa lärdomen för it-chefer, där målet blir en handlingskraftig AI snarare än maximal autonomi.

    Det innebär också att äganderätten måste vara tydlig. Dabre hävdar att äganderätten bör fördelas innan driftsättningen. Verksamheten definierar resultatet, tekniken bygger och konfigurerar agenten, riskhantering och regelefterlevnad sätter upp skyddsräcken, och styrningen övervakar om systemet fortfarande fungerar som avsett. Befogenheten att pausa, stoppa eller ta en agent ur drift bör definieras före driftsättning, inte förhandlas fram under en incident.

    Graney illustrerar samma sak med en enkel analogi. Om ett företag anställer en oerfaren praktikant, ger den praktikanten tillgång till kärnan i en affärsprocess och något går fel, är inte praktikanten det egentliga problemet. Det är processen. Detsamma gäller för agenter. Ansvaret ligger hos den person som äger arbetsflödet.

    Det kan vara den förändring som it-chefer behöver genomföra när företagen går från pilotprojekt till produktion. AI-agenter bör inte behandlas som magiska arbetare som tar på sig ansvaret. De är komponenter i affärsprocesser, och dessa processer behöver ansvariga ägare.

    I takt med att AI-användningen ökar kommer nästa fas av företagens mognad inte att definieras av agenter som alltid svarar eller alltid slutför uppgiften. Det kommer att vara agenter som vet när de inte ska agera.#GenerativeAI #ArtificialIntelligence #RiskManagement #Security #DigitalTransformation
    AI-agenter måste lära sig att veta när det räcker

  3. The Global Cybersecurity Alliance is calling for immediate government action in response to a surge in AI-driven cyber attacks. Read the full article for recommended policy measures, international coordination priorities, and practical steps for strengthening national defenses: wix.to/WYUe4We

    #InfoSec
    #GovTech
    #PublicPolicy
    #Cybersecurity
    #RiskManagement
    #ArtificialIntelligence

  4. New post: Autonomous AI attack networks and agent coordination are heightening cybersecurity risks worldwide. Learn how coordinated AI agents operate, the threats they pose, and mitigation strategies for organizations. Read the full analysis: wix.to/EQNcsWU

    #Infosec
    #Cybersecurity
    #RiskManagement
    #ArtificialIntelligence

  5. What may your AI agents do on their own? Many security teams reconstruct the answer from tool settings, runbooks, and whoever configured them. Recording those decisions in one table, one row per workflow, turns them into policy you can enforce.

    zeltser.com/security-autonomy-

    #artificialintelligence #riskmanagement

  6. Saudi Arabia’s AI-Powered Credit Scoring and Risk Assessment Market is scaling as lenders move toward automated, data-driven credit decisions.

    📈 Ken Research estimates the market at USD 318 million in 2025, growing at a 17.20% CAGR to reach USD 966 million by 2032.

    Explore the complete market analysis:
    kenresearch.com/industry-repor

    #AI #Fintech #CreditScoring #RiskManagement #SaudiArabia #MarketInsights

  7. "As AI is a new sector, however, the way rating agencies approach this sector may be based on assumptions on future revenue growth and leverage which may not stand the test of time, heightening the vulnerability to mispricing of credit risk"

    #riskmanagement

    RE: https://bsky.app/profile/did:plc:vi4avkjbr6ja6eyuhhaj5cx5/post/3muekapqpck2l

  8. The AI security capability on your shortlist may already be in your stack, perhaps as a feature of a platform you license or a control another team operates.

    zeltser.com/ai-security-buying

    #artificialintelligence #riskmanagement

  9. AI security products that sound alike can solve very different problems. I organized the questions I use to tell them apart, sorted by product type.

    zeltser.com/ai-security-market

    #artificialintelligence #riskmanagement

  10. AI agents can earn autonomy the way medical residents earn unsupervised procedures, by performing under supervision first. The Security Autonomy Matrix lets you record each grant, how its autonomy can grow, and the trigger that takes it back.

    zeltser.com/security-autonomy-

    #artificialintelligence #riskmanagement

  11. The classic catch-22 of bad #riskmanagement at continental scale

    When the economy doesn't work for people (here and now), there is little appetite to think about long term issues and risks (climate, digitalization).

    Plus you get the well know actors inventing scapegoats to divert people's anxiety.

    RE: https://bsky.app/profile/did:plc:uh4errluyq5thgszrwwrtpuq/post/3mty26coix22n

  12. The AI security market is full of future-tense products, announced before they're built. These five questions separate what works today from what's promised.

    zeltser.com/ai-security-buying

    #artificialintelligence #riskmanagement

  13. New analysis: Global Security Warnings and Mercenary Spyware — a concise look at how targeted mercenary spyware is triggering Apple mobile OS alerts, the implications for enterprises and privacy best practices you should adopt. Read the full piece: wix.to/LUAnUaZ

    #Apple
    #InfoSec
    #Privacy
    #CyberSecurity
    #RiskManagement
    #EnterpriseSecurity

  14. Alert for professionals: Dynamic QR Code Quishing scams are being deployed in public spaces to clone banking credentials. Our latest blog explains the techniques attackers use, the risks to businesses and employees, and recommended mitigation steps. Read the full post: wix.to/b6FlcBr

    #QRScams
    #CyberSecurity
    #FraudPrevention
    #RiskManagement
    #InformationSecurity