home.social

#cloudarchitecture — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #cloudarchitecture, aggregated by home.social.

  1. Jag har arbetat med molntjänster tillräckligt länge för att ha sett i stort sett alla typer av fel: misslyckade driftsättningar, nätverksfel, identitetsavbrott, misslyckade DNS-ändringar, överbelastade regioner, felkonfigurerad automatisering och gammaldags mänskliga misstag förpackade i ett glänsande molnbaserat skal. De flesta avbrott är kostsamma och irriterande. Vissa är pinsamma. Ett fåtal blir fallstudier.

    Det senaste avbrottet hos Microsoft är annorlunda.

    Omfattningen, varaktigheten och de efterföljande konsekvenserna av det som hände liknar inget jag har sett under min karriär. Microsoft 365, Outlook, Teams, Exchange Online och Copilot drabbades av störningar i mer än 70 länder, rapporter började komma in den 12 november och tjänsterna återställdes inte helt förrän på lördagsmorgonen. Det här är inte ett tillfälligt tekniskt problem. Det är inte ett regionalt bakslag. Det är ett internationellt molnfel.

    Folk kan ställa sig i en cirkel och sparka på Microsoft, och många kommer att göra det. Men den viktigare frågan är vad företagen bör lära sig av detta. Mina kunder ställer redan samma fråga: Hur kan vi minska vårt beroende av denna teknik innan nästa avbrott kostar oss ännu mer?

    Vad Microsoft säger hände


    Vi får höra att detta inte var en cyberattack och inte heller en AI-relaterad incident. Microsoft pekade på ett tekniskt problem som rörde inställningar som tillämpades på servrarna efter en uppdatering, tillsammans med en process för att upprätta säkra anslutningar som blev överbelastad och ledde till att servrarna slutade hantera förfrågningar. Andra rapporter beskrev att servrarna inte klarade de automatiska hälsokontrollerna och blev otillgängliga, vilket lade ytterligare belastning på den återstående infrastrukturen tills även dessa system blev överbelastade.

    Den förklaringen är rimlig så långt den sträcker sig. En konfigurations- eller serveruppdatering skapar oväntat beteende. Automatiska hälsokontroller börjar ta bort kapacitet. Belastningen flyttas någon annanstans. De återstående systemen blir överbelastade. Tjänsterna slutar fungera. Teknikerna börjar rulla tillbaka ändringarna och återställa systemen gradvis.

    Men det är den operativa förklaringen. Det är inte den arkitektoniska förklaringen.

    Vad som troligen hände


    Den troliga förklaringen är mycket mer oroande. En mänskligt driven förändring drabbade ett tätt kopplat distribuerat system, och systemet gjorde precis vad bräckliga system gör under stress: det ledde till en kedjereaktion. Hälsokontroller, routning, kapacitetshantering, hantering av säkra anslutningar, regional failover, identitet, meddelandeköer och tjänsteberoenden är alla delar av arkitekturen. När en del av den arkitekturen börjar fatta felaktiga beslut i stor skala kan redundansen sprida felet istället för att begränsa det.

    Detta bör inte avfärdas som en enkel sammansättning av tekniker som hade en dålig dag. Detta var ett fel i molnarkitekturen. Molnet dirigerade inte på magiskt vis runt problemet. Automatiseringen räddade inte verksamheten. En hyperskalig plattform absorberade inte skadeområdet. Arkitekturen gjorde det möjligt för felet att sprida sig tillräckligt brett för att påverka regeringar, hälso- och sjukvårdssystem, skolor, domstolar, flygbolag och företag över hela världen.

    Detta orsakades av människor, och det kan endast åtgärdas av människor – men inte med marknadsföringsuttalanden, ännu en kontrollpanel eller ännu ett löfte om att nästa granskning efter incidenten kommer att leda till bättre interna processer. Det kräver arkitektoniska förändringar, operativ disciplin och en vilja att erkänna att molnkoncentrationen har blivit en affärsrisk.

    Detta är Microsofts misslyckande


    Microsoft bär ansvaret för detta. Det betyder inte att andra molnleverantörer är immuna. Det är de inte. AWS, Google Cloud, Oracle och alla större SaaS-leverantörer har sina egna risker och sina egna felmodeller. Men just detta avbrott tillhör Microsoft eftersom det var Microsoft som byggde, drev, ändrade och återställde den plattform som havererade.

    Internationella driftstörningar av denna omfattning och varaktighet är unika. Jag har inte sett något liknande under min karriär. Förra årets driftstörningar var kostsamma, men de var mestadels irriterande jämfört med detta. Den här stoppade arbetet. Den stoppade kommunikationen. Den stoppade leveranserna. Den stoppade affärsprocesser som människor antog alltid skulle vara tillgängliga.

    Det är just detta som företagsledningen måste förstå. Ett driftstopp som detta innebär inte bara att människor inte kan skicka e-post under några timmar. Företagen kunde inte producera, genomföra transaktioner, planera, leverera, stämma av, svara eller ge support till kunderna. Och när tjänsterna återkommer startar verksamheten inte bara om som en strömbrytare. Miljontals människor måste utvärdera sina system, återställa förlorat arbete, stämma av transaktioner, rensa köer och ta reda på vad som hände medan världen var offline.

    Denna återställningskostnad nämns sällan i rubrikerna om driftstoppet.

    Pengarna är borta


    Vissa uppskattningar sätter produktivitetsförlusten till följd av avbrottet till nära 7 miljarder dollar. Jag misstänker att den verkliga ekonomiska påverkan, när de nedströms affärsavbrotten väl har förståtts fullt ut, kommer att bli betydligt större. Oavsett om det handlar om miljarder eller något som närmar sig biljoner över globala beroendekedjor är den affärsmässiga verkligheten densamma: Det mesta av de pengarna är borta. Du får inte tillbaka dem.

    Om du inte har ovanligt starka servicenivåavtal som uttryckligen ersätter dig för affärsförluster har du förmodligen otur. De flesta företag har inte det skyddet. Småföretag har det definitivt inte. De kan få en servicekredit, vilket är ett annat sätt att säga att Microsoft kanske ger dem Microsoft-dollar att spendera på fler Microsoft-tjänster. Det återställer inte intäkterna. Det återfår inte en utebliven leverans. Det återför inte en förlorad kund. Det återuppbygger inte förtroendet.

    Detta är en av de stora myterna om molntjänster. Folk antar att eftersom de köper från en stor leverantör, köper de ett meningsfullt ekonomiskt skydd. I de flesta fall köper de tillgång till teknik, inte en försäkring mot att den tekniken slutar fungera.

    Dolda beroenden


    Många av mina kunder hade ingen aning om att de var beroende av Microsoft förrän Microsofts system gick ner. De körde inte nödvändigtvis Azure direkt. De använde SaaS-leverantörer, lagerplattformar, betalningssystem, verktyg för automatisering av arbetsflöden, logistiktjänster, schemaläggningssystem för hälso- och sjukvård samt affärsapplikationer som i grunden kördes på Microsoft-teknik. De skrev inte ut en check till Microsoft varje år, men de var ändå beroende av Microsofts moln. När dessa system slutade fungera, gjorde även deras verksamheter det.

    Detta är den nya riskmodellen för molnet. Din beroendekarta är inte begränsad till dina direkta leverantörer. Du kan påverkas av dina leverantörers leverantörer, deras molnleverantörer, deras identitetssystem, deras meddelandeplattformar, deras observabilitetsstack och deras återställningsarkitektur. Om du inte förstår dessa beroenden förstår du inte din egen risk.

    Lyssna på arkitekterna


    Den första rekommendationen är enkel: Börja lyssna på dina rådgivare. Jag har varnat för molnberoende och koncentrationsrisk i 15 år, och många företag har ignorerat det eftersom den enklaste vägen är den lättaste. Välj en molnleverantör. Flytta processerna och data. Standardisera allt. Hoppas att leverantören aldrig sviker dig.

    Hopp är ingen arkitektur.

    Resiliens kräver planering. Det kräver heterogena system, molöverskridande tänkande, avkoppling, oberoende identitetsstrategier, separata återställningsplaner, datareplikering, flyttbara arbetsbelastningar där det är meningsfullt, och ibland att föra tillbaka kritiska system till lokala miljöer. Ja, det är rörigt. Ja, det skapar komplexitet. Ja, det kostar pengar.

    Det är priset för motståndskraft. Alternativet är att lägga alla ägg i en enda leverantörs korg och låtsas att korgen inte kan gå sönder. Nu har vi fått ännu en mycket kostsam påminnelse om att så kan ske.#CloudComputing #BusinessContinuity #CloudArchitecture
    Microsoft-haveriet borde skrämma slag på alla företag

Share on Mastodon

Enter the server where you have an account.