Več kot 70 držav, nedelujoča elektronska pošta, motnje v bolnišnicah, šolah in državnih ustanovah ter milijoni uporabnikov, ki so ostali brez dostopa do pomembnih digitalnih storitev. Microsoft je po obsežnem svetovnem izpadu, ki je prejšnji teden prizadel Outlook, Teams in druge storitve Microsoft 365, razkril, kaj je šlo narobe. Težave ni povzročil hekerski napad ali umetna inteligenca, temveč programska napaka, ki je bila v infrastrukturi prisotna že od julija. Ko sta se ji pridružili še povečana obremenitev in zmanjšana zmogljivost strežnikov, se je sprožil verižen odziv, ki ga Microsoftovi sistemi niso mogli več obvladati.
Microsoft je v ponedeljek, 16. novembra, predstavil prve podrobnejše ugotovitve o vzrokih enega največjih izpadov svojih spletnih storitev v zadnjem obdobju. Motnje, ki so se začele v četrtek, 12. novembra, so prizadele uporabnike po vsem svetu, njihovo odpravljanje pa se je zavleklo v naslednji dan. Družba je popolno obnovitev delovanja storitev potrdila v soboto.
Med prizadetimi so bili uporabniki elektronske pošte Outlook, poslovne platforme Microsoft 365 in nekaterih funkcij storitev Teams, SharePoint ter Copilot. Težave niso ostale omejene na posamezna podjetja ali države, ampak so se razširile po svetu in posegle tudi v delovanje javnih ustanov, zdravstvenih organizacij ter finančnega sektorja.
Prve ugotovitve kažejo, da je bil vzrok precej bolj zapleten, kot se je zdelo ob začetku izpada. Microsoft je namreč odkril, da je bila ključna programska napaka v njegovem omrežnem sistemu prisotna že več mesecev, ne da bi povzročala opazne težave.
Napaka je bila v sistemu že od julija
Po pojasnilih Charlesa Lamanne, izvršnega podpredsednika Microsofta za Copilot, agente in platformo, je bila programska napaka uvedena julija med posodobitvijo omrežne infrastrukture. Takrat ni povzročila takojšnjih motenj, zato je ostala neodkrita.
Napaka je bila povezana z delovanjem omrežnih prehodov, ki omogočajo komunikacijo med različnimi deli Microsoftove infrastrukture. Ti sistemi so pomembni za usmerjanje zahtev uporabnikov do strežnikov, na katerih delujejo spletne storitve in poslovne aplikacije.
V običajnih razmerah so prehodi delovali, težava pa se je pokazala šele ob posebni kombinaciji obremenitev. Ko se je povečalo število zahtevkov in so bili nekateri strežniki že manj zmogljivi, je skrita napaka povzročila, da so se sistemi začeli odzivati vse počasneje, dokler niso postali nedosegljivi.
Microsoft je tako ugotovil, da izpad ni bil posledica ene same nenadne okvare, temveč več težav, ki so se pojavile hkrati. Vsako posebej bi bilo mogoče lažje obvladati, skupaj pa so povzročile veliko širšo motnjo.
Trije dejavniki, ki so sprožili verižno reakcijo
Microsoftova infrastruktura uporablja več omrežnih prehodov, ki omogočajo preusmerjanje prometa, kadar se na posameznem delu sistema pojavijo težave. Takšna zasnova naj bi povečala zanesljivost storitev, saj lahko drugi prehod prevzame promet, če prvi ne deluje pravilno.
Približno 15 ur pred izpadom je bil zaradi rednega vzdrževanja in nadgradenj del prometa storitve Teams preusmerjen na glavni omrežni prehod, ki je obdeloval tudi zahteve za Exchange Online. Zaradi tega se je obremenitev glavnega prehoda povečala.
Hkrati je imel Microsoft zaradi druge, nepovezane težave na voljo približno 14 odstotkov manj strežniških zmogljivosti, kot bi jih imel v običajnih razmerah. To je pomenilo, da je imel sistem manj rezerve za obvladovanje povečanega prometa.
Ko se je v Združenih državah Amerike začelo obdobje največje dnevne uporabe storitev, se je obremenitev še povečala. Omrežni prehodi so začeli porabljati vse več procesorskih in pomnilniških virov, dokler niso postali neodzivni.
Po tehnični analizi, ki jo je objavil Ars Technica, je bilo v najhujšem delu incidenta neodzivnih več kot 80 odstotkov prizadetih omrežnih prehodov. Sistem, ki bi moral omogočati neprekinjeno delovanje, tako ni več mogel učinkovito obdelovati zahtev uporabnikov.
Zakaj Microsoft težave ni mogel hitro odpraviti?
Ob običajnih programskih napakah je ena od možnosti za hitro odpravo težav povrnitev sistema na prejšnjo različico programske opreme. Toda v tem primeru takšna rešitev ni bila uporabna, saj je bila napaka v sistemu prisotna že od julija.
To je pomenilo, da težave ni bilo mogoče odpraviti zgolj z razveljavitvijo zadnje posodobitve. Inženirji so morali najprej ugotoviti, katera kombinacija okoliščin je sprožila napako, nato pa pripraviti ustrezen popravek.
Dodatno težavo je povzročalo obnavljanje delovanja strežnikov. Ko so posamezne strežnike ponovno zagnali, so jih takoj obremenile številne zahteve, ki so se med izpadom nakopičile v čakalnih vrstah. Zaradi tega so nekateri strežniki ponovno postali neodzivni.
Microsoftovi avtomatizirani postopki za obnovitev delovanja niso bili zasnovani za tako obsežno stanje neodzivnosti. Namesto hitrega ponovnega zagona je bilo zato treba infrastrukturo obnavljati postopoma in natančno spremljati njeno stabilnost.
Popravek so uvajali po posameznih delih sistema, da bi preprečili ponovno preobremenitev. Microsoft je ob tem prilagodil tudi usmerjanje prometa in povečal razpoložljive zmogljivosti.
Izpad prizadel bolnišnice, policijo in šole
Posledice izpada so bile precej širše od nevšečnosti zaradi nedelujoče elektronske pošte. Ker številne ustanove uporabljajo Microsoftove storitve za vsakodnevno komunikacijo, izmenjavo dokumentov in organizacijo dela, so motnje vplivale tudi na izvajanje pomembnih javnih storitev.
Po poročanju britanskega Guardiana so morale nekatere bolnišnice začasno preiti na papirno dokumentacijo. Šole so imele težave pri komuniciranju s starši, policijske službe pa so se soočale z motnjami pri sprejemanju določenih prijav.
V Veliki Britaniji je moral sodnik v Manchestru zaradi tehničnih težav prekiniti sodni postopek in porotnike poslati domov. Britanska policija je opozorila na začasne težave pri sprejemanju spletnih prijav kaznivih dejanj, farmacevtske organizacije pa na možnost zamud pri izdajanju receptov.
Težave so zaznale tudi finančne ustanove. Evropski upravljavec borz Euronext je podjetjem svetoval, naj pomembne informacije začasno posredujejo po telefonu, medtem ko je hongkonška borza potrdila motnje pri elektronski pošti, vendar trgovanje ni bilo prekinjeno.
V posameznih državah so bile prizadete tudi vladne ustanove. O težavah so poročali iz Grčije, Norveške, Singapurja in Avstralije, pri čemer se je obseg motenj razlikoval glede na uporabljene storitve.
Težave so občutili tudi uporabniki v Sloveniji
Globalni izpad ni obšel Slovenije. Po podatkih spletne strani Downdetector, ki spremlja prijave uporabnikov o težavah pri delovanju digitalnih storitev, so slovenski uporabniki poročali predvsem o motnjah pri Microsoft 365 in Copilotu.
Na svetovni ravni je Downdetector med izpadom zabeležil prijave iz 74 držav. Samo v Združenih državah Amerike je bilo na vrhuncu motenj zabeleženih več kot 130.000 prijav težav z Outlookom.
Ti podatki sicer ne predstavljajo natančnega števila prizadetih uporabnikov, saj gre za prijave težav in ne za neposredno merjenje vseh nedelujočih računov. Kljub temu jasno kažejo, kako razširjene so bile motnje.
Microsoftove storitve uporablja na stotine milijonov ljudi po svetu. Njihova razširjenost pomeni, da lahko večja tehnična napaka v osrednji infrastrukturi hitro vpliva na številna podjetja in ustanove, tudi če se nahajajo na različnih celinah.
Microsoft zavrnil ugibanja o hekerjih in umetni inteligenci
Ob začetku izpada so se pojavila vprašanja, ali je šlo za kibernetski napad oziroma ali bi lahko bile težave povezane z uporabo umetne inteligence. Microsoft je takšna ugibanja zavrnil.
Družba je sporočila, da incident ni bil posledica zlonamerne dejavnosti in da ni bil povezan z delovanjem umetne inteligence ali avtonomnih agentov. Po njihovih ugotovitvah je šlo za tehnično napako v omrežni infrastrukturi, ki se je pokazala ob neugodnem prepletu več dejavnikov.
Pojasnilo je pomembno tudi zato, ker so bile med prizadetimi storitvami nekatere funkcije Copilota. Dejstvo, da določena storitev uporablja umetno inteligenco, namreč še ne pomeni, da je bila umetna inteligenca tudi vzrok za njeno nedelovanje.
Microsoft je poudaril, da je bila glavna težava povezana z usmerjanjem omrežnega prometa, razpoložljivostjo strežnikov in programsko napako, ki je ob veliki obremenitvi povzročila neodzivnost sistemov.
Popolna obnova storitev šele po skoraj enem dnevu
Po Microsoftovem predhodnem poročilu je osrednji izpad trajal od 12. novembra ob 16.20 po univerzalnem koordiniranem času do 13. novembra ob 16.10, kar pomeni približno 23 ur in 50 minut.
Družba je nato nadaljevala spremljanje delovanja in odpravljanje morebitnih preostalih motenj. V soboto, 14. novembra, je sporočila, da so storitve ponovno vzpostavljene.
Microsoft je zaradi težav podaljšal tudi obdobje, v katerem njegovi sistemi poskušajo dostaviti elektronsko pošto, ki je med izpadom ostala v čakalnih vrstah. S tem je želel zmanjšati tveganje, da bi bila sporočila zaradi zamud zavrnjena kot nedostavljiva.
Podjetje je napovedalo dodatne zaščitne ukrepe, med drugim povečanje razpoložljivih zmogljivosti in izboljšanje razporejanja prometa med posameznimi deli infrastrukture. Končno poročilo o incidentu naj bi objavilo 20. novembra.
V njem naj bi podrobneje predstavilo tudi ugotovitve o tem, zakaj obstoječi zaščitni mehanizmi niso preprečili širjenja težav na tako velik del sistema.
Svetovni izpad kot opozorilo o digitalni odvisnosti
Microsoftov izpad je znova pokazal, kako močno so sodobna podjetja, javne ustanove in posamezniki odvisni od omejenega števila velikih ponudnikov digitalnih storitev.
Elektronska pošta, koledarji, spletni sestanki in skupna raba dokumentov so postali tako pomemben del vsakodnevnega dela, da lahko njihov izpad povzroči težave tudi pri storitvah, ki na prvi pogled niso neposredno povezane z informacijsko tehnologijo.
Strokovnjaki za kibernetsko in poslovno odpornost opozarjajo, da morajo organizacije poleg zaščite pred napadi načrtovati tudi delovanje ob tehničnih okvarah. To vključuje nadomestne komunikacijske kanale, postopke za delo brez dostopa do osrednjih spletnih storitev in načrte za ohranjanje ključnih dejavnosti.
Primer je še posebej poučen zato, ker ni šlo za napad zunanjih storilcev. Motnje je povzročila napaka znotraj same infrastrukture enega največjih tehnoloških podjetij na svetu.
Napaka, ki je več mesecev čakala na usodno kombinacijo
Najbolj presenetljiva ugotovitev Microsoftove preiskave je, da je bila ključna programska napaka v sistemu prisotna že več mesecev. Sama po sebi ni povzročala večjih težav, toda ob povečani obremenitvi in zmanjšani strežniški zmogljivosti je sprožila verižno reakcijo, ki je prizadela uporabnike po vsem svetu.
Izpad je pokazal tudi omejitve avtomatiziranih obnovitvenih postopkov. Sistemi, zasnovani za obvladovanje običajnih motenj, niso bili pripravljeni na položaj, v katerem je velik del infrastrukture postal neodziven skoraj istočasno.
Microsoft je storitve medtem obnovil in napovedal dodatne ukrepe za izboljšanje njihove zanesljivosti. Ali bodo spremembe zadostovale za preprečevanje podobnih dogodkov, bo mogoče oceniti šele po podrobnejšem poročilu in nadaljnjem delovanju sistema.
Svetovni izpad tako ni razkril samo programske napake, temveč tudi širšo ranljivost sodobnega digitalnega sveta: ko odpove infrastruktura, od katere so odvisni milijoni ljudi, lahko posledice v nekaj urah dosežejo bolnišnice, šole, podjetja in državne ustanove na različnih celinah.
Spletno uredništvo Goriške novice










