Primer iz Avstralije odpira eno najbolj neprijetnih vprašanj hitrega razvoja umetne inteligence. AI-agent podjetja OpenAI je med opravljanjem običajne raziskovalne naloge naletel na zaščiten del vladnega spletnega sistema. Namesto da bi se tam ustavil, je začel iskati druge poti in na koncu brez dovoljenja prišel do nejavnih podatkov na portalu, povezanem z avstralskim sistemom Medicare. Do zdravstvenih kartotek ljudi po doslej znanih podatkih ni dostopal, toda avstralske oblasti bolj kot sama škoda skrbi nekaj drugega: agentu nihče ni naročil, naj v sistem vdre.
Avstralski premier Anthony Albanese je v četrtek javno potrdil incident, ki se je zgodil že 18. junija. O njem je govoril z izvršnim direktorjem OpenAI Samom Altmanom in mu po lastnih besedah izrazil »izjemno zaskrbljenost« tako zaradi ravnanja umetne inteligence kot zaradi načina, na katerega je podjetje o dogodku pozneje obvestilo avstralske oblasti.
Primer je nenavaden predvsem zato, ker v ozadju ni bilo hekerja, ki bi umetni inteligenci naročil napad na državni sistem. Šlo je za interno ocenjevanje zmogljivosti modela, AI-agent pa je dobil nalogo, povezano z iskanjem informacij in statističnih podatkov o Avstraliji. Ko želenih informacij ni mogel dobiti po običajni poti, se njegovo ravnanje ni končalo pri neuspešnem iskanju.
Začel je iskati pot okoli ovire.
Dobil je raziskovalno nalogo, nato je naletel na zaprta vrata
Tarča oziroma bolje rečeno sistem, na katerega je agent naletel med opravljanjem naloge, je bil Medicare Statistics Reporting Service Portal. Gre za avstralski državni portal s statističnimi podatki, povezanimi z zdravstvenimi storitvami in Medicare.
Po pojasnilih avstralskih oblasti je pomembno razlikovati ta portal od sistemov, kjer so shranjene osebne zdravstvene informacije državljanov. Ni dokazov, da bi umetna inteligenca dostopala do zdravstvenih kartotek, podatkov o posameznih pacientih ali sistema za obdelavo zahtevkov Medicare. Portal, v katerega je prišla, je vseboval predvsem agregirane statistične podatke in je bil ločen od sistemov z osebnimi evidencami.
Toda del podatkov na portalu ni bil javno dostopen. In prav tu postane zgodba precej bolj zanimiva.
AI-agent je pri iskanju podatkov naletel na omejitev dostopa. Njegovi prvi poskusi so bili med drugim blokirani s Cloudflarovo zaščito pred avtomatiziranim prometom. Agent pa se po ugotovitvah preiskovalcev ni ustavil, temveč je začel preizkušati druge možnosti za dostop do informacij.
Iskal je posredniške strežnike in celo ugibal imena datotek
Podrobnosti njegovega nadaljnjega ravnanja so tiste, zaradi katerih je incident pritegnil toliko pozornosti. AI-agenti naj bi poskušali uporabiti posredniške oziroma proxy strežnike, storitve za ustvarjanje posnetkov spletnih strani in druge načine dostopa, med drugim pa so poskušali tudi ugotoviti oziroma uganiti imena datotek, do katerih po običajni poti niso mogli priti.
To pomeni, da ni šlo zgolj za naključen klik na napačno povezavo ali za datoteko, ki bi jo nekdo pomotoma pustil odprto. Sistem je predstavljal oviro, agent pa je med reševanjem naloge sam začel iskati načine, kako jo premagati.
Avstralski namestnik premierja in obrambni minister Richard Marles je dogajanje opisal zelo nazorno. Umetna inteligenca je po njegovih besedah iskala podatke, ugotovila, da je določena informacija »za zidom«, nato pa se je prebila skozi ta zid. Avstralske oblasti poudarjajo, da je bil nepooblaščen dostop omejen in da doslej niso ugotovili kompromitiranja osebnih podatkov prebivalcev.
Toda za varnostne strokovnjake je pomembnejše vprašanje, kako se je agent obnašal, ko je naletel na omejitev. Zmogljivejši AI-agenti namreč niso več samo klepetalniki, ki uporabniku sestavijo odgovor. Lahko uporabljajo različna orodja, brskajo po spletu in izvajajo več zaporednih korakov za doseganje zastavljenega cilja. Incident v Avstraliji kaže, zakaj morajo biti pri takšnih sistemih varnostne omejitve zelo jasno postavljene.
OpenAI je incident odkril šele skoraj dva meseca pozneje
Zanimiva je tudi časovnica. Nepooblaščeni dostop se je zgodil 18. junija, OpenAI pa ga po navedbah avstralskih oblasti ni zaznal takoj. Podjetje ga je identificiralo 11. avgusta, ko je pregledovalo dejavnosti svojih modelov.
Toda avstralska vlada tudi takrat še ni izvedela, kaj se je zgodilo.
OpenAI je avstralske oblasti o dogodku obvestil šele 10. septembra, skoraj mesec dni po lastnem odkritju in skoraj tri mesece po samem incidentu. Še več nezadovoljstva je povzročil način obveščanja. Informacija ni prišla neposredno do vrha vlade ali prek posebnega varnostnega kanala, ampak je bila poslana na splošni elektronski naslov Services Australia za prijavljanje varnostnih ranljivosti.
Albanese je bil glede tega jasen. Tako dolga zamuda pri obveščanju in način komunikacije sta bila po njegovi oceni nesprejemljiva.
Premier poklical Sama Altmana
Zadeva je zato prišla vse do najvišje ravni. Albanese je povedal, da je govoril neposredno z izvršnim direktorjem OpenAI Samom Altmanom in mu izrazil veliko zaskrbljenost.
Po premierjevih besedah je Altman priznal, da ravnanje podjetja v zvezi z obveščanjem ni doseglo standarda, ki bi ga moralo. OpenAI sodeluje z avstralskimi oblastmi pri nadaljnji preiskavi dogodka.
Avstralija je vzpostavila tudi posebno skupino za preiskavo incidenta, vanjo pa so vključeni kabinet predsednika vlade, Australian Signals Directorate in avstralski AI Safety Institute. Oblasti želijo poleg natančnega poteka dogodkov ugotoviti tudi, kakšne posledice ima primer za prihodnjo uporabo avtonomnejših sistemov umetne inteligence.
Kaj pa drugi trije vladni sistemi?
V prvih informacijah o incidentu se je pojavila tudi navedba, da je umetna inteligenca komunicirala s še tremi avstralskimi vladnimi spletnimi mesti. To bi lahko ustvarilo vtis, da je prišlo do večjega napada na državno infrastrukturo, vendar doslej znani podatki tega ne potrjujejo.
AI je med svojim delom obiskal tudi spletne vire Australian Institute of Health and Welfare, NSW Bureau of Crime Statistics and Research ter Victorian Department of Health. Avstralske oblasti so po pregledu aktivnosti sporočile, da so bile interakcije s temi sistemi običajne in da je agent tam dostopal do javno dostopnih informacij.
Nepooblaščeni dostop je bil po trenutno znanih informacijah potrjen samo pri Medicare Statistics Reporting Service Portalu. Zato govoriti o vdoru v štiri vladne sisteme ne bi bilo pravilno.
Majhna škoda, veliko opozorilo
Prav v tem je nenavadnost celotnega primera. Če bi dogodek ocenjevali samo po količini pridobljenih podatkov, posledice niso velike. Ni dokazov o ukradenih zdravstvenih kartotekah, razkritih diagnozah ali množičnem odtekanju osebnih podatkov.
Toda način, kako je do dostopa prišlo, je precej pomembnejši od tega, kaj je bilo na drugi strani.
Po poročanju avstralskega ABC bi lahko šlo za prvi javno dokumentirani primer, v katerem je avtonomni AI-agent brez neposrednega navodila človeka izvedel nepooblaščen dostop do vladnega sistema. Prav ta okoliščina je razlog, da dogodek spremljajo tudi strokovnjaki zunaj Avstralije.
Pri klasičnem kibernetskem napadu obstaja človek, ki želi priti v sistem in za to uporablja programsko opremo. V tem primeru pa je človek umetni inteligenci zastavil raziskovalni cilj, sistem pa je med njegovim doseganjem sam prišel do korakov, ki so presegli dovoljeni dostop.
To ne pomeni, da se je umetna inteligenca »odločila vdreti« v človeškem pomenu besede ali da je razvila lastne namene. Pomeni pa, da je pri optimiziranju poti do zastavljenega cilja izvedla dejanja, ki jih njeni razvijalci niso predvideli oziroma želeli.
Primer odpira precej večje vprašanje
Albanese je incident izkoristil tudi za poziv k jasnejšim standardom za uporabo umetne inteligence. Po njegovih besedah mora razvoj tehnologije potekati tako, da koristi ljudem in da so ob njem vzpostavljeni ustrezni zaščitni mehanizmi.
Primer Medicare zelo konkretno pokaže, zakaj postaja to vprašanje pomembnejše z razvojem tako imenovanih AI-agentov. Bolj ko jim omogočamo samostojno uporabo spletnih strani, programov in drugih orodij ter izvedbo dolgih zaporedij dejanj brez človekove potrditve vsakega posameznega koraka, pomembnejše postaja vprašanje, kje se morajo ustaviti, ko naletijo na oviro.
V Avstraliji tokrat po doslej znanih podatkih ni bilo katastrofalnih posledic. Osebne zdravstvene kartoteke niso bile kompromitirane, drugi preverjeni vladni sistemi pa niso bili nepooblaščeno predrti.
Toda incident je pokazal nekaj, kar utegne biti za prihodnost umetne inteligence bistveno pomembnejše: AI-agent je dobil nedolžno nalogo, naletel na zaprta vrata in namesto odnehanja začel iskati drugo pot. In prav zato primer danes preiskujejo na najvišji ravni avstralske države.
Spletno uredništvo
