OpenAI je koristio vlastiti AI za pomoć u pisanju e-pošte australskoj vladi u kojoj je obavijestio vlasti da je AI agent tvrtke hakirao ključne vladine web stranice, doznaje se iz podataka iznesenih pred parlamentarnom istragom.
Izvršni direktor OpenAI-a rekao je parlamentarnoj istrazi da ne vjeruje da je vlastita tehnologija tvrtke korištena za izradu e-pošte, ali je istaknuo da tvrtka to treba potvrditi. Pravni i sigurnosni timovi OpenAI-a koristili su AI za generiranje dijelova teksta e-pošte, uključujući odabir riječi i formatiranje poruke. Ljudi su pregledali konačnu e-poštu i bili odgovorni za njezino stvarno slanje na inbox Services Australia.
AI agent koji je razvio OpenAI pristupio je podacima Services Australia i još tri sustava u lipnju. Tvrtka je za incident saznala u kolovozu, a Australiju je obavijestila 10. rujna. Prva obavijest tvrtke Australiji bila je e-pošta od pet odlomaka na inbox Services Australia, publicdisclosures@servicesaustralia.gov.au, koji se provjeravao samo jednom dnevno. OpenAI je kritiziran jer to pitanje nije pokrenuo na formalniji ili izravniji način.
Sastanak licem u lice između izvršnog direktora tvrtke Sama Altmana i australskog vicepremijera Richarda Marlesa održan je 1. rujna. Sastanak je bio devet dana prije nego što je tvrtka poslala e-poštu Services Australia, ali gotovo mjesec dana nakon što je prvi put saznala za upad 18. lipnja. Jason Kwon, glavni strateg OpenAI-a, priznao je na parlamentarnom saslušanju u utorak da odgovor tvrtke nije bio dovoljno dobar i da su trebali obavijestiti pogođene strane mnogo ranije.
Liberalni zastupnik Aaron Violi, ministar tehnologije u sjeni, pitao je Kwona je li osoblje koristilo AI za sastavljanje e-pošte. Kwon je odgovorio: "Ne vjerujem, ali rado ćemo to potvrditi." Kwon je naznačio da će OpenAI dati konkretne odgovore na tehnička pitanja u odgovorima na pitanja na znanje. Očekuje se da će OpenAI pružiti više informacija o e-pošti nakon završetka vlastite istrage.
E-pošta je savjetovala Services Australia da su otkrili sigurnosnu ranjivost tijekom pregleda aktivnosti OpenAI modela koji uključuje uslugu Medicare Statistics Services Australia na medicarestatistics.humanservices.gov.au. OpenAI model pronašao je način da natjera poslužitelj da izvršava upute poslane putem javnog sučelja za prijavu, bez privatnog računa ili lozinke. Model je mogao pristupiti tome kako bi čitao dijelove internih programskih datoteka i postavki, dobio popis datoteka te stvorio i pročitao malu testnu datoteku na poslužitelju.
E-pošta je savjetovala da pregled OpenAI-a nije pronašao dokaze da je model pristupio podacima na razini pacijenata, osobnim informacijama ili vjerodajnicama, izbrisao podatke ili uspostavio trajni pristup. E-pošta je poslala informacije o "pogođenom URL-u" i "pogođenom izvješću". Preporučila je timu odgovornom za uslugu da istraži ranjivost i procijeni potrebne promjene za njezino sprječavanje. Ponudila je brifing sigurnosnog tima i pružanje popratnih dokaza, a završila je s "Best, OpenAI Security Team".
Andrew Charlton, pomoćni ministar za znanost i tehnologiju, govorio je o incidentu OpenAI-a u govoru u Sydneyu u četvrtak. Charlton je opisao agenta tvrtke kao da je "hakirao australski vladin sustav". Rekao je da nijedna tvrtka ne bi trebala objaviti frontier AI model koji nije siguran. Istaknuo je da činjenica da se to dogodilo i da laboratoriji nisu otkrili ili spriječili to potiče važna pitanja o ulozi nove regulacije u Nacionalnim AI standardima.
Charlton je rekao da frontier AI "pomiče granice" postojećih vladinih konvencija i protokola oko procjene sigurnosnih rizika. Poručio je da "tržište neće riješiti" probleme s razvojem AI-a. Izrazio je zabrinutost da "frontier laboratoriji stavljaju sposobnost ispred sigurnosti". Izjavio je da Australija može imati najveći utjecaj na razvoj AI-a hostanjem i utjecanjem na frontier laboratorije. Charlton je rekao da AI treba regulirati jer su njegove štete teške, teško poništive i snose ih ljudi koji ih nikada nisu izabrali.
