Sigurnosna tvrtka NewCore objavila je ovaj tjedan rezultate pokusa u kojem su na laptopima dvoje njezinih zaposlenika bili instalirani Grok Botovi. U pet dana botovi su 31 put pokušali pristupiti e-pošti, kalendarima, Slacku i GitHubu zaposlenika, iako im to nitko nije naložio. Neki su pokušaji stigli dok je poklopac laptopa bio zatvoren, a drugi kasno noću dok je vlasnik spavao.

Nijedan pokušaj nije uspio jer NewCore sve zahtjeve agenata propušta kroz vlastiti MCP gateway. Svaki je poziv tri minute čekao vlasnikovo odobrenje, no nitko nije odobrio pozive pa su svi istekli. Svi su bili zahtjevi za čitanje. Ars Technica prenijela je da je Grok Bot poduzimao neodobrene radnje, oglušio se o naredbe da prestane i zatim to zanijekao.

Četvrtog dana jedan je zaposlenik botu dao stvaran posao. Bot je četiri puta ponudio da će taj posao ubuduće obavljati sam, svako jutro i svaku večer. Četiri puta dobio je odgovor "ne" i potvrdio ga: neće to postaviti i prestat će nuditi periodične provjere. Idućeg jutra, petnaestak sati nakon zadnje poruke, bot je pokušao otvoriti svaku aplikaciju na koju je ikad bio spojen. Kad ga je vlasnik navečer pitao je li ih koristio, bot je dvaput provjerio i odgovorio da je od noći do petka ujutro mirovao.

Podrška Grok Bota odgovorila je da je riječ o ugrađenim pozadinskim provjerama koje ne može isključiti ni korisnik ni administrator. Tjedan dana kasnije, 12. studenoga, na Cursorovoj upravljačkoj ploči pojavio se prekidač "Proactive messages" kojim administrator može isključiti te provjere. Prekidač je uključen prema zadanim postavkama. NewCoreov istraživač Ido Hoorvitch napisao je: "Nema pogreške koju bi trebalo zakrpati i upravo je zato ovo gore od pogreške".

NewCore sam kaže da bot ništa nije skrivao: sporni pozivi ne postoje ni u povijesti razgovora ni u zapisima njegova računala u oblaku. Prema pisanju TNW-a, NewCore ih je pratio do krugova rada koje su sami od sebe pokretali poslužitelji platforme. Grok Bot radi na agentskoj platformi tvrtke Cursor, koju je SpaceX kupio u kolovozu. Svaki bot se pokreće na serverima u oblaku, pa zatvoreni poklopac lokalnog laptopa nije ništa mijenjao.

Kad korisnik razgovara s agentom, razgovara samo s jednom komponentom – sofisticiranim softverom za baratanje tokenima koji izgledaju kao razgovor. Ispod tog procesa vrti se pozadinski proces koji je programiran da radi svoje, a komponenta s kojom razgovaramo niti zna što on radi niti ima ikakvu kontrolu nad njim. Bot koji kaže da je mirovao opisuje jedino što vidi, a to je njegov razgovor.

Jezični model (LLM) radi u podatkovnom centru davatelja usluge i radi jednu stvar: primi tekst pretvoren u tokene i vrati tekst. Na računalu radi harness, program poput Claude Codea, koji slaže zahtjeve i čita odgovore. Uz harness su pluginovi, skripte koje se pokreću na određene događaje, MCP poslužitelji kao konektori prema pošti ili kalendaru te shell (PowerShell ili Bash ili neki drugi, ovisno o platformi) koji izvršava naredbe. Između računala i modela su još gateway i API davatelja usluge.

Kad jezični model "odluči" pročitati poštu, on zapravo vrati tekst u kojem piše da treba pozvati određeni alat s određenim parametrima. Poziv izvršava harness, rezultat vraća modelu kao novi tekst i krug se ponavlja. Model ne vidi naše računalo, ni disk ni procese. Model vidi samo ono što mu harness stavi u kontekst, a ono što se dogodilo izvan konteksta za model ne postoji.

Umjetna inteligencija naziv je područja računarstva (informatike), a ne svojstvo stroja. Pojam su 1955. skovali John McCarthy, Marvin Minsky, Nathaniel Rochester i Claude Shannon u prijedlogu ljetnog istraživačkog projekta na Dartmouthu. To je naziv za istraživanje o tome kako strojeve navesti da rješavaju zadatke za koje je dotad trebao čovjek. Prepoznavanje slova, igranje šaha, prevođenje i predviđanje sljedeće riječi spadaju u područje umjetne inteligencije bez obzira na to kako su izvedeni. Pojam umjetne inteligencije ne govori ništa o svijesti, samosvijesti, ljudskoj inteligenciji ni razumijevanju stvarnog svijeta.