Vodič Podaci, integracija, automatizacija
AI koji čita zahtjeve ne smije ih slušati
Korak s AI-jem koji čita zahtjeve izvana ponekad će tuđi tekst shvatiti kao nalog, pa proces treba osmisliti tako da prema takvom nalogu ne može sam postupiti.
- Objavljeno
- Ažurirano
- Vrijeme čitanja
- 8 min čitanja
- Urednik
- David Lahuta
Ukratko
- Od prosinca 2025. projekt otvorenog koda Cline prepustio je razvrstavanje pristiglih prijava pogrešaka AI modelu i dao mu pravo pokretanja naredbi.13
- U testovima jednog istraživača bio je dovoljan naslov javne prijave pogreške da taj korak s AI-jem instalira kod koji je odabrala vanjska osoba.3 Dana 17. veljače 2026. ukradenim ključem za objavljivanje novih verzija izdana je izmijenjena verzija alata projekta, preuzeta oko 4 000 puta.134
- Popis rizika AI-ja koji sastavlja sigurnosna zajednica navodi da danas ne postoji pouzdan način da se tekstu onemogući izdavanje naloga modelu.6
- Odgovor je u načinu na koji je proces osmišljen. AI čita i predlaže, ono što ima posljedice odobrava čovjek, nijedna tajna nije mu nadohvat ruke i svaki se korak bilježi.
Što se dogodilo, prema istraživačima i samom projektu?
Cline je asistent otvorenog koda za programere, koji se distribuira kao proširenje za uređivač koda i kao alat za naredbeni redak (CLI) preko npm-a, javnog registra takvih paketa.13 Održavatelji projekta dodali su 21. prosinca 2025. na GitHubu automatizirani tijek rada (workflow), niz koraka koji se pokreće sam, koji je razvrstavao nove prijave (issues) i odgovarao na njih, a to su javne prijave pogrešaka i prijedlozi koje svatko može otvoriti na stranici projekta.13 Taj je tijek rada svaku novu prijavu predavao AI modelu tvrtke Anthropic.13 Opasnim su ga činile dvije postavke. Mogao ga je pokrenuti svaki korisnik GitHuba otvaranjem prijave, a AI je smio pokretati naredbe.1
Istraživač Adnan Khan otkrio je da se naslov prijave kopirao izravno u upute za AI.3 U njegovim testovima bio je dovoljan naslov koji je tvrdio da neki alat nedostaje i tražio od AI-ja da najprije instalira „pomoćni alat”.3 AI je pokrenuo instalaciju, a s njom i skriptu pod napadačevim nadzorom.3 Odatle je napadač mogao podmetnuti datoteke u pohranu koju je dijelio s noćnim tijekom rada koji izrađuje izdanja projekta, a taj je tijek rada držao ključeve za objavljivanje novih verzija.13
| Datum | Što se dogodilo |
|---|---|
| 21. prosinca 2025. | Dodan je tijek rada s AI-jem za razvrstavanje prijava.1 |
| 1. siječnja 2026. | Istraživač preko GitHuba povjerljivo dojavljuje slabost.1 Nitko se njome ne bavi dok je on ne objavi.1 |
| 9. veljače 2026. | Istraživač je objavljuje. U roku od 30 minuta projekt uklanja tijek rada i počinje mijenjati ključeve.1 |
| 9. veljače 2026. | Izbrisan je pogrešan ključ za objavljivanje na npm-u, a otkriveni ostaje valjan.13 |
| 17. veljače 2026., 3:26 po pacifičkom vremenu | Neovlaštena osoba tim ključem objavljuje verziju 2.3.0 alata za naredbeni redak s jednim dodanim retkom koji instalira zasebnog AI agenta, OpenClaw.14 |
| 17. veljače 2026., 11:40 UTC | Nadzorni sustav jedne sigurnosne tvrtke označava izdanje kao sumnjivo, oko 14 minuta nakon objave.4 |
| 17. veljače 2026., 11:30 po pacifičkom vremenu | Verzija 2.3.0 povučena je nakon otprilike osam sati.2 |
Izmijenjena verzija preuzeta je oko 4 000 puta.4 Istraživač piše da iza nje nije stajao on, nego netko tko je njegov dokaz pronašao na njegovoj testnoj kopiji i upotrijebio ga protiv stvarnog projekta.3 Projekt navodi da je instalirani agent legitiman program otvorenog koda, da nije isporučen nikakav zlonamjerni kod i da nitko nije pristupio podacima korisnika.1 Pouku izvodi i sam. Dati jezičnom modelu pravo pokretanja naredbi ondje gdje obrađuje tekst bilo koga, prema njegovim riječima, u praksi je isto kao dati to pravo svakom korisniku GitHuba.1 Sigurnosna tvrtka grith 5. ožujka 2026. sažela je slučaj kao pet koraka od naslova prijave na GitHubu, s prirodnim jezikom kao ulaznom točkom.5
Zašto tekst izvana može izdavati naloge koraku s AI-jem?
Zato što jezični model ne može pouzdano razlikovati upute od podataka. OWASP Top 10 for LLM Applications 2026, popis glavnih rizika sustava izgrađenih na AI jezičnim modelima koji sastavlja sigurnosna zajednica, stavlja to na prvo mjesto i naziva ubacivanjem uputa (prompt injection), odnosno svakim unosom koji mijenja ponašanje modela na način koji njegov tvorac nije namjeravao.6 Objašnjava da model svoje upute i sadržaj koji čita prima kao jedan tok, bez ugrađene granice među njima.6
Popis navodi odakle takav tekst dolazi, a riječ je o uobičajenim poslovnim ulazima.6 Javne web stranice i e-mailovi nepoznatih pošiljatelja nepouzdani su.6 Naslovi prijava u javnom sustavu za praćenje pogrešaka pouzdani su samo djelomično.6 Čak i vlastiti dokumenti i pošta tvrtke mogu nositi podmetnuti tekst, primjerice onaj koji je stigao preko javnog obrasca.6 Napadač nigdje ne mora provaliti. Tekst postavi ondje gdje će ga AI pročitati, a AI posao obavi s ovlastima same tvrtke.6
O lijeku popis govori otvoreno. Pouzdan način sprečavanja ubacivanja uputa danas ne postoji, pa sustav oko modela treba osmisliti uz pretpostavku da će njegove upute jednog dana biti zaobiđene i ograničiti što model smije raditi.6
Za tvrtku to znači jedno pitanje za svaki proces u kojem AI čita nešto izvana, bio to dolazni e-mail, zahtjev za podršku, web obrazac ili privitak dobavljača. Kad bi netko u taj tekst upisao nalog, što bi korak s AI-jem mogao s njim učiniti?
Koja pravila u dizajnu procesa čuvaju korak s AI-jem sigurnim?
Četiri pravila pokrivaju većinu toga. Svako počiva na smjernicama OWASP-a i na onome što je projekt promijenio nakon incidenta.61
AI čita i predlaže, a ne postupa sam. OWASP savjetuje da korak s AI-jem dobije samo alate koje njegov zadatak traži.6 Njegov je primjer korak koji sažima e-mailove i treba ih čitati, ali ne i slati ili brisati.6 Savjetuje i da se umjesto otvorenih alata, kao što je pokretanje bilo koje naredbe, koriste uski alati koji rade jednu stvar.6 Tijek rada projekta Cline mogao je pokretati naredbe, a projekt sada kaže da će svaka buduća automatizacija samo čitati, bez prava pokretanja naredbi.1
Svaku radnju s posljedicama odobrava čovjek. OWASP preporučuje da radnje velikog učinka prije izvođenja odobri čovjek.6 Taj čovjek treba vidjeti točno onu radnju koja će se izvesti, a ne njezin sažetak, a OWASP upozorava da previše odobravanja otupljuje prosudbu onoga tko odobrava.6 Zato je važna podjela. Koraci koje je lako poništiti smiju se izvesti sami, a nepovratni, kao što je plaćanje, idu čovjeku.6 Kad jedan korak s AI-jem čita nepouzdan unos, ima pristup osjetljivim podacima i može nešto promijeniti ili poslati van, OWASP traži da čovjek odobri svaku radnju.6
Nijedna tajna nije mu nadohvat ruke. OWASP savjetuje da ključevi i ovlast za promjene ostanu u običnom kodu aplikacije, izvan modela, te da se svaka radnja izvodi s ovlastima osobe za koju se obavlja, a ne većima.6 Slučaj pokazuje zašto „nadohvat ruke” znači više od onoga što AI dobije u ruke. Sam tijek rada za razvrstavanje nije držao nijedan ključ za objavljivanje, ali je dijelio pohranu s tijekom rada za izdanja koji ga je držao.1 Projekt otad zajedničku pohranu ne koristi ni u jednom tijeku rada koji radi s ključevima za objavljivanje.1
Svaki se korak bilježi, a zapise netko čita. OWASP savjetuje bilježenje i praćenje onoga što korak s AI-jem radi, kako bi se neželjene radnje otkrile i na njih odgovorilo.6 Zapisi pomažu samo ako ih netko pogleda. Istraživač je između 31. siječnja i 3. veljače 2026. pronašao neuspjela pokretanja noćnog izdanja s tragom vlastitog alata i piše da su se ti neuspjesi tolerirali umjesto da se istraže.3 Projekt sada zamijenjeni ključ provjerava i prema samom ključu, a ne samo prema administratorskom sučelju.1
| Pravilo | U poslovnom procesu | Što je projekt poslije promijenio |
|---|---|---|
| AI čita i predlaže | Razvrstava e-mailove i priprema odgovore, ali sam ništa ne šalje | Buduća automatizacija samo čita, bez prava pokretanja naredbi1 |
| Odobrava čovjek | Promjena podataka, plaćanje ili poruka izvan tvrtke čeka imenovanu osobu | Tijekovi rada s AI-jem potpuno su uklonjeni1 |
| Nijedna tajna nadohvat ruke | Korak s AI-jem nema lozinke ni ključeve i ne dijeli pohranu s koracima koji ih imaju | Nema zajedničke pohrane u tijekovima rada s ključevima za objavljivanje1 |
| Svaki korak zabilježen | Svaki unos, prijedlog, odobrenje i radnja bilježe se, a neuspjesi se istražuju | Zamijenjeni ključ provjerava se prema samom ključu1 |
Ovaj se vodič drži dizajna procesa. Koje podatke AI smije vidjeti i gdje radi zasebna su pitanja sa svojim odgovorima.
Što provjeriti u svakom automatiziranom procesu?
Prođite kroz svaki proces u kojem AI čita nešto što je stiglo izvana, jednom prije puštanja u rad i ponovno nakon svake veće promjene.
Prije nego što odlučite
- Koje unose korak s AI-jem čita i može li neki od njih napisati nepoznata osoba, bio to e-mail, obrazac, zahtjev za podršku ili privitak?
- Što smije raditi osim čitanja i predlaganja? Popisan je svaki alat i svaka ovlast.
- Koje njegove radnje mijenjaju podatke, šalju nešto van ili prebacuju novac, i tko svaku od njih odobrava prije izvođenja?
- Vidi li osoba koja odobrava točno tu radnju, a ne njezin sažetak?
- Do kojih lozinki, ključeva i podataka može doći, izravno ili preko pohrane koju dijeli s drugim koracima?
- Postupa li s ovlastima osobe za koju radi, a ne većima?
- Bilježi li se svaki unos, prijedlog, odobrenje i radnja, i istražuje li netko neobjašnjene neuspjehe?
- Je li ga netko tko poznaje njegovu zaštitu testirao zlonamjernim unosima, kako savjetuje OWASP?6
- Tko prima dojavu o sigurnosnoj slabosti i koliko brzo netko na nju odgovara?
- Može li se korak s AI-jem brzo isključiti, a da se ne zaustavi cijeli proces?
Što to znači za tvrtku u Europi
E-mailovi, zahtjevi za podršku i obrasci obično sadrže osobne podatke, pa se na proces koji ih čita primjenjuje Opća uredba o zaštiti podataka (GDPR). Njezin članak 25. traži od voditelja obrade da odgovarajuće tehničke i organizacijske mjere ugradi u obradu, i u vrijeme određivanja sredstava obrade i u vrijeme same obrade.7 Integriranim načinom smiju se obrađivati samo osobni podaci nužni za svaku posebnu svrhu obrade.7 Članak 32. traži odgovarajuću razinu sigurnosti s obzirom na rizik, uključujući sposobnost osiguravanja povjerljivosti i cjelovitosti sustava te proces za redovno testiranje učinkovitosti mjera.7 Među rizicima koje treba uzeti u obzir navodi neovlašteno otkrivanje osobnih podataka i neovlašteni pristup njima.7 Prema našem mišljenju, četiri gornja pravila vrsta su mjera koje ti članci opisuju. Jesu li dovoljna za određeni proces, procjenjuje svaki voditelj obrade sam.
Sljedeći korak
Ako bi vam to bilo korisno, rado ćemo s vama na kratkom sastanku pogledati jedan proces u vašoj tvrtki u kojem AI čita dolazne zahtjeve i što u njemu smije učiniti sam. Poslovno AI rješenje počiva na istim pravilima, radi s ovlastima svakog korisnika, promjene odobrava čovjek i o svakom koraku ostaje zapis. Što ćete s tim poslije učiniti, isključivo je vaša odluka.
Izvori
- 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Pročitano 17. studenoga 2026.
- 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Pročitano 17. studenoga 2026.
- 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Pročitano 17. studenoga 2026.
- 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Pročitano 17. studenoga 2026.
- 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Pročitano 17. studenoga 2026.
- 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Pročitano 17. studenoga 2026.
- 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Pročitano 17. studenoga 2026.
Povijest izmjena
- Objavljeno.