Vodnik Podatki, integracija, avtomatizacija
AI, ki bere zahteve, jih ne sme ubogati
Korak z AI, ki bere zahteve od zunaj, bo tuje besedilo včasih razumel kot ukaz, zato mora biti proces zasnovan tako, da po takem ukazu ne more ukrepati sam.
- Objavljeno
- Posodobljeno
- Čas branja
- 8 min branja
- Odgovorni urednik
- David Lahuta
Na kratko
- Od decembra 2025 je odprtokodni projekt Cline razvrščanje dohodnih prijav napak prepustil modelu AI in mu dal pravico izvajati ukaze.13
- V testih raziskovalca je naslov javne prijave zadoščal, da je ta korak z AI namestil kodo, ki jo je izbral nekdo od zunaj, 17. februarja 2026 pa je bila z ukradenim ključem za objavo izdana spremenjena različica orodja projekta, prenesena približno 4.000-krat.134
- Seznam tveganj AI, ki ga pripravlja varnostna skupnost, navaja, da danes ni zanesljivega načina, kako preprečiti, da bi besedilo modelu dajalo ukaze.6
- Odgovor je v zasnovi procesa. AI bere in predlaga, kar ima posledice, odobri človek, nobena skrivnost ni na njenem dosegu in vsak korak je zabeležen.
Kaj se je zgodilo po poročanju raziskovalcev in samega projekta?
Cline je odprtokodni pomočnik za razvijalce programske opreme, ki se distribuira kot razširitev urejevalnika in kot orodje za ukazno vrstico prek npm, javnega registra takih paketov.13 Vzdrževalci so 21. decembra 2025 na GitHubu dodali avtomatiziran potek dela (workflow), ki je razvrščal nove prijave (issues) in odgovarjal nanje, torej javna poročila o napakah in zahteve, ki jih lahko na strani projekta odpre kdor koli.13 Potek dela je vsako novo prijavo predal modelu AI podjetja Anthropic.13 Nevaren sta ga naredili dve nastavitvi. Zagnal ga je lahko vsak uporabnik GitHuba, ki je odprl prijavo, in AI je smela izvajati ukaze.1
Raziskovalec Adnan Khan je ugotovil, da se je naslov prijave kopiral neposredno v navodila za AI.3 V njegovih testih je zadoščal naslov, ki je trdil, da neko orodje manjka, in je AI prosil, naj najprej namesti „pomožno orodje“.3 AI je namestitev izvedla in z njo skripto, ki jo je nadziral napadalec.3 Od tam bi lahko napadalec podtaknil datoteke v shrambo, ki si jo je delil z nočnim potekom dela za izdajo različic, ta pa je hranil ključe za objavo novih različic.13
| Datum | Kaj se je zgodilo |
|---|---|
| 21. december 2025 | Dodan je potek dela z AI za razvrščanje prijav.1 |
| 1. januar 2026 | Raziskovalec slabost zasebno prijavi prek GitHuba, a se z njo nihče ne ukvarja, dokler je ne objavi.1 |
| 9. februar 2026 | Slabost objavi. Projekt v 30 minutah odstrani potek dela in začne menjati ključe.1 |
| 9. februar 2026 | Izbrisan je napačen ključ za npm, izpostavljeni pa ostane veljaven.13 |
| 17. februar 2026, 3.26 po pacifiškem času | Nepooblaščena oseba s tem ključem objavi različico 2.3.0 orodja za ukazno vrstico z eno dodano vrstico, ki namesti ločenega agenta AI, OpenClaw.14 |
| 17. februar 2026, 11.40 UTC | Nadzorni sistem varnostnega podjetja opozori na izdajo, približno 14 minut po objavi.4 |
| 17. februar 2026, 11.30 po pacifiškem času | Različica 2.3.0 je umaknjena, po približno osmih urah.2 |
Spremenjena različica je bila prenesena približno 4.000-krat.4 Raziskovalec piše, da za njo ni stal on, temveč nekdo, ki je njegov dokaz našel v njegovi testni kopiji in ga uporabil proti pravemu projektu.3 Projekt navaja, da je nameščeni agent legitimen odprtokodni program, da ni bila dostavljena nobena zlonamerna koda in da nihče ni dostopal do podatkov uporabnikov.1 Nauk iz tega potegne tudi sam. Dati jezikovnemu modelu pravico izvajati ukaze tam, kjer obdeluje besedilo kogar koli, je po njegovih besedah v bistvu enako, kot dati to pravico vsakemu uporabniku GitHuba.1 Varnostno podjetje grith je 5. marca 2026 primer povzelo kot pet korakov od naslova prijave na GitHubu, pri čemer je bil vstopna točka naravni jezik.5
Zakaj lahko besedilo od zunaj daje ukaze koraku z AI?
Ker jezikovni model ne zna zanesljivo ločiti navodil od podatkov. OWASP Top 10 for LLM Applications 2026, seznam glavnih tveganj sistemov, zgrajenih na jezikovnih modelih AI, ki ga pripravlja varnostna skupnost, to tveganje uvršča na prvo mesto in ga imenuje vrivanje pozivov (prompt injection), torej vsak vnos, ki spremeni delovanje modela na način, ki ga njegov razvijalec ni nameraval.6 Pojasnjuje, da model svoja navodila in vsebino, ki jo bere, prejme kot en sam tok, brez vgrajene meje med njimi.6
Seznam navaja, od kod tako besedilo prihaja, in to so povsem običajni poslovni vnosi.6 Javne spletne strani in e-pošta neznanih pošiljateljev niso vredne zaupanja.6 Naslovi prijav v javnem sistemu za sledenje napakam so vredni zaupanja le deloma.6 Tudi lastni dokumenti in pošta podjetja lahko nosijo podtaknjeno besedilo, na primer takšno, ki je prišlo prek javnega obrazca.6 Napadalcu ni treba nikamor vdreti. Besedilo postavi tja, kjer ga bo AI prebrala, AI pa delo opravi s pravicami podjetja samega.6
Glede rešitve je seznam jasen. Zanesljivega načina, kako preprečiti vrivanje pozivov, danes ni, zato je treba sistem okoli modela zasnovati s predpostavko, da bo nekdo njegova navodila nekoč zaobšel, in omejiti, kaj model sme narediti.6
Za podjetje to pomeni eno vprašanje za vsak proces, v katerem AI bere nekaj od zunaj, dohodno e-pošto, zahtevek za podporo, spletni obrazec ali prilogo dobavitelja. Če bi nekdo v to besedilo zapisal ukaz, kaj bi korak z AI lahko z njim naredil?
Katera pravila zasnove poskrbijo, da je korak z AI varen?
Štiri pravila pokrijejo večino. Vsako temelji na smernicah OWASP in na tem, kar je projekt po incidentu spremenil.61
AI bere in predlaga, sama ne ukrepa. OWASP svetuje, naj ima korak z AI le orodja, ki jih njegova naloga potrebuje.6 Njegov primer je korak, ki povzema e-pošto in jo mora brati, ne pa pošiljati ali brisati.6 Odsvetuje tudi odprta orodja, kot je izvajanje poljubnega ukaza, in daje prednost ozkim orodjem, ki naredijo eno samo stvar.6 Potek dela projekta Cline je lahko izvajal ukaze, projekt pa zdaj navaja, da bo vsaka prihodnja avtomatizacija le brala, brez pravice izvajati ukaze.1
Vsako dejanje s posledicami odobri človek. OWASP priporoča, da dejanja z velikim učinkom odobri človek, preden se zgodijo.6 Človek naj vidi natančno tisto dejanje, ki se bo izvedlo, ne njegovega povzetka, OWASP pa opozarja, da preveč odobritev otopi presojo tistega, ki jih daje.6 Zato je pomembna razdelitev. Koraki, ki jih je lahko razveljaviti, se lahko izvedejo sami, nepovratni, na primer plačilo, pa gredo k človeku.6 Kadar en korak z AI bere vnos, ki ni vreden zaupanja, dostopa do občutljivih podatkov in lahko nekaj spremeni ali pošlje ven, OWASP zahteva odobritev človeka za vsako dejanje.6
Nobena skrivnost ni na dosegu. OWASP svetuje, naj ključi in možnost spreminjanja ostanejo v običajni kodi aplikacije, zunaj modela, vsako dejanje pa naj se izvede s pravicami osebe, za katero se izvaja, in ne s širšimi.6 Primer pokaže, zakaj „na dosegu“ pomeni več kot to, kar AI dobi v roke. Sam potek dela za razvrščanje ni imel ključa za objavo, a si je delil shrambo s potekom dela za izdajo, ki ga je imel.1 Projekt od takrat skupne shrambe ne uporablja v nobenem poteku dela, ki ravna s ključi za objavo.1
Vsak korak je zabeležen in zapise nekdo bere. OWASP svetuje beleženje in spremljanje tega, kar korak z AI počne, da se neželena dejanja odkrijejo in se je nanje mogoče odzvati.6 Zapisi pomagajo le, če jih nekdo pogleda. Raziskovalec je med 31. januarjem in 3. februarjem 2026 našel neuspešne zagone nočne izdaje, ki so nosili sled njegovega lastnega orodja, in piše, da so neuspehe dopuščali, namesto da bi jih raziskali.3 Projekt zdaj zamenjani ključ preveri tudi na samem ključu, ne le v upravljalskem vmesniku.1
| Pravilo | V poslovnem procesu | Kaj je projekt pozneje spremenil |
|---|---|---|
| AI bere in predlaga | Razvršča e-pošto in pripravlja osnutke odgovorov, sama pa ničesar ne pošlje | Prihodnja avtomatizacija bo le brala, brez pravice izvajati ukaze1 |
| Odobri človek | Sprememba podatkov, plačilo ali sporočilo navzven čaka na imenovano osebo | Poteke dela z AI je v celoti odstranil1 |
| Nobena skrivnost na dosegu | Korak z AI nima gesel ali ključev in si ne deli shrambe s koraki, ki jih imajo | Nobene skupne shrambe v potekih dela s ključi za objavo1 |
| Vsak korak zabeležen | Vsak vnos, predlog, odobritev in dejanje se zabeleži, neuspehi pa se raziščejo | Zamenjani ključ se preveri na samem ključu1 |
Ta vodnik ostaja pri zasnovi procesa. Katere podatke sme AI videti in kje deluje, sta ločeni vprašanji z lastnimi odgovori.
Kaj preveriti pri vsakem avtomatiziranem procesu?
Preglejte vsak proces, v katerem AI bere nekaj, kar je prišlo od zunaj, enkrat pred uvedbo in znova po vsaki večji spremembi.
Preden se odločite
- Katere vnose korak z AI bere in ali lahko katerega od njih napiše tujec, na primer e-pošto, obrazec, zahtevek ali prilogo?
- Kaj lahko počne poleg branja in predlaganja? Vsako orodje in vsaka pravica sta navedena.
- Katera njegova dejanja spreminjajo podatke, pošiljajo nekaj ven ali premikajo denar in kdo vsako od njih odobri, preden se zgodi?
- Ali oseba, ki odobri, vidi natančno dejanje in ne le povzetka?
- Do katerih gesel, ključev in podatkov seže, neposredno ali prek shrambe, ki si jo deli z drugimi koraki?
- Ali deluje s pravicami osebe, za katero dela, in ne s širšimi?
- Ali so vsak vnos, predlog, odobritev in dejanje zabeleženi in ali nekdo razišče nepojasnjene neuspehe?
- Ali ga je s sovražnimi vnosi preizkusil nekdo, ki ve, kako delujejo njegove zaščite, kot svetuje OWASP?6
- Kdo prejme prijavo slabosti in kako hitro se nanjo nekdo odzove?
- Ali je mogoče korak z AI hitro izklopiti, ne da bi se ustavil celoten proces?
Kaj to pomeni za podjetje v Evropi
E-pošta, zahtevki in obrazci običajno vsebujejo osebne podatke, zato za proces, ki jih bere, velja Splošna uredba o varstvu podatkov (GDPR). Njen člen 25 od upravljavca zahteva, da tako v času določanja sredstev obdelave kot v času same obdelave izvaja ustrezne tehnične in organizacijske ukrepe.7 Privzeto se smejo obdelati samo osebni podatki, ki so potrebni za vsak poseben namen obdelave.7 Člen 32 zahteva varnost, ki ustreza tveganju, med drugim zmožnost zagotoviti stalno zaupnost in celovitost sistemov ter postopek rednega testiranja, ocenjevanja in vrednotenja učinkovitosti ukrepov.7 Med tveganji, ki jih je treba upoštevati, navaja nepooblaščeno razkritje osebnih podatkov in nepooblaščen dostop do njih.7 Po našem mnenju so zgornja štiri pravila prav takšni ukrepi, kot jih opisujejo ti členi. Ali za posamezen proces zadoščajo, mora oceniti vsak upravljavec sam.
Naslednji korak
Če bi vam koristilo, bi z vami na kratkem sestanku z veseljem pogledali en proces v vašem podjetju, v katerem AI bere dohodne zahteve, in kaj v njem sme narediti sama. Poslovna AI rešitev temelji na istih pravilih, s pravicami vsakega uporabnika, človekom, ki odobri spremembe, in zapisom vsakega koraka. Kaj boste s tem naredili potem, je povsem vaša odločitev.
Viri
- 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Prebrano 17. november 2026
- 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Prebrano 17. november 2026
- 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Prebrano 17. november 2026
- 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Prebrano 17. november 2026
- 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Prebrano 17. november 2026
- 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Prebrano 17. november 2026
- 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Prebrano 17. november 2026
Zgodovina sprememb
- Objavljeno.