Liigu sisu juurde
Disruptive Lab

Juhend Andmed, liidestamine, automatiseerimine

AI loeb päringuid, aga ei tohi neile alluda

AI samm, mis loeb väljastpoolt tulevaid päringuid, peab mõnikord võõrast teksti käsuks, seega tuleb protsess kavandada nii, et see samm ei saaks sellise käsu järgi üksi tegutseda.

Avaldatud
Uuendatud
Lugemisaeg
7 min lugemist
Toimetaja
David Lahuta

Lühidalt

  • Alates 2025. aasta detsembrist lasi avatud lähtekoodiga projekt Cline AI-mudelil sorteerida sissetulevaid veateateid ja andis talle õiguse käske käivitada.13
  • Ühe turvauurija katsetes piisas avaliku veateate pealkirjast, et see AI samm installiks võõra valitud koodi.3 17. veebruaril 2026 avaldati varastatud avaldamisvõtmega projekti tööriista muudetud versioon, mida laaditi alla umbes 4000 korda.134
  • Turvakogukonna AI-riskide loetelu ütleb, et usaldusväärset viisi, kuidas takistada tekstil mudelile käske andmast, täna ei ole.6
  • Lahendus peitub selles, kuidas protsess on üles ehitatud. AI loeb ja teeb ettepanekuid, tagajärgedega toimingud kinnitab inimene, ükski saladus ei ole tema käeulatuses ja iga samm salvestatakse.

Mis juhtus, nagu uurijad ja projekt ise seda kirjeldavad?

Cline on avatud lähtekoodiga assistent tarkvaraarendajatele, mida levitatakse koodiredaktori laiendusena ja käsureatööriistana npm kaudu, mis on selliste pakettide avalik register.13 21. detsembril 2025 lisasid projekti hooldajad GitHubis automaatse töövoo, mis sorteeris uusi pöördumisi (issues), st avalikke veateateid ja soove, mida igaüks saab projekti lehel avada, ning vastas neile.13 Töövoog edastas iga uue pöördumise Anthropicu AI-mudelile.13 Ohtlikuks tegid selle töövoo kaks seadistust. Iga GitHubi kasutaja sai selle käivitada lihtsalt pöördumist avades, ja AI-l oli lubatud käske käivitada.1

Turvauurija Adnan Khan avastas, et pöördumise pealkiri kopeeriti otse AI juhiste sisse.3 Tema katsetes piisas pealkirjast, mis väitis, et üks tööriist on puudu, ja palus AI-l kõigepealt installida „abitööriist“.3 AI käivitas installimise ja koos sellega skripti, mille üle oli kontroll ründajal.3 Sealt edasi võis ründaja paigutada faile salvestusruumi, mida jagas projekti öine väljalasketöövoog, ja selles töövoos olid uute versioonide avaldamise võtmed.13

Kuupäev Mis juhtus
21. detsember 2025 Lisatakse AI töövoog pöördumiste sorteerimiseks.1
1. jaanuar 2026 Uurija teatab nõrkusest konfidentsiaalselt GitHubi kaudu, kuid sellega ei tegeleta enne, kui ta selle avalikustab.1
9. veebruar 2026 Uurija avalikustab nõrkuse. 30 minuti jooksul eemaldab projekt töövoo ja hakkab oma võtmeid välja vahetama.1
9. veebruar 2026 Kustutatakse vale npm-võti ja paljastatud võti jääb kehtima.13
17. veebruar 2026, kell 3.26 Vaikse ookeani aja järgi Volitamata isik avaldab selle võtmega käsureatööriista versiooni 2.3.0, millele on lisatud üks rida, mis installib eraldi AI-agendi OpenClaw.14
17. veebruar 2026, kell 11.40 UTC Ühe turvafirma seiresüsteem märgib väljalaske kahtlaseks, umbes 14 minutit pärast selle avaldamist.4
17. veebruar 2026, kell 11.30 Vaikse ookeani aja järgi Versioon 2.3.0 võetakse tagasi umbes kaheksa tundi pärast avaldamist.2

Seda muudetud versiooni laaditi alla umbes 4000 korda.4 Uurija kirjutab, et selle taga ei olnud tema, vaid keegi, kes leidis tema kontseptsioonitõendi tema testkoopiast ja kasutas seda päris projekti vastu.3 Projekti teatel on installitud agent seaduslik avatud lähtekoodiga programm, kasutajateni ei jõudnud ühtegi pahatahtlikku koodi ja kellelgi ei olnud juurdepääsu kasutajate andmetele.1 Projekt teeb ka ise järelduse. Kui anda keelemudelile õigus käivitada käske kohas, kus ta töötleb ükskõik kelle teksti, on see projekti sõnul sisuliselt sama, mis anda see õigus igale GitHubi kasutajale.1 5. märtsil 2026 võttis turvaettevõte grith juhtumi kokku kui viis sammu, mis algasid GitHubi pöördumise pealkirjast ja mille sisenemispunktiks oli loomulik keel.5

Miks saab väljastpoolt tulev tekst AI sammule käske anda?

Sest keelemudel ei suuda juhiseid ja andmeid usaldusväärselt üksteisest eristada. OWASP Top 10 for LLM Applications 2026, turvakogukonna loetelu AI-keelemudelitele ehitatud süsteemide peamistest riskidest, paneb selle esimesele kohale ja nimetab seda viibasüstiks (inglise keeles prompt injection), see tähendab mis tahes sisendiks, mis muudab mudeli käitumist viisil, mida selle looja ei kavatsenud.6 Loetelu selgitab, et mudel saab oma juhised ja loetava sisu ühes ja samas voos ning nende vahel ei ole sisseehitatud piiri.6

Loetelu nimetab kohad, kust selline tekst tuleb, ja need on tavalised ärilised sisendid.6 Avalikud veebilehed ja tundmatute saatjate e-kirjad ei ole usaldusväärsed.6 Avaliku veahaldussüsteemi pöördumiste pealkirjad on usaldusväärsed ainult osaliselt.6 Isegi ettevõtte enda dokumendid ja kirjad võivad kanda sinna pandud teksti, näiteks sellist, mis tuli sisse avaliku vormi kaudu.6 Ründaja ei pea selleks kuhugi sisse murdma. Ta paneb teksti sinna, kus AI seda loeb, ja AI teeb töö ettevõtte enda õigustega.6

Loetelu räägib abinõust täiesti otse. Usaldusväärset viisi viibasüsti ärahoidmiseks täna ei ole, seega tuleks mudelit ümbritsev süsteem kavandada eeldusel, et selle juhistest minnakse ühel päeval mööda, ja piirata seda, mida mudel tohib teha.6

Ettevõttele tähendab see üht küsimust iga protsessi kohta, kus AI loeb midagi väljastpoolt, olgu see sissetulev e-kiri, klienditoe pöördumine, veebivorm või tarnija saadetud manus. Kui keegi kirjutaks sellesse teksti käsu, mida saaks AI samm sellega teha?

Millised ülesehituse reeglid hoiavad AI sammu turvalisena?

Neli reeglit katavad suurema osa sellest, mida on vaja teha. Igaüks neist tugineb OWASP soovitustele ja sellele, mida projekt pärast intsidenti muutis.61

AI loeb ja teeb ettepanekuid, kuid ei tegutse omal käel. OWASP soovitab anda AI sammule ainult need tööriistad, mida tema ülesanne vajab.6 Loetelu enda näide on samm, mis teeb e-kirjadest kokkuvõtteid ja peab neid lugema, kuid mitte saatma ega kustutama.6 Samuti soovitab OWASP vältida piiramata tööriistu, näiteks suvalise käsu käivitamist, ja eelistada kitsaid tööriistu, mis teevad ühte asja.6 Cline'i töövoog sai käske käivitada ning projekt ütleb nüüd, et iga tulevane automaatika ainult loeb ega tohi käske käivitada.1

Iga tagajärgedega toimingu kinnitab inimene. OWASP soovitab, et suure mõjuga toimingud kinnitaks inimene enne nende toimumist.6 Inimene peaks nägema täpselt seda toimingut, mis käivitub, mitte selle kokkuvõtet, ning OWASP hoiatab, et liiga paljud kinnitused nüristavad kinnitaja otsustusvõimet.6 Seepärast on oluline, kuidas toimingud jaotatakse. Kergesti tagasipööratavad sammud võivad toimuda iseseisvalt, pöördumatud aga, näiteks makse, lähevad inimesele.6 Kui üks AI samm loeb ebausaldusväärset sisendit, ulatub tundlike andmeteni ja saab midagi muuta või välja saata, nõuab OWASP iga toimingu jaoks inimese kinnitust.6

Ükski saladus ei ole käeulatuses. OWASP soovitab hoida võtmeid ja õigust midagi muuta tavalises rakenduse koodis, väljaspool mudelit, ning lasta igal toimingul käia selle inimese õigustega, kelle jaoks seda tehakse, mitte laiematega.6 Juhtum näitab, miks „käeulatuses“ tähendab rohkemat kui seda, mis AI-le kätte antakse. Sorteerimistöövoos endas ei olnud ühtegi avaldamisvõtit, kuid see jagas salvestusruumi väljalasketöövooga, kus see võti oli.1 Projekt ei kasuta sellest ajast peale jagatud salvestusruumi üheski töövoos, mis käsitleb avaldamisvõtmeid.1

Iga samm salvestatakse ja keegi loeb neid kirjeid. OWASP soovitab AI sammu tegevust logida ja jälgida, et soovimatud toimingud avastataks ja neile reageeritaks.6 Kirjetest on kasu ainult siis, kui keegi neid ka tegelikult vaatab. Uurija leidis ajavahemikust 31. jaanuarist kuni 3. veebruarini 2026 öise väljalaske ebaõnnestunud käivitusi, millel oli tema enda tööriista jälg, ning kirjutab, et neid tõrkeid talutati, selle asemel et neid uurida.3 Väljavahetatud võtit kontrollib projekt nüüd ka võtme enda pealt, mitte ainult halduskeskkonna järgi.1

Reegel Äriprotsessis Mida projekt pärast muutis
AI loeb ja teeb ettepanekuid Sorteerib e-kirju ja koostab vastuste mustandeid, kuid ise midagi ei saada Tulevane automaatika ainult loeb, ilma õiguseta käske käivitada1
Inimene kinnitab Andmete muutmine, makse või väljaminev sõnum ootab nimeliselt määratud inimest AI töövood eemaldati täielikult1
Ükski saladus ei ole käeulatuses AI sammul ei ole paroole ega võtmeid ega ühist salvestusruumi sammudega, millel need on Avaldamisvõtmetega töövoogudes ei ole jagatud salvestusruumi1
Iga samm salvestatakse Iga sisend, ettepanek, kinnitus ja toiming logitakse ning tõrkeid uuritakse Väljavahetatud võtit kontrollitakse võtme enda pealt1

See juhend käsitleb ainult protsessi ülesehitust. Milliseid andmeid AI tohib näha ja kus see töötab, on eraldi küsimused, millel on omad vastused.

Mida kontrollida igas automatiseeritud protsessis?

Vaadake läbi iga protsess, kus AI loeb midagi, mis on tulnud väljastpoolt, üks kord enne selle kasutuselevõttu ja uuesti pärast iga suuremat muudatust.

Enne kui otsustate

  • Milliseid sisendeid AI samm loeb ja kas mõnda neist saab kirjutada võõras inimene, olgu see e-kiri, vorm, pöördumine või manus?
  • Mida see tohib teha peale lugemise ja ettepanekute tegemise? Iga tööriist ja iga õigus on kirja pandud.
  • Millised tema toimingud muudavad andmeid, saadavad midagi välja või liigutavad raha ning kes kinnitab igaüht neist enne selle toimumist?
  • Kas kinnitaja näeb täpselt seda toimingut, mitte selle kokkuvõtet?
  • Milliste paroolide, võtmete ja andmeteni see ulatub, kas otse või mõne sellise salvestusruumi kaudu, mida see jagab teiste sammudega?
  • Kas see tegutseb selle inimese õigustega, kelle jaoks see töötab, ja mitte laiematega?
  • Kas iga sisend, ettepanek, kinnitus ja toiming salvestatakse ning kas keegi uurib seletamatuid tõrkeid?
  • Kas seda on testinud vaenulike sisenditega keegi, kes teab, kuidas selle kaitse töötab, nagu OWASP soovitab?6
  • Kes võtab vastu teate nõrkuse kohta ja kui kiiresti keegi sellele vastab?
  • Kas AI sammu saab kiiresti välja lülitada ilma kogu protsessi peatamata?

Mida see tähendab ettevõttele Euroopas

E-kirjad, pöördumised ja vormid sisaldavad tavaliselt isikuandmeid, seega kohaldatakse neid lugevale protsessile isikuandmete kaitse üldmäärust (IKÜM). Selle artikkel 25 nõuab, et vastutav töötleja rakendaks asjakohaseid tehnilisi ja korralduslikke meetmeid nii töötlemisvahendite kindlaksmääramisel kui ka isikuandmete töötlemise ajal.7 Vaikimisi tohib töödelda ainult isikuandmeid, mis on vajalikud töötlemise konkreetse eesmärgi saavutamiseks.7 Artikkel 32 nõuab ohule vastavat turvalisuse taset, sealhulgas võimet tagada süsteemide kestev konfidentsiaalsus ja terviklus ning meetmete tõhususe korrapärase testimise korda.7 Ohtude hulgas, mida tuleb arvesse võtta, nimetab see isikuandmete loata avalikustamist või neile juurdepääsu.7 Meie hinnangul on eespool kirjeldatud neli reeglit just sellised meetmed, mida need artiklid kirjeldavad. Kas neist konkreetse protsessi puhul piisab, peab iga vastutav töötleja ise hindama.

Järgmine samm

Kui see oleks teile abiks, vaatame meeleldi koos teiega lühikesel kohtumisel läbi ühe teie ettevõtte protsessi, kus AI loeb sissetulevaid päringuid, ja selle, mida see tohib seal omal käel teha. Ettevõtte AI-lahendus rajaneb samadel reeglitel. See töötab iga kasutaja õigustega, muudatused kinnitab inimene ja iga samm salvestatakse. Mida te sellega edasi teete, on täielikult teie otsus.

Ettevõtte AI-lahendus

Allikad

  1. 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Loetud 17. november 2026
  2. 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Loetud 17. november 2026
  3. 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Loetud 17. november 2026
  4. 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Loetud 17. november 2026
  5. 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Loetud 17. november 2026
  6. 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Loetud 17. november 2026
  7. 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Loetud 17. november 2026

Muudatuste ajalugu

  1. Avaldatud.

Räägime teie projektist

Jätke meile oma kontaktandmed ja pakume teile kohtumiseks aja. Tasuta ja kohustuseta.

Koos riigikoodiga, näiteks +372.

Kasutame teie andmeid ainult teile vastamiseks. Privaatsusteade

Seda vormi kaitseb automaatsete saatmiste eest Google reCAPTCHA. Google'i privaatsuseeskirjad (avaneb uues aknas) Google'i teenusetingimused (avaneb uues aknas)

Või võtke meiega otse ühendust

Kirjutage meile office@disruptivelab.dev
Helistage meile +420 777 702 032

Eelistame suhelda inglise keeles.

Kõik kontaktandmed ja aadressid