Príručka Dáta, integrácia, automatizácia
AI smie požiadavky čítať, nie poslúchať
Krok s AI, ktorý číta požiadavky zvonka, občas považuje cudzí text za pokyn, a preto musí byť proces navrhnutý tak, aby podľa takého pokynu nemohol sám konať.
- Publikované
- Aktualizované
- Čas čítania
- 7 min čítania
- Zodpovedný redaktor
- David Lahuta
V skratke
- Od decembra 2025 nechával open source projekt Cline triediť prichádzajúce hlásenia chýb model AI a dal mu právo spúšťať príkazy.13
- V testoch jedného výskumníka stačil názov verejného hlásenia, aby tento krok s AI nainštaloval kód, ktorý vybral niekto cudzí.3 Dňa 17. februára 2026 potom ukradnutý kľúč na vydávanie poslúžil na zverejnenie upravenej verzie nástroja projektu, ktorá bola stiahnutá približne 4 000-krát.134
- Zoznam rizík AI, ktorý zostavuje bezpečnostná komunita, uvádza, že spoľahlivý spôsob, ako zabrániť textu dávať modelu pokyny, dnes neexistuje.6
- Odpoveď je v návrhu procesu. AI číta a navrhuje, kroky s následkami schvaľuje človek, AI nemá na dosah žiadne tajomstvo a každý krok sa zaznamenáva.
Čo sa stalo podľa výskumníkov a podľa samotného projektu?
Cline je open source asistent pre vývojárov softvéru, ktorý sa šíri ako rozšírenie vývojového prostredia a ako nástroj pre príkazový riadok cez npm, verejný register takýchto balíkov.13 Dňa 21. decembra 2025 pridali jeho správcovia na GitHube automatizovaný postup (workflow), ktorý triedil nové hlásenia (issues) a odpovedal na ne, teda verejné správy o chybách a požiadavky, ktoré môže na stránke projektu založiť ktokoľvek.13 Každé nové hlásenie odovzdal modelu AI od spoločnosti Anthropic.13 Nebezpečným ho robili dve nastavenia. Spustiť ho mohol ktorýkoľvek používateľ GitHubu tým, že hlásenie založil, a AI smela spúšťať príkazy.1
Výskumník Adnan Khan zistil, že názov hlásenia sa kopíroval priamo do pokynov pre AI.3 V jeho testoch stačil názov, ktorý tvrdil, že chýba nejaký nástroj, a žiadal AI, aby najprv nainštalovala „pomocný nástroj“.3 AI inštaláciu spustila a s ňou aj skript, ktorý mal v rukách útočník.3 Odtiaľ mohol útočník podstrčiť súbory do úložiska, ktoré zdieľal nočný postup na vydávanie verzií, a ten držal kľúče na zverejňovanie nových verzií.13
| Dátum | Čo sa stalo |
|---|---|
| 21. decembra 2025 | Pribudol postup s AI na triedenie hlásení.1 |
| 1. januára 2026 | Výskumník slabinu neverejne nahlásil cez GitHub. Nikto sa jej nevenoval, kým ju nezverejnil.1 |
| 9. februára 2026 | Výskumník slabinu zverejnil. Do 30 minút projekt postup odstránil a začal vymieňať kľúče.1 |
| 9. februára 2026 | Zmazaný bol nesprávny kľúč pre npm a ten vyzradený zostal platný.13 |
| 17. februára 2026, 3:26 pacifického času | Neoprávnená osoba týmto kľúčom zverejnila verziu 2.3.0 nástroja pre príkazový riadok s jedným pridaným riadkom, ktorý inštaluje samostatného agenta AI, OpenClaw.14 |
| 17. februára 2026, 11:40 UTC | Monitorovací systém bezpečnostnej firmy vydanie zachytil približne 14 minút po zverejnení.4 |
| 17. februára 2026, 11:30 pacifického času | Verzia 2.3.0 bola stiahnutá, približne po ôsmich hodinách.2 |
Upravená verzia bola stiahnutá približne 4 000-krát.4 Výskumník píše, že za ňou nestál on, ale niekto, kto jeho dôkaz našiel v jeho testovacej kópii a použil ho proti skutočnému projektu.3 Projekt uvádza, že nainštalovaný agent je legitímny open source program, že k používateľom sa nedostal žiadny škodlivý kód a že nikto nezískal prístup k ich údajom.1 Poučenie z toho vyvodzuje sám. Dať jazykovému modelu právo spúšťať príkazy tam, kde spracúva text od kohokoľvek, je podľa jeho slov v podstate to isté ako dať toto právo každému používateľovi GitHubu.1 Bezpečnostná firma grith 5. marca 2026 zhrnula prípad ako päť krokov od názvu hlásenia na GitHube, na ktorých začiatku stál obyčajný text.5
Prečo môže text zvonka dávať kroku s AI pokyny?
Pretože jazykový model nevie spoľahlivo odlíšiť pokyny od dát. OWASP Top 10 for LLM Applications 2026, zoznam hlavných rizík systémov postavených na jazykových modeloch AI, ktorý zostavuje bezpečnostná komunita, radí toto riziko na prvé miesto.6 Nazýva ho vloženie skrytých pokynov (prompt injection), teda akýkoľvek vstup, ktorý zmení správanie modelu spôsobom, s ktorým jeho tvorca nepočítal.6 Vysvetľuje, že model dostáva svoje pokyny aj obsah, ktorý číta, v jednom prúde a žiadna pevná hranica medzi nimi nie je.6
Zoznam menuje miesta, odkiaľ taký text prichádza, a sú to bežné firemné vstupy.6 Verejné webové stránky a e-maily od neznámych odosielateľov sú nedôveryhodné.6 Názvy hlásení vo verejnom systéme na hlásenie chýb sú dôveryhodné len čiastočne.6 Podstrčený text môžu niesť aj vlastné dokumenty a pošta firmy, napríklad keď prišiel cez verejný formulár.6 Útočník sa nikam nabúravať nemusí. Stačí mu umiestniť text tam, kde ho AI prečíta, a prácu potom urobí AI s oprávneniami samotnej firmy.6
Zoznam hovorí o náprave otvorene. Spoľahlivý spôsob, ako vloženiu skrytých pokynov zabrániť, dnes neexistuje, a preto treba systém okolo modelu navrhnúť s predpokladom, že jeho pokyny niekto raz obíde, a obmedziť, čo model smie urobiť.6
Pre firmu z toho vyplýva jedna otázka pre každý proces, v ktorom AI číta niečo zvonka, prichádzajúci e-mail, tiket podpory, webový formulár alebo prílohu od dodávateľa. Keby do toho textu niekto napísal pokyn, čo by s ním krok s AI mohol urobiť?
Aké pravidlá návrhu udržia krok s AI v bezpečí?
Väčšinu pokrývajú štyri pravidlá. Každé vychádza z odporúčaní OWASP a z toho, čo projekt po incidente zmenil.61
AI číta a navrhuje, sama nekoná. OWASP radí dať kroku s AI len nástroje, ktoré jeho úloha potrebuje.6 Jeho vlastným príkladom je krok, ktorý zhŕňa e-maily. Potrebuje ich čítať, nie odosielať alebo mazať.6 Zároveň neodporúča otvorené nástroje, ako je spúšťanie ľubovoľného príkazu, a dáva prednosť úzkym nástrojom, ktoré robia jednu vec.6 Postup projektu Cline príkazy spúšťať mohol a projekt dnes uvádza, že akákoľvek budúca automatizácia bude dáta len čítať a príkazy spúšťať nesmie.1
Každý krok s následkami schvaľuje človek. OWASP odporúča, aby kroky s veľkým dosahom vopred schválil človek.6 Ten má vidieť presne ten krok, ktorý prebehne, nie jeho zhrnutie, a OWASP upozorňuje, že priveľa schvaľovania otupí úsudok toho, kto schvaľuje.6 Preto záleží na rozdelení. Kroky, ktoré sa dajú ľahko vrátiť, môžu prebehnúť samy, kým nevratné, napríklad platba, idú na schválenie človeku.6 Kde jeden krok s AI číta nedôveryhodný vstup, má prístup k citlivým dátam a môže niečo zmeniť alebo odoslať von, požaduje OWASP schválenie človekom pri každej akcii.6
Žiadne tajomstvo na dosah. OWASP radí držať kľúče a možnosť niečo meniť v bežnom kóde aplikácie, mimo modelu, a nechať každú akciu bežať s oprávneniami toho, pre koho sa vykonáva, a nie s väčšími.6 Prípad ukazuje, prečo „na dosah“ znamená viac než to, čo AI dostane do ruky. Samotný postup na triedenie žiadny kľúč na vydávanie nemal, zdieľal však úložisko s postupom na vydávanie, ktorý ho mal.1 Projekt odvtedy zdieľané úložisko nepoužíva v žiadnom postupe, ktorý pracuje s kľúčmi na vydávanie.1
Každý krok sa zaznamenáva a záznamy niekto číta. OWASP radí zaznamenávať a sledovať, čo krok s AI robí, aby sa nežiaduce akcie odhalili a dalo sa na ne reagovať.6 Záznamy pomôžu, len keď sa do nich niekto pozrie. Výskumník našiel medzi 31. januárom a 3. februárom 2026 neúspešné behy nočného vydávania so stopou svojho vlastného nástroja a píše, že zlyhania sa tolerovali, namiesto toho, aby sa vyšetrili.3 Projekt dnes tiež overuje vymenený kľúč voči samotnému kľúču, nielen podľa správcovskej obrazovky.1
| Pravidlo | V podnikovom procese | Čo projekt potom zmenil |
|---|---|---|
| AI číta a navrhuje | Triedi e-maily a pripravuje odpovede, sama však nič neodosiela | Budúca automatizácia bude len čítať, bez práva spúšťať príkazy1 |
| Schvaľuje človek | Zmena v dátach, platba alebo správa von čaká na konkrétneho človeka | Postupy s AI úplne odstránil1 |
| Žiadne tajomstvo na dosah | Krok s AI nemá heslá ani kľúče a nezdieľa úložisko s krokmi, ktoré ich majú | Žiadne zdieľané úložisko v postupoch s kľúčmi na vydávanie1 |
| Každý krok zaznamenaný | Každý vstup, návrh, schválenie aj akcia sa zapíše a zlyhania sa vyšetrujú | Vymenený kľúč sa overuje voči samotnému kľúču1 |
Tento článok zostáva pri návrhu procesu. Ktoré dáta smie AI vidieť a kde beží, sú samostatné otázky s vlastnými odpoveďami.
Čo si overiť pri každom automatizovanom procese?
Prejdite každý proces, v ktorom AI číta niečo, čo prišlo zvonka, raz pred uvedením do prevádzky a znova po každej väčšej zmene.
Skôr než sa rozhodnete
- Aké vstupy krok s AI číta a môže niektorý z nich napísať niekto cudzí, e-mail, formulár, tiket alebo príloha?
- Čo smie robiť okrem čítania a navrhovania? Každý nástroj a každé oprávnenie je spísané.
- Ktoré jeho akcie menia dáta, niečo odosielajú von alebo hýbu peniazmi a kto každú z nich vopred schvaľuje?
- Vidí ten, kto schvaľuje, presne danú akciu, a nie jej zhrnutie?
- Na ktoré heslá, kľúče a dáta dosiahne, priamo alebo cez úložisko, ktoré zdieľa s inými krokmi?
- Koná s oprávneniami človeka, pre ktorého pracuje, a nie s väčšími?
- Zaznamenáva sa každý vstup, návrh, schválenie aj akcia a vyšetruje niekto nevysvetlené zlyhania?
- Otestoval ho niekto nepriateľskými vstupmi a so znalosťou jeho obrany, ako radí OWASP?6
- Kto prijíma hlásenia o slabine a ako rýchlo na ne niekto odpovie?
- Dá sa krok s AI rýchlo vypnúť bez toho, aby sa zastavil celý proces?
Čo to znamená pre firmu v Európe
E-maily, tikety a formuláre zvyčajne obsahujú osobné údaje, takže na proces, ktorý ich číta, sa vzťahuje všeobecné nariadenie o ochrane údajov (GDPR). Jeho článok 25 ukladá prevádzkovateľovi prijať primerané technické a organizačné opatrenia a začleniť ich do spracúvania, a to v čase určenia prostriedkov spracúvania aj v čase samotného spracúvania.7 Štandardne sa smú spracúvať len osobné údaje, ktoré sú nevyhnutné pre každý konkrétny účel spracúvania.7 Článok 32 požaduje úroveň bezpečnosti zodpovedajúcu riziku, okrem iného schopnosť zabezpečiť dôvernosť a integritu systémov spracúvania a proces pravidelného testovania účinnosti opatrení.7 Medzi riziká, ktoré treba zvážiť, zaraďuje neoprávnené poskytnutie osobných údajov a neoprávnený prístup k nim.7 Podľa nás sú štyri pravidlá vyššie takým druhom opatrení, aký tieto články opisujú. Či pri konkrétnom procese postačujú, musí posúdiť každý prevádzkovateľ sám.
Ďalší krok
Ak by vám to pomohlo, radi sa s vami na krátkom stretnutí pozrieme na jeden proces vo vašej firme, v ktorom AI číta prichádzajúce požiadavky, a na to, čo v ňom smie urobiť sama. Podnikové AI riešenie stojí na rovnakých pravidlách, pracuje s oprávneniami každého používateľa, zmeny schvaľuje človek a o každom kroku zostáva záznam. Ako s tým potom naložíte, je len na vás.
Zdroje
- 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Prečítané 17. novembra 2026
- 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Prečítané 17. novembra 2026
- 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Prečítané 17. novembra 2026
- 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Prečítané 17. novembra 2026
- 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Prečítané 17. novembra 2026
- 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Prečítané 17. novembra 2026
- 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Prečítané 17. novembra 2026
História zmien
- Publikované.