Přeskočit na obsah
Disruptive Lab

Průvodce Data, integrace, automatizace

AI čte požadavky, ale nesmí je poslouchat

Krok s AI, který čte požadavky zvenčí, občas vezme cizí text za pokyn, a proto musí být proces navržen tak, aby podle takového pokynu nemohl sám jednat.

Publikováno
Aktualizováno
Doba čtení
7 min čtení
Odpovědný redaktor
David Lahuta

Ve zkratce

  • Od prosince 2025 nechával open source projekt Cline třídit příchozí hlášení chyb model AI a dal mu právo spouštět příkazy.13
  • V testech jednoho výzkumníka stačil název veřejného hlášení, aby tento krok s AI nainstaloval kód, který vybral někdo cizí.3 Dne 17. února 2026 pak ukradený klíč pro vydávání posloužil ke zveřejnění upravené verze nástroje projektu, která byla stažena zhruba 4 000krát.134
  • Seznam rizik AI, který sestavuje bezpečnostní komunita, uvádí, že spolehlivý způsob, jak zabránit textu dávat modelu pokyny, dnes neexistuje.6
  • Odpověď leží v návrhu procesu. AI čte a navrhuje, co má následky, schvaluje člověk, žádné tajemství nemá na dosah a každý krok se zaznamenává.

Co se stalo podle výzkumníků a podle samotného projektu?

Cline je open source asistent pro vývojáře softwaru. Šíří se jako rozšíření vývojového prostředí a jako nástroj pro příkazovou řádku přes npm, veřejný registr takových balíčků.13 Dne 21. prosince 2025 přidali jeho správci na GitHubu automatizovaný postup (workflow), který třídil nová hlášení (issues) a odpovídal na ně, tedy veřejné zprávy o chybách a požadavky, které může na stránce projektu založit kdokoli.13 Každé nové hlášení předal modelu AI od firmy Anthropic.13 Nebezpečným ho dělala dvě nastavení. Spustit ho mohl kterýkoli uživatel GitHubu tím, že hlášení založil, a AI směla spouštět příkazy.1

Výzkumník Adnan Khan zjistil, že název hlášení se kopíroval přímo do pokynů pro AI.3 V jeho testech stačil název, který tvrdil, že chybí nějaký nástroj, a žádal AI, aby nejdřív nainstalovala „pomocný nástroj“.3 AI instalaci spustila a s ní i skript, který měl v rukou útočník.3 Odtud mohl útočník podstrčit soubory do úložiště, které sdílel noční postup pro vydávání verzí, a ten držel klíče pro zveřejňování nových verzí.13

Datum Co se stalo
21. prosince 2025 Přibyl postup s AI pro třídění hlášení.1
1. ledna 2026 Výzkumník slabinu neveřejně nahlásil přes GitHub. Nikdo se jí nevěnoval, dokud ji nezveřejnil.1
9. února 2026 Výzkumník slabinu zveřejnil. Do 30 minut projekt postup odstranil a začal vyměňovat klíče.1
9. února 2026 Smazán byl nesprávný klíč pro npm a ten vyzrazený zůstal platný.13
17. února 2026, 3:26 tichomořského času Neoprávněná osoba tímto klíčem zveřejnila verzi 2.3.0 nástroje pro příkazovou řádku s jedním přidaným řádkem, který instaluje samostatného agenta AI, OpenClaw.14
17. února 2026, 11:40 UTC Monitoring bezpečnostní firmy vydání označil, zhruba 14 minut po zveřejnění.4
17. února 2026, 11:30 tichomořského času Verze 2.3.0 byla stažena, zhruba po osmi hodinách.2

Upravená verze byla stažena zhruba 4 000krát.4 Výzkumník píše, že za ní nestál on, ale někdo, kdo jeho důkaz našel v jeho testovací kopii a použil ho proti skutečnému projektu.3 Projekt uvádí, že nainstalovaný agent je legitimní open source program, že k uživatelům se nedostal žádný škodlivý kód a že nikdo nezískal přístup k jejich datům.1 Poučení z toho vyvozuje sám. Dát jazykovému modelu právo spouštět příkazy tam, kde zpracovává text od kohokoli, je podle jeho slov v podstatě totéž jako dát toto právo každému uživateli GitHubu.1 Bezpečnostní firma grith 5. března 2026 shrnula případ jako pět kroků od názvu hlášení na GitHubu, na jejichž začátku stál obyčejný text.5

Proč může text zvenčí dávat kroku s AI pokyny?

Protože jazykový model neumí spolehlivě odlišit pokyny od dat. OWASP Top 10 for LLM Applications 2026, seznam hlavních rizik systémů postavených na jazykových modelech AI, který sestavuje bezpečnostní komunita, řadí toto riziko na první místo.6 Nazývá ho vložení skrytých pokynů (prompt injection), tedy jakýkoli vstup, který změní chování modelu způsobem, s nímž jeho tvůrce nepočítal.6 Vysvětluje, že model dostává své pokyny i obsah, který čte, v jednom proudu a žádná pevná hranice mezi nimi není.6

Seznam jmenuje místa, odkud takový text přichází, a jsou to běžné firemní vstupy.6 Veřejné webové stránky a e-maily od neznámých odesílatelů jsou nedůvěryhodné.6 Názvy hlášení ve veřejném systému pro hlášení chyb jsou důvěryhodné jen zčásti.6 Podstrčený text může nést i vlastní dokumenty a pošta firmy, třeba když přišel přes veřejný formulář.6 Útočník se nikam nabourávat nemusí. Stačí mu umístit text tam, kde ho AI přečte, a práci pak udělá AI s oprávněními samotné firmy.6

Seznam o nápravě mluví otevřeně. Spolehlivý způsob, jak vložení skrytých pokynů zabránit, dnes neexistuje, a proto se má systém kolem modelu navrhnout s předpokladem, že jeho pokyny někdo jednou obejde, a má omezit, co model smí udělat.6

Pro firmu z toho plyne jedna otázka pro každý proces, ve kterém AI čte něco zvenčí, příchozí e-mail, tiket podpory, webový formulář nebo přílohu od dodavatele. Kdyby do toho textu někdo napsal pokyn, co by s ním krok s AI mohl udělat?

Jaká pravidla návrhu udrží krok s AI v bezpečí?

Většinu pokrývají čtyři pravidla. Každé vychází z doporučení OWASP a z toho, co projekt po incidentu změnil.61

AI čte a navrhuje, sama nejedná. OWASP radí dát kroku s AI jen nástroje, které jeho úkol potřebuje.6 Jeho vlastním příkladem je krok, který shrnuje e-maily. Potřebuje je číst, ne odesílat nebo mazat.6 Zároveň nedoporučuje otevřené nástroje, jako je spouštění libovolného příkazu, a dává přednost úzkým nástrojům, které dělají jednu věc.6 Postup projektu Cline příkazy spouštět mohl a projekt dnes uvádí, že jakákoli budoucí automatizace bude data jen číst a příkazy spouštět nesmí.1

Každý krok s následky schvaluje člověk. OWASP doporučuje, aby kroky s velkým dopadem předem schválil člověk.6 Ten má vidět přesně ten krok, který proběhne, ne jeho shrnutí, a OWASP upozorňuje, že příliš mnoho schvalování otupí úsudek toho, kdo schvaluje.6 Proto záleží na rozdělení. Snadno vratné kroky mohou proběhnout samy, nevratné, například platba, jdou ke schválení člověku.6 Kde jeden krok s AI čte nedůvěryhodný vstup, má přístup k citlivým datům a může něco změnit nebo odeslat ven, požaduje OWASP schválení člověkem u každé akce.6

Žádné tajemství na dosah. OWASP radí držet klíče a možnost něco měnit v běžném kódu aplikace, mimo model, a nechat každou akci běžet s oprávněními toho, pro koho se provádí, a ne s většími.6 Případ ukazuje, proč „na dosah“ znamená víc než to, co AI dostane do ruky. Samotný postup pro třídění žádný klíč pro vydávání neměl, sdílel ale úložiště s postupem pro vydávání, který ho měl.1 Projekt od té doby sdílené úložiště nepoužívá v žádném postupu, který pracuje s klíči pro vydávání.1

Každý krok se zaznamenává a záznamy někdo čte. OWASP radí zaznamenávat a sledovat, co krok s AI dělá, aby se nežádoucí akce odhalily a dalo se na ně reagovat.6 Záznamy pomohou, jen když se do nich někdo podívá. Výzkumník našel mezi 31. lednem a 3. únorem 2026 neúspěšné běhy nočního vydávání se stopou svého vlastního nástroje a píše, že selhání se tolerovala, místo aby se vyšetřila.3 Projekt dnes také ověřuje vyměněný klíč proti klíči samotnému, ne jen podle správcovské obrazovky.1

Pravidlo V podnikovém procesu Co projekt potom změnil
AI čte a navrhuje Třídí e-maily a připravuje odpovědi, sama ale nic neodesílá Budoucí automatizace bude jen číst, bez práva spouštět příkazy1
Schvaluje člověk Změna v datech, platba nebo zpráva ven čeká na konkrétního člověka Postupy s AI úplně odstranil1
Žádné tajemství na dosah Krok s AI nemá hesla ani klíče a nesdílí úložiště s kroky, které je mají Žádné sdílené úložiště v postupech s klíči pro vydávání1
Každý krok zaznamenán Každý vstup, návrh, schválení i akce se zapíše a selhání se vyšetřují Vyměněný klíč se ověřuje proti klíči samotnému1

Tento článek zůstává u návrhu procesu. Která data smí AI vidět a kde běží, jsou samostatné otázky s vlastními odpověďmi.

Co si ověřit u každého automatizovaného procesu?

Projděte každý proces, ve kterém AI čte něco, co přišlo zvenčí, jednou před spuštěním do provozu a znovu po každé větší změně.

Než se rozhodnete

  • Jaké vstupy krok s AI čte a může některý z nich napsat někdo cizí, e-mail, formulář, tiket nebo příloha?
  • Co smí dělat kromě čtení a navrhování? Každý nástroj a každé oprávnění je sepsané.
  • Které jeho akce mění data, něco odesílají ven nebo hýbou penězi a kdo každou z nich předem schvaluje?
  • Vidí ten, kdo schvaluje, přesně danou akci, a ne její shrnutí?
  • Na která hesla, klíče a data dosáhne, přímo nebo přes úložiště, které sdílí s jinými kroky?
  • Jedná s oprávněními člověka, pro kterého pracuje, a ne s většími?
  • Zaznamenává se každý vstup, návrh, schválení i akce a vyšetřuje někdo nevysvětlená selhání?
  • Otestoval ho někdo nepřátelskými vstupy a se znalostí jeho obrany, jak radí OWASP?6
  • Kdo přijímá hlášení o slabině a jak rychle na něj někdo odpoví?
  • Lze krok s AI rychle vypnout, aniž by se zastavil celý proces?

Co to znamená pro firmu v Evropě

E-maily, tikety a formuláře obvykle obsahují osobní údaje, takže na proces, který je čte, dopadá obecné nařízení o ochraně osobních údajů (GDPR). Jeho článek 25 ukládá správci, aby do zpracování začlenil vhodná technická a organizační opatření, a to už při volbě prostředků i během samotného zpracování.7 Standardně se smějí zpracovávat jen osobní údaje, které daný účel potřebuje.7 Článek 32 požaduje zabezpečení odpovídající riziku, mimo jiné schopnost zajistit důvěrnost a integritu systémů a proces pravidelného testování, zda opatření fungují.7 Mezi rizika, která je třeba zvážit, řadí neoprávněné zpřístupnění osobních údajů a neoprávněný přístup k nim.7 Podle nás jsou čtyři pravidla výše takovým druhem opatření, jaký tyto články popisují. Zda u konkrétního procesu stačí, musí posoudit každý správce sám.

Další krok

Pokud by se vám to hodilo, rádi se s vámi na krátké schůzce podíváme na jeden proces ve vaší firmě, ve kterém AI čte příchozí požadavky, a na to, co v něm smí udělat sama. Podnikové AI řešení stojí na stejných pravidlech, pracuje s oprávněními každého uživatele, změny schvaluje člověk a o každém kroku zůstává záznam. Jak s tím pak naložíte, je jen na vás.

Podnikové AI řešení na míru

Zdroje

  1. 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Přečteno 17. listopadu 2026
  2. 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Přečteno 17. listopadu 2026
  3. 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Přečteno 17. listopadu 2026
  4. 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Přečteno 17. listopadu 2026
  5. 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Přečteno 17. listopadu 2026
  6. 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Přečteno 17. listopadu 2026
  7. 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Přečteno 17. listopadu 2026

Historie změn

  1. Zveřejněno.

Domluvme si schůzku

Nechte nám na sebe kontakt a ozveme se vám s termínem. Zdarma a nezávazně.

S předvolbou země, například +420.

Vaše údaje použijeme jen k odpovědi. Ochrana osobních údajů

Formulář chrání před automatickým odesíláním služba Google reCAPTCHA. Zásady ochrany soukromí Google (otevře se v novém okně) Smluvní podmínky Google (otevře se v novém okně)

Nebo nás kontaktujte přímo

Napište nám office@disruptivelab.dev
Zavolejte nám +420 777 702 032

Preferovaným jazykem komunikace je čeština.

Všechny kontakty a adresy