Přeskočit na obsah
Disruptive Lab

Průvodce Nákup a dodavatelé

Test chatbota od dodavatele před spuštěním

Chatbot na webu jsou dveře do vašich systémů, a proto si zaslouží stejný přejímací test jako každý jiný software, který kupujete, a k tomu několik testů navíc.

Publikováno
Aktualizováno
Doba čtení
6 min čtení
Odpovědný redaktor
David Lahuta

Ve zkratce

AI chatbot na webu je software, se kterým si může povídat kdokoli. Než ho spustíte, otestujte ho tak, jak by to udělal útočník. V případu zveřejněném v prosinci 2025 výzkumníci dostali chatbota velké firmy přes jeho bezpečnostní kontroly, přiměli ho prozradit skryté pokyny a vrátit kód, který se spustil v prohlížeči uživatele.1 Příčinou byly běžné chyby webových aplikací a hlášení odeslané oficiálním kanálem firmy zůstalo týdny bez odpovědi.1 Než chatbota převezmete, otestujte, co prozradí, co smí udělat a k čím datům se dostane, a od dodavatele chtějte písemně záznamy, opravy a kanál pro hlášení chyb, který funguje.23

Co se pokazilo v případu Eurostar?

Bezpečnostní firma Pen Test Partners 22. prosince 2025 zveřejnila, jak ve veřejném AI chatbotu železničního dopravce Eurostar našla čtyři chyby.1 Výzkumník na chatbota narazil jako běžný zákazník při plánování cesty a testoval ho v rámci pravidel, která firma zveřejnila pro hlášení bezpečnostních chyb.1

Výzkumníci popisují řešení, které vypadalo správně, ale nebylo důsledně vynucené.

  • Bezpečnostní kontrola hlídala jen poslední zprávu. Stránka s každou novou zprávou posílala na server celou konverzaci a server kontroloval jen tu nejnovější.1 Starší zprávy šlo v prohlížeči změnit a do AI modelu pak šly jako důvěryhodný kontext.1 Slovy výzkumníků, ochranná vrstva byla vidět na obrazovce, ale na serveru byla vynucená slabě.1
  • Skryté pokyny vyšly najevo. Za kontrolou výzkumník přiměl model prozradit název modelu i takzvaný systémový prompt, tedy skryté pokyny, které botovi říkají, jak se má chovat, včetně toho, jak sestavuje odkazy ve svých odpovědích.1
  • Odpovědi mohly nést kód. Odpovědi bota se v okně chatu zobrazovaly bez očištění, takže ho šlo přimět vrátit kód, který pak spustil prohlížeč uživatele.1
  • Čísla konverzací nikdo neověřoval. Server přijal čísla konverzací i zpráv tak jednoduchá jako „1“ nebo „hello“.1

K cizím konverzacím se výzkumníci nepokoušeli dostat a píší, že vložené pokyny data jiných uživatelů neodhalily.1 Chyby nepovažovali za příliš vážné, protože chatbot toho tehdy uměl málo, a upozornili, že s dalšími funkcemi by mohly vyjít najevo osobní údaje.1

Druhá polovina příběhu se týká kanálu pro hlášení chyb. První hlášení odešlo 11. června 2025 a připomínka 18. června, odpověď nepřišla ani na jedno.1 Kolega výzkumníka oslovil 7. července šéfa bezpečnosti firmy a 31. července se dozvěděli, že o hlášení neexistuje žádný záznam.1 Kanál pro hlášení mezitím firma předala externímu poskytovateli a ten původní zrušila.1 Žádosti o potvrzení přijetí a o termín opravy zůstaly bez odpovědi.1 Chyby byly nakonec opraveny a výzkumníci píší, že dodnes nevědí, zda byly opraveny všechny.1

Jejich vlastní poučení je krátké. Staré slabiny webu a rozhraní (API) platí dál i tehdy, když je ve hře AI model.1

Proč nestačí chatbotovi říct, jak se má chovat?

Protože pokyny i text návštěvníka dostává model v jednom proudu. OWASP Top 10 for LLM Applications 2026, seznam hlavních rizik systémů postavených na jazykových modelech AI, který sestavuje bezpečnostní komunita, řadí na první místo prompt injection.2 Prompt injection je text, který změní chování modelu způsobem, s nímž jeho tvůrce nepočítal.2

Seznam to říká bez obalu. Spolehlivý způsob, jak prompt injection zabránit, dnes neexistuje, a proto se má systém kolem modelu navrhnout s předpokladem, že jeho pokyny někdo obejde, a má omezit, co model smí udělat.2 Pokyny přitom nemusí přijít od návštěvníka. Mohou být schované ve webové stránce, dokumentu nebo e-mailu, který bot čte.2

Pro kupujícího se tím mění otázka. Nejde o to, zda bota někdo přelstí. Jde o to, co se stane, až se to podaří.

Co otestovat, než chatbot začne odpovídat?

Otestujte rizika, na která veřejný chatbot skutečně narazí. Tabulka vychází ze seznamu OWASP a ze zjištění v případu Eurostar, řečeno srozumitelně.12

Co otestovat O co se tester pokusí Jak vypadá úspěšný výsledek
Pokyny schované ve vstupu přemluvit bota, aby porušil svá pravidla, přímo nebo přes dokument či stránku, kterou čte2 bot může říct něco podivného, ale nemůže udělat ani prozradit nic, co nemá
Bezpečnostní kontrolu změnit starší zprávy nebo kontrolu obejít z prohlížeče1 každá kontrola běží na serveru a pro celou konverzaci
Skryté pokyny přimět bota, aby je prozradil2 neobsahují hesla, klíče ani pravidla, která by něco chránila2
Data jiných lidí dostat se do cizí konverzace nebo k záznamům jiného zákazníka12 čísla konverzací přiděluje server a jsou svázaná s relací návštěvníka1
Kód v odpovědích přimět bota vrátit kód, který se spustí v prohlížeči12 každá odpověď se zobrazí jako prostý text, nebo se před zobrazením očistí12
Co bot smí udělat přimět ho jednat mimo jeho úkol, třeba poslat e-mail nebo změnit objednávku2 má jen ty funkce a oprávnění, které jeho úkol potřebuje2
Účet za provoz nechat ho ve smyčce generovat dlouhé a drahé odpovědi2 je nastavený pevný limit útraty a limit na jednoho návštěvníka2

Dvě z těchto položek si zaslouží bližší pohled.

Skryté pokyny nejsou tajemství. OWASP radí tvůrcům počítat s tím, že je někdo odhalí, nikdy do nich nedávat hesla ani klíče a nespoléhat na ně jako na jedinou bezpečnostní bariéru.2 Úspěchem tedy není bot, který je odmítne prozradit. Úspěchem je bot, u kterého jejich prozrazení nic nezpůsobí.

Bot má smět co nejméně. OWASP toto riziko nazývá excessive agency, tedy bot, který toho smí víc, než by měl, a uvádí tři příčiny, příliš mnoho funkcí, příliš mnoho oprávnění a příliš mnoho volnosti jednat sám.2 Doporučuje dát botovi jen nástroje, které úkol potřebuje, co nejmenší oprávnění, akce prováděné s právy uživatele, který se ptal, a člověka, který schvaluje vše s velkým dopadem.2 Jeho vlastním příkladem je chatbot zákaznické podpory, který smí sám vrátit peníze formou kreditu do obchodu, zatímco výplata peněz jde ke schválení člověku.2

Kdo má testovat?

Někdo, kdo bota nestavěl a kdo ví, jak fungují jeho obrany. OWASP doporučuje testovat proti útočníkům, kteří obranu znají, a ne jen pevnou sadou známých útoků.2 Výzkum, na který odkazuje, prověřil dvanáct nedávných obran, z nichž většina uváděla, že útoky téměř nikdy neprojdou, a útočníci, kteří svůj postup přizpůsobili, u většiny z nich uspěli ve více než 90 % případů.2

Výzkumníci z případu Eurostar dodávají, že test není jednorázová věc, a doporučují chatbota pravidelně zkoušet známými technikami vkládání pokynů a opakovaného přehrání konverzace.1 Podle nás je testovací zpráva dodavatele dobrý začátek a nezávislý test před spuštěním je krok, díky kterému má převzetí skutečný význam.

Co chtít od dodavatele písemně?

Příručka Secure by Demand amerických úřadů CISA a FBI z roku 2024 dává kupujícím otázky, které položit před nákupem, požadavky, které zapsat do smlouvy, a kontroly, které dělat po nákupu.3 Uvádí také, že otázky lze použít i u prodejců a poskytovatelů služeb, takže se hodí i na chatbota od agentury nebo pronajatého jako služba.3 Spolu s poučením z případu Eurostar1 jsou to body, které bychom chtěli mít písemně.

  • Kanál pro hlášení, který funguje. Zveřejněná pravidla pro hlášení zranitelností na veřejné webové stránce, která veřejnosti testování dovolují.3 A k tomu kdo hlášení čte a co se s nimi stane, když kanál převezme někdo jiný.1
  • Odpověď a termín. Žádosti výzkumníků o potvrzení přijetí a termín opravy zůstaly bez odpovědi.1 Dohodněte ve smlouvě, jak rychle dodavatel potvrdí bezpečnostní hlášení a jak rychle opraví vážnou chybu.
  • Záznamy, které si můžete přečíst. Bezpečnostní záznamy už v základní verzi a u cloudové služby uchovávané nejméně šest měsíců bez příplatku, pokrývající změny nastavení, přihlášení a přístup k datům.3 U chatbota výzkumníci doplňují záznam každé konverzace, ze kterého ji lze zpětně složit, včetně bezpečnostních rozhodnutí a nástrojů, které model použil, a upozornění na neobvyklé vzorce.1
  • Možnost ho vypnout. Nouzový vypínač, který rychle vypne chatbota nebo jednu z jeho funkcí.1
  • Opravy, které jde snadno nasadit. Jak dodavatel zajišťuje, že bezpečnostní opravy půjdou snadno nainstalovat.3
  • Z čeho je postavený. Seznam komponent třetích stran, ze kterých se produkt skládá, takzvaný kusovník softwaru (SBOM).3
  • Bezpečné přihlášení pro vaše lidi. Jednotné přihlášení (SSO) a vícefázové ověření pro ty, kdo chatbota spravují, bez příplatku.3

Kontrolní seznam pro převzetí chatbota

  • Každá bezpečnostní kontrola běží na serveru a pro celou konverzaci, ne jen pro poslední zprávu.
  • Čísla konverzací a zpráv přiděluje server a jsou svázaná s relací návštěvníka.
  • Odpovědi se zobrazují jako prostý text, nebo se před zobrazením očistí.
  • Skryté pokyny neobsahují hesla, klíče ani pravidla, která by něco chránila.
  • Bot má jen ty funkce, data a oprávnění, které jeho úkol potřebuje, a vše s velkým dopadem schvaluje člověk.
  • Je nastavený limit útraty a limit na jednoho návštěvníka.
  • Bota otestoval jako útočník někdo, kdo ho nestavěl, a bude ho testovat znovu.
  • Každá konverzace se zaznamenává a záznamy si můžete přečíst.
  • Dodavatel má veřejný kanál pro bezpečnostní hlášení, konkrétního člověka, který ho čte, a dohodnuté lhůty pro odpověď a opravu.
  • Chatbota umíte sami a okamžitě vypnout.

Další krok

Pokud by se vám to hodilo, můžeme si zavolat a projít přejímací test chatbota, kterého kupujete, bod po bodu a s odpověďmi vašeho dodavatele na stole. Jak s tím naložíte, je jen na vás.

Podnikové AI řešení na míru

Zdroje

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Přečteno 17. listopadu 2026
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Přečteno 17. listopadu 2026
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Přečteno 17. listopadu 2026

Historie změn

  1. Zveřejněno.

Domluvme si schůzku

Nechte nám na sebe kontakt a ozveme se vám s termínem. Zdarma a nezávazně.

S předvolbou země, například +420.

Vaše údaje použijeme jen k odpovědi. Ochrana osobních údajů

Formulář chrání před automatickým odesíláním služba Google reCAPTCHA. Zásady ochrany soukromí Google (otevře se v novém okně) Smluvní podmínky Google (otevře se v novém okně)

Nebo nás kontaktujte přímo

Napište nám office@disruptivelab.dev
Zavolejte nám +420 777 702 032

Preferovaným jazykem komunikace je čeština.

Všechny kontakty a adresy