Preskočiť na obsah
Disruptive Lab

Príručka Nákup a dodávatelia

Test chatbota od dodávateľa pred spustením

Chatbot na vašom webe otvára dvere do vašich systémov, a preto si zaslúži rovnaký preberací test ako každý iný softvér, ktorý kupujete, a k tomu niekoľko testov navyše.

Publikované
Aktualizované
Čas čítania
7 min čítania
Zodpovedný redaktor
David Lahuta

V skratke

AI chatbot na vašom webe je softvér, s ktorým sa môže rozprávať ktokoľvek. Skôr ako ho spustíte, otestujte ho tak, ako by to urobil útočník. V prípade zverejnenom v decembri 2025 výskumníci obišli bezpečnostné kontroly chatbota veľkej firmy, prinútili ho prezradiť jeho skryté pokyny a vrátiť kód, ktorý sa spustil v prehliadači používateľa.1 Príčinou boli bežné chyby webových aplikácií a hlásenie odoslané oficiálnym kanálom firmy zostalo týždne bez odpovede.1 Skôr ako chatbota prevezmete, otestujte, čo prezradí, čo smie urobiť a ku ktorým údajom sa dostane, a od dodávateľa si písomne vyžiadajte záznamy, opravy a funkčný kanál na hlásenie chýb.23

Čo sa pokazilo v prípade Eurostaru?

Bezpečnostná firma Pen Test Partners 22. decembra 2025 zverejnila, ako vo verejnom AI chatbote železničného dopravcu Eurostar našla štyri chyby.1 Výskumník na chatbota narazil ako bežný zákazník pri plánovaní cesty a testoval ho v rámci pravidiel na hlásenie bezpečnostných chýb, ktoré firma zverejnila.1

Výskumníci opisujú riešenie, ktoré na pohľad vyzeralo správne, no v praxi sa nevynucovalo.

  • Bezpečnostná kontrola strážila len poslednú správu. Stránka s každou novou správou posielala na server celú konverzáciu a server kontroloval len tú najnovšiu.1 Staršie správy sa dali v prehliadači zmeniť a do AI modelu potom išli ako dôveryhodný kontext.1 Podľa výskumníkov bola ochranná vrstva viditeľná na obrazovke, no na serveri sa vynucovala len slabo.1
  • Skryté pokyny vyšli najavo. Keď sa výskumník dostal za kontrolu, prinútil model prezradiť názov modelu aj takzvaný systémový prompt, teda skryté pokyny, ktoré botovi hovoria, ako sa má správať, vrátane toho, ako zostavoval odkazy vo svojich odpovediach.1
  • Odpovede mohli niesť kód. Odpovede bota sa v okne chatu zobrazovali bez ošetrenia, takže sa dal prinútiť vrátiť kód, ktorý potom spustil prehliadač používateľa.1
  • Čísla konverzácií nikto neoveroval. Server prijímal aj také jednoduché čísla konverzácií a správ ako „1“ alebo „hello“.1

K cudzím konverzáciám sa výskumníci nepokúšali dostať a píšu, že vložené pokyny údaje iných používateľov neodhalili.1 Chyby nepovažovali za príliš vážne, pretože chatbot vtedy veľa nedokázal, a upozornili, že s ďalšími funkciami by mohli vyjsť najavo osobné údaje.1

Druhá polovica príbehu sa týka kanála na hlásenie chýb. Prvé hlásenie odišlo 11. júna 2025, pripomenutie 18. júna a ani na jedno neprišla odpoveď.1 Kolega výskumníka oslovil 7. júla šéfa bezpečnosti firmy a 31. júla sa dozvedeli, že o hlásení neexistuje žiadny záznam.1 Firma medzitým odovzdala kanál na hlásenie externému poskytovateľovi a pôvodný zrušila.1 Žiadosti o potvrdenie prijatia a o termín opravy zostali bez odpovede.1 Chyby napokon opravili, výskumníci však píšu, že dodnes nevedia, či boli všetky opravené úplne.1

Ich vlastné poučenie je krátke. Staré slabiny webu a rozhraní API nikam nezmiznú ani vtedy, keď je v hre AI model.1

Prečo nestačí chatbotovi povedať, ako sa má správať?

Pretože model dostáva pokyny aj text návštevníka v jednom prúde. OWASP Top 10 for LLM Applications 2026, zoznam hlavných rizík systémov postavených na jazykových modeloch AI, ktorý zostavuje bezpečnostná komunita, radí na prvé miesto prompt injection.2 Prompt injection je text, ktorý zmení správanie modelu spôsobom, s ktorým jeho tvorca nepočítal.2

Zoznam to hovorí bez obalu. Spoľahlivý spôsob, ako zabrániť prompt injection, dnes neexistuje, a preto treba systém okolo modelu navrhnúť s predpokladom, že jeho pokyny niekto obíde, a obmedziť, čo model smie urobiť.2 Pokyny pritom nemusia prísť od návštevníka. Môžu byť skryté vo webovej stránke, dokumente alebo e-maile, ktorý bot číta.2

Pre kupujúceho sa tým mení otázka. Nejde o to, či bota niekto prekabáti. Ide o to, čo sa stane, keď sa to podarí.

Čo otestovať, skôr ako chatbot začne odpovedať?

Otestujte riziká, na ktoré verejný chatbot naozaj narazí. Tabuľka zrozumiteľne zhŕňa zoznam OWASP a zistenia z prípadu Eurostaru.12

Čo otestovať O čo sa tester pokúsi Ako vyzerá úspešný výsledok
Pokyny skryté vo vstupe prehovoriť bota, aby porušil svoje pravidlá, priamo alebo cez dokument či stránku, ktorú číta2 bot môže povedať niečo zvláštne, ale nemôže urobiť ani prezradiť nič, čo nemá
Bezpečnostná kontrola zmeniť staršie správy alebo kontrolu obísť z prehliadača1 každá kontrola beží na serveri a pre celú konverzáciu
Skryté pokyny prinútiť bota, aby ich prezradil2 neobsahujú heslá, kľúče ani pravidlá, ktoré by niečo chránili2
Údaje iných ľudí dostať sa do cudzej konverzácie alebo k záznamom iného zákazníka12 čísla konverzácií prideľuje server a sú zviazané s reláciou návštevníka1
Kód v odpovediach prinútiť bota vrátiť kód, ktorý sa spustí v prehliadači12 každá odpoveď sa zobrazí ako obyčajný text, alebo sa pred zobrazením ošetrí12
Čo bot smie urobiť prinútiť ho konať mimo jeho úlohy, napríklad poslať e-mail alebo zmeniť objednávku2 má len tie funkcie a oprávnenia, ktoré jeho úloha potrebuje2
Účet za prevádzku nechať ho v slučke generovať dlhé a drahé odpovede2 je nastavený pevný limit výdavkov a limit na jedného návštevníka2

Dve z týchto položiek si zaslúžia bližší pohľad.

Skryté pokyny nie sú tajomstvo. OWASP radí tvorcom počítať s tým, že ich niekto odhalí, nikdy do nich nedávať heslá ani kľúče a nespoliehať sa na ne ako na jedinú bezpečnostnú bariéru.2 Úspechom teda nie je bot, ktorý ich odmietne prezradiť. Úspechom je bot, pri ktorom ich prezradenie nikomu neuškodí.

Bot má smieť čo najmenej. OWASP toto riziko nazýva excessive agency, teda bot, ktorý toho smie viac, než by mal, a uvádza tri príčiny, príliš veľa funkcií, príliš veľa oprávnení a príliš veľa voľnosti konať sám.2 Odporúča dať botovi len nástroje, ktoré úloha potrebuje, čo najmenšie oprávnenia, akcie vykonávané s právami používateľa, ktorý sa pýtal, a človeka, ktorý schvaľuje všetko s veľkým dosahom.2 Jeho vlastným príkladom je chatbot zákazníckej podpory, ktorý smie sám vrátiť peniaze vo forme kreditu na ďalší nákup, no vyplatenie peňazí schvaľuje človek.2

Kto má testovať?

Niekto, kto bota nestaval a komu vysvetlia, ako fungujú jeho obranné mechanizmy. OWASP odporúča testovať aj útokmi niekoho, kto obranu pozná, a nie iba pevnou sadou známych útokov.2 Výskum, na ktorý odkazuje, preveril dvanásť nedávnych obranných mechanizmov, z ktorých väčšina uvádzala, že útoky takmer nikdy neprejdú, a útočníci, ktorí svoj postup prispôsobili, pri väčšine z nich uspeli vo viac ako 90 % prípadov.2

Výskumníci z prípadu Eurostaru dodávajú, že test nie je jednorazová vec, a odporúčajú chatbota pravidelne skúšať známymi technikami vkladania pokynov a opätovného prehrania konverzácie.1 Testovaciu správu od dodávateľa považujeme za dobrý začiatok, no až nezávislý test pred spustením dáva prevzatiu skutočný zmysel.

Čo si od dodávateľa vyžiadať písomne?

Príručka Secure by Demand amerických úradov CISA a FBI z roku 2024 dáva kupujúcim otázky, ktoré položiť pred nákupom, požiadavky, ktoré zapísať do zmluvy, a kontroly, ktoré vykonať po nákupe.3 Uvádza tiež, že otázky možno klásť aj predajcom a poskytovateľom služieb, takže sa hodí aj na chatbota od agentúry alebo na chatbota, ktorého si predplácate ako službu.3 Spolu s poučením z prípadu Eurostaru1 sú to body, ktoré by sme chceli mať písomne.

  • Kanál na hlásenie, ktorý funguje. Zverejnené pravidlá na hlásenie zraniteľností na verejnej webovej stránke, ktoré verejnosti testovanie dovoľujú.3 A k tomu informácia, kto hlásenia číta a čo sa s nimi stane, keď kanál prevezme niekto iný.1
  • Odpoveď a termín. Žiadosti výskumníkov o potvrdenie prijatia a termín opravy zostali bez odpovede.1 Dohodnite v zmluve, ako rýchlo dodávateľ potvrdí bezpečnostné hlásenie a ako rýchlo opraví vážnu chybu.
  • Záznamy, ktoré si môžete prečítať. Bezpečnostné záznamy o zmenách nastavení, prihláseniach a prístupe k údajom už v základnej verzii, pri cloudovej službe uchovávané najmenej šesť mesiacov bez príplatku.3 Pri chatbote výskumníci pridávajú záznam každej konverzácie, z ktorého ju možno spätne zrekonštruovať vrátane bezpečnostných rozhodnutí a nástrojov, ktoré model použil, a upozornenia na neobvyklé vzorce správania.1
  • Možnosť ho vypnúť. Núdzový vypínač, ktorým sa dá chatbot alebo niektorá z jeho funkcií rýchlo vypnúť.1
  • Opravy, ktoré sa dajú ľahko nasadiť. Ako dodávateľ zabezpečuje, aby sa bezpečnostné opravy dali ľahko nainštalovať.3
  • Z čoho je postavený. Zoznam komponentov tretích strán, z ktorých sa produkt skladá, takzvaný softvérový kusovník (SBOM).3
  • Bezpečné prihlásenie pre vašich ľudí. Jednotné prihlásenie (SSO) a viacfaktorové overenie pre tých, ktorí chatbota spravujú, bez príplatku.3

Kontrolný zoznam na prevzatie chatbota

  • Každá bezpečnostná kontrola beží na serveri a pre celú konverzáciu, nie iba pre poslednú správu.
  • Čísla konverzácií a správ prideľuje server a sú zviazané s reláciou návštevníka.
  • Odpovede sa zobrazujú ako obyčajný text, alebo sa pred zobrazením ošetria.
  • Skryté pokyny neobsahujú heslá, kľúče ani pravidlá, ktoré by niečo chránili.
  • Bot má len tie funkcie, údaje a oprávnenia, ktoré jeho úloha potrebuje, a všetko s veľkým dosahom schvaľuje človek.
  • Je nastavený limit výdavkov a limit na jedného návštevníka.
  • Bota otestoval ako útočník niekto, kto ho nestaval, a bude ho testovať znova.
  • Každá konverzácia sa zaznamenáva a záznamy si môžete prečítať.
  • Dodávateľ má verejný kanál na bezpečnostné hlásenia, konkrétneho človeka, ktorý ho číta, a dohodnuté lehoty na odpoveď a opravu.
  • Chatbota viete sami a okamžite vypnúť.

Ďalší krok

Ak by vám to pomohlo, môžeme si krátko zavolať a prejsť preberací test chatbota, ktorého kupujete, bod po bode a s odpoveďami vášho dodávateľa na stole. Ako s tým potom naložíte, je len na vás.

Podnikové AI riešenie na mieru

Zdroje

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Prečítané 17. novembra 2026
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Prečítané 17. novembra 2026
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Prečítané 17. novembra 2026

História zmien

  1. Publikované.

Dohodnime si stretnutie

Zanechajte nám kontakt a ozveme sa vám s termínom. Zadarmo a nezáväzne.

S predvoľbou krajiny, napríklad +421.

Vaše údaje použijeme len na to, aby sme vám odpovedali. Ochrana osobných údajov

Formulár pred automatickým odosielaním chráni služba Google reCAPTCHA. Pravidlá ochrany súkromia Google (otvorí sa v novom okne) Zmluvné podmienky Google (otvorí sa v novom okne)

Alebo nás kontaktujte priamo

Napíšte nám office@disruptivelab.dev
Zavolajte nám +420 777 702 032

Náš preferovaný jazyk komunikácie je angličtina.

Všetky kontakty a adresy