Preskoči na sadržaj
Disruptive Lab

Vodič Nabava i dobavljači

Test chatbota dobavljača prije uvođenja

Chatbot na vašoj web stranici ulaz je u vaše sustave, pa zaslužuje isti prihvatni test kao svaki drugi softver koji kupujete, i još nekoliko testova povrh toga.

Objavljeno
Ažurirano
Vrijeme čitanja
7 min čitanja
Urednik
David Lahuta

Ukratko

AI chatbot na vašoj web stranici softver je s kojim može razgovarati bilo tko. Prije puštanja u rad testirajte ga onako kako bi to učinio napadač. U slučaju objavljenom u prosincu 2025. istraživači su zaobišli sigurnosne provjere chatbota velike tvrtke, naveli ga da otkrije skrivene upute i da vrati kod koji se izvršio u pregledniku korisnika.1 Uzrok su bili uobičajeni propusti web aplikacija, a prijava poslana kanalom tvrtke za prijavu propusta tjednima je ostala bez odgovora.1 Prije nego što preuzmete chatbot, testirajte što otkriva, što smije učiniti i do čijih podataka dolazi, a od dobavljača u pisanom obliku tražite zapise, ispravke i kanal za prijavu propusta koji stvarno radi.23

Što je pošlo po zlu u slučaju Eurostar?

Sigurnosna tvrtka Pen Test Partners objavila je 22. prosinca 2025. kako je u javnom AI chatbotu željezničkog prijevoznika Eurostar pronašla četiri propusta.1 Istraživač je na chatbot naišao kao običan putnik koji planira putovanje i testirao ga je u okviru pravila koja je tvrtka objavila za prijavu sigurnosnih propusta.1

Istraživači opisuju rješenje koje je izgledalo ispravno, ali se nije stvarno provodilo.

  • Sigurnosna provjera gledala je samo posljednju poruku. Sa svakom novom porukom stranica je poslužitelju slala cijeli razgovor, a poslužitelj je provjeravao samo najnoviju poruku.1 Starije poruke mogle su se izmijeniti u pregledniku i AI model ih je zatim primao kao pouzdan kontekst.1 Riječima istraživača, zaštitni sloj vidio se na zaslonu, ali se na poslužitelju slabo provodio.1
  • Skrivene upute izašle su na vidjelo. Nakon što je zaobišao provjeru, istraživač je naveo model da otkrije naziv modela i takozvani sistemski prompt, odnosno skrivene upute koje botu govore kako da se ponaša, uključujući način na koji sastavlja poveznice u svojim odgovorima.1
  • Odgovori su mogli nositi kod. Odgovori bota prikazivali su se u prozoru razgovora bez prethodnog čišćenja, pa ga se moglo navesti da vrati kod koji je zatim izvršio preglednik korisnika.1
  • Brojevi razgovora nisu se provjeravali. Poslužitelj je prihvaćao čak i brojeve razgovora i poruka jednostavne poput „1“ ili „hello“.1

Istraživači nisu pokušali doći do tuđih razgovora i navode da ubačene upute nisu otkrile podatke drugih korisnika.1 Propuste nisu ocijenili vrlo ozbiljnima jer chatbot tada nije mogao učiniti mnogo, ali upozoravaju da bi s više funkcija mogli biti izloženi osobni podaci.1

Druga polovica priče odnosi se na kanal za prijavu. Prva prijava poslana je 11. lipnja 2025., podsjetnik 18. lipnja, i ni na jedno nije stigao odgovor.1 Kolega je 7. srpnja kontaktirao voditelja sigurnosti tvrtke, a 31. srpnja dobili su odgovor da o prijavi nema zapisa.1 U međuvremenu je kanal za prijavu prepušten vanjskom pružatelju usluge, a stari je ugašen.1 Zahtjevi za potvrdu primitka ili rok ispravka ostali su bez odgovora.1 Propusti su na kraju ispravljeni, a istraživači pišu da još uvijek ne znaju je li svaki problem u potpunosti riješen.1

Njihov je zaključak kratak. Stare slabosti web aplikacija i API-ja vrijede i kad je u igri AI model.1

Zašto chatbotu ne možete jednostavno reći da se ponaša kako treba?

Zato što upute i tekst posjetitelja do modela stižu istim kanalom. OWASP Top 10 for LLM Applications 2026, popis glavnih rizika sustava izgrađenih na AI jezičnim modelima koji sastavlja sigurnosna zajednica, na prvo mjesto stavlja ubacivanje uputa (prompt injection).2 Riječ je o tekstu koji mijenja ponašanje modela na način koji njegov razvijatelj nije predvidio.2

Popis o tome govori otvoreno. Danas ne postoji pouzdan način da se ubacivanje uputa spriječi, pa sustav oko modela treba projektirati uz pretpostavku da će upute biti zaobiđene i ograničiti što model smije učiniti.2 Upute pritom ne moraju doći od posjetitelja. Mogu se skrivati na web stranici, u dokumentu ili e-poruci koju bot čita.2

Za kupca to mijenja pitanje. Pitanje nije može li se bot prevariti. Pitanje je što slijedi kad ga netko prevari.

Što testirati prije nego što chatbot počne raditi?

Testirajte rizike na koje javni chatbot doista nailazi. Tablica slijedi popis OWASP-a i nalaze iz slučaja Eurostar, jednostavnim riječima.12

Što testirati Što ispitivač pokušava Kad je test položen
Upute skrivene u unosu odgovoriti bota od njegovih pravila, izravno ili putem dokumenta ili stranice koju čita2 bot može reći nešto čudno, ali ne može učiniti ni otkriti ništa što ne bi smio
Sigurnosna provjera izmijeniti ranije poruke ili zaobići provjeru iz preglednika1 svaka provjera radi na poslužitelju, za cijeli razgovor
Skrivene upute navesti bota da ih otkrije2 u njima nema lozinki, ključeva ni pravila koja išta štite2
Tuđi podaci doći do drugog razgovora ili podataka drugog klijenta12 brojeve razgovora dodjeljuje poslužitelj i vezani su uz sesiju posjetitelja1
Kod u odgovorima navesti bota da vrati kod koji se izvršava u pregledniku12 svaki se odgovor prikazuje kao običan tekst ili se prije prikaza očisti12
Što bot može učiniti navesti ga da djeluje izvan svog zadatka, primjerice da pošalje e-poruku ili promijeni narudžbu2 ima samo one funkcije i ovlasti koje zadatak traži2
Troškovi navesti ga da u petlji generira duge i skupe odgovore2 postavljeni su strogo ograničenje troškova i ograničenje po posjetitelju2

Dvije od tih stavki zaslužuju više pozornosti.

Skrivene upute nisu tajna. OWASP razvijateljima savjetuje da pretpostave kako ih je moguće otkriti, da u njih nikada ne stavljaju lozinke ni ključeve i da ih ne koriste kao jedinu sigurnosnu prepreku.2 Test nije položen time što ih bot odbija otkriti. Položen je kad njihovo otkrivanje ne može nanijeti nikakvu štetu.

Bot treba činiti što je moguće manje. OWASP taj rizik naziva prekomjernom autonomijom (excessive agency), botom koji može više nego što bi smio, i navodi tri uzroka, previše funkcija, previše ovlasti i previše slobode da djeluje sam.2 Kao rješenje predlaže samo one alate koje zadatak traži, najmanje moguće ovlasti, radnje koje se izvode s pravima korisnika koji je postavio zahtjev i čovjeka koji odobrava sve što ima velik učinak.2 Primjer koji sam navodi jest chatbot za korisničku podršku koji povrat novca u obliku kredita za kupnju u trgovini smije odobriti sam, dok o isplati novca odlučuje čovjek.2

Tko bi trebao provesti testiranje?

Netko tko ga nije izradio i kome je objašnjeno kako zaštita radi. OWASP savjetuje testiranje s napadačima koji poznaju zaštitu, a ne samo s unaprijed zadanim skupom poznatih napada.2 Istraživanje na koje se poziva obuhvatilo je dvanaest novijih zaštitnih mehanizama, od kojih su za većinu autori izvijestili da napadi gotovo nikada ne prolaze, a napadači koji su prilagodili svoju metodu uspjeli su protiv većine njih u više od 90 % slučajeva.2

Istraživači iz slučaja Eurostar dodaju da testiranje nije jednokratno i savjetuju da se chatbot redovito testira poznatim tehnikama ubacivanja i ponavljanja zahtjeva.1 Po našem mišljenju izvješće dobavljača o vlastitom testiranju dobar je početak, a neovisni test prije puštanja u rad korak je koji primopredaji daje pravi smisao.

Što od dobavljača tražiti u pisanom obliku?

Vodič Secure by Demand američkih agencija CISA i FBI iz 2024. kupcima daje pitanja koja trebaju postaviti prije kupnje, zahtjeve koje treba upisati u ugovor i provjere koje treba obaviti nakon toga.3 Navodi i da se pitanja mogu postaviti preprodavačima i pružateljima usluga, pa se odnosi i na chatbot kupljen od agencije ili kao usluga.3 Zajedno s poukama iz slučaja Eurostar1 to su točke koje bismo željeli imati u pisanom obliku.

  • Kanal za prijavu koji radi. Objavljena pravila za prijavu ranjivosti na javnoj web stranici koja javnosti dopuštaju testiranje.3 Zatim tko čita prijave i što se s njima događa kad kanal preuzme netko drugi.1
  • Odgovor i rok. Zahtjevi istraživača za potvrdu primitka i rok ispravka ostali su bez odgovora.1 U ugovoru dogovorite koliko brzo se potvrđuje sigurnosna prijava i koliko brzo se ispravlja ozbiljan propust.
  • Zapisi koje možete čitati. Sigurnosni zapisi (logovi) već u osnovnoj verziji, a kod usluge u oblaku čuvani najmanje šest mjeseci bez dodatne naknade, koji obuhvaćaju promjene konfiguracije, prijave i pristup podacima.3 Za chatbot istraživači dodaju zapis svakog razgovora iz kojeg ga je moguće rekonstruirati, uključujući sigurnosne odluke i alate koje je model koristio, uz upozorenja na neuobičajene obrasce.1
  • Način da ga isključite. Prekidač za nuždu koji brzo isključuje chatbot ili jednu od njegovih funkcija.1
  • Ispravci koje je lako primijeniti. Kako dobavljač olakšava instalaciju sigurnosnih ispravaka.3
  • Od čega je izgrađen. Popis komponenti trećih strana u proizvodu, takozvani softverski popis materijala (SBOM).3
  • Sigurna prijava za vaše zaposlenike. Jedinstvena prijava (single sign-on) i višefaktorska autentifikacija za osobe koje upravljaju chatbotom, bez dodatnog troška.3

Kontrolni popis za primopredaju chatbota

  • Svaka sigurnosna provjera radi na poslužitelju, za cijeli razgovor, a ne samo za posljednju poruku.
  • Brojeve razgovora i poruka dodjeljuje poslužitelj i vezani su uz sesiju posjetitelja.
  • Odgovori se prikazuju kao običan tekst ili se prije prikaza očiste.
  • Skrivene upute ne sadrže lozinke, ključeve ni pravila koja išta štite.
  • Bot ima samo one funkcije, podatke i ovlasti koje njegov zadatak traži, a sve što ima velik učinak odobrava čovjek.
  • Postavljeni su ograničenje troškova i ograničenje po posjetitelju.
  • Netko tko bota nije izradio testirao ga je onako kako bi to učinio napadač i testirat će ga ponovno.
  • Svaki se razgovor bilježi i zapise možete čitati.
  • Dobavljač ima javni kanal za sigurnosne prijave, imenovanu osobu koja ga čita te dogovorene rokove za odgovor i ispravak.
  • Chatbot možete sami isključiti, odmah.

Sljedeći korak

Ako bi vam koristilo, možemo se naći na kratkom razgovoru i točku po točku proći prihvatni test za chatbot koji kupujete, s odgovorima vašeg dobavljača pred sobom. Što ćete poslije s tim učiniti, vaša je odluka.

Poslovno AI rješenje po mjeri

Izvori

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Pročitano 17. studenoga 2026.
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Pročitano 17. studenoga 2026.
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Pročitano 17. studenoga 2026.

Povijest izmjena

  1. Objavljeno.

Razgovarajmo o vašem projektu

Ostavite nam svoje kontaktne podatke i javit ćemo vam se s terminom. Besplatno i bez obveze.

S pozivnim brojem države, na primjer +385.

Vaše podatke koristimo samo kako bismo vam odgovorili. Zaštita osobnih podataka

Ovaj obrazac od automatiziranog slanja štiti Google reCAPTCHA. Googleova pravila o privatnosti (otvara se u novom prozoru) Googleovi uvjeti pružanja usluge (otvara se u novom prozoru)

Ili nam se obratite izravno

Pišite nam office@disruptivelab.dev
Nazovite nas +420 777 702 032

Najradije komuniciramo na engleskom jeziku.

Svi kontaktni podaci i adrese