Liigu sisu juurde
Disruptive Lab

Juhend Ost ja tarnijad

Tarnija vestlusroboti test enne käivitust

Vestlusrobot teie veebilehel on uks teie süsteemidesse, seega väärib see sama vastuvõtutesti nagu iga teine tarkvara, mida ostate, ja lisaks mõnda testi, mis puudutab ainult vestlusrobotit.

Avaldatud
Uuendatud
Lugemisaeg
6 min lugemist
Toimetaja
David Lahuta

Lühidalt

AI-vestlusrobot teie veebilehel on tarkvara, millega saavad rääkida võõrad inimesed. Testige seda enne käivitamist nii, nagu teeks seda ründaja. Ühes 2025. aasta detsembris avaldatud juhtumis möödusid uurijad ühe suure ettevõtte vestlusroboti turvakontrollidest, panid roboti avaldama selle varjatud juhised ja tagastama koodi, mis käivitus kasutaja brauseris.1 Põhjused olid tavalised veebivead ning ettevõtte teavituskanali kaudu saadetud teade jäi nädalateks vastuseta.1 Enne kui vestlusroboti vastu võtate, testige, mida see avaldab, mida see teha saab ja kelle andmetele see ligi pääseb, ning küsige tarnijalt kirjalikku kinnitust logide, paranduste ja toimiva turvavigadest teatamise kanali kohta.23

Mis Eurostari juhtumis valesti läks?

  1. detsembril 2025 avaldas turvaettevõte Pen Test Partners, kuidas ta oli leidnud neli turvaviga rongiettevõtte Eurostar avalikus AI-vestlusrobotis.1 Uurija sattus vestlusrobotile peale tavalise kliendina, kes reisi planeeris, ja testis seda ettevõtte avaldatud reeglite piires, mis käsitlevad turvavigadest teatamist.1

Uurijad kirjeldavad lahendust, mis nägi õige välja, kuid mille reegleid tegelikult ei jõustatud.

  • Turvakontroll vaatas ainult viimast sõnumit. Iga uue sõnumiga saatis leht kogu vestluse serverisse tagasi, kuid server kontrollis ainult kõige uuemat sõnumit.1 Varasemaid sõnumeid sai brauseris muuta ja need jõudsid AI-mudelini usaldusväärse kontekstina.1 Uurijate sõnul näitas ekraan küll turvakihti, kuid selle jõustamine serveris oli nõrk.1
  • Varjatud juhised tulid päevavalgele. Kui kontrollist oli mööda saadud, pani uurija mudeli avaldama, mis mudeliga on tegu, ja oma süsteemiviiba ehk need varjatud juhised, mis ütlevad robotile, kuidas käituda. Sealt selgus muu hulgas, kuidas robot oma vastustes linke koostas.1
  • Vastustes võis olla koodi. Roboti vastuseid näidati vestlusaknas ilma neid puhastamata, nii et robotit sai panna tagastama koodi, mille kasutaja brauser seejärel käivitas.1
  • Vestluste tunnuseid ei kontrollitud. Server võttis vestluse ja sõnumi tunnustena vastu isegi nii lihtsaid väärtusi nagu „1“ või „hello“.1

Uurijad ei püüdnud teiste kasutajate vestlustele ligi pääseda ja kirjutavad, et süstimine ei paljastanud teiste kasutajate andmeid.1 Nad ei pidanud vigu väga tõsiseks, sest vestlusrobot sai tol ajal vähe teha, kuid hoiatasid, et lisafunktsioonide korral võivad paljastuda ka isikuandmed.1

Loo teine pool räägib teavituskanalist. Esimene teade läks teele 11. juunil 2025 ja meeldetuletus 18. juunil, kuid kumbalegi ei vastatud.1 Uurijate kolleeg võttis 7. juulil ühendust ettevõtte turvajuhiga ja 31. juulil öeldi neile, et teate kohta ei leitud mingit kirjet.1 Vahepeal oli teavituskanal antud üle välisele teenusepakkujale ja vana kanal suletud.1 Palvetele kinnitada teate kättesaamist või anda paranduse ajakava ei vastatud.1 Vead parandati lõpuks ära, kuid uurijad kirjutavad, et ei tea siiani, kas kõik probleemid on täielikult kõrvaldatud.1

Nende enda õppetund on lühike. Vanad veebi- ja API-nõrkused kehtivad edasi ka siis, kui protsessis osaleb AI-mudel.1

Miks ei saa vestlusrobotil lihtsalt käskida korralikult käituda?

Sest juhised ja külastaja tekst jõuavad mudelini ühes ja samas voos. OWASP Top 10 for LLM Applications 2026, turvakogukonna loetelu AI-keelemudelitele ehitatud süsteemide peamistest riskidest, paneb esimesele kohale viibasüsti (inglise keeles prompt injection).2 Viibasüst tähendab teksti, mis muudab mudeli käitumist viisil, mida selle looja ei kavatsenud.2

Loetelu ütleb selle otse välja. Praegu ei ole olemas usaldusväärset viisi viibasüsti ära hoida, seega tuleks mudelit ümbritsev süsteem kavandada eeldusel, et mudeli juhistest minnakse mööda, ja piirata seda, mida mudel teha tohib.2 Juhised ei pea tulema tingimata külastajalt. Need võivad olla peidetud veebilehele, dokumenti või e-kirja, mida robot loeb.2

See muudab ostja jaoks küsimuse püstitust. Küsimus ei ole selles, kas robotit saab petta. Küsimus on selles, mis juhtub siis, kui seda petetakse.

Mida peaks enne vestlusroboti käivitamist testima?

Testige neid riske, millega avalik vestlusrobot päriselt kokku puutub. Tabel tugineb OWASP loetelule ja Eurostari juhtumi leidudele ning on kirja pandud lihtsate sõnadega.12

Mida testida Mida testija proovib Millal on test läbitud
Sisendisse peidetud juhised panna robot oma reegleid eirama, otse või dokumendi või veebilehe kaudu, mida robot loeb2 robot võib öelda kummalisi asju, kuid ei saa teha ega avaldada midagi, mida ta ei tohi
Turvakontroll muuta varasemaid sõnumeid või minna kontrollist brauseri kaudu mööda1 iga kontroll toimub serveris ja kogu vestluse kohta
Varjatud juhised panna robot neid avaldama2 need ei sisalda paroole, võtmeid ega reegleid, mis midagi kaitseksid2
Teiste inimeste andmed pääseda ligi teisele vestlusele või teise kliendi andmetele12 vestluste tunnused tulevad serverist ja on seotud külastaja seansiga1
Kood vastustes panna robot tagastama koodi, mis brauseris käivitub12 iga vastust näidatakse lihtsa tekstina või see puhastatakse enne näitamist12
Mida robot teha saab panna robot tegutsema väljaspool oma ülesannet, näiteks saatma e-kirja või muutma tellimust2 robotil on ainult need funktsioonid ja õigused, mida ülesanne vajab2
Arve panna robot tsüklis koostama pikki ja kalleid vastuseid2 kehtestatud on range kulupiir ja piir iga külastaja kohta2

Kahte neist tasub lähemalt vaadata.

Varjatud juhised ei ole saladus. OWASP soovitab lahenduse loojatel eeldada, et need võidakse avastada, ning mitte kunagi panna neisse paroole ega võtmeid ega kasutada neid ainsa turvatõkkena.2 Test ei ole läbitud siis, kui robot keeldub neid avaldamast. Test on läbitud siis, kui nende avaldamine ei tee mingit kahju.

Robot peaks tegema nii vähe kui võimalik. OWASP nimetab seda riski liigseks tegutsemisvabaduseks (inglise keeles excessive agency). See tähendab robotit, mis saab teha rohkem, kui peaks, ja OWASP toob välja kolm põhjust, milleks on liiga palju funktsioone, liiga palju õigusi ja liiga suur vabadus iseseisvalt tegutseda.2 Abinõudena soovitab OWASP anda robotile ainult need tööriistad, mida ülesanne vajab, võimalikult vähe õigusi, lasta toimingutel käia selle kasutaja õigustega, kes küsis, ning jätta kõik suure mõjuga toimingud inimese heaks kiita.2 OWASP enda näites võib klienditoe vestlusrobot ise teha tagasimakse poe ostukrediidina, kuid raha väljamakse üle otsustab inimene.2

Kes peaks testimise tegema?

Keegi, kes robotit ei ehitanud ja kellele on räägitud, kuidas kaitsemehhanismid töötavad. OWASP soovitab testida ründajate vastu, kes on kaitsega põhjalikult tutvunud, mitte ainult kindla valiku teadaolevate rünnetega.2 OWASP viidatud uuringus vaadeldi kaheteistkümmet hiljutist kaitsemehhanismi. Enamiku nende autorid olid teatanud, et ründed ei lähe peaaegu kunagi läbi, kuid ründajad, kes oma meetodit kohandasid, said enamikust neist jagu üle 90 % juhtudest.2

Eurostari juhtumi uurijad lisavad, et testimine ei ole ühekordne töö, ja soovitavad vestlusrobotit regulaarselt testida tuntud süstimis- ja taasesitusrünnete võtetega.1 Meie hinnangul on tarnija enda testiaruanne hea algus, kuid sõltumatu test enne käivitamist on see samm, mis annab vastuvõtule tõelise sisu.

Mida peaks tarnijalt kirjalikult küsima?

USA ametite CISA ja FBI 2024. aasta juhend Secure by Demand Guide annab ostjatele küsimused, mida enne ostu esitada, nõuded, mida lepingusse kirjutada, ja kontrollid, mida pärast teha.3 Juhendi järgi saab samu küsimusi esitada ka edasimüüjatele ja teenusepakkujatele, nii et see sobib ka siis, kui vestlusrobot ostetakse agentuurilt või teenusena.3 Koos Eurostari juhtumi õppetundidega1 annab see järgmised punktid, mida meie tahaksime tarnijalt kirjalikult näha.

  • Teavituskanal, mis töötab. Avalikul veebilehel avaldatud põhimõtted turvanõrkustest teatamiseks, mis lubavad avalikkusel toodet testida.3 Samuti see, kes teateid loeb ja mis nendega juhtub, kui kanal antakse üle teistele.1
  • Vastus ja ajakava. Uurijate palvetele kinnitada teate kättesaamist ja anda paranduse ajakava ei vastatud.1 Leppige lepingus kokku, kui kiiresti turvateate kättesaamist kinnitatakse ja kui kiiresti tõsine viga parandatakse.
  • Logid, mida saate lugeda. Turvalogid juba toote põhiversioonis, pilveteenuse puhul säilitatuna vähemalt kuus kuud ilma lisatasuta, ja need hõlmavad seadistuste muudatusi, sisselogimisi ja juurdepääsu andmetele.3 Vestlusroboti puhul lisavad uurijad iga vestluse logi, mille põhjal saab vestluse taastada, koos turvaotsuste ja kõigi tööriistadega, mida mudel kasutas, ning hoiatused ebatavaliste mustrite korral.1
  • Võimalus robot välja lülitada. Hädalüliti, mis lülitab vestlusroboti või selle ühe funktsiooni kiiresti välja.1
  • Parandused, mida on lihtne paigaldada. Selgitus, kuidas tarnija teeb turvaparanduste paigaldamise lihtsaks.3
  • Millest see on ehitatud. Toote kolmandate osapoolte komponentide loetelu ehk tarkvara koostisosade loetelu (inglise keeles software bill of materials).3
  • Turvaline sisselogimine teie töötajatele. Ühekordne sisselogimine ja mitmeastmeline autentimine neile inimestele, kes vestlusrobotit haldavad, ilma lisakuluta.3

Vestlusroboti vastuvõtu kontrollnimekiri

  • Iga turvakontroll toimub serveris ja kogu vestluse kohta, mitte ainult viimase sõnumi kohta.
  • Vestluse ja sõnumi tunnused tulevad serverist ja on seotud külastaja seansiga.
  • Vastuseid näidatakse lihtsa tekstina või need puhastatakse enne näitamist.
  • Varjatud juhised ei sisalda paroole, võtmeid ega reegleid, mis midagi kaitseksid.
  • Robotil on ainult need funktsioonid, andmed ja õigused, mida tema ülesanne vajab, ning kõik, millel on suur mõju, kiidab heaks inimene.
  • Kehtestatud on kulupiir ja piir iga külastaja kohta.
  • Keegi, kes robotit ei ehitanud, on seda testinud nii, nagu teeks seda ründaja, ja testib seda hiljem uuesti.
  • Iga vestlus logitakse ja te saate neid logisid lugeda.
  • Tarnijal on avalik kanal turvateadete jaoks, nimeliselt määratud inimene, kes seda loeb, ning kokkulepitud tähtajad vastamiseks ja parandamiseks.
  • Saate vestlusroboti ise ja kohe välja lülitada.

Järgmine samm

Kui sellest oleks abi, võime pidada lühikese kõne ja käia koos punkt-punktilt läbi vastuvõtutesti vestlusrobotile, mida ostate, hoides silme ees teie tarnija vastuseid. Mida te sellega edasi teete, on teie otsus.

Ettevõtte AI-lahendus

Allikad

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Loetud 17. november 2026
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Loetud 17. november 2026
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Loetud 17. november 2026

Muudatuste ajalugu

  1. Avaldatud.

Räägime teie projektist

Jätke meile oma kontaktandmed ja pakume teile kohtumiseks aja. Tasuta ja kohustuseta.

Koos riigikoodiga, näiteks +372.

Kasutame teie andmeid ainult teile vastamiseks. Privaatsusteade

Seda vormi kaitseb automaatsete saatmiste eest Google reCAPTCHA. Google'i privaatsuseeskirjad (avaneb uues aknas) Google'i teenusetingimused (avaneb uues aknas)

Või võtke meiega otse ühendust

Kirjutage meile office@disruptivelab.dev
Helistage meile +420 777 702 032

Eelistame suhelda inglise keeles.

Kõik kontaktandmed ja aadressid