Pereiti prie turinio
Disruptive Lab

Gidas Pirkimai ir tiekėjai

Pokalbių roboto testas prieš paleidimą

Pokalbių robotas jūsų svetainėje yra durys į jūsų sistemas, todėl jam reikia tokio pat priėmimo testo kaip bet kuriai kitai perkamai programinei įrangai ir dar kelių tik jam skirtų patikrinimų.

Paskelbta
Atnaujinta
Skaitymo laikas
6 min. skaitymo
Redaktorius
David Lahuta

Trumpai

DI pokalbių robotas jūsų svetainėje yra programinė įranga, su kuria gali kalbėtis bet kas, net visiškai nepažįstami žmonės. Prieš paleisdami jį išbandykite taip, kaip tai darytų užpuolikas. 2025 m. gruodį paskelbtu atveju tyrėjai apėjo didelės įmonės pokalbių roboto saugumo patikras, privertė jį atskleisti paslėptus nurodymus ir grąžinti kodą, kuris buvo įvykdytas vartotojo naršyklėje.1 Priežastys buvo įprastos interneto programų spragos, o pranešimas, išsiųstas oficialiu įmonės kanalu, savaites liko be atsakymo.1 Prieš priimdami pokalbių robotą patikrinkite, ką jis atskleidžia, ką gali padaryti ir kieno duomenis pasiekia, o iš tiekėjo raštu reikalaukite įrašų, pataisymų ir veikiančio pranešimų apie spragas kanalo.23

Kas nutiko „Eurostar“ atveju?

2025 m. gruodžio 22 d. saugumo įmonė „Pen Test Partners“ paskelbė, kaip traukinių vežėjo „Eurostar“ viešame DI pokalbių robote rado keturias spragas.1 Tyrėjas su robotu susidūrė kaip paprastas klientas, planuojantis kelionę, ir jį testavo laikydamasis taisyklių, kurias įmonė paskelbė pranešimams apie saugumo spragas.1

Tyrėjų aprašytas sprendimas atrodė teisingas, tačiau iš tikrųjų nebuvo užtikrintas.

  • Saugumo patikra apėmė tik paskutinę žinutę. Su kiekviena nauja žinute puslapis siuntė į serverį visą pokalbį, o serveris tikrino tik naujausią žinutę.1 Ankstesnes žinutes buvo galima pakeisti naršyklėje ir jos pasiekdavo DI modelį kaip patikimas kontekstas.1 Tyrėjų žodžiais, apsaugos sluoksnis buvo matomas ekrane, bet serveryje jis buvo užtikrinamas silpnai.1
  • Paslėpti nurodymai buvo atskleisti. Apėjęs patikrą, tyrėjas privertė modelį atskleisti modelio pavadinimą ir sistemos raginimą, tai yra paslėptus nurodymus, kurie robotui sako, kaip elgtis, įskaitant tai, kaip jis kūrė nuorodas savo atsakymuose.1
  • Atsakymuose galėjo būti kodo. Roboto atsakymai pokalbio lange buvo rodomi neišvalyti, todėl jį buvo galima priversti grąžinti kodą, kurį paskui įvykdydavo vartotojo naršyklė.1
  • Pokalbių numeriai nebuvo tikrinami. Serveris priimdavo net tokius paprastus pokalbių ir žinučių numerius kaip „1“ ar „hello“.1

Tyrėjai nebandė pasiekti kitų vartotojų pokalbių ir rašo, kad injekcija neatskleidė kitų vartotojų duomenų.1 Spragas jie įvertino kaip ne itin rimtas, nes tuo metu robotas galėjo nedaug, ir perspėjo, kad atsiradus daugiau funkcijų galėtų būti atskleisti asmens duomenys.1

Antroji istorijos dalis susijusi su pranešimų apie spragas kanalu. Pirmasis pranešimas išsiųstas 2025 m. birželio 11 d., priminimas birželio 18 d. ir nė į vieną nebuvo atsakyta.1 Tyrėjo kolega liepos 7 d. kreipėsi į įmonės saugumo vadovą, o liepos 31 d. jiems buvo pasakyta, kad apie pranešimą nėra jokio įrašo.1 Per tą laiką pranešimų kanalas buvo perduotas išoriniam paslaugų teikėjui, o senasis panaikintas.1 Prašymai patvirtinti gavimą ir nurodyti pataisymo terminą liko be atsakymo.1 Galiausiai spragos buvo ištaisytos, tačiau tyrėjai rašo, kad iki šiol nežino, ar visos problemos buvo pašalintos iki galo.1

Jų pačių išvada trumpa. Senosios interneto ir taikomųjų programų sąsajų (API) silpnybės išlieka ir tada, kai procese dalyvauja DI modelis.1

Kodėl neužtenka robotui tiesiog pasakyti, kaip elgtis?

Todėl, kad nurodymus ir lankytojo tekstą modelis gauna tame pačiame sraute. OWASP Top 10 for LLM Applications 2026, saugumo bendruomenės sudarytas pagrindinių rizikų sąrašas sistemoms, sukurtoms DI kalbos modelių pagrindu, pirmoje vietoje nurodo raginimų injekciją (angl. prompt injection).2 Raginimų injekcija yra tekstas, kuris pakeičia modelio elgesį taip, kaip jo kūrėjas neketino.2

Sąrašas tai pasako tiesiai. Patikimo būdo užkirsti kelią raginimų injekcijai šiandien nėra, todėl sistemą aplink modelį reikia projektuoti darant prielaidą, kad jo nurodymai bus apeiti, ir apriboti, ką modelis gali daryti.2 Be to, nurodymai nebūtinai ateina iš lankytojo. Jie gali būti paslėpti tinklalapyje, dokumente ar el. laiške, kurį robotas skaito.2

Pirkėjui tai pakeičia klausimą. Klausimas ne tas, ar robotą galima apgauti. Klausimas, kas nutiks, kai tai pavyks.

Ką išbandyti prieš paleidžiant pokalbių robotą?

Išbandykite tas rizikas, su kuriomis viešas pokalbių robotas iš tikrųjų susiduria. Lentelė paprastais žodžiais perteikia OWASP sąrašą ir „Eurostar“ atvejo išvadas.12

Ką išbandyti Ką bando padaryti testuotojas Kaip atrodo sėkmingas rezultatas
Įvestyje paslėpti nurodymai įkalbėti robotą nesilaikyti savo taisyklių, tiesiogiai arba per dokumentą ar puslapį, kurį jis skaito2 robotas gali pasakyti ką nors keisto, bet negali padaryti ar atskleisti nieko, ko neturėtų
Saugumo patikra pakeisti ankstesnes žinutes arba apeiti patikrą iš naršyklės1 kiekviena patikra vyksta serveryje ir apima visą pokalbį
Paslėpti nurodymai priversti robotą juos atskleisti2 juose nėra slaptažodžių, raktų ar taisyklių, kurios ką nors saugotų2
Kitų žmonių duomenys pasiekti svetimą pokalbį ar kito kliento įrašus12 pokalbių numerius suteikia serveris ir jie susieti su lankytojo sesija1
Kodas atsakymuose priversti robotą grąžinti kodą, kuris paleidžiamas naršyklėje12 kiekvienas atsakymas rodomas kaip paprastas tekstas arba prieš parodant išvalomas12
Ką robotas gali daryti priversti jį veikti už savo užduoties ribų, pavyzdžiui, išsiųsti el. laišką ar pakeisti užsakymą2 jis turi tik tas funkcijas ir teises, kurių reikia jo užduočiai2
Sąskaita už naudojimą priversti jį cikle generuoti ilgus ir brangius atsakymus2 nustatytas griežtas išlaidų limitas ir limitas vienam lankytojui2

Du iš šių punktų verti atidesnio žvilgsnio.

Paslėpti nurodymai nėra paslaptis. OWASP pataria kūrėjams daryti prielaidą, kad juos galima atskleisti, niekada nedėti į juos slaptažodžių ar raktų ir nenaudoti jų kaip vienintelio saugumo barjero.2 Testas išlaikytas ne tada, kai robotas atsisako juos atskleisti. Jis išlaikytas tada, kai jų atskleidimas nepadaro jokios žalos.

Robotas turi galėti kuo mažiau. OWASP šią riziką vadina per dideliu savarankiškumu (angl. excessive agency), tai yra robotu, kuris gali daugiau, nei turėtų, ir nurodo tris priežastis, per daug funkcijų, per daug teisių ir per daug laisvės veikti savarankiškai.2 Jo siūlomos priemonės yra tik užduočiai reikalingi įrankiai, kuo mažesnės teisės, veiksmai, atliekami su paklaususio vartotojo teisėmis, ir žmogus, kuris tvirtina viską, kas turi didelį poveikį.2 Jo paties pavyzdys yra klientų aptarnavimo pokalbių robotas, kuris pats gali kompensuoti parduotuvės kreditu, o pinigų išmokėjimą sprendžia žmogus.2

Kas turėtų testuoti?

Tas, kas robotą nekūrė ir kam paaiškinta, kaip veikia jo apsaugos. OWASP pataria testuoti imituojant užpuolikus, kurie žino, kaip veikia apsauga, o ne vien fiksuotu žinomų atakų rinkiniu.2 OWASP cituojamame tyrime buvo išbandyta dvylika naujų apsaugų, kurių dauguma skelbė, kad atakos beveik niekada nepraeina, o užpuolikai, pritaikę savo metodą, daugumą jų įveikė daugiau kaip 90 % atvejų.2

„Eurostar“ atvejį tyrę specialistai priduria, kad testas nėra vienkartinis dalykas, ir pataria pokalbių robotą reguliariai tikrinti žinomais raginimų injekcijos ir pakartojimo (angl. replay) atakų metodais.1 Mūsų nuomone, tiekėjo paties pateikta testavimo ataskaita yra gera pradžia, o nepriklausomas testas prieš paleidimą yra tas žingsnis, kuris suteikia priėmimui tikrąją prasmę.

Ko raštu reikalauti iš tiekėjo?

JAV agentūrų CISA ir FBI 2024 m. vadovas „Secure by Demand“ pateikia pirkėjams klausimus, kuriuos verta užduoti prieš pirkimą, reikalavimus, kuriuos reikia įrašyti į sutartį, ir patikras, kurias reikia atlikti po pirkimo.3 Jame taip pat nurodyta, kad klausimus galima užduoti ir perpardavėjams bei paslaugų teikėjams, todėl jis tinka ir pokalbių robotui, įsigytam iš interneto agentūros ar kaip paslauga.3 Kartu su „Eurostar“ atvejo pamokomis1 gauname punktus, kuriuos norėtume turėti raštu.

  • Veikiantis pranešimų apie spragas kanalas. Viešame tinklalapyje paskelbta pranešimų apie pažeidžiamumus politika, leidžianti visuomenei testuoti produktą.3 Taip pat aiškumas, kas tuos pranešimus skaito ir kas su jais nutinka, kai kanalą perima kas nors kitas.1
  • Atsakymas ir terminas. Tyrėjų prašymai patvirtinti gavimą ir nurodyti pataisymo terminą liko be atsakymo.1 Sutartyje nustatykite, per kiek laiko tiekėjas patvirtina pranešimą apie saugumo problemą ir per kiek laiko pataiso rimtą spragą.
  • Įrašai, kuriuos galite perskaityti. Saugumo žurnalai jau bazinėje versijoje, o debesijos paslaugos atveju saugomi bent šešis mėnesius be papildomo mokesčio ir apimantys konfigūracijos pakeitimus, prisijungimus ir prieigą prie duomenų.3 Pokalbių robotui tyrėjai prideda kiekvieno pokalbio įrašą, iš kurio jį galima atkurti, įskaitant saugumo sprendimus ir modelio naudotus įrankius, su įspėjimais apie neįprastus šablonus.1
  • Galimybė jį išjungti. Avarinis jungiklis, kuris greitai išjungia pokalbių robotą arba vieną jo funkciją.1
  • Lengvai įdiegiami pataisymai. Kaip tiekėjas užtikrina, kad saugumo pataisymus būtų paprasta įdiegti.3
  • Iš ko jis sudarytas. Trečiųjų šalių komponentų, iš kurių sudarytas produktas, sąrašas, vadinamas programinės įrangos komponentų sąrašu (SBOM).3
  • Saugus prisijungimas jūsų darbuotojams. Bendras prisijungimas (SSO) ir kelių veiksnių autentifikavimas tiems, kas administruoja pokalbių robotą, be papildomo mokesčio.3

Pokalbių roboto priėmimo kontrolinis sąrašas

  • Kiekviena saugumo patikra vyksta serveryje ir apima visą pokalbį, ne tik paskutinę žinutę.
  • Pokalbių ir žinučių numerius suteikia serveris ir jie susieti su lankytojo sesija.
  • Atsakymai rodomi kaip paprastas tekstas arba prieš parodant išvalomi.
  • Paslėptuose nurodymuose nėra slaptažodžių, raktų ar taisyklių, kurios ką nors saugotų.
  • Robotas turi tik tas funkcijas, duomenis ir teises, kurių reikia jo užduočiai, o viską, kas turi didelį poveikį, tvirtina žmogus.
  • Nustatytas išlaidų limitas ir limitas vienam lankytojui.
  • Robotą kaip užpuolikas išbandė kas nors, kas jo nekūrė, ir išbandys vėl.
  • Kiekvienas pokalbis įrašomas ir įrašus galite perskaityti.
  • Tiekėjas turi viešą kanalą pranešimams apie saugumo problemas, konkretų žmogų, kuris jį skaito, ir sutartus atsakymo bei pataisymo terminus.
  • Pokalbių robotą galite patys išjungti iš karto.

Kitas žingsnis

Jei jums tai būtų naudinga, galime trumpai susiskambinti ir punktas po punkto peržiūrėti perkamo pokalbių roboto priėmimo testą, turėdami prieš akis jūsų tiekėjo atsakymus. Ką darysite toliau, spręsite tik jūs.

Verslo DI sprendimas

Šaltiniai

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Perskaityta 2026 m. lapkričio 17 d.
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Perskaityta 2026 m. lapkričio 17 d.
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Perskaityta 2026 m. lapkričio 17 d.

Pakeitimų istorija

  1. Paskelbta.

Pakalbėkime apie jūsų projektą

Palikite kontaktinius duomenis, ir mes susisieksime su jumis pasiūlydami laiką. Nemokamai ir be įsipareigojimų.

Su šalies kodu, pavyzdžiui, +370.

Jūsų duomenis naudosime tik tam, kad jums atsakytume. Privatumo politika

Šią formą nuo automatinio pateikimo saugo Google reCAPTCHA. Google privatumo politika (atsidaro naujame lange) Google paslaugų teikimo sąlygos (atsidaro naujame lange)

Arba susisiekite su mumis tiesiogiai

Parašykite mums office@disruptivelab.dev
Paskambinkite mums +420 777 702 032

Pageidaujama bendravimo kalba yra anglų.

Visi kontaktai ir adresai