Gå til innholdet
Disruptive Lab

Guide Innkjøp og leverandører

Test leverandørens chatbot før lansering

En chatbot på nettstedet er en dør inn til systemene deres, og fortjener derfor den samme akseptansetesten som all annen programvare dere kjøper, og i tillegg noen egne tester.

Publisert
Oppdatert
Lesetid
7 min lesetid
Redaktør
David Lahuta

Kort fortalt

En KI-chatbot på nettstedet er programvare som fremmede kan snakke med. Test den slik en angriper ville gjort, før den settes i drift. I en sak som ble publisert i desember 2025, kom forskere forbi sikkerhetskontrollene i chatboten til et stort selskap, fikk den til å avsløre de skjulte instruksjonene sine og til å returnere kode som kjørte i brukerens nettleser.1 Årsakene var vanlige feil i webapplikasjoner, og rapporten som ble sendt gjennom selskapets rapporteringskanal, ble stående ubesvart i flere uker.1 Før dere godkjenner en chatbot, bør dere teste hva den avslører, hva den kan gjøre og hvilke data den når, og kreve skriftlig av leverandøren logger, rettelser og en rapporteringskanal som fungerer.23

Hva gikk galt i Eurostar-saken?

Den 22. desember 2025 publiserte sikkerhetsselskapet Pen Test Partners hvordan det hadde funnet fire feil i den offentlige KI-chatboten til togselskapet Eurostar.1 Forskeren støtte på chatboten som en helt vanlig kunde som planla en reise, og testet den innenfor selskapets publiserte regler for rapportering av sikkerhetshull.1

Det forskerne beskriver, er en løsning som så riktig ut, men som ikke ble håndhevet.

  • Sikkerhetskontrollen så bare på den siste meldingen. For hver ny melding sendte siden hele samtalen tilbake til serveren, og serveren kontrollerte bare den nyeste.1 Eldre meldinger kunne endres i nettleseren og gikk videre til KI-modellen som pålitelig kontekst.1 Med forskernes egne ord var sikkerhetslaget synlig på skjermen, men håndhevingen på serveren var svak.1
  • De skjulte instruksjonene kom ut. Da kontrollen var omgått, fikk forskeren modellen til å avsløre modellnavnet og systemprompten, de skjulte instruksjonene som forteller boten hvordan den skal oppføre seg, blant annet hvordan den bygde lenkene i svarene sine.1
  • Svarene kunne inneholde kode. Svarene fra boten ble vist i chatvinduet uten å bli renset, så den kunne fås til å returnere kode som brukerens nettleser deretter kjørte.1
  • Samtalenumrene ble ikke kontrollert. Serveren godtok samtale- og meldingsnumre så enkle som «1» eller «hello».1

Forskerne forsøkte ikke å komme inn i andre brukeres samtaler, og de skriver at de injiserte instruksjonene ikke eksponerte andre brukeres data.1 De vurderte feilene som lite alvorlige fordi chatboten den gang kunne gjøre lite, og advarte om at flere funksjoner kunne eksponere personopplysninger.1

Den andre halvdelen av historien handler om rapporteringskanalen. Den første rapporten gikk ut 11. juni 2025 og en purring 18. juni, og ingen av dem ble besvart.1 En kollega kontaktet selskapets sikkerhetssjef 7. juli, og 31. juli fikk de beskjed om at rapporten ikke var registrert hos dem.1 I mellomtiden var rapporteringskanalen overlatt til en ekstern leverandør, og den gamle var lagt ned.1 Forespørsler om en bekreftelse eller en tidsplan for rettelsen ble ikke besvart.1 Feilene ble til slutt rettet, og forskerne skriver at de fortsatt ikke vet om alle problemene ble helt rettet.1

Selv oppsummerer de lærdommen kort. Gamle svakheter i web- og API-løsninger gjelder fortsatt når en KI-modell er med i bildet.1

Hvorfor holder det ikke å be chatboten om å oppføre seg?

Fordi instruksjonene og den besøkendes tekst når modellen i samme strøm. OWASP Top 10 for LLM Applications 2026, sikkerhetsmiljøets liste over de viktigste risikoene ved systemer bygget på KI-språkmodeller, setter prompt injection øverst.2 Prompt injection betyr tekst som endrer hva modellen gjør, på en måte utvikleren ikke hadde tenkt seg.2

Listen sier det rett ut. I dag finnes det ingen pålitelig måte å hindre prompt injection på, så systemet rundt modellen bør utformes ut fra at instruksjonene vil bli omgått, og bør begrense hva modellen får gjøre.2 Instruksjonene trenger heller ikke komme fra den besøkende. De kan skjule seg i en nettside, et dokument eller en e-post som boten leser.2

For en kjøper blir dermed spørsmålet et annet. Spørsmålet er ikke om boten kan lures, men hva som skjer når den blir det.

Hva bør dere teste før chatboten settes i drift?

Test de risikoene en offentlig chatbot faktisk møter. Tabellen følger OWASP-listen og funnene i Eurostar-saken, med enkle ord.12

Hva som testes Hva testeren forsøker Slik ser et bestått resultat ut
Instruksjoner skjult i det som skrives inn å få boten til å bryte reglene sine, direkte eller via et dokument eller en side den leser2 boten kan si rare ting, men den kan ikke gjøre eller avsløre noe den ikke skal
Sikkerhetskontrollen å endre tidligere meldinger eller omgå kontrollen fra nettleseren1 hver kontroll kjører på serveren, for hele samtalen
De skjulte instruksjonene å få boten til å avsløre dem2 de inneholder ingen passord, nøkler eller regler som beskytter noe2
Andres data å nå en annen samtale eller en annen kundes opplysninger12 samtalenumrene kommer fra serveren og er knyttet til den besøkendes økt1
Kode i svarene å få boten til å returnere kode som kjører i nettleseren12 hvert svar vises som ren tekst, eller renses før det vises12
Hva boten kan gjøre å få den til å handle utenfor oppgaven sin, for eksempel sende en e-post eller endre en bestilling2 den har bare de funksjonene og tillatelsene oppgaven krever2
Regningen å få den til å produsere lange, dyre svar i en sløyfe2 et fast kostnadstak og en grense per besøkende er satt2

To av punktene er verdt en nærmere titt.

De skjulte instruksjonene er ingen hemmelighet. OWASP ber utviklere gå ut fra at de kan bli oppdaget, aldri legge passord eller nøkler i dem og aldri bruke dem som eneste sikkerhetsbarriere.2 Bestått betyr ikke at boten nekter å avsløre dem. Bestått betyr at det ikke skader noe om de blir kjent.

Boten bør kunne gjøre så lite som mulig. OWASP kaller risikoen excessive agency (for stor handlefrihet), en bot som kan gjøre mer enn den skal, og nevner tre årsaker, for mange funksjoner, for mange tillatelser og for stor frihet til å handle på egen hånd.2 Tiltakene er bare de verktøyene oppgaven krever, færrest mulig tillatelser, handlinger som utføres med rettighetene til brukeren som spurte, og et menneske som godkjenner alt med stor virkning.2 OWASPs eget eksempel er en chatbot for kundeservice som på egen hånd kan refundere i form av en tilgodelapp, mens utbetaling av penger overlates til et menneske.2

Hvem bør teste chatboten?

Noen som ikke har bygget den, og som får vite hvordan forsvaret virker. OWASP anbefaler å teste mot angripere som kjenner forsvaret, ikke bare med et fast sett kjente angrep.2 Forskningen OWASP viser til, undersøkte tolv nyere forsvarsmetoder, der de fleste hadde rapportert at angrep nesten aldri slapp gjennom, og angripere som tilpasset metoden sin, lyktes i over 90 % av tilfellene mot de fleste av dem.2

Forskerne bak Eurostar-saken legger til at testing ikke er en engangsjobb, og anbefaler å teste chatboten jevnlig med kjente teknikker for injeksjon og gjenavspilling.1 Etter vårt syn er leverandørens egen testrapport en god start, og en uavhengig test før lansering er det som gir godkjenningen reelt innhold.

Hva bør dere kreve skriftlig av leverandøren?

Secure by Demand Guide, utgitt i 2024 av de amerikanske etatene CISA og FBI, gir kjøpere spørsmål de bør stille før kjøpet, krav de bør skrive inn i kontrakten og kontroller de bør gjøre etterpå.3 Veiledningen sier dessuten at spørsmålene kan brukes overfor forhandlere og tjenesteleverandører, så den passer også for en chatbot som kjøpes fra et byrå eller som en tjeneste.3 Sammen med lærdommen fra Eurostar-saken1 er dette punktene vi ville ønsket å ha skriftlig.

  • En rapporteringskanal som fungerer. En publisert policy for rapportering av sårbarheter på en offentlig nettside, som gir alle lov til å teste.3 Og svar på hvem som leser rapportene, og hva som skjer med dem når kanalen skifter hender.1
  • Et svar og en tidsplan. Forskernes forespørsler om en bekreftelse og en tidsplan for rettelsen ble ikke besvart.1 Avtal i kontrakten hvor raskt en sikkerhetsrapport skal bekreftes, og hvor raskt en alvorlig feil skal rettes.
  • Logger dere kan lese. Sikkerhetslogger allerede i grunnversjonen, og for en skytjeneste oppbevart i minst seks måneder uten ekstra kostnad, som dekker endringer i konfigurasjonen, pålogginger og tilgang til data.3 For en chatbot legger forskerne til en logg over hver samtale som gjør det mulig å gjenskape den, inkludert sikkerhetsbeslutningene og eventuelle verktøy modellen brukte, med varsler ved uvanlige mønstre.1
  • En måte å slå den av på. En nødbryter som raskt slår av chatboten eller én av funksjonene dens.1
  • Rettelser som er enkle å ta i bruk. Hvordan leverandøren gjør sikkerhetsrettelser enkle å installere.3
  • Hva den er bygget av. En liste over tredjepartskomponentene i produktet, en såkalt programvarestykkliste (SBOM).3
  • Sikker pålogging for de ansatte deres. Felles pålogging (SSO) og flerfaktorautentisering for dem som administrerer chatboten, uten ekstra kostnad.3

Sjekkliste for godkjenning av en chatbot

  • Hver sikkerhetskontroll kjører på serveren, for hele samtalen, ikke bare for den siste meldingen.
  • Samtale- og meldingsnumre kommer fra serveren og er knyttet til den besøkendes økt.
  • Svarene vises som ren tekst, eller renses før de vises.
  • De skjulte instruksjonene inneholder ingen passord, nøkler eller regler som beskytter noe.
  • Boten har bare de funksjonene, dataene og tillatelsene oppgaven krever, og et menneske godkjenner alt med stor virkning.
  • Et kostnadstak og en grense per besøkende er satt.
  • Noen som ikke har bygget boten, har testet den slik en angriper ville gjort, og skal teste den igjen.
  • Hver samtale logges, og dere kan lese loggene.
  • Leverandøren har en offentlig kanal for sikkerhetsrapporter, en navngitt person som leser den, og avtalte frister for svar og rettelse.
  • Dere kan slå av chatboten selv, på et øyeblikk.

Neste steg

Hvis det kan være til hjelp, tar vi gjerne en kort prat og går gjennom akseptansetesten for chatboten dere kjøper, punkt for punkt, med leverandørens svar foran oss. Hva dere gjør med det etterpå, er helt opp til dere.

KI-løsning for bedrifter

Kilder

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Lest 17. november 2026
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Lest 17. november 2026
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Lest 17. november 2026

Endringslogg

  1. Publisert.

La oss snakke om prosjektet deres

Legg igjen kontaktinformasjonen deres, så kommer vi tilbake med et tidspunkt. Gratis og uforpliktende.

Med landskode, for eksempel +47.

Vi bruker opplysningene deres bare til å svare dere. Personvernerklæring

Beskyttet mot automatiske avsendere med Google reCAPTCHA. Googles personvernregler (åpnes i et nytt vindu) Googles vilkår for bruk (åpnes i et nytt vindu)

Eller kontakt oss direkte

Skriv til oss office@disruptivelab.dev
Ring oss +420 777 702 032

Vi kommuniserer helst på engelsk.

Alle kontaktopplysninger og adresser