Test leverandørens chatbot før lancering
En chatbot på jeres website er en dør ind til jeres systemer, så den fortjener den samme accepttest som al anden software, I køber, og et par test, der kun gælder for den.
- Udgivet
- Opdateret
- Læsetid
- 7 min. læsning
- Redaktør
- David Lahuta
Kort fortalt
En AI-chatbot på jeres website er software, som fremmede kan tale med. Test den, som en angriber ville gøre, før den går i luften. I en sag, der blev offentliggjort i december 2025, fik forskere en stor virksomheds chatbot forbi dens sikkerhedskontrol, fik den til at afsløre sine skjulte instruktioner og til at returnere kode, der kørte i brugerens browser.1 Årsagerne var almindelige websårbarheder, og indberetningen via virksomhedens kanal for sikkerhedshenvendelser forblev ubesvaret i ugevis.1 Før I godkender en chatbot, bør I teste, hvad den afslører, hvad den kan gøre, og hvis data den kan nå, og bede leverandøren om logning, rettelser og en kanal for indberetninger, der virker, på skrift.23
Hvad gik galt i Eurostar-sagen?
Den 22. december 2025 offentliggjorde sikkerhedsfirmaet Pen Test Partners, hvordan det havde fundet fire sårbarheder i den offentlige AI-chatbot hos togoperatøren Eurostar.1 Forskeren stødte på chatbotten som en helt almindelig kunde, der planlagde en rejse, og testede den inden for virksomhedens offentliggjorte regler for indberetning af sikkerhedsfejl.1
Det, forskerne beskriver, er et design, der så rigtigt ud, men som ikke blev håndhævet.
- Sikkerhedskontrollen så kun på den seneste besked. Ved hver ny besked sendte siden hele samtalen tilbage til serveren, og serveren kontrollerede kun den nyeste.1 Ældre beskeder kunne ændres i browseren og gik videre til AI-modellen som betroet kontekst.1 Med forskernes ord viste skærmen sikkerhedslaget, men håndhævelsen på serveren var svag.1
- De skjulte instruktioner slap ud. Da kontrollen var omgået, fik forskeren modellen til at oplyse sit modelnavn og sin systemprompt, de skjulte instruktioner, der fortæller botten, hvordan den skal opføre sig, herunder hvordan den byggede linkene i sine svar.1
- Svarene kunne indeholde kode. Bottens svar blev vist i chatvinduet uden at blive renset, så man kunne få den til at returnere kode, som brugerens browser derefter kørte.1
- Samtalenumre blev ikke kontrolleret. Serveren accepterede samtale- og beskednumre så simple som »1« eller »hello«.1
Forskerne forsøgte ikke at få adgang til andre brugeres samtaler, og de skriver, at injektionen ikke afslørede andre brugeres data.1 De vurderede sårbarhederne som mindre alvorlige, fordi chatbotten på det tidspunkt kunne meget lidt, og advarede om, at flere funktioner kunne afsløre personoplysninger.1
Anden halvdel af historien handler om kanalen for indberetninger. Den første indberetning blev sendt den 11. juni 2025 og en opfølgning den 18. juni, og ingen af dem blev besvaret.1 En kollega kontaktede virksomhedens sikkerhedschef den 7. juli, og den 31. juli fik de at vide, at der ikke fandtes nogen registrering af indberetningen.1 I mellemtiden var kanalen overdraget til en ekstern leverandør, og den gamle var nedlagt.1 Anmodninger om en bekræftelse af modtagelsen eller en tidsplan for rettelsen forblev ubesvarede.1 Sårbarhederne blev til sidst rettet, og forskerne skriver, at de stadig ikke ved, om alle problemer blev rettet fuldt ud.1
Deres egen konklusion er kort. De gamle svagheder i web og API'er gælder stadig, når der er en AI-model i kæden.1
Hvorfor kan man ikke bare bede en chatbot om at opføre sig ordentligt?
Fordi instruktionerne og den besøgendes tekst når modellen i samme strøm. OWASP Top 10 for LLM Applications 2026, sikkerhedsmiljøets liste over de vigtigste risici ved systemer bygget på AI-sprogmodeller, sætter promptinjektion øverst.2 Promptinjektion er tekst, der ændrer, hvad modellen gør, på en måde, dens udvikler ikke havde tilsigtet.2
Listen siger det ligeud. Der findes i dag ingen pålidelig måde at forhindre promptinjektion på, så systemet omkring modellen bør designes ud fra, at dens instruktioner vil blive omgået, og bør begrænse, hvad modellen må gøre.2 Instruktionerne behøver heller ikke komme fra den besøgende. De kan gemme sig på en webside, i et dokument eller i en e-mail, som botten læser.2
For en køber ændrer det spørgsmålet. Spørgsmålet er ikke, om botten kan narres. Det er, hvad der sker, når den bliver det.
Hvad skal I teste, før chatbotten går i luften?
Test de risici, en offentlig chatbot faktisk udsættes for. Tabellen følger OWASP-listen og fundene i Eurostar-sagen, forklaret i et enkelt sprog.12
| Hvad der testes | Hvad testeren forsøger | Hvad der tæller som bestået |
|---|---|---|
| Instruktioner gemt i input | at overtale botten til at bryde sine regler, direkte eller via et dokument eller en side, den læser2 | botten kan sige mærkelige ting, men den kan ikke gøre eller afsløre noget, den ikke må |
| Sikkerhedskontrollen | at ændre tidligere beskeder eller omgå kontrollen fra browseren1 | hver kontrol kører på serveren, for hele samtalen |
| De skjulte instruktioner | at få botten til at afsløre dem2 | de indeholder ingen adgangskoder, nøgler eller regler, der beskytter noget2 |
| Andre personers data | at nå en anden samtale eller en anden kundes oplysninger12 | samtalenumre kommer fra serveren og er knyttet til den besøgendes session1 |
| Kode i svarene | at få botten til at returnere kode, der kører i browseren12 | hvert svar vises som ren tekst eller renses, før det vises12 |
| Hvad botten kan gøre | at få den til at handle uden for sin opgave, fx sende en e-mail eller ændre en ordre2 | den har kun de funktioner og rettigheder, opgaven kræver2 |
| Regningen | at få den til at generere lange, dyre svar i en løkke2 | der er sat et fast loft over udgifterne og en grænse pr. besøgende2 |
To af punkterne er værd at se nærmere på.
De skjulte instruktioner er ikke en hemmelighed. OWASP råder udviklere til at gå ud fra, at de kan blive opdaget, og aldrig at lægge adgangskoder eller nøgler i dem eller bruge dem som den eneste sikkerhedsbarriere.2 At bestå betyder ikke, at botten nægter at afsløre dem. Det betyder, at det ikke gør skade, hvis de bliver afsløret.
Botten skal kunne så lidt som muligt. OWASP kalder risikoen »excessive agency«, en bot, der kan mere, end den bør, og nævner tre årsager, nemlig for mange funktioner, for mange rettigheder og for stor frihed til at handle på egen hånd.2 Løsningen er kun de værktøjer, opgaven kræver, så få rettigheder som muligt, handlinger udført med rettighederne hos den bruger, der bad om dem, og et menneske, der godkender alt med store konsekvenser.2 OWASP's eget eksempel er en supportchatbot, der selv må give en refusion som tilgodebevis, mens en udbetaling af penge overlades til et menneske.2
Hvem bør stå for testen?
En, der ikke har bygget chatbotten, og som får at vide, hvordan forsvaret virker. OWASP anbefaler at teste mod angribere, der kender forsvaret, og ikke kun med et fast sæt kendte angreb.2 Den forskning, OWASP henviser til, undersøgte tolv nyere forsvarsmetoder, hvoraf de fleste havde rapporteret, at angreb næsten aldrig slap igennem, og angribere, der tilpassede deres metode, lykkedes i over 90 % af tilfældene mod de fleste af dem.2
Forskerne bag Eurostar-sagen tilføjer, at test ikke er en engangsopgave, og anbefaler at teste chatbotten regelmæssigt med kendte injektions- og replayteknikker.1 Efter vores vurdering er leverandørens egen testrapport en god begyndelse, og en uafhængig test før lancering er det skridt, der giver godkendelsen reel betydning.
Hvad skal I have skriftligt fra leverandøren?
Secure by Demand Guide, som de amerikanske myndigheder CISA og FBI udgav i 2024, giver købere spørgsmål at stille før købet, krav at skrive ind i kontrakten og kontroller at foretage bagefter.3 Ifølge vejledningen kan spørgsmålene også bruges over for forhandlere og tjenesteudbydere, så den passer lige så godt til en chatbot købt gennem et bureau eller som en tjeneste.3 Sammenholdt med erfaringerne fra Eurostar-sagen1 er det disse punkter, vi ville have på skrift.
- En kanal for indberetninger, der virker. En politik for indberetning af sårbarheder, offentliggjort på en offentlig webside, som giver offentligheden lov til at teste.3 Dernæst hvem der læser indberetningerne, og hvad der sker med dem, når kanalen skifter hænder.1
- Et svar og en tidsplan. Forskernes anmodninger om en kvittering og en tidsplan for rettelsen forblev ubesvarede.1 Aftal i kontrakten, hvor hurtigt modtagelsen af en sikkerhedsindberetning bekræftes, og hvor hurtigt en alvorlig sårbarhed rettes.
- Logfiler, I kan læse. Sikkerhedslogning i grundversionen, for en cloudtjeneste med opbevaring i mindst seks måneder uden merpris, og omfattende ændringer i konfigurationen, logins og adgang til data.3 For en chatbot tilføjer forskerne en registrering af hver samtale, så den kan genskabes, herunder sikkerhedsbeslutningerne og de værktøjer, modellen brugte, med alarmer ved usædvanlige mønstre.1
- En måde at slukke den på. En nødafbryder, der hurtigt slår chatbotten eller en af dens funktioner fra.1
- Rettelser, der er nemme at installere. Hvordan leverandøren gør sikkerhedsrettelser enkle at installere.3
- Hvad den er bygget af. En liste over tredjepartskomponenterne i produktet, en såkaldt softwarestykliste (SBOM).3
- Sikkert login for jeres medarbejdere. Single sign-on og flerfaktorgodkendelse for dem, der administrerer chatbotten, uden ekstra omkostninger.3
Tjekliste til accepttest af en chatbot
- Hver sikkerhedskontrol kører på serveren, for hele samtalen, ikke kun den seneste besked.
- Samtale- og beskednumre kommer fra serveren og er knyttet til den besøgendes session.
- Svar vises som ren tekst eller renses, før de vises.
- De skjulte instruktioner indeholder ingen adgangskoder, nøgler eller regler, der beskytter noget.
- Botten har kun de funktioner, data og rettigheder, dens opgave kræver, og et menneske godkender alt med store konsekvenser.
- Der er sat et loft over udgifterne og en grænse pr. besøgende.
- En, der ikke har bygget botten, har testet den, som en angriber ville, og vil teste den igen.
- Hver samtale registreres, og I kan læse registreringerne.
- Leverandøren har en offentlig kanal for sikkerhedsindberetninger, en navngiven person, der læser den, og aftalte frister for svar og rettelser.
- I kan selv slukke chatbotten med det samme.
Næste skridt
Hvis det kan være en hjælp, tager vi gerne en kort samtale med jer, hvor vi gennemgår accepttesten for den chatbot, I køber, punkt for punkt, med jeres leverandørs svar foran os. Hvad I bruger det til bagefter, er jeres beslutning.
Kilder
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Læst den 17. november 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Læst den 17. november 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Læst den 17. november 2026
Ændringslog
- Offentliggjort.