Testa leverantörens chatbot före lansering
En chatbot på er webbplats är en dörr in i era system, och därför förtjänar den samma acceptanstest som all annan programvara ni köper, plus några egna tester.
- Publicerad
- Uppdaterad
- Lästid
- 7 min läsning
- Redaktör
- David Lahuta
Kort sagt
En AI-chatbot på er webbplats är programvara som vem som helst kan prata med. Testa den på samma sätt som en angripare skulle göra innan den går live. I ett fall som publicerades i december 2025 fick forskare ett stort företags chatbot att ta sig förbi sina säkerhetskontroller, avslöja sina dolda instruktioner och returnera kod som kördes i användarens webbläsare.1 Orsakerna var vanliga brister i webbapplikationer, och rapporten som skickades via företagets kanal för säkerhetsrapporter blev obesvarad i flera veckor.1 Innan ni godkänner en chatbot bör ni testa vad den avslöjar, vad den kan göra och vems data den kommer åt, och kräva skriftligt av leverantören loggar, säkerhetsuppdateringar och en rapporteringskanal som fungerar.23
Vad gick fel i Eurostar-fallet?
Den 22 december 2025 publicerade säkerhetsföretaget Pen Test Partners en redogörelse för hur det hade hittat fyra brister i den publika AI-chatboten hos tågoperatören Eurostar.1 Forskaren kom i kontakt med chatboten som vanlig kund under planeringen av en resa och testade den inom ramen för de regler som företaget publicerat för rapportering av säkerhetsbrister.1
Det forskarna beskriver är en lösning som såg rätt ut men inte upprätthölls i praktiken.
- Säkerhetskontrollen tittade bara på det senaste meddelandet. Vid varje nytt meddelande skickade sidan hela konversationen tillbaka till servern, och servern kontrollerade bara det nyaste.1 Äldre meddelanden kunde ändras i webbläsaren och skickades sedan vidare till AI-modellen som betrodd kontext.1 Med forskarnas ord syntes skyddslagret på skärmen, men på servern var det dåligt upprätthållet.1
- De dolda instruktionerna kom fram. När kontrollen väl var passerad fick forskaren modellen att uppge vilken modell den var och avslöja sin systemprompt, alltså de dolda instruktioner som talar om för boten hur den ska bete sig, bland annat hur den byggde länkarna i sina svar.1
- Svaren kunde bära kod. Botens svar visades i chattfönstret utan att rensas, så den kunde fås att returnera kod som användarens webbläsare sedan körde.1
- Konversationsnummer kontrollerades inte. Servern accepterade konversations- och meddelandenummer så enkla som ”1” eller ”hello”.1
Forskarna försökte inte komma åt andra användares konversationer, och de skriver att injektionen inte exponerade andra användares data.1 De bedömde bristerna som inte särskilt allvarliga eftersom chatboten då kunde göra väldigt lite, och varnade för att fler funktioner skulle kunna exponera personuppgifter.1
Den andra halvan av historien handlar om rapporteringskanalen. Den första rapporten skickades den 11 juni 2025 och en påminnelse den 18 juni, och ingen av dem besvarades.1 En kollega kontaktade företagets säkerhetschef den 7 juli, och den 31 juli fick de beskedet att rapporten inte fanns registrerad.1 Under tiden hade rapporteringskanalen lämnats över till en extern leverantör och den gamla avvecklats.1 Förfrågningar om en bekräftelse eller en tidplan för åtgärderna blev obesvarade.1 Bristerna åtgärdades till slut, och forskarna skriver att de fortfarande inte vet om alla problem åtgärdades helt.1
Deras egen lärdom är kort. Gamla svagheter i webbapplikationer och API:er gäller fortfarande när en AI-modell är inblandad.1
Varför räcker det inte att säga åt en chatbot hur den ska bete sig?
Därför att instruktionerna och besökarens text når modellen i samma ström. OWASP Top 10 for LLM Applications 2026, säkerhetsvärldens lista över de största riskerna i system byggda på AI-språkmodeller, sätter promptinjektion (prompt injection) överst.2 Promptinjektion är text som ändrar vad modellen gör på ett sätt som den som byggde den inte avsåg.2
Listan säger det rakt ut. Det finns i dag inget tillförlitligt sätt att förhindra promptinjektion, så systemet runt modellen bör utformas utifrån antagandet att dess instruktioner kommer att kringgås, och bör begränsa vad modellen får göra.2 Instruktionerna behöver inte heller komma från besökaren. De kan gömma sig i en webbsida, ett dokument eller ett e-postmeddelande som boten läser.2
För en köpare ändrar det frågan. Frågan är inte om boten kan luras. Frågan är vad som händer när den väl luras.
Vad ska ni testa innan chatboten går live?
Testa de risker som en publik chatbot faktiskt utsätts för. Tabellen följer OWASP-listan och fynden i Eurostar-fallet, med enkla ord.12
| Vad som testas | Vad testaren försöker | Hur ett godkänt resultat ser ut |
|---|---|---|
| Instruktioner gömda i indata | att övertala boten att bryta sina regler, direkt eller via ett dokument eller en sida som den läser2 | boten kan säga konstiga saker, men den kan inte göra eller avslöja något som den inte ska |
| Säkerhetskontrollen | att ändra tidigare meddelanden eller kringgå kontrollen från webbläsaren1 | varje kontroll körs på servern, för hela konversationen |
| De dolda instruktionerna | att få boten att avslöja dem2 | de innehåller inga lösenord, nycklar eller regler som skyddar något2 |
| Andras data | att komma åt en annan konversation eller en annan kunds uppgifter12 | konversationsnummer kommer från servern och är knutna till besökarens session1 |
| Kod i svaren | att få boten att returnera kod som körs i webbläsaren12 | varje svar visas som ren text eller rensas innan det visas12 |
| Vad boten kan göra | att få den att agera utanför sin uppgift, till exempel skicka ett e-postmeddelande eller ändra en order2 | den har bara de funktioner och behörigheter som uppgiften kräver2 |
| Fakturan | att få den att köra långa, dyra svar i en slinga2 | ett fast kostnadstak och en gräns per besökare är satta2 |
Två av punkterna är värda en närmare titt.
De dolda instruktionerna är ingen hemlighet. OWASP uppmanar den som bygger systemet att utgå från att de kan upptäckas, att aldrig lägga lösenord eller nycklar i dem och att aldrig använda dem som den enda säkerhetsbarriären.2 Godkänt är inte en bot som vägrar att avslöja dem. Godkänt är en bot där det inte gör någon skada om de avslöjas.
Boten ska kunna göra så lite som möjligt. OWASP kallar risken excessive agency, en bot som kan göra mer än den borde, och nämner tre orsaker, för många funktioner, för många behörigheter och för stor frihet att agera på egen hand.2 Motåtgärderna är att boten bara har de verktyg som uppgiften kräver och så få behörigheter som möjligt, att åtgärder körs med behörigheterna hos den användare som frågade och att en människa godkänner allt med stor påverkan.2 Listans eget exempel är en supportchatbot som på egen hand får göra återbetalningar som tillgodohavande i butiken, medan utbetalningar av pengar hanteras av en människa.2
Vem ska testa?
Någon som inte byggde den och som får veta hur försvaret fungerar. OWASP rekommenderar tester med angripare som känner till försvaret, inte bara med en fast uppsättning kända attacker.2 Den forskning som listan hänvisar till prövade tolv nya försvar, där de flesta hade rapporterat att attacker nästan aldrig gick igenom, och angripare som anpassade sin metod lyckades i över 90 % av fallen mot de flesta av dem.2
Forskarna bakom Eurostar-fallet tillägger att testning inte är en engångsinsats, och rekommenderar att chatboten testas regelbundet med kända tekniker för injektion och återuppspelning av konversationer.1 Enligt vår bedömning är leverantörens egen testrapport en bra början, och ett oberoende test före lansering är det steg som ger acceptanstestet verklig betydelse.
Vad ska ni kräva skriftligt av leverantören?
Secure by Demand Guide, som de amerikanska myndigheterna CISA och FBI gav ut 2024, ger köpare frågor att ställa före köpet, krav att skriva in i avtalet och kontroller att göra efteråt.3 Den säger också att frågorna även kan ställas till återförsäljare och tjänsteleverantörer, så den passar också för en chatbot som köps via en byrå eller som tjänst.3 Tillsammans med lärdomarna från Eurostar-fallet1 är det här de punkter vi skulle vilja ha skriftligt.
- En rapporteringskanal som fungerar. En publicerad policy för rapportering av sårbarheter på en offentlig webbsida, som tillåter allmänheten att testa.3 Därtill vem som läser rapporterna och vad som händer med dem när kanalen byter ägare.1
- Ett svar och en tidplan. Forskarnas förfrågningar om bekräftelse och en tidplan för åtgärderna blev obesvarade.1 Skriv in i avtalet hur snabbt en säkerhetsrapport ska bekräftas och hur snabbt en allvarlig brist ska åtgärdas.
- Loggar som ni kan läsa. Säkerhetsloggar som ingår redan i grundversionen, för en molntjänst sparade i minst sex månader utan extra kostnad, och som omfattar konfigurationsändringar, inloggningar och åtkomst till data.3 För en chatbot lägger forskarna till en logg över varje konversation som gör det möjligt att rekonstruera den, inklusive säkerhetsbesluten och de verktyg som modellen använde, med larm vid ovanliga mönster.1
- Ett sätt att stänga av den. En nödbrytare som snabbt stänger av chatboten eller en av dess funktioner.1
- Uppdateringar som är lätta att installera. Hur leverantören gör det enkelt att installera säkerhetsuppdateringar.3
- Vad den är byggd av. En förteckning över tredjepartskomponenterna i produkten, en så kallad programvaruförteckning (SBOM).3
- Säker inloggning för er personal. Enkel inloggning (SSO) och flerfaktorsautentisering för dem som administrerar chatboten, utan extra kostnad.3
Checklista för acceptanstest av en chatbot
- Varje säkerhetskontroll körs på servern, för hela konversationen, inte bara för det senaste meddelandet.
- Konversations- och meddelandenummer kommer från servern och är knutna till besökarens session.
- Svaren visas som ren text eller rensas innan de visas.
- De dolda instruktionerna innehåller inga lösenord, nycklar eller regler som skyddar något.
- Boten har bara de funktioner, data och behörigheter som uppgiften kräver, och en människa godkänner allt med stor påverkan.
- Ett kostnadstak och en gräns per besökare är satta.
- Någon som inte byggde boten har testat den som en angripare skulle göra, och kommer att testa den igen.
- Varje konversation loggas, och ni kan läsa loggarna.
- Leverantören har en publik kanal för säkerhetsrapporter, en namngiven person som läser den och avtalade tider för svar och åtgärd.
- Ni kan själva stänga av chatboten, omedelbart.
Nästa steg
Om det skulle vara till hjälp kan vi ta ett kort samtal och gå igenom acceptanstestet för den chatbot ni köper, punkt för punkt, med leverantörens svar framför oss. Vad ni gör med det efteråt är ert beslut.
Källor
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Läst 17 november 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Läst 17 november 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Läst 17 november 2026
Ändringslogg
- Publicerad.