Naar de inhoud
Disruptive Lab

Gids Inkoop en leveranciers

Een ingekochte chatbot testen vóór livegang

Een chatbot op uw website is een deur naar uw systemen, dus verdient hij dezelfde acceptatietest als alle andere software die u inkoopt, plus een paar eigen tests.

Gepubliceerd
Bijgewerkt
Leestijd
8 min leestijd
Redacteur
David Lahuta

In het kort

Een AI-chatbot op uw website is software waarmee vreemden kunnen praten. Test hem zoals een aanvaller dat zou doen, voordat hij live gaat. In een zaak die in december 2025 werd gepubliceerd, wisten onderzoekers de chatbot van een groot bedrijf langs zijn veiligheidscontroles te krijgen en lieten ze hem zijn verborgen instructies prijsgeven en code teruggeven die in de browser van de gebruiker werd uitgevoerd.1 De oorzaken waren gewone webfouten, en de melding via het meldkanaal van het bedrijf bleef wekenlang onbeantwoord.1 Test voordat u een chatbot accepteert, wat hij prijsgeeft, wat hij kan doen en bij wiens gegevens hij kan komen, en vraag de leverancier schriftelijk om logboeken, beveiligingsupdates en een meldkanaal dat werkt.23

Wat ging er mis bij Eurostar?

Op 22 december 2025 publiceerde het beveiligingsbedrijf Pen Test Partners hoe het vier kwetsbaarheden had gevonden in de openbare AI-chatbot van Eurostar, de treinvervoerder.1 De onderzoeker stuitte op de chatbot als gewone klant die een reis plande, en testte hem binnen het gepubliceerde beleid van het bedrijf voor het melden van beveiligingslekken (responsible disclosure).1

Wat de onderzoekers beschrijven, is een ontwerp dat er goed uitzag maar niet werd afgedwongen.

  • De veiligheidscontrole keek alleen naar het laatste bericht. Bij elk nieuw bericht stuurde de pagina het hele gesprek terug naar de server, en de server controleerde alleen het nieuwste.1 Oudere berichten konden in de browser worden aangepast en gingen als vertrouwde context naar het AI-model.1 In de woorden van de onderzoekers toonde het scherm de beveiligingslaag, maar werd die op de server slechts zwak afgedwongen.1
  • De verborgen instructies kwamen naar buiten. Eenmaal voorbij de controle kreeg de onderzoeker het model zover dat het zijn modelnaam en zijn systeemprompt prijsgaf, de verborgen instructies die de bot vertellen hoe hij zich moet gedragen, inclusief hoe hij de links in zijn antwoorden opbouwde.1
  • De antwoorden konden code bevatten. De antwoorden van de bot werden zonder opschoning in het chatvenster getoond, zodat de bot code kon teruggeven die de browser van de gebruiker vervolgens uitvoerde.1
  • Gespreksnummers werden niet gecontroleerd. De server accepteerde gespreks- en berichtnummers zo eenvoudig als “1” of “hello”.1

De onderzoekers hebben niet geprobeerd bij de gesprekken van andere gebruikers te komen, en schrijven dat de injectie geen gegevens van andere gebruikers blootlegde.1 Zij beoordeelden de kwetsbaarheden als niet erg ernstig, omdat de chatbot op dat moment weinig kon, en waarschuwden dat meer functies persoonsgegevens zouden kunnen blootleggen.1

De tweede helft van het verhaal gaat over het meldkanaal. De eerste melding ging op 11 juni 2025 de deur uit en een herinnering op 18 juni, en op geen van beide kwam antwoord.1 Een collega benaderde op 7 juli het hoofd beveiliging van het bedrijf, en op 31 juli kregen ze te horen dat er van de melding niets bekend was.1 Intussen was het meldkanaal overgedragen aan een externe partij en het oude opgeheven.1 Verzoeken om een ontvangstbevestiging of een tijdpad voor de oplossing bleven onbeantwoord.1 De kwetsbaarheden werden uiteindelijk verholpen, en de onderzoekers schrijven dat ze nog altijd niet weten of elk probleem volledig is opgelost.1

Hun eigen conclusie is kort. De oude zwakke plekken van web en API's gelden nog steeds als er een AI-model tussen zit.1

Waarom kunt u een chatbot niet gewoon opdragen zich netjes te gedragen?

Omdat de instructies en de tekst van de bezoeker het model via dezelfde stroom bereiken. De OWASP Top 10 for LLM Applications 2026, de lijst van de beveiligingsgemeenschap met de belangrijkste risico's van systemen die op AI-taalmodellen zijn gebouwd, zet prompt injection op de eerste plaats.2 Prompt injection is tekst die verandert wat het model doet, op een manier die de bouwer niet bedoelde.2

De lijst is er duidelijk over. Er bestaat op dit moment geen betrouwbare manier om prompt injection te voorkomen, dus moet het systeem rond het model worden ontworpen in de veronderstelling dat de instructies omzeild zullen worden, en moet het beperken wat het model mag doen.2 De instructies hoeven ook niet van de bezoeker te komen. Ze kunnen verstopt zitten in een webpagina, een document of een e-mail die de bot leest.2

Voor een koper verandert dat de vraag. De vraag is niet of de bot te misleiden is. De vraag is wat er gebeurt als dat lukt.

Wat moet u testen voordat de chatbot live gaat?

Test de risico's die een openbare chatbot werkelijk tegenkomt. De tabel volgt de OWASP-lijst en de bevindingen bij Eurostar, in gewone woorden.12

Wat u test Wat de tester probeert Hoe een geslaagde test eruitziet
Instructies verstopt in de invoer de bot zijn regels uit het hoofd praten, rechtstreeks of via een document of pagina die hij leest2 de bot zegt misschien vreemde dingen, maar kan niets doen of prijsgeven wat niet mag
De veiligheidscontrole eerdere berichten wijzigen of de controle vanuit de browser omzeilen1 elke controle draait op de server, voor het hele gesprek
De verborgen instructies de bot ze laten prijsgeven2 ze bevatten geen wachtwoorden, sleutels of regels die iets beschermen2
Gegevens van anderen bij een ander gesprek of de gegevens van een andere klant komen12 gespreksnummers komen van de server en zijn gekoppeld aan de sessie van de bezoeker1
Code in de antwoorden de bot code laten teruggeven die in de browser wordt uitgevoerd12 elk antwoord wordt als platte tekst getoond, of opgeschoond voordat het wordt getoond12
Wat de bot kan doen hem buiten zijn taak laten handelen, bijvoorbeeld een e-mail versturen of een bestelling wijzigen2 hij heeft alleen de functies en rechten die de taak vraagt2
De rekening hem lange, dure antwoorden in een lus laten genereren2 er is een harde bestedingslimiet en een limiet per bezoeker ingesteld2

Twee daarvan verdienen meer aandacht.

De verborgen instructies zijn geen geheim. OWASP raadt bouwers aan ervan uit te gaan dat ze te achterhalen zijn, er nooit wachtwoorden of sleutels in te zetten en ze nooit als enige beveiligingsdrempel te gebruiken.2 Geslaagd is niet de bot die weigert ze prijs te geven. Geslaagd is de bot waarbij het prijsgeven ervan geen kwaad kan.

De bot moet zo weinig mogelijk kunnen. OWASP noemt het risico excessive agency, een bot die meer kan dan zou moeten, en wijst drie oorzaken aan, te veel functies, te veel rechten en te veel vrijheid om zelfstandig te handelen.2 De maatregelen die OWASP noemt, zijn alleen de tools die de taak vraagt, zo min mogelijk rechten, acties die worden uitgevoerd met de rechten van de gebruiker die erom vroeg, en een mens die alles goedkeurt wat grote gevolgen heeft.2 Het eigen voorbeeld van OWASP is een klantenservicechatbot die zelf een terugbetaling in de vorm van tegoed mag toekennen, terwijl een uitbetaling in geld naar een medewerker gaat.2

Wie moet het testen?

Iemand die de chatbot niet heeft gebouwd en die te horen krijgt hoe de verdediging werkt. OWASP adviseert te testen tegen aanvallers die de verdediging kennen, en niet alleen met een vaste set bekende aanvallen.2 Het onderzoek waarnaar de lijst verwijst, nam twaalf recente verdedigingen onder de loep. De meeste daarvan hadden gemeld dat aanvallen er bijna nooit doorheen kwamen, en aanvallers die hun methode aanpasten, slaagden tegen de meeste ervan in meer dan 90% van de gevallen.2

De onderzoekers van de Eurostar-zaak voegen eraan toe dat testen geen eenmalige klus is, en adviseren de chatbot regelmatig te testen met bekende technieken voor injectie en het opnieuw afspelen van verzoeken.1 Wat ons betreft is het testrapport van de leverancier zelf een goed begin, en is een onafhankelijke test vóór de livegang de stap waardoor de acceptatie ook echt iets zegt.

Wat vraagt u de leverancier schriftelijk?

De Secure by Demand Guide uit 2024 van de Amerikaanse overheidsdiensten CISA en FBI geeft kopers vragen om vóór de aankoop te stellen, eisen om in het contract op te nemen en controles om achteraf uit te voeren.3 De gids zegt ook dat de vragen te gebruiken zijn bij wederverkopers en dienstverleners, dus hij past ook bij een chatbot die u bij een bureau of als dienst afneemt.3 Samen met de lessen van de Eurostar-zaak1 zijn dit de punten die wij zwart op wit zouden willen hebben.

  • Een meldkanaal dat werkt. Een gepubliceerd beleid voor het melden van kwetsbaarheden op een openbare webpagina, waarin het publiek toestemming krijgt om te testen.3 Daarnaast wie de meldingen leest, en wat ermee gebeurt als het kanaal van eigenaar wisselt.1
  • Een antwoord en een tijdpad. De verzoeken van de onderzoekers om een ontvangstbevestiging en een tijdpad voor de oplossing bleven onbeantwoord.1 Leg in het contract vast hoe snel een beveiligingsmelding wordt bevestigd en hoe snel een ernstige kwetsbaarheid wordt verholpen.
  • Logboeken die u kunt lezen. Beveiligingslogboeken in de basisversie, bij een clouddienst minstens zes maanden bewaard zonder extra kosten, met wijzigingen in de configuratie, aanmeldingen en toegang tot gegevens.3 Voor een chatbot raden de onderzoekers daarnaast aan elk gesprek zo vast te leggen dat u het kunt reconstrueren, inclusief de veiligheidsbeslissingen en de tools die het model gebruikte, met meldingen bij ongebruikelijke patronen.1
  • Een manier om hem uit te zetten. Een noodschakelaar die de chatbot of een van zijn functies snel uitschakelt.1
  • Updates die eenvoudig te installeren zijn. Hoe de leverancier ervoor zorgt dat beveiligingsupdates eenvoudig te installeren zijn.3
  • Waar het uit bestaat. Een lijst van de componenten van derden in het product, een zogeheten software bill of materials (SBOM).3
  • Veilig aanmelden voor uw medewerkers. Single sign-on en multifactorauthenticatie (MFA) voor de mensen die de chatbot beheren, zonder extra kosten.3

Checklist voor de acceptatie van een chatbot

  • Elke veiligheidscontrole draait op de server, voor het hele gesprek, niet alleen voor het laatste bericht.
  • Gespreks- en berichtnummers komen van de server en zijn gekoppeld aan de sessie van de bezoeker.
  • Antwoorden worden als platte tekst getoond, of opgeschoond voordat ze worden getoond.
  • De verborgen instructies bevatten geen wachtwoorden, sleutels of regels die iets beschermen.
  • De bot heeft alleen de functies, gegevens en rechten die zijn taak vraagt, en een mens keurt alles goed wat grote gevolgen heeft.
  • Er zijn een bestedingslimiet en een limiet per bezoeker ingesteld.
  • Iemand die de bot niet heeft gebouwd, heeft hem getest zoals een aanvaller dat zou doen, en doet dat later opnieuw.
  • Elk gesprek wordt vastgelegd, en u kunt die gegevens inzien.
  • De leverancier heeft een openbaar kanaal voor beveiligingsmeldingen, een vaste contactpersoon die het leest, en afgesproken termijnen voor antwoord en herstel.
  • U kunt de chatbot zelf en direct uitzetten.

Volgende stap

Als u dat nuttig vindt, kunnen we in een kort gesprek de acceptatietest voor de chatbot die u inkoopt punt voor punt doorlopen, met de antwoorden van uw leverancier erbij. Wat u er daarna mee doet, beslist u zelf.

Zakelijke AI-oplossing

Bronnen

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Gelezen op 17 november 2026
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Gelezen op 17 november 2026
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Gelezen op 17 november 2026

Wijzigingsgeschiedenis

  1. Gepubliceerd.

Laten we over uw project praten

Laat uw contactgegevens achter, dan stellen we u een datum voor. Gratis en vrijblijvend.

Met landnummer, bijvoorbeeld +31.

We gebruiken uw gegevens alleen om u antwoord te geven. Privacyverklaring

Door Google reCAPTCHA beschermd tegen geautomatiseerde inzendingen. Privacybeleid van Google (opent in een nieuw venster) Servicevoorwaarden van Google (opent in een nieuw venster)

Of neem direct contact met ons op

Mail ons office@disruptivelab.dev
Bel ons +420 777 702 032

Onze voorkeurstaal voor communicatie is Engels.

Alle contactgegevens en adressen