Ratgeber Einkauf und Dienstleister
Abnahmetest für einen zugekauften Chatbot
Ein Chatbot auf Ihrer Website ist eine Tür in Ihre Systeme und verdient deshalb dieselbe Abnahme wie jede andere gekaufte Software und dazu einige eigene Tests.
- Veröffentlicht
- Aktualisiert
- Lesezeit
- 8 Min. Lesezeit
- Verantwortlicher Redakteur
- David Lahuta
Kurz gesagt
Ein KI-Chatbot auf Ihrer Website ist Software, mit der sich Fremde unterhalten können. Testen Sie ihn vor dem Start so, wie es ein Angreifer tun würde. In einem im Dezember 2025 veröffentlichten Fall umgingen Forscher die Sicherheitsprüfungen des Chatbots eines grossen Unternehmens und brachten ihn dazu, seine verborgenen Anweisungen preiszugeben und Code zurückzugeben, der im Browser des Nutzers ausgeführt wurde.1 Die Ursachen waren gewöhnliche Webschwachstellen, und die Meldung über den Meldekanal des Unternehmens blieb wochenlang unbeantwortet.1 Bevor Sie einen Chatbot abnehmen, testen Sie, was er preisgibt, was er tun kann und an wessen Daten er herankommt, und lassen Sie sich vom Anbieter Protokolle, Fehlerbehebungen und einen funktionierenden Meldekanal schriftlich zusichern.23
Was lief im Fall Eurostar schief?
Am 22. Dezember 2025 veröffentlichte die Sicherheitsfirma Pen Test Partners, wie sie im öffentlichen KI-Chatbot des Bahnunternehmens Eurostar vier Schwachstellen gefunden hatte.1 Der Forscher war als gewöhnlicher Kunde bei der Reiseplanung auf den Chatbot gestossen und testete ihn im Rahmen der Regeln, die das Unternehmen für die Meldung von Sicherheitslücken veröffentlicht hatte.1
Die Forscher beschreiben ein Konzept, das richtig aussah, aber technisch nicht durchgesetzt wurde.
- Die Sicherheitsprüfung sah nur die letzte Nachricht an. Mit jeder neuen Nachricht schickte die Seite den gesamten Gesprächsverlauf an den Server, und der Server prüfte nur die neueste.1 Ältere Nachrichten liessen sich im Browser verändern und gingen als vertrauenswürdiger Kontext an das KI-Modell.1 Wie die Forscher es formulieren, war die Schutzschicht auf dem Bildschirm sichtbar, auf dem Server aber nur schwach durchgesetzt.1
- Die verborgenen Anweisungen kamen ans Licht. Nachdem die Prüfung umgangen war, brachte der Forscher das Modell dazu, seinen Modellnamen und seinen Systemprompt preiszugeben, also die verborgenen Anweisungen, die dem Bot sagen, wie er sich verhalten soll, einschliesslich der Art, wie er die Links in seinen Antworten zusammensetzte.1
- Die Antworten konnten Code enthalten. Die Antworten des Bots wurden ungefiltert im Chatfenster angezeigt, sodass man ihn dazu bringen konnte, Code zurückzugeben, den der Browser des Nutzers dann ausführte.1
- Gesprächsnummern wurden nicht geprüft. Der Server akzeptierte Gesprächs- und Nachrichtennummern, die so einfach waren wie „1“ oder „hello“.1
Die Forscher haben nicht versucht, auf die Gespräche anderer Nutzer zuzugreifen, und schreiben, dass die eingeschleusten Anweisungen keine Daten anderer Nutzer offengelegt haben.1 Sie stuften die Schwachstellen als wenig gravierend ein, weil der Chatbot damals wenig konnte, und warnten, dass mit weiteren Funktionen personenbezogene Daten offengelegt werden könnten.1
Die zweite Hälfte der Geschichte handelt vom Meldekanal. Die erste Meldung wurde am 11. Juni 2025 verschickt, eine Nachfrage folgte am 18. Juni, und keine von beiden wurde beantwortet.1 Ein Kollege wandte sich am 7. Juli an den Sicherheitschef des Unternehmens, und am 31. Juli erfuhren sie, dass es zu der Meldung keinen Eintrag gab.1 In der Zwischenzeit war der Meldekanal an einen externen Dienstleister übergeben und der alte eingestellt worden.1 Bitten um eine Eingangsbestätigung oder einen Zeitplan für die Behebung blieben unbeantwortet.1 Die Schwachstellen wurden schliesslich behoben, und die Forscher schreiben, dass sie bis heute nicht wissen, ob jedes Problem vollständig behoben wurde.1
Ihr eigenes Fazit ist kurz. Die alten Schwachstellen von Webanwendungen und Schnittstellen (APIs) bleiben bestehen, auch wenn ein KI-Modell im Spiel ist.1
Warum reicht es nicht, dem Chatbot gutes Benehmen vorzuschreiben?
Weil die Anweisungen und der Text des Besuchers das Modell im selben Strom erreichen. Die OWASP Top 10 for LLM Applications 2026, die Liste der Sicherheitsgemeinschaft mit den wichtigsten Risiken von Systemen auf Basis von KI-Sprachmodellen, setzt Prompt Injection auf Platz eins.2 Prompt Injection ist Text, der das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht beabsichtigt hat.2
Die Liste formuliert es deutlich. Einen zuverlässigen Schutz vor Prompt Injection gibt es heute nicht. Das System rund um das Modell sollte deshalb unter der Annahme konzipiert werden, dass seine Anweisungen umgangen werden, und begrenzen, was das Modell tun darf.2 Die Anweisungen müssen auch nicht vom Besucher kommen. Sie können in einer Webseite, einem Dokument oder einer E-Mail versteckt sein, die der Bot liest.2
Für den Käufer ändert sich damit die Frage. Es geht nicht darum, ob der Bot überlistet werden kann. Es geht darum, was passiert, wenn es gelingt.
Was sollten Sie testen, bevor der Chatbot live geht?
Testen Sie die Risiken, denen ein öffentlicher Chatbot tatsächlich begegnet. Die Tabelle folgt der OWASP-Liste und den Befunden aus dem Fall Eurostar, in einfachen Worten.12
| Was testen | Was der Tester versucht | Wie ein bestandener Test aussieht |
|---|---|---|
| Versteckte Anweisungen in der Eingabe | den Bot von seinen Regeln abzubringen, direkt oder über ein Dokument oder eine Seite, die er liest2 | der Bot sagt vielleicht Seltsames, kann aber nichts tun oder preisgeben, was er nicht darf |
| Die Sicherheitsprüfung | frühere Nachrichten zu ändern oder die Prüfung im Browser zu umgehen1 | jede Prüfung läuft auf dem Server, für das ganze Gespräch |
| Die verborgenen Anweisungen | den Bot dazu zu bringen, sie preiszugeben2 | sie enthalten keine Passwörter, Schlüssel oder Regeln, die etwas schützen2 |
| Daten anderer Personen | an ein fremdes Gespräch oder die Daten eines anderen Kunden zu kommen12 | Gesprächsnummern vergibt der Server, und sie sind an die Sitzung des Besuchers gebunden1 |
| Code in den Antworten | den Bot Code zurückgeben zu lassen, der im Browser läuft12 | jede Antwort erscheint als reiner Text oder wird vor der Anzeige bereinigt12 |
| Was der Bot tun darf | ihn ausserhalb seiner Aufgabe handeln zu lassen, etwa eine E-Mail senden oder eine Bestellung ändern2 | er hat nur die Funktionen und Berechtigungen, die seine Aufgabe braucht2 |
| Die Kosten | ihn in einer Schleife lange, teure Antworten erzeugen zu lassen2 | ein festes Kostenlimit und ein Limit pro Besucher sind gesetzt2 |
Zwei dieser Punkte verdienen einen genaueren Blick.
Die verborgenen Anweisungen sind kein Geheimnis. OWASP rät Entwicklern, davon auszugehen, dass sie entdeckt werden können, niemals Passwörter oder Schlüssel hineinzuschreiben und sie nie als einzige Sicherheitsbarriere zu nutzen.2 Bestanden ist der Test nicht, wenn der Bot sie zurückhält. Bestanden ist er, wenn ihre Preisgabe keinen Schaden anrichtet.
Der Bot sollte so wenig wie möglich dürfen. OWASP nennt das Risiko Excessive Agency, also einen Bot, der mehr darf, als er sollte, und nennt drei Ursachen, nämlich zu viele Funktionen, zu viele Berechtigungen und zu viel Freiheit, allein zu handeln.2 Als Abhilfe empfiehlt OWASP nur die Werkzeuge, die die Aufgabe erfordert, minimale Berechtigungen, Aktionen mit den Rechten des anfragenden Nutzers und einen Menschen, der alles mit grosser Tragweite freigibt.2 OWASP nennt selbst das Beispiel eines Support-Chatbots, der eine Erstattung als Shop-Gutschrift selbst veranlassen darf, während über eine Auszahlung in Geld ein Mensch entscheidet.2
Wer sollte testen?
Jemand, der den Bot nicht gebaut hat und dem erklärt wird, wie die Abwehr funktioniert. OWASP empfiehlt, gegen Angreifer zu testen, die die Abwehr kennen, und nicht nur mit einem festen Satz bekannter Angriffe.2 Die dort zitierte Studie prüfte zwölf neuere Abwehrmethoden, für die überwiegend berichtet worden war, dass Angriffe fast nie durchkommen. Angreifer, die ihr Vorgehen anpassten, waren gegen die meisten davon in über 90 % der Fälle erfolgreich.2
Die Forscher aus dem Fall Eurostar ergänzen, dass Testen keine einmalige Angelegenheit ist, und raten, den Chatbot regelmässig mit bekannten Techniken für eingeschleuste Anweisungen und für das erneute Einspielen von Gesprächen zu prüfen.1 Aus unserer Sicht ist der eigene Testbericht des Anbieters ein guter Anfang, und ein unabhängiger Test vor dem Start ist der Schritt, der die Abnahme erst aussagekräftig macht.
Was sollten Sie sich vom Anbieter schriftlich geben lassen?
Der Secure by Demand Guide der US-Behörden CISA und FBI aus dem Jahr 2024 gibt Käufern Fragen für die Zeit vor dem Kauf, Anforderungen für den Vertrag und Prüfungen für die Zeit danach an die Hand.3 Laut dem Leitfaden lassen sich die Fragen auch Wiederverkäufern und Dienstleistern stellen. Er passt also auch auf einen Chatbot, der über eine Agentur oder als Dienst bezogen wird.3 Zusammen mit den Lehren aus dem Fall Eurostar1 sind das die Punkte, die wir uns schriftlich geben lassen würden.
- Ein Meldekanal, der funktioniert. Eine veröffentlichte Richtlinie zur Meldung von Schwachstellen auf einer öffentlichen Webseite, die Tests durch die Öffentlichkeit erlaubt.3 Ausserdem, wer die Meldungen liest und was mit ihnen geschieht, wenn der Kanal den Betreiber wechselt.1
- Eine Antwort und ein Zeitplan. Die Bitten der Forscher um Eingangsbestätigung und einen Zeitplan für die Behebung blieben unbeantwortet.1 Vereinbaren Sie im Vertrag, wie schnell eine Sicherheitsmeldung bestätigt und wie schnell eine schwere Schwachstelle behoben wird.
- Protokolle, die Sie lesen können. Sicherheitsprotokolle schon in der Basisversion, bei einem Clouddienst mindestens sechs Monate ohne Aufpreis aufbewahrt, für Konfigurationsänderungen, Anmeldungen und Datenzugriffe.3 Für einen Chatbot ergänzen die Forscher ein Protokoll jedes Gesprächs, mit dem es sich nachvollziehen lässt, samt Sicherheitsentscheidungen und vom Modell genutzten Werkzeugen, und Warnmeldungen bei ungewöhnlichen Mustern.1
- Eine Möglichkeit zum Abschalten. Ein Notschalter, der den Chatbot oder eine seiner Funktionen schnell abschaltet.1
- Fehlerbehebungen, die sich leicht einspielen lassen. Wie der Anbieter dafür sorgt, dass Sicherheitsupdates einfach zu installieren sind.3
- Woraus er besteht. Eine Liste der Fremdkomponenten im Produkt, die sogenannte Software-Stückliste (SBOM).3
- Sichere Anmeldung für Ihre Mitarbeiter. Single Sign-On und Multi-Faktor-Authentifizierung für alle, die den Chatbot verwalten, ohne Aufpreis.3
Abnahme-Checkliste für einen Chatbot
- Jede Sicherheitsprüfung läuft auf dem Server, für das ganze Gespräch, nicht nur für die letzte Nachricht.
- Gesprächs- und Nachrichtennummern vergibt der Server, und sie sind an die Sitzung des Besuchers gebunden.
- Antworten erscheinen als reiner Text oder werden vor der Anzeige bereinigt.
- Die verborgenen Anweisungen enthalten keine Passwörter, Schlüssel oder Regeln, die etwas schützen.
- Der Bot hat nur die Funktionen, Daten und Berechtigungen, die seine Aufgabe braucht, und ein Mensch gibt alles mit grosser Tragweite frei.
- Ein Kostenlimit und ein Limit pro Besucher sind gesetzt.
- Jemand, der den Bot nicht gebaut hat, hat ihn wie ein Angreifer getestet und wird ihn erneut testen.
- Jedes Gespräch wird protokolliert, und Sie können die Protokolle lesen.
- Der Anbieter hat einen öffentlichen Kanal für Sicherheitsmeldungen, eine namentlich benannte Person, die ihn liest, und vereinbarte Fristen für Antwort und Behebung.
- Sie können den Chatbot selbst und sofort abschalten.
Nächster Schritt
Wenn es Ihnen hilft, können wir in einem kurzen Gespräch den Abnahmetest für den Chatbot, den Sie kaufen, Punkt für Punkt durchgehen, mit den Antworten Ihres Anbieters auf dem Tisch. Was Sie danach daraus machen, entscheiden Sie.
Quellen
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Gelesen am 17. November 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Gelesen am 17. November 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Gelesen am 17. November 2026
Änderungsprotokoll
- Veröffentlicht.