Ratgeber Daten, Integration, Automatisierung
KI liest Anfragen, Regeln für Liechtenstein
Ein KI-Schritt, der Anfragen von aussen liest, hält fremden Text manchmal für einen Befehl, deshalb muss der Prozess so gestaltet sein, dass er diesen Befehl nicht allein ausführen kann.
- Veröffentlicht
- Aktualisiert
- Lesezeit
- 8 Min. Lesezeit
- Verantwortlicher Redakteur
- David Lahuta
Kurz gesagt
- Ab Dezember 2025 liess das Open-Source-Projekt Cline ein KI-Modell seine eingehenden Fehlermeldungen sortieren und gab ihm das Recht, Befehle auszuführen.13
- In den Tests eines Sicherheitsforschers genügte der Titel einer öffentlichen Meldung, damit dieser KI-Schritt Code installierte, den ein Aussenstehender ausgewählt hatte.3 Am 17. Februar 2026 veröffentlichte jemand mit einem gestohlenen Schlüssel eine veränderte Version des Werkzeugs, die etwa 4.000 Mal heruntergeladen wurde.134
- Die Liste der KI-Risiken aus der Sicherheitsgemeinschaft hält fest, dass es heute keinen verlässlichen Weg gibt, einen Text daran zu hindern, einem Modell Befehle zu geben.6
- Die Antwort liegt in der Gestaltung des Prozesses. Die KI liest und schlägt vor, ein Mensch genehmigt alles, was Folgen hat, keine Zugangsdaten sind in ihrer Reichweite, und jeder Schritt wird aufgezeichnet.
Was geschah, nach Angaben der Forscher und des Projekts?
Cline ist ein Open-Source-Assistent für Softwareentwickler, verteilt als Erweiterung für Code-Editoren und als Kommandozeilenwerkzeug über npm, die öffentliche Registry für solche Pakete.13 Am 21. Dezember 2025 fügten die Betreuer des Projekts auf GitHub einen automatisierten Workflow hinzu, der neue Issues sortierte und beantwortete, also die öffentlichen Fehlermeldungen und Anfragen, die jeder auf der Seite des Projekts eröffnen kann.13 Der Workflow übergab jedes neue Issue einem KI-Modell von Anthropic.13 Zwei Einstellungen machten ihn gefährlich. Jeder Nutzer von GitHub konnte ihn starten, indem er ein Issue eröffnete, und die KI durfte Befehle ausführen.1
Der Sicherheitsforscher Adnan Khan stellte fest, dass der Titel eines Issues unverändert in die Anweisungen an die KI kopiert wurde.3 In seinen Tests genügte ein Titel, der behauptete, ein Werkzeug fehle, und die KI bat, zuerst ein „Hilfswerkzeug“ zu installieren.3 Die KI führte die Installation aus und damit ein Skript, das der Angreifer kontrollierte.3 Von dort aus konnte ein Angreifer Dateien in einem Speicher ablegen, den der Workflow mit dem nächtlichen Release-Workflow des Projekts teilte, der die Schlüssel für die Veröffentlichung neuer Versionen verwaltete.13
| Datum | Was geschah |
|---|---|
| 21. Dezember 2025 | Der KI-Workflow zum Sortieren der Issues wird hinzugefügt.1 |
| 1. Januar 2026 | Der Forscher meldet die Schwachstelle vertraulich über GitHub. Bis zu seiner Veröffentlichung wird sie nicht behoben.1 |
| 9. Februar 2026 | Er veröffentlicht sie. Innerhalb von 30 Minuten entfernt das Projekt den Workflow und beginnt, seine Schlüssel zu ersetzen.1 |
| 9. Februar 2026 | Der falsche npm-Schlüssel wird gelöscht, der offengelegte bleibt gültig.13 |
| 17. Februar 2026, 3:26 Uhr pazifischer Zeit | Ein Unbefugter veröffentlicht mit diesem Schlüssel die Version 2.3.0 des Kommandozeilenwerkzeugs, mit einer zusätzlichen Zeile, die einen separaten KI-Agenten namens OpenClaw installiert.14 |
| 17. Februar 2026, 11:40 Uhr UTC | Die Überwachung einer Sicherheitsfirma schlägt bei der Version an, etwa 14 Minuten nach ihrem Erscheinen.4 |
| 17. Februar 2026, 11:30 Uhr pazifischer Zeit | Version 2.3.0 wird nach etwa acht Stunden zurückgezogen.2 |
Die veränderte Version wurde etwa 4.000 Mal heruntergeladen.4 Der Forscher schreibt, dahinter habe nicht er selbst gestanden, sondern jemand, der seinen Machbarkeitsnachweis auf seiner Testkopie gefunden und gegen das echte Projekt eingesetzt habe.3 Das Projekt erklärt, der installierte Agent sei ein legitimes Open-Source-Programm, es sei kein Schadcode ausgeliefert und auf keine Nutzerdaten zugegriffen worden.1 Die Lehre daraus zieht das Projekt selbst. Einem Sprachmodell dort das Recht zu geben, Befehle auszuführen, wo es Text von beliebigen Personen verarbeitet, sei nach seinen Worten praktisch dasselbe, wie jedem Nutzer von GitHub dieses Recht zu geben.1 Am 5. März 2026 fasste das Sicherheitsunternehmen grith den Fall als fünf Schritte vom Titel eines Issues auf GitHub zusammen, mit natürlicher Sprache als Einfallstor.5
Warum kann Text von aussen einem KI-Schritt Befehle geben?
Weil ein Sprachmodell Anweisungen nicht verlässlich von Daten unterscheiden kann. Die OWASP Top 10 für LLM-Anwendungen 2026, die Liste der Sicherheitsgemeinschaft mit den wichtigsten Risiken von Systemen auf Basis von KI-Sprachmodellen, setzt das auf Platz eins und nennt es Prompt Injection, also jede Eingabe, die das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht beabsichtigt hat.6 Sie erklärt, dass das Modell seine Anweisungen und die Inhalte, die es liest, als einen einzigen Strom erhält, ohne eingebaute Grenze dazwischen.6
Die Liste nennt die Stellen, von denen solcher Text kommt, und es sind gewöhnliche geschäftliche Eingaben.6 Öffentliche Webseiten und E-Mails unbekannter Absender sind nicht vertrauenswürdig.6 Titel von Issues in einem öffentlichen Bugtracker sind nur teilweise vertrauenswürdig.6 Selbst die eigenen Dokumente und E-Mails eines Unternehmens können einen eingeschleusten Text enthalten, etwa einen, der über ein öffentliches Formular hereinkam.6 Der Angreifer muss nirgends einbrechen. Er legt Text dort ab, wo die KI ihn lesen wird, und die KI erledigt die Arbeit mit den Rechten des Unternehmens.6
Bei der Abhilfe ist die Liste deutlich. Einen verlässlichen Weg, Prompt Injection zu verhindern, gibt es heute nicht, deshalb sollte das System um das Modell herum unter der Annahme gestaltet werden, dass seine Anweisungen eines Tages umgangen werden, und begrenzen, was das Modell tun darf.6
Für ein Unternehmen folgt daraus eine Frage für jeden Prozess, in dem KI etwas von aussen liest, eine eingehende E-Mail, ein Support-Ticket, ein Webformular, den Anhang eines Lieferanten. Wenn jemand in diesen Text einen Befehl geschrieben hätte, was könnte der KI-Schritt damit anfangen?
Welche Gestaltungsregeln halten den KI-Schritt sicher?
Vier Regeln decken das meiste ab. Jede stützt sich auf die Empfehlungen dieser Liste und auf das, was das Projekt nach dem Vorfall geändert hat.
Die KI liest und schlägt vor, sie handelt nicht allein. OWASP empfiehlt, einem KI-Schritt nur die Werkzeuge zu geben, die seine Aufgabe braucht.6 Als Beispiel nennt OWASP einen Schritt, der E-Mails zusammenfasst und sie dafür lesen, aber weder senden noch löschen muss.6 OWASP rät ausserdem von offenen Werkzeugen wie dem Ausführen beliebiger Befehle ab und empfiehlt enge Werkzeuge, die genau eine Sache tun.6 Der Workflow von Cline konnte Befehle ausführen, und das Projekt erklärt nun, dass jede künftige Automatisierung nur lesen wird, ohne das Recht, Befehle auszuführen.1
Ein Mensch genehmigt jede Handlung mit Folgen. OWASP empfiehlt, dass ein Mensch Handlungen mit grosser Tragweite genehmigt, bevor sie geschehen.6 Die Person sollte die genaue Handlung sehen, die ausgeführt wird, keine Zusammenfassung davon, und OWASP warnt, dass zu viele Genehmigungen das Urteilsvermögen dessen abstumpfen, der sie erteilt.6 Deshalb kommt es auf die Aufteilung an. Schritte, die sich leicht rückgängig machen lassen, dürfen allein laufen, unumkehrbare wie eine Zahlung gehen an einen Menschen.6 Wo ein KI-Schritt nicht vertrauenswürdige Eingaben liest, sensible Daten erreicht und etwas ändern oder nach aussen senden kann, verlangt OWASP die Genehmigung jeder einzelnen Handlung durch einen Menschen.6
Keine Zugangsdaten in ihrer Reichweite. OWASP empfiehlt, Schlüssel und die Befugnis, etwas zu ändern, im gewöhnlichen Anwendungscode ausserhalb des Modells zu halten und jede Handlung mit den Rechten der Person auszuführen, für die sie geschieht, und nicht mehr.6 Der Fall zeigt, warum „in Reichweite“ mehr bedeutet als das, was der KI übergeben wird. Der Sortier-Workflow selbst hatte keinen Veröffentlichungsschlüssel, teilte aber einen Speicher mit dem Release-Workflow, der einen hatte.1 Das Projekt nutzt diesen gemeinsamen Speicher seither in keinem Workflow mehr, der mit Veröffentlichungsschlüsseln arbeitet.1
Jeder Schritt wird aufgezeichnet, und jemand liest die Aufzeichnung. OWASP empfiehlt, zu protokollieren und zu überwachen, was ein KI-Schritt tut, damit unerwünschte Handlungen erkannt werden und man darauf reagieren kann.6 Aufzeichnungen helfen nur, wenn jemand sie ansieht. Der Forscher fand zwischen dem 31. Januar und dem 3. Februar 2026 fehlgeschlagene Läufe des nächtlichen Releases, die Spuren seines eigenen Werkzeugs zeigten, und schreibt, dass die Fehler hingenommen statt untersucht wurden.3 Das Projekt prüft einen ersetzten Schlüssel nun auch am Schlüssel selbst, nicht nur in einer Verwaltungsoberfläche.1
| Regel | In einem Geschäftsprozess | Was das Projekt danach geändert hat |
|---|---|---|
| Die KI liest und schlägt vor | Sie sortiert E-Mails und entwirft Antworten, sendet aber selbst nichts | Künftige Automatisierung liest nur, ohne das Recht, Befehle auszuführen1 |
| Ein Mensch genehmigt | Eine Änderung an Daten, eine Zahlung oder eine ausgehende Nachricht wartet auf eine namentlich benannte Person | Die KI-Workflows wurden vollständig entfernt1 |
| Keine Zugangsdaten in Reichweite | Der KI-Schritt hat keine Passwörter oder Schlüssel und keinen gemeinsamen Speicher mit Schritten, die welche haben | Kein gemeinsamer Speicher in Workflows mit Veröffentlichungsschlüsseln1 |
| Jeder Schritt aufgezeichnet | Jede Eingabe, jeder Vorschlag, jede Genehmigung und jede Handlung wird protokolliert, Fehlern wird nachgegangen | Ein ersetzter Schlüssel wird am Schlüssel selbst geprüft1 |
Dieser Leitfaden bleibt bei der Gestaltung des Prozesses. Welche Daten eine KI sehen darf und wo sie läuft, sind eigene Fragen mit eigenen Antworten.
Was sollten Sie in jedem automatisierten Prozess prüfen?
Gehen Sie jeden Prozess durch, in dem KI etwas liest, das von aussen kommt, einmal vor dem Start und erneut nach jeder grösseren Änderung.
Bevor Sie sich entscheiden
- Welche Eingaben liest der KI-Schritt, und kann ein Fremder eine davon schreiben, eine E-Mail, ein Formular, ein Ticket oder einen Anhang?
- Was kann er ausser Lesen und Vorschlagen tun? Jedes Werkzeug und jedes Recht ist aufgelistet.
- Welche seiner Handlungen ändern Daten, senden etwas nach aussen oder bewegen Geld, und wer genehmigt jede davon, bevor sie geschieht?
- Sieht die Person, die genehmigt, die genaue Handlung und keine Zusammenfassung?
- Welche Passwörter, Schlüssel und Daten kann er erreichen, direkt oder über einen Speicher, den er mit anderen Schritten teilt?
- Handelt er mit den Rechten der Person, für die er arbeitet, und nicht mehr?
- Wird jede Eingabe, jeder Vorschlag, jede Genehmigung und jede Handlung aufgezeichnet, und geht jemand ungeklärten Fehlern nach?
- Wurde er mit feindseligen Eingaben getestet, von jemandem, der weiss, wie seine Schutzmassnahmen funktionieren, wie OWASP es empfiehlt?6
- Wer erhält die Meldung einer Schwachstelle, und wie schnell antwortet jemand darauf?
- Lässt sich der KI-Schritt schnell abschalten, ohne den ganzen Prozess anzuhalten?
Was das für ein Unternehmen in Europa bedeutet
E-Mails, Tickets und Formulare enthalten meist personenbezogene Daten, deshalb gilt für den Prozess, der sie liest, die Datenschutz-Grundverordnung (DSGVO). Ihr Artikel 25 verlangt vom Verantwortlichen, geeignete technische und organisatorische Massnahmen in die Verarbeitung einzubauen, sowohl zum Zeitpunkt der Festlegung der Mittel als auch zum Zeitpunkt der eigentlichen Verarbeitung.7 Durch Voreinstellung dürfen nur die personenbezogenen Daten verarbeitet werden, die für den jeweiligen Zweck erforderlich sind.7 Artikel 32 verlangt ein dem Risiko angemessenes Schutzniveau, darunter die Fähigkeit, die Vertraulichkeit und Integrität der Systeme sicherzustellen, und ein Verfahren zur regelmässigen Überprüfung, ob die Massnahmen wirksam sind.7 Unter den zu berücksichtigenden Risiken nennt er die unbefugte Offenlegung von und den unbefugten Zugang zu personenbezogenen Daten.7 Nach unserer Einschätzung sind die vier Regeln oben die Art von Massnahmen, die diese Artikel beschreiben. Ob sie für einen bestimmten Prozess genügen, muss jeder Verantwortliche selbst beurteilen.
In Liechtenstein
Laut EFTA wurde die DSGVO mit Beschluss des Gemeinsamen EWR-Ausschusses Nr. 154/2018 vom 6. Juli 2018 in das EWR-Abkommen übernommen und ist im EWR seit dem 20. Juli 2018 in Kraft.8
Nächster Schritt
Wenn es Ihnen hilft, schauen wir uns gern in einem kurzen Gespräch gemeinsam einen Prozess in Ihrem Unternehmen an, in dem KI eingehende Anfragen liest, und klären, was sie dort allein tun darf. Unsere Unternehmens-KI beruht auf denselben Regeln. Sie arbeitet mit den Berechtigungen jedes einzelnen Nutzers, Änderungen genehmigt ein Mensch, und jeder Schritt wird protokolliert. Was Sie daraus machen, entscheiden allein Sie.
Quellen
- 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Gelesen am 17. November 2026
- 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Gelesen am 17. November 2026
- 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Gelesen am 17. November 2026
- 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Gelesen am 17. November 2026
- 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Gelesen am 17. November 2026
- 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Gelesen am 17. November 2026
- 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Gelesen am 17. November 2026
- 8. EFTA, EEA-Lex, Regulation (EU) 2016/679 (General Data Protection Regulation), status in the EEA Agreement. Gelesen am 17. November 2026
Änderungsprotokoll
- Veröffentlicht.