Guide Data, integration, automatisering
AI, der læser henvendelser, må ikke adlyde
Et AI-trin, der læser henvendelser udefra, vil indimellem tage en fremmeds tekst for en ordre, og derfor skal processen være designet, så det ikke kan handle på den ordre alene.
- Udgivet
- Opdateret
- Læsetid
- 8 min. læsning
- Redaktør
- David Lahuta
Kort fortalt
- Fra december 2025 lod open source-projektet Cline en AI-model sortere de indkomne fejlrapporter og gav den ret til at køre kommandoer.13
- I en forskers test var titlen på en offentlig fejlrapport nok til at få AI-trinnet til at installere kode, som en udenforstående havde valgt, og den 17. februar 2026 brugte nogen en stjålet publiceringsnøgle til at udgive en ændret version af projektets værktøj, der blev downloadet omkring 4.000 gange.134
- Sikkerhedsmiljøets liste over AI-risici slår fast, at der i dag ikke findes nogen pålidelig måde at forhindre, at tekst giver en model ordrer.6
- Svaret ligger i designet af processen. AI'en læser og foreslår, et menneske godkender det, der har konsekvenser, ingen hemmelighed er inden for dens rækkevidde, og hvert trin registreres.
Hvad skete der ifølge forskerne og projektet selv?
Cline er en open source-assistent for softwareudviklere, som distribueres som en udvidelse til udviklingsmiljøet og som et kommandolinjeværktøj gennem npm, det offentlige register for den slags pakker.13 Den 21. december 2025 tilføjede projektets vedligeholdere et automatiseret workflow på GitHub, der sorterede og besvarede nye issues, de offentlige fejlrapporter og ønsker, som enhver kan oprette på projektets side.13 Workflowet sendte hver ny fejlrapport videre til en AI-model fra Anthropic.13 To indstillinger gjorde det farligt. Enhver GitHub-bruger kunne starte det ved at oprette en fejlrapport, og AI'en måtte køre kommandoer.1
Forskeren Adnan Khan opdagede, at titlen på en fejlrapport blev kopieret direkte ind i AI'ens instruktioner.3 I hans test var det nok med en titel, der påstod, at et værktøj manglede, og bad AI'en om først at installere et »hjælpeværktøj«.3 AI'en kørte installationen og dermed et script, som angriberen styrede.3 Derfra kunne en angriber placere filer i et lager, der blev delt med projektets natlige udgivelsesworkflow, og det workflow havde nøglerne til at udgive nye versioner.13
| Dato | Hvad skete der |
|---|---|
| 21. december 2025 | AI-workflowet til sortering af fejlrapporter tilføjes.1 |
| 1. januar 2026 | Forskeren indberetter svagheden fortroligt gennem GitHub. Der bliver ikke gjort noget ved den, før han offentliggør den.1 |
| 9. februar 2026 | Han offentliggør den. Inden for 30 minutter fjerner projektet workflowet og begynder at udskifte sine nøgler.1 |
| 9. februar 2026 | Den forkerte npm-nøgle slettes, og den lækkede forbliver gyldig.13 |
| 17. februar 2026, kl. 3.26 stillehavstid | En uautoriseret part bruger nøglen til at udgive version 2.3.0 af kommandolinjeværktøjet med én tilføjet linje, der installerer en separat AI-agent, OpenClaw.14 |
| 17. februar 2026, kl. 11.40 UTC | Et sikkerhedsfirmas overvågning slår alarm om udgivelsen, omkring 14 minutter efter at den kom ud.4 |
| 17. februar 2026, kl. 11.30 stillehavstid | Version 2.3.0 trækkes tilbage efter omkring otte timer.2 |
Den ændrede version blev downloadet omkring 4.000 gange.4 Forskeren skriver, at det ikke var ham, der stod bag, men en anden, der fandt hans bevis på hans testkopi og brugte det mod det rigtige projekt.3 Projektet oplyser, at den installerede agent er et legitimt open source-program, at der ikke blev leveret ondsindet kode, og at ingen brugerdata blev tilgået.1 Det drager også selv læren. At give en sprogmodel ret til at køre kommandoer dér, hvor den behandler tekst fra hvem som helst, svarer med projektets egne ord i praksis til at give den ret til enhver GitHub-bruger.1 Den 5. marts 2026 opsummerede sikkerhedsvirksomheden grith sagen som fem trin fra titlen på en fejlrapport på GitHub, med almindeligt sprog som indgang.5
Hvorfor kan tekst udefra give et AI-trin ordrer?
Fordi en sprogmodel ikke pålideligt kan skelne instruktioner fra data. OWASP Top 10 for LLM Applications 2026, sikkerhedsmiljøets liste over de største risici ved systemer bygget på AI-sprogmodeller, placerer dette som nummer et og kalder det prompt injection, ethvert input, der ændrer modellens adfærd på en måde, dens udvikler ikke havde tænkt sig.6 Listen forklarer, at modellen modtager sine instruktioner og det indhold, den læser, som én strøm uden nogen indbygget grænse imellem dem.6
Listen nævner, hvor sådan tekst kommer fra, og det er helt almindelige input i en virksomhed.6 Offentlige websider og e-mails fra ukendte afsendere er ikke betroede.6 Titler på fejlrapporter i et offentligt fejlsporingssystem er kun delvist betroede.6 Selv virksomhedens egne dokumenter og mails kan bære en plantet tekst, fx en, der kom ind gennem en offentlig formular.6 Angriberen behøver ikke bryde ind nogen steder. Han placerer tekst, hvor AI'en vil læse den, og AI'en gør arbejdet med virksomhedens egne rettigheder.6
Listen er klar om løsningen. Der findes i dag ingen pålidelig måde at forhindre prompt injection på, så systemet omkring modellen bør designes ud fra, at dens instruktioner en dag bliver omgået, og bør begrænse, hvad modellen må gøre.6
For en virksomhed betyder det ét spørgsmål for hver proces, hvor AI læser noget udefra, en indkommende e-mail, en supportsag, en webformular eller et bilag fra en leverandør. Hvis nogen skrev en ordre ind i den tekst, hvad kunne AI-trinnet så gøre med den?
Hvilke designregler holder AI-trinnet sikkert?
Fire regler dækker det meste. Hver af dem bygger på OWASP's anbefalinger og på det, projektet ændrede efter hændelsen.61
AI'en læser og foreslår, den handler ikke på egen hånd. OWASP anbefaler kun at give et AI-trin de værktøjer, opgaven kræver.6 Listens eget eksempel er et trin, der opsummerer e-mails og skal kunne læse dem, men ikke sende eller slette dem.6 Den fraråder også åbne værktøjer, som at køre en vilkårlig kommando, og anbefaler i stedet snævre værktøjer, der gør én ting.6 Clines workflow kunne køre kommandoer, og projektet skriver nu, at al fremtidig automatisering kun vil læse, uden ret til at køre kommandoer.1
Et menneske godkender enhver handling med konsekvenser. OWASP anbefaler, at et menneske godkender handlinger med stor betydning, før de sker.6 Personen skal se præcis den handling, der vil blive udført, ikke et resumé af den, og OWASP advarer om, at for mange godkendelser sløver dømmekraften hos den, der giver dem.6 Derfor betyder fordelingen noget. Trin, der er lette at fortryde, må køre af sig selv, mens uigenkaldelige trin, fx en betaling, går til et menneske.6 Hvor ét AI-trin læser input, der ikke er betroet, har adgang til følsomme data og kan ændre noget eller sende noget ud, kræver OWASP et menneskes godkendelse af hver eneste handling.6
Ingen hemmelighed er inden for rækkevidde. OWASP anbefaler at holde nøgler og muligheden for at ændre ting i den almindelige applikationskode, uden for modellen, og at lade hver handling køre med rettighederne hos den person, den udføres for, og ikke mere.6 Sagen viser, hvorfor »inden for rækkevidde« betyder mere end det, AI'en får udleveret. Selve sorteringsworkflowet havde ingen publiceringsnøgle, men det delte lager med det udgivelsesworkflow, der havde.1 Projektet er siden holdt op med at bruge det delte lager i alle workflows, der håndterer publiceringsnøgler.1
Hvert trin registreres, og nogen læser registreringen. OWASP anbefaler at logge og overvåge, hvad et AI-trin gør, så uønskede handlinger bliver opdaget og håndteret.6 Registreringen hjælper kun, når nogen kigger i den. Forskeren fandt mislykkede kørsler af den natlige udgivelse mellem den 31. januar og den 3. februar 2026, der bar spor af hans eget værktøj, og skriver, at fejlene blev tolereret i stedet for undersøgt.3 Projektet kontrollerer nu også en udskiftet nøgle mod selve nøglen og ikke kun mod en administrationsskærm.1
| Regel | I en forretningsproces | Hvad projektet ændrede bagefter |
|---|---|---|
| AI'en læser og foreslår | Den sorterer e-mails og skriver udkast til svar, men sender ikke selv noget | Fremtidig automatisering kun med læseadgang, uden ret til at køre kommandoer1 |
| Et menneske godkender | En ændring i data, en betaling eller en udgående besked venter på en navngiven person | AI-workflowene blev fjernet helt1 |
| Ingen hemmelighed inden for rækkevidde | AI-trinnet har ingen adgangskoder eller nøgler og deler ikke lager med trin, der har | Intet delt lager i workflows med publiceringsnøgler1 |
| Hvert trin registreret | Hvert input, hvert forslag, hver godkendelse og hver handling logges, og fejl bliver undersøgt | En udskiftet nøgle kontrolleres mod selve nøglen1 |
Denne guide holder sig til designet af processen. Hvilke data en AI må se, og hvor den kører, er separate spørgsmål med deres egne svar.
Hvad bør I kontrollere i hver automatiseret proces?
Gennemgå hver proces, hvor AI læser noget, der kom udefra, én gang før den sættes i drift og igen efter hver større ændring.
Før I beslutter jer
- Hvilke input læser AI-trinnet, og kan en fremmed skrive nogen af dem, en e-mail, en formular, en sag eller et bilag?
- Hvad kan det ud over at læse og foreslå? Hvert værktøj og hver rettighed står på en liste.
- Hvilke af dets handlinger ændrer data, sender noget ud eller flytter penge, og hvem godkender hver af dem, før den sker?
- Ser den, der godkender, præcis handlingen og ikke et resumé?
- Hvilke adgangskoder, nøgler og data kan det nå, direkte eller gennem et lager, det deler med andre trin?
- Handler det med rettighederne hos den person, det arbejder for, og ikke mere?
- Bliver hvert input, hvert forslag, hver godkendelse og hver handling registreret, og undersøger nogen uforklarede fejl?
- Er det blevet testet med fjendtlige input af en, der kender dets forsvar, som OWASP anbefaler?6
- Hvem modtager en indberetning om en svaghed, og hvor hurtigt svarer nogen på den?
- Kan AI-trinnet slås hurtigt fra, uden at hele processen stopper?
Hvad det betyder for en virksomhed i Europa
E-mails, sager og formularer indeholder som regel personoplysninger, så databeskyttelsesforordningen (GDPR) gælder for den proces, der læser dem. Artikel 25 kræver, at den dataansvarlige gennemfører passende tekniske og organisatoriske foranstaltninger i behandlingen, både på tidspunktet for fastlæggelse af midlerne til behandling og på tidspunktet for selve behandlingen.7 Gennem standardindstillinger må kun de personoplysninger behandles, der er nødvendige til hvert specifikt formål.7 Artikel 32 kræver et sikkerhedsniveau, der passer til risikoen, herunder evnen til at sikre vedvarende fortrolighed og integritet i behandlingssystemerne og en procedure for regelmæssig afprøvning af, om foranstaltningerne virker.7 Den nævner uautoriseret videregivelse af eller adgang til personoplysninger blandt de risici, der skal tages hensyn til.7 Efter vores vurdering er de fire regler ovenfor netop den slags foranstaltninger, artiklerne beskriver. Om de er tilstrækkelige for en given proces, må hver dataansvarlig selv vurdere.
Næste skridt
Hvis det kan være til hjælp, gennemgår vi gerne sammen med jer på et kort møde én proces i jeres virksomhed, hvor AI læser indkommende henvendelser, og hvad AI'en må gøre på egen hånd. Vores AI-løsning til erhverv bygger på de samme regler, med hver brugers rettigheder, et menneske, der godkender ændringer, og en registrering af hvert trin. Hvad I gør med det bagefter, er helt jeres beslutning.
Kilder
- 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Læst den 17. november 2026
- 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Læst den 17. november 2026
- 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Læst den 17. november 2026
- 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Læst den 17. november 2026
- 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Læst den 17. november 2026
- 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Læst den 17. november 2026
- 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Læst den 17. november 2026
Ændringslog
- Offentliggjort.