Към съдържанието
Disruptive Lab

Наръчник Данни, интеграция, автоматизация

AI да чете заявките, не да им се подчинява

Стъпка с AI, която чете заявки отвън, понякога приема чужд текст за заповед, затова процесът трябва да е проектиран така, че тя да не може сама да изпълни такава заповед.

Публикувано
Актуализирано
Време за четене
8 мин. четене
Редактор
David Lahuta

Накратко

  • От декември 2025 г. проектът с отворен код Cline остави AI модел да сортира входящите сигнали за грешки и му даде право да изпълнява команди.13
  • В тестовете на един изследовател заглавието на публичен сигнал беше достатъчно, за да накара тази стъпка с AI да инсталира код, избран от външен човек, а на 17 февруари 2026 г. с откраднат ключ за публикуване беше пусната променена версия на инструмента на проекта, изтеглена около 4000 пъти.134
  • Списъкът на общността по киберсигурност с рисковете при AI посочва, че днес няма надежден начин да се попречи на текст да дава заповеди на модела.6
  • Отговорът е в проектирането на процеса. AI чете и предлага, човек одобрява всичко, което има последици, никаква тайна не е в обсега му и всяка стъпка се записва.

Какво се е случило според изследователите и самия проект?

Cline е асистент с отворен код за разработчици на софтуер, разпространяван като разширение за редактора на код и като инструмент за команден ред чрез npm, публичния регистър за такива пакети.13 На 21 декември 2025 г. поддържащите го добавиха в GitHub автоматизиран работен поток (workflow), който сортираше новите сигнали (issues) и отговаряше на тях, тоест на публичните съобщения за грешки и искания, които всеки може да отвори на страницата на проекта.13 Работният поток предаваше всеки нов сигнал на AI модел на Anthropic.13 Две настройки го правеха опасен. Всеки потребител на GitHub можеше да го стартира, като отвори сигнал, а AI имаше право да изпълнява команди.1

Изследователят Аднан Хан установи, че заглавието на сигнала се копираше направо в инструкциите за AI.3 В неговите тестове беше достатъчно заглавие, което твърди, че липсва инструмент, и моли AI първо да инсталира „помощен инструмент“.3 AI изпълни инсталацията, а с нея и скрипт, контролиран от нападателя.3 Оттам нападател би могъл да подхвърли файлове в хранилище, споделено с нощния работен поток за издаване на версии, който държеше ключовете за публикуване.13

Дата Какво се случва
21 декември 2025 г. Добавен е работният поток с AI за сортиране на сигналите.1
1 януари 2026 г. Изследователят съобщава за слабостта поверително през GitHub. Никой не се заема с нея, докато той не я публикува.1
9 февруари 2026 г. Той я публикува. До 30 минути проектът премахва работния поток и започва да подменя ключовете си.1
9 февруари 2026 г. Изтрит е грешният ключ за npm, а компрометираният остава валиден.13
17 февруари 2026 г., 3:26 ч. тихоокеанско време Неупълномощено лице използва този ключ, за да публикува версия 2.3.0 на инструмента за команден ред с един добавен ред, който инсталира отделен AI агент, OpenClaw.14
17 февруари 2026 г., 11:40 ч. UTC Системата за наблюдение на фирма за сигурност засича версията около 14 минути след публикуването ѝ.4
17 февруари 2026 г., 11:30 ч. тихоокеанско време Версия 2.3.0 е оттеглена след около осем часа.2

Променената версия е изтеглена около 4000 пъти.4 Изследователят пише, че зад нея не стои той, а някой, който е намерил демонстрацията му в тестовото му копие на проекта и го е използвал срещу истинския проект.3 Проектът заявява, че инсталираният агент е легитимна програма с отворен код, че не е доставен зловреден код и че никой не е получил достъп до данни на потребители.1 Самият проект прави и извода. Да дадеш на езиков модел право да изпълнява команди там, където обработва текст от когото и да е, по думите на проекта на практика е същото като да дадеш това право на всеки потребител на GitHub.1 На 5 март 2026 г. фирмата за сигурност grith обобщава случая като пет стъпки от заглавието на сигнал в GitHub, с естествения език като входна точка.5

Защо текст отвън може да дава заповеди на стъпка с AI?

Защото езиковият модел не може надеждно да различи инструкции от данни. OWASP Top 10 for LLM Applications 2026, списъкът на общността по киберсигурност с основните рискове при системите, изградени върху AI езикови модели, поставя това на първо място и го нарича prompt injection, всеки вход, който променя поведението на модела по начин, който създателят му не е предвидил.6 Списъкът обяснява, че моделът получава инструкциите си и съдържанието, което чете, в един общ поток, без вградена граница между тях.6

Списъкът посочва откъде идва такъв текст и това са обичайни входове в работата на една фирма.6 Публичните уеб страници и имейлите от непознати податели се смятат за ненадеждни.6 Заглавията на сигнали в публична система за проследяване на грешки са надеждни само отчасти.6 Дори собствените документи и пощата на компанията могат да носят подхвърлен текст, например такъв, постъпил през публичен формуляр.6 Нападателят няма нужда да прониква където и да било. Той поставя текст там, където AI ще го прочете, а AI свършва работата със собствените права на компанията.6

За защитата списъкът говори направо. Днес няма надежден начин да се предотврати prompt injection, затова системата около модела трябва да се проектира с допускането, че инструкциите му един ден ще бъдат заобиколени, и трябва да ограничава какво може да прави моделът.6

За една компания това означава един въпрос за всеки процес, в който AI чете нещо отвън, входящ имейл, тикет за поддръжка, уеб формуляр, прикачен файл от доставчик. Ако някой е написал заповед в този текст, какво би могла да направи с нея стъпката с AI?

Кои правила при проектирането правят стъпката с AI безопасна?

Четири правила покриват по-голямата част. Всяко се опира на насоките на OWASP и на това, което проектът промени след инцидента.61

AI чете и предлага, не действа сам. OWASP съветва стъпката с AI да получава само инструментите, които задачата ѝ изисква.6 Собственият му пример е стъпка, която обобщава имейли и трябва да ги чете, но не и да ги изпраща или изтрива.6 Списъкът съветва също да се избягват отворени инструменти, като изпълнението на произволна команда, в полза на тесни инструменти, които правят едно нещо.6 Работният поток на Cline можеше да изпълнява команди, а проектът вече казва, че всяка бъдеща автоматизация само ще чете, без право да изпълнява команди.1

Човек одобрява всяко действие с последици. OWASP препоръчва действията със сериозни последици да се одобряват от човек, преди да се случат.6 Човекът трябва да вижда точното действие, което ще се изпълни, а не обобщение, и OWASP предупреждава, че прекалено многото одобрения притъпяват преценката на този, който ги дава.6 Затова разпределението е важно. Стъпки, които лесно се отменят, могат да се изпълняват сами, а необратимите, като плащане, отиват при човек.6 Когато една стъпка с AI чете недоверен вход, има достъп до чувствителни данни и може да промени нещо или да изпрати нещо навън, OWASP изисква човек да одобрява всяко действие.6

Никакви тайни в обсега му. OWASP съветва ключовете и възможността да се променят неща да остават в обикновения код на приложението, извън модела, и всяко действие да се изпълнява с правата на човека, за когото се извършва, и не повече.6 Случаят показва защо „в обсега“ означава повече от това, което AI получава в ръцете си. Самият работен поток за сортиране не съдържаше ключ за публикуване, но споделяше хранилище с работния поток за издаване, който имаше такъв.1 Оттогава проектът не използва това споделено хранилище в нито един работен поток, който борави с ключове за публикуване.1

Всяка стъпка се записва и някой чете записите. OWASP съветва да се записва и наблюдава какво прави стъпката с AI, за да се откриват нежеланите действия и да се реагира на тях.6 Записите помагат само когато някой ги погледне. Изследователят открива неуспешни изпълнения на нощното издаване между 31 януари и 3 февруари 2026 г., които носят следа от собствения му инструмент, и пише, че неуспешните изпълнения са били подминавани, вместо да бъдат разследвани.3 Проектът вече проверява и подменения ключ спрямо самия ключ, а не само спрямо екран за управление.1

Правило В бизнес процес Какво промени проектът след това
AI чете и предлага Сортира имейли и подготвя отговори, но сам не изпраща нищо Бъдещата автоматизация само чете, без право да изпълнява команди1
Човек одобрява Промяна в данните, плащане или съобщение навън чака конкретен човек Работните потоци с AI са премахнати изцяло1
Никакви тайни в обсега Стъпката с AI няма пароли или ключове и не споделя хранилище със стъпки, които ги имат Няма споделено хранилище в работни потоци с ключове за публикуване1
Всяка стъпка записана Всеки вход, предложение, одобрение и действие се записва, а грешките се разследват Подмененият ключ се проверява спрямо самия ключ1

Това ръководство се ограничава до проектирането на процеса. Кои данни може да вижда AI и къде работи, са отделни въпроси със свои отговори.

Какво да проверите във всеки автоматизиран процес?

Минете през всеки процес, в който AI чете нещо, дошло отвън, веднъж преди пускането му в действие и отново след всяка по-голяма промяна.

Преди да решите

  • Какви входове чете стъпката с AI и може ли непознат да напише някой от тях, имейл, формуляр, тикет или прикачен файл?
  • Какво може да прави освен да чете и предлага? Всеки инструмент и всяко право са изброени.
  • Кои нейни действия променят данни, изпращат нещо навън или движат пари и кой одобрява всяко от тях, преди да се случи?
  • Вижда ли одобряващият точното действие, а не обобщение?
  • До кои пароли, ключове и данни може да стигне, пряко или през хранилище, което споделя с други стъпки?
  • Действа ли с правата на човека, за когото работи, и не повече?
  • Записват ли се всеки вход, предложение, одобрение и действие и разследва ли някой необяснените грешки?
  • Тествана ли е с враждебни входове от някой, който знае как работи защитата ѝ, както съветва OWASP?6
  • Кой получава сигналите за слабости и колко бързо някой отговаря на тях?
  • Може ли стъпката с AI да се изключи бързо, без да спре целият процес?

Какво означава това за компания в Европа

Имейлите, тикетите и формулярите обикновено съдържат лични данни, затова за процеса, който ги чете, се прилага Общият регламент относно защитата на данните (GDPR). Член 25 от него задължава администратора да вгради подходящи технически и организационни мерки в обработването, както към момента на определянето на средствата за обработване, така и към момента на самото обработване.7 По подразбиране се обработват само личните данни, които са необходими за всяка конкретна цел.7 Член 32 изисква ниво на сигурност, съобразено с риска, включително способност за гарантиране на поверителността и цялостността на системите, както и процес на редовно изпитване и оценка на ефективността на мерките.7 Сред рисковете, които трябва да се вземат предвид, той посочва неразрешеното разкриване на лични данни или достъпа до тях.7 По наше мнение четирите правила по-горе са мерки от вида, който описват тези членове. Дали са достатъчни за даден процес, преценява всеки администратор сам.

Следваща стъпка

Ако е полезно, с удоволствие ще разгледаме заедно на кратка среща един процес във вашата компания, в който AI чете входящи заявки, и какво може да прави той сам. Корпоративното AI решение е изградено по същите правила, с правата на всеки потребител, одобрение на промените от човек и запис на всяка стъпка. Какво ще направите след това, е изцяло ваше решение.

Корпоративно AI решение

Източници

  1. 1. Cline, Post-mortem, unauthorized Cline CLI npm publish on February 17, 2026 (24 February 2026). Прочетено на 17 ноември 2026 г.
  2. 2. Cline, security advisory GHSA-9ppg-jx86-fqw7, unauthorized npm publish of cline@2.3.0 (17 February 2026). Прочетено на 17 ноември 2026 г.
  3. 3. Adnan Khan, Clinejection, compromising Cline's production releases just by prompting an issue triager (9 February 2026, with later updates). Прочетено на 17 ноември 2026 г.
  4. 4. StepSecurity, Cline supply chain attack detected, cline@2.3.0 silently installs OpenClaw (17 February 2026). Прочетено на 17 ноември 2026 г.
  5. 5. grith, A GitHub issue title compromised 4,000 developer machines (5 March 2026). Прочетено на 17 ноември 2026 г.
  6. 6. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, LLM01 Prompt Injection and LLM03 Excessive Agency. Прочетено на 17 ноември 2026 г.
  7. 7. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, Official Journal of the EU. Прочетено на 17 ноември 2026 г.

История на промените

  1. Публикувано.

Да поговорим за вашия проект

Оставете ни данни за контакт и ще ви предложим дата. Безплатно и без ангажимент.

С кода на държавата, например +359.

Използваме данните ви само за да ви отговорим. Политика за поверителност

Формулярът е защитен от ботове с Google reCAPTCHA. Декларация за поверителност на Google (отваря се в нов прозорец) Общи условия на Google (отваря се в нов прозорец)

Или се свържете с нас директно

Пишете ни office@disruptivelab.dev
Обадете ни се +420 777 702 032

Предпочитаният ни език за комуникация е английският.

Всички контакти и адреси