Към съдържанието
Disruptive Lab

Наръчник Покупки и доставчици

Тест на чатбот от доставчик преди старта

Чатботът на вашия сайт е врата към вашите системи, затова заслужава същия приемателен тест като всеки друг софтуер, който купувате, както и няколко теста, специфични само за него.

Публикувано
Актуализирано
Време за четене
8 мин. четене
Редактор
David Lahuta

Накратко

AI чатботът на вашия сайт е софтуер, с който може да разговаря всеки непознат. Преди да го пуснете, тествайте го така, както би го направил нападател. В случай, публикуван през декември 2025 г., изследователи успяха да заобиколят защитните проверки на чатбота на голяма компания, да го накарат да разкрие скритите си инструкции и да върне код, който се изпълнява в браузъра на потребителя.1 Причините бяха обикновени уязвимости на уеб приложенията, а сигналът, изпратен през канала на компанията за сигнали, остана без отговор седмици наред.1 Преди да приемете чатбот, проверете какво разкрива, какво може да прави и до чии данни стига, и поискайте писмено от доставчика записи, поправки и канал за сигнали, който работи.23

Какво се обърка в случая с Eurostar?

На 22 декември 2025 г. фирмата за киберсигурност Pen Test Partners публикува как е открила четири уязвимости в публичния AI чатбот на железопътния превозвач Eurostar.1 Изследователят попадна на чатбота като обикновен клиент, който планира пътуване, и го тества в рамките на публикуваните от компанията правила за докладване на уязвимости.1

Изследователите описват решение, което изглежда правилно, но на практика не се спазва.

  • Защитната проверка гледаше само последното съобщение. При всяко ново съобщение страницата изпращаше на сървъра целия разговор, а сървърът проверяваше само най-новото.1 По-старите съобщения можеха да се променят в браузъра и стигаха до AI модела като доверен контекст.1 По думите на изследователите защитният слой се виждаше на екрана, но на сървъра се прилагаше слабо.1
  • Скритите инструкции излязоха наяве. След като заобиколи проверката, изследователят накара модела да разкрие името на модела и т.нар. системен промпт, скритите инструкции, които казват на бота как да се държи, включително как съставя връзките в отговорите си.1
  • Отговорите можеха да съдържат код. Отговорите на бота се показваха в прозореца на чата без почистване, така че ботът можеше да бъде накаран да върне код, който браузърът на потребителя след това изпълнява.1
  • Номерата на разговорите не се проверяваха. Сървърът приемаше номера на разговори и съобщения, дори толкова прости като „1“ или „hello“.1

Изследователите не са се опитвали да стигнат до разговорите на други потребители и пишат, че вмъкнатите инструкции не са разкрили данни на други потребители.1 Те оценяват уязвимостите като не особено сериозни, защото по онова време чатботът можеше да прави малко, и предупреждават, че с повече функции може да изтекат лични данни.1

Втората половина на историята е за канала за сигнали. Първият сигнал беше изпратен на 11 юни 2025 г., а напомнянето на 18 юни, и нито един от двата не получи отговор.1 На 7 юли колега на изследователя се свърза с ръководителя по сигурността на компанията, а на 31 юли им беше казано, че няма запис за сигнала.1 Междувременно каналът за сигнали беше предаден на външен доставчик, а старият беше закрит.1 Молбите за потвърждение на получаването и за срок на поправката останаха без отговор.1 В крайна сметка уязвимостите бяха отстранени, но изследователите пишат, че и досега не знаят дали всички проблеми са отстранени напълно.1

Собственият им извод е кратък. Старите слабости на уеб приложенията и приложно-програмните интерфейси (API) важат и тогава, когато в процеса участва AI модел.1

Защо не е достатъчно просто да кажете на чатбота как да се държи?

Защото инструкциите и текстът на посетителя стигат до модела в един и същ поток. OWASP Top 10 for LLM Applications 2026, списъкът на общността по киберсигурност с основните рискове при системите, изградени върху AI езикови модели, поставя на първо място prompt injection.2 Prompt injection означава текст, който променя поведението на модела по начин, който създателят му не е предвидил.2

Списъкът го казва направо. Днес няма надежден начин да се предотврати prompt injection, затова системата около модела трябва да се проектира с допускането, че инструкциите му ще бъдат заобиколени, и трябва да ограничава какво може да прави моделът.2 При това инструкциите не е задължително да идват от посетителя. Те могат да са скрити в уеб страница, документ или имейл, които ботът чете.2

За купувача това променя въпроса. Въпросът не е дали ботът може да бъде подведен. Въпросът е какво става, когато това се случи.

Какво да тествате, преди чатботът да заработи?

Тествайте рисковете, с които публичният чатбот реално се сблъсква. Таблицата следва списъка на OWASP и констатациите от случая с Eurostar, изложени с прости думи.12

Какво да тествате Какво опитва тестващият Как изглежда успешният резултат
Инструкции, скрити във входа да убеди бота да наруши правилата си, пряко или чрез документ или страница, която чете2 ботът може да каже нещо странно, но не може да направи или разкрие нищо, което не бива
Защитната проверка да промени по-стари съобщения или да заобиколи проверката от браузъра1 всяка проверка се изпълнява на сървъра и за целия разговор
Скритите инструкции да накара бота да ги разкрие2 в тях няма пароли, ключове или правила, които да защитават нещо2
Данните на други хора да стигне до чужд разговор или до записите на друг клиент12 номерата на разговорите се дават от сървъра и са свързани със сесията на посетителя1
Код в отговорите да накара бота да върне код, който се изпълнява в браузъра12 всеки отговор се показва като обикновен текст или се почиства, преди да бъде показан12
Какво може да прави ботът да го накара да действа извън задачата си, например да изпрати имейл или да промени поръчка2 има само функциите и правата, от които задачата му се нуждае2
Сметката да го накара да генерира дълги и скъпи отговори в цикъл2 зададени са твърд лимит на разходите и лимит за един посетител2

Две от тези точки заслужават по-внимателен поглед.

Скритите инструкции не са тайна. OWASP съветва разработчиците да приемат, че те могат да бъдат открити, никога да не слагат в тях пароли или ключове и да не ги използват като единствена бариера за сигурност.2 Успешен резултат не е бот, който отказва да ги разкрие. Успешен резултат е бот, при който разкриването им не причинява вреда.

Ботът трябва да може възможно най-малко. OWASP нарича този риск excessive agency, т.е. прекомерна свобода на действие, бот, който може повече, отколкото трябва. Причините според OWASP са три, твърде много функции, твърде много права и твърде много свобода да действа самостоятелно.2 Препоръките са ботът да има само инструментите, от които задачата се нуждае, възможно най-малко права, действията да се изпълняват с правата на потребителя, който ги е поискал, и всичко със сериозни последици да се одобрява от човек.2 Собственият пример на OWASP е чатбот за обслужване на клиенти, който може сам да възстанови сума като кредит в магазина, докато изплащането на пари се решава от човек.2

Кой трябва да тества?

Някой, който не е изградил бота и на когото е обяснено как работят защитите. OWASP съветва да се тества срещу нападатели, които познават защитата, а не само с фиксиран набор от известни атаки.2 Цитираното от OWASP изследване е проверило дванадесет скорошни защити, повечето от които са отчитали, че атаките почти никога не минават, а нападателите, които адаптират метода си, са успели в над 90% от случаите срещу повечето от тях.2

Изследователите от случая с Eurostar добавят, че тестването не е еднократно, и съветват чатботът да се тества редовно с известни техники за вмъкване на инструкции и повторно изпращане на разговори.1 По наше мнение тестовият доклад на самия доставчик е добро начало, а независимият тест преди старта е стъпката, която придава истински смисъл на приемането.

Какво да поискате писмено от доставчика?

Ръководството Secure by Demand на американските агенции CISA и ФБР от 2024 г. дава на купувачите въпроси, които да зададат преди покупката, изисквания, които да впишат в договора, и проверки, които да направят след това.3 В него се казва също, че въпросите могат да се използват и при препродавачи и доставчици на услуги, така че то важи и за чатбот, купен чрез дигитална агенция или ползван като услуга.3 Заедно с изводите от случая с Eurostar1 това са точките, които бихме искали да имаме писмено.

  • Канал за сигнали, който работи. Публикувана политика за докладване на уязвимости на публична уеб страница, която позволява на външни лица да тестват.3 Освен това кой чете сигналите и какво става с тях, когато каналът премине в други ръце.1
  • Отговор и срок. Молбите на изследователите за потвърждение на получаването и за срок на поправката останаха без отговор.1 Уговорете в договора колко бързо се потвърждава сигнал за сигурност и колко бързо се отстранява сериозна уязвимост.
  • Записи, които можете да прочетете. Журнали за сигурност още в базовата версия, които обхващат промените в конфигурацията, влизанията и достъпа до данни, а при облачна услуга се съхраняват поне шест месеца без допълнително заплащане.3 За чатбот изследователите добавят запис на всеки разговор, по който той може да бъде възстановен, включително решенията за сигурност и инструментите, които моделът е използвал, с известия при необичайна активност.1
  • Начин да го изключите. Авариен прекъсвач, който бързо изключва чатбота или някоя от функциите му.1
  • Поправки, които се прилагат лесно. Как доставчикът прави поправките за сигурност лесни за инсталиране.3
  • От какво е изграден. Списък на компонентите от трети страни в продукта, т.нар. софтуерна спецификация на компонентите (SBOM).3
  • Сигурно влизане за вашите служители. Единно влизане (SSO) и многофакторно удостоверяване за хората, които управляват чатбота, без допълнително заплащане.3

Контролен списък за приемане на чатбот

  • Всяка защитна проверка се изпълнява на сървъра и за целия разговор, а не само за последното съобщение.
  • Номерата на разговорите и съобщенията се дават от сървъра и са свързани със сесията на посетителя.
  • Отговорите се показват като обикновен текст или се почистват, преди да бъдат показани.
  • Скритите инструкции не съдържат пароли, ключове или правила, които да защитават нещо.
  • Ботът има само функциите, данните и правата, от които задачата му се нуждае, а всичко със сериозни последици се одобрява от човек.
  • Зададени са лимит на разходите и лимит за един посетител.
  • Някой, който не е изградил бота, го е тествал като нападател и ще го тества отново.
  • Всеки разговор се записва и можете да четете записите.
  • Доставчикът има публичен канал за сигнали за сигурност, конкретен човек, който го чете, и договорени срокове за отговор и за поправка.
  • Можете сами да изключите чатбота, веднага.

Следваща стъпка

Ако смятате, че ще е полезно, можем да проведем кратък разговор и да минем заедно точка по точка през приемателния тест на чатбота, който купувате, с отговорите на вашия доставчик пред нас. Какво ще направите след това, е изцяло ваше решение.

Корпоративно AI решение

Източници

  1. 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Прочетено на 17 ноември 2026 г.
  2. 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Прочетено на 17 ноември 2026 г.
  3. 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Прочетено на 17 ноември 2026 г.

История на промените

  1. Публикувано.

Да поговорим за вашия проект

Оставете ни данни за контакт и ще ви предложим дата. Безплатно и без ангажимент.

С кода на държавата, например +359.

Използваме данните ви само за да ви отговорим. Политика за поверителност

Формулярът е защитен от ботове с Google reCAPTCHA. Декларация за поверителност на Google (отваря се в нов прозорец) Общи условия на Google (отваря се в нов прозорец)

Или се свържете с нас директно

Пишете ни office@disruptivelab.dev
Обадете ни се +420 777 702 032

Предпочитаният ни език за комуникация е английският.

Всички контакти и адреси