Тест на чатбот от доставчик преди старта
Чатботът на вашия сайт е врата към вашите системи, затова заслужава същия приемателен тест като всеки друг софтуер, който купувате, както и няколко теста, специфични само за него.
- Публикувано
- Актуализирано
- Време за четене
- 8 мин. четене
- Редактор
- David Lahuta
Накратко
AI чатботът на вашия сайт е софтуер, с който може да разговаря всеки непознат. Преди да го пуснете, тествайте го така, както би го направил нападател. В случай, публикуван през декември 2025 г., изследователи успяха да заобиколят защитните проверки на чатбота на голяма компания, да го накарат да разкрие скритите си инструкции и да върне код, който се изпълнява в браузъра на потребителя.1 Причините бяха обикновени уязвимости на уеб приложенията, а сигналът, изпратен през канала на компанията за сигнали, остана без отговор седмици наред.1 Преди да приемете чатбот, проверете какво разкрива, какво може да прави и до чии данни стига, и поискайте писмено от доставчика записи, поправки и канал за сигнали, който работи.23
Какво се обърка в случая с Eurostar?
На 22 декември 2025 г. фирмата за киберсигурност Pen Test Partners публикува как е открила четири уязвимости в публичния AI чатбот на железопътния превозвач Eurostar.1 Изследователят попадна на чатбота като обикновен клиент, който планира пътуване, и го тества в рамките на публикуваните от компанията правила за докладване на уязвимости.1
Изследователите описват решение, което изглежда правилно, но на практика не се спазва.
- Защитната проверка гледаше само последното съобщение. При всяко ново съобщение страницата изпращаше на сървъра целия разговор, а сървърът проверяваше само най-новото.1 По-старите съобщения можеха да се променят в браузъра и стигаха до AI модела като доверен контекст.1 По думите на изследователите защитният слой се виждаше на екрана, но на сървъра се прилагаше слабо.1
- Скритите инструкции излязоха наяве. След като заобиколи проверката, изследователят накара модела да разкрие името на модела и т.нар. системен промпт, скритите инструкции, които казват на бота как да се държи, включително как съставя връзките в отговорите си.1
- Отговорите можеха да съдържат код. Отговорите на бота се показваха в прозореца на чата без почистване, така че ботът можеше да бъде накаран да върне код, който браузърът на потребителя след това изпълнява.1
- Номерата на разговорите не се проверяваха. Сървърът приемаше номера на разговори и съобщения, дори толкова прости като „1“ или „hello“.1
Изследователите не са се опитвали да стигнат до разговорите на други потребители и пишат, че вмъкнатите инструкции не са разкрили данни на други потребители.1 Те оценяват уязвимостите като не особено сериозни, защото по онова време чатботът можеше да прави малко, и предупреждават, че с повече функции може да изтекат лични данни.1
Втората половина на историята е за канала за сигнали. Първият сигнал беше изпратен на 11 юни 2025 г., а напомнянето на 18 юни, и нито един от двата не получи отговор.1 На 7 юли колега на изследователя се свърза с ръководителя по сигурността на компанията, а на 31 юли им беше казано, че няма запис за сигнала.1 Междувременно каналът за сигнали беше предаден на външен доставчик, а старият беше закрит.1 Молбите за потвърждение на получаването и за срок на поправката останаха без отговор.1 В крайна сметка уязвимостите бяха отстранени, но изследователите пишат, че и досега не знаят дали всички проблеми са отстранени напълно.1
Собственият им извод е кратък. Старите слабости на уеб приложенията и приложно-програмните интерфейси (API) важат и тогава, когато в процеса участва AI модел.1
Защо не е достатъчно просто да кажете на чатбота как да се държи?
Защото инструкциите и текстът на посетителя стигат до модела в един и същ поток. OWASP Top 10 for LLM Applications 2026, списъкът на общността по киберсигурност с основните рискове при системите, изградени върху AI езикови модели, поставя на първо място prompt injection.2 Prompt injection означава текст, който променя поведението на модела по начин, който създателят му не е предвидил.2
Списъкът го казва направо. Днес няма надежден начин да се предотврати prompt injection, затова системата около модела трябва да се проектира с допускането, че инструкциите му ще бъдат заобиколени, и трябва да ограничава какво може да прави моделът.2 При това инструкциите не е задължително да идват от посетителя. Те могат да са скрити в уеб страница, документ или имейл, които ботът чете.2
За купувача това променя въпроса. Въпросът не е дали ботът може да бъде подведен. Въпросът е какво става, когато това се случи.
Какво да тествате, преди чатботът да заработи?
Тествайте рисковете, с които публичният чатбот реално се сблъсква. Таблицата следва списъка на OWASP и констатациите от случая с Eurostar, изложени с прости думи.12
| Какво да тествате | Какво опитва тестващият | Как изглежда успешният резултат |
|---|---|---|
| Инструкции, скрити във входа | да убеди бота да наруши правилата си, пряко или чрез документ или страница, която чете2 | ботът може да каже нещо странно, но не може да направи или разкрие нищо, което не бива |
| Защитната проверка | да промени по-стари съобщения или да заобиколи проверката от браузъра1 | всяка проверка се изпълнява на сървъра и за целия разговор |
| Скритите инструкции | да накара бота да ги разкрие2 | в тях няма пароли, ключове или правила, които да защитават нещо2 |
| Данните на други хора | да стигне до чужд разговор или до записите на друг клиент12 | номерата на разговорите се дават от сървъра и са свързани със сесията на посетителя1 |
| Код в отговорите | да накара бота да върне код, който се изпълнява в браузъра12 | всеки отговор се показва като обикновен текст или се почиства, преди да бъде показан12 |
| Какво може да прави ботът | да го накара да действа извън задачата си, например да изпрати имейл или да промени поръчка2 | има само функциите и правата, от които задачата му се нуждае2 |
| Сметката | да го накара да генерира дълги и скъпи отговори в цикъл2 | зададени са твърд лимит на разходите и лимит за един посетител2 |
Две от тези точки заслужават по-внимателен поглед.
Скритите инструкции не са тайна. OWASP съветва разработчиците да приемат, че те могат да бъдат открити, никога да не слагат в тях пароли или ключове и да не ги използват като единствена бариера за сигурност.2 Успешен резултат не е бот, който отказва да ги разкрие. Успешен резултат е бот, при който разкриването им не причинява вреда.
Ботът трябва да може възможно най-малко. OWASP нарича този риск excessive agency, т.е. прекомерна свобода на действие, бот, който може повече, отколкото трябва. Причините според OWASP са три, твърде много функции, твърде много права и твърде много свобода да действа самостоятелно.2 Препоръките са ботът да има само инструментите, от които задачата се нуждае, възможно най-малко права, действията да се изпълняват с правата на потребителя, който ги е поискал, и всичко със сериозни последици да се одобрява от човек.2 Собственият пример на OWASP е чатбот за обслужване на клиенти, който може сам да възстанови сума като кредит в магазина, докато изплащането на пари се решава от човек.2
Кой трябва да тества?
Някой, който не е изградил бота и на когото е обяснено как работят защитите. OWASP съветва да се тества срещу нападатели, които познават защитата, а не само с фиксиран набор от известни атаки.2 Цитираното от OWASP изследване е проверило дванадесет скорошни защити, повечето от които са отчитали, че атаките почти никога не минават, а нападателите, които адаптират метода си, са успели в над 90% от случаите срещу повечето от тях.2
Изследователите от случая с Eurostar добавят, че тестването не е еднократно, и съветват чатботът да се тества редовно с известни техники за вмъкване на инструкции и повторно изпращане на разговори.1 По наше мнение тестовият доклад на самия доставчик е добро начало, а независимият тест преди старта е стъпката, която придава истински смисъл на приемането.
Какво да поискате писмено от доставчика?
Ръководството Secure by Demand на американските агенции CISA и ФБР от 2024 г. дава на купувачите въпроси, които да зададат преди покупката, изисквания, които да впишат в договора, и проверки, които да направят след това.3 В него се казва също, че въпросите могат да се използват и при препродавачи и доставчици на услуги, така че то важи и за чатбот, купен чрез дигитална агенция или ползван като услуга.3 Заедно с изводите от случая с Eurostar1 това са точките, които бихме искали да имаме писмено.
- Канал за сигнали, който работи. Публикувана политика за докладване на уязвимости на публична уеб страница, която позволява на външни лица да тестват.3 Освен това кой чете сигналите и какво става с тях, когато каналът премине в други ръце.1
- Отговор и срок. Молбите на изследователите за потвърждение на получаването и за срок на поправката останаха без отговор.1 Уговорете в договора колко бързо се потвърждава сигнал за сигурност и колко бързо се отстранява сериозна уязвимост.
- Записи, които можете да прочетете. Журнали за сигурност още в базовата версия, които обхващат промените в конфигурацията, влизанията и достъпа до данни, а при облачна услуга се съхраняват поне шест месеца без допълнително заплащане.3 За чатбот изследователите добавят запис на всеки разговор, по който той може да бъде възстановен, включително решенията за сигурност и инструментите, които моделът е използвал, с известия при необичайна активност.1
- Начин да го изключите. Авариен прекъсвач, който бързо изключва чатбота или някоя от функциите му.1
- Поправки, които се прилагат лесно. Как доставчикът прави поправките за сигурност лесни за инсталиране.3
- От какво е изграден. Списък на компонентите от трети страни в продукта, т.нар. софтуерна спецификация на компонентите (SBOM).3
- Сигурно влизане за вашите служители. Единно влизане (SSO) и многофакторно удостоверяване за хората, които управляват чатбота, без допълнително заплащане.3
Контролен списък за приемане на чатбот
- Всяка защитна проверка се изпълнява на сървъра и за целия разговор, а не само за последното съобщение.
- Номерата на разговорите и съобщенията се дават от сървъра и са свързани със сесията на посетителя.
- Отговорите се показват като обикновен текст или се почистват, преди да бъдат показани.
- Скритите инструкции не съдържат пароли, ключове или правила, които да защитават нещо.
- Ботът има само функциите, данните и правата, от които задачата му се нуждае, а всичко със сериозни последици се одобрява от човек.
- Зададени са лимит на разходите и лимит за един посетител.
- Някой, който не е изградил бота, го е тествал като нападател и ще го тества отново.
- Всеки разговор се записва и можете да четете записите.
- Доставчикът има публичен канал за сигнали за сигурност, конкретен човек, който го чете, и договорени срокове за отговор и за поправка.
- Можете сами да изключите чатбота, веднага.
Следваща стъпка
Ако смятате, че ще е полезно, можем да проведем кратък разговор и да минем заедно точка по точка през приемателния тест на чатбота, който купувате, с отговорите на вашия доставчик пред нас. Какво ще направите след това, е изцяло ваше решение.
Източници
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Прочетено на 17 ноември 2026 г.
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Прочетено на 17 ноември 2026 г.
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Прочетено на 17 ноември 2026 г.
История на промените
- Публикувано.