Como testar o chatbot de um fornecedor
Um chatbot no seu site é uma porta para os seus sistemas, por isso merece o mesmo teste de aceitação que qualquer outro software que compra, e alguns testes próprios.
- Publicado
- Atualizado
- Tempo de leitura
- 8 min de leitura
- Editor
- David Lahuta
Em resumo
Um chatbot de IA no seu site é software com que qualquer desconhecido pode conversar. Antes de o pôr em funcionamento, teste-o como o faria um atacante. Num caso publicado em dezembro de 2025, investigadores contornaram as verificações de segurança do chatbot de uma grande empresa, levaram-no a revelar as instruções ocultas e a devolver código que era executado no navegador do utilizador.1 As causas eram falhas web comuns, e a comunicação enviada pelo canal da empresa para comunicar falhas ficou semanas sem resposta.1 Antes de aceitar um chatbot, teste o que revela, o que pode fazer e a que dados consegue aceder, e peça ao fornecedor, por escrito, registos, correções e um canal de comunicação de falhas que funcione.23
O que correu mal no caso Eurostar?
Em 22 de dezembro de 2025, a empresa de segurança Pen Test Partners publicou como encontrou quatro falhas no chatbot de IA público da Eurostar, a operadora ferroviária.1 O investigador deparou-se com o chatbot enquanto cliente comum que planeava uma viagem e testou-o dentro das regras que a empresa publicou para a comunicação de falhas de segurança.1
O que os investigadores descrevem é uma conceção que parecia correta, mas que não era efetivamente aplicada.
- A verificação de segurança olhava apenas para a última mensagem. A cada nova mensagem, a página reenviava ao servidor a conversa inteira, e o servidor verificava apenas a mais recente.1 As mensagens anteriores podiam ser alteradas no navegador e chegavam ao modelo de IA como contexto de confiança.1 Nas palavras dos investigadores, o ecrã mostrava a camada de segurança, mas a sua aplicação no servidor era fraca.1
- As instruções ocultas ficaram expostas. Passada a verificação, o investigador levou o modelo a revelar o nome do modelo e o seu prompt de sistema, as instruções ocultas que dizem ao bot como se deve comportar, incluindo a forma como construía as ligações nas respostas.1
- As respostas podiam transportar código. As respostas do bot eram mostradas na janela de conversa sem serem filtradas, pelo que era possível levá-lo a devolver código que o navegador do utilizador depois executava.1
- Os números das conversas não eram validados. O servidor aceitava números de conversa e de mensagem tão simples como «1» ou «hello».1
Os investigadores não tentaram aceder às conversas de outros utilizadores e escrevem que a injeção não expôs dados de outros utilizadores.1 Consideraram as falhas pouco graves porque, na altura, o chatbot pouco podia fazer, e alertaram que mais funções poderiam expor dados pessoais.1
A segunda metade da história diz respeito ao canal de comunicação. A primeira comunicação foi enviada a 11 de junho de 2025 e um lembrete a 18 de junho, e nenhum dos dois obteve resposta.1 Um colega contactou o responsável de segurança da empresa a 7 de julho, e a 31 de julho foi-lhes dito que não havia registo da comunicação.1 Entretanto, o canal de comunicação tinha sido entregue a um prestador externo e o antigo desativado.1 Os pedidos de confirmação de receção ou de um prazo para a correção ficaram sem resposta.1 As falhas acabaram por ser corrigidas, e os investigadores escrevem que continuam sem saber se todos os problemas foram totalmente corrigidos.1
A lição que eles próprios tiram é curta. As velhas fragilidades da web e das API continuam a aplicar-se quando há um modelo de IA pelo meio.1
Porque não basta dizer a um chatbot como se deve comportar?
Porque as instruções e o texto do visitante chegam ao modelo no mesmo fluxo. O OWASP Top 10 for LLM Applications 2026, a lista da comunidade de segurança com os principais riscos dos sistemas assentes em modelos de linguagem de IA, coloca a injeção de prompts (prompt injection) em primeiro lugar.2 Injeção de prompts é texto que altera o que o modelo faz de uma forma que quem o construiu não pretendia.2
A lista é clara a este respeito. Hoje não existe forma fiável de evitar a injeção de prompts, por isso o sistema à volta do modelo deve ser concebido partindo do princípio de que as suas instruções serão contornadas, e deve limitar o que o modelo pode fazer.2 As instruções também não têm de vir do visitante. Podem estar escondidas numa página web, num documento ou num e-mail que o bot lê.2
Para quem compra, isto muda a pergunta. A pergunta não é se o bot pode ser enganado. É o que acontece quando o for.
O que deve testar antes de o chatbot entrar em funcionamento?
Teste os riscos que um chatbot público realmente enfrenta. A tabela segue a lista da OWASP e as conclusões do caso Eurostar, em palavras simples.12
| O que testar | O que o testador tenta | Como é um resultado aprovado |
|---|---|---|
| Instruções escondidas na entrada | convencer o bot a abandonar as suas regras, diretamente ou através de um documento ou página que lê2 | o bot pode dizer coisas estranhas, mas não pode fazer nem revelar nada que não deva |
| A verificação de segurança | alterar mensagens anteriores ou contornar a verificação a partir do navegador1 | todas as verificações são executadas no servidor, para a conversa inteira |
| As instruções ocultas | levar o bot a revelá-las2 | não contêm palavras-passe, chaves nem regras que protejam alguma coisa2 |
| Dados de outras pessoas | chegar a outra conversa ou aos registos de outro cliente12 | os números de conversa vêm do servidor e estão ligados à sessão do visitante1 |
| Código nas respostas | levar o bot a devolver código que corre no navegador12 | cada resposta é mostrada como texto simples, ou filtrada antes de ser mostrada12 |
| O que o bot pode fazer | levá-lo a agir fora da sua tarefa, por exemplo enviar um e-mail ou alterar uma encomenda2 | tem apenas as funções e permissões de que a tarefa precisa2 |
| A fatura | pô-lo a gerar respostas longas e caras em ciclo2 | estão definidos um limite rígido de gastos e um limite por visitante2 |
Dois destes pontos merecem um olhar mais atento.
As instruções ocultas não são um segredo. A OWASP diz a quem constrói que parta do princípio de que podem ser descobertas, que nunca lá coloque palavras-passe ou chaves e que não as use como a única barreira de segurança.2 Um resultado aprovado não é um bot que se recusa a revelá-las. É um bot em que revelá-las não causa dano.
O bot deve poder fazer o mínimo possível. A OWASP chama a este risco autonomia excessiva (excessive agency), um bot que pode fazer mais do que devia, e aponta três causas, funções a mais, permissões a mais e liberdade a mais para agir sozinho.2 As soluções que propõe são apenas as ferramentas de que a tarefa precisa, o mínimo de permissões, ações executadas com os direitos do utilizador que fez o pedido e uma pessoa que aprova tudo o que tenha grande impacto.2 O seu próprio exemplo é um chatbot de apoio ao cliente que pode, sozinho, fazer um reembolso em crédito de loja, enquanto um reembolso em dinheiro fica a cargo de uma pessoa.2
Quem deve fazer os testes?
Alguém que não o construiu e a quem se explica como funcionam as defesas. A OWASP aconselha testar contra atacantes que conhecem a defesa, e não apenas com um conjunto fixo de ataques conhecidos.2 A investigação que cita analisou doze defesas recentes, a maioria das quais tinha indicado que os ataques quase nunca passavam, e os atacantes que adaptaram o seu método tiveram êxito em mais de 90 % dos casos contra a maioria delas.2
Os investigadores do caso Eurostar acrescentam que testar não é algo que se faça uma vez, e aconselham a testar o chatbot regularmente com técnicas conhecidas de injeção e de repetição de pedidos.1 Na nossa opinião, o relatório de testes do próprio fornecedor é um bom começo, e um teste independente antes do lançamento é o passo que dá verdadeiro significado à aceitação.
O que deve pedir por escrito ao fornecedor?
O Secure by Demand Guide das agências norte-americanas CISA e FBI, de 2024, dá a quem compra perguntas a fazer antes da compra, requisitos a incluir no contrato e verificações a fazer depois.3 Diz também que as perguntas podem ser usadas com revendedores e prestadores de serviços, pelo que serve também para um chatbot comprado a uma agência ou contratado como serviço.3 Juntando as lições do caso Eurostar,1 estes são os pontos que gostaríamos de ter por escrito.
- Um canal de comunicação que funcione. Uma política publicada para a comunicação de vulnerabilidades, numa página web pública, que autorize o público a testar.3 Depois, quem lê as comunicações e o que lhes acontece quando o canal muda de mãos.1
- Uma resposta e um prazo. Os pedidos dos investigadores de confirmação de receção e de um prazo para a correção ficaram sem resposta.1 Estabeleça no contrato a rapidez com que uma comunicação de segurança é confirmada e a rapidez com que uma falha grave é corrigida.
- Registos que consiga ler. Registos de segurança já na versão base e, num serviço na nuvem, conservados pelo menos seis meses sem custo adicional, abrangendo alterações de configuração, inícios de sessão e acessos a dados.3 Para um chatbot, os investigadores acrescentam um registo de cada conversa que permita reconstituí-la, incluindo as decisões de segurança e as ferramentas que o modelo usou, com alertas para padrões invulgares.1
- Uma forma de o desligar. Um interruptor de emergência que desligue rapidamente o chatbot ou uma das suas funções.1
- Correções fáceis de aplicar. Como o fornecedor torna as correções de segurança simples de instalar.3
- De que é feito. Uma lista dos componentes de terceiros que compõem o produto, a chamada lista de materiais de software (SBOM).3
- Início de sessão seguro para a sua equipa. Início de sessão único (SSO) e autenticação multifator para as pessoas que gerem o chatbot, sem custo adicional.3
Lista de verificação para a aceitação de um chatbot
- Todas as verificações de segurança são executadas no servidor, para a conversa inteira, e não só para a última mensagem.
- Os números de conversa e de mensagem vêm do servidor e estão ligados à sessão do visitante.
- As respostas são mostradas como texto simples, ou filtradas antes de serem mostradas.
- As instruções ocultas não contêm palavras-passe, chaves nem regras que protejam alguma coisa.
- O bot tem apenas as funções, os dados e as permissões de que a sua tarefa precisa, e uma pessoa aprova tudo o que tenha grande impacto.
- Estão definidos um limite de gastos e um limite por visitante.
- Alguém que não construiu o bot testou-o como o faria um atacante, e voltará a testá-lo.
- Cada conversa fica registada, e consegue ler os registos.
- O fornecedor tem um canal público para comunicações de segurança, uma pessoa designada que o lê e prazos acordados para responder e para corrigir.
- Consegue desligar o chatbot por si próprio, de imediato.
Próximo passo
Se lhe for útil, podemos marcar uma breve chamada e percorrer, ponto por ponto, o teste de aceitação do chatbot que está a comprar, com as respostas do seu fornecedor à frente. O que fizer com isso depois é decisão sua.
Fontes
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Consultada a 17 de novembro de 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Consultada a 17 de novembro de 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Consultada a 17 de novembro de 2026
Histórico de alterações
- Publicado.