Chatbot IA livré, les tests avant réception
Un chatbot sur votre site est une porte d’entrée vers vos systèmes, il mérite donc la même recette que tout logiciel que vous achetez, et quelques tests qui lui sont propres.
- Publié
- Mis à jour
- Temps de lecture
- 9 min de lecture
- Directeur de la publication
- David Lahuta
En bref
Un chatbot IA sur votre site est un logiciel avec lequel n’importe qui peut dialoguer. Avant sa mise en ligne, testez-le comme le ferait un attaquant. Dans un cas publié en décembre 2025, des chercheurs ont contourné les contrôles de sécurité du chatbot d’une grande entreprise, lui ont fait révéler ses instructions cachées et lui ont fait renvoyer du code exécuté dans le navigateur de l’utilisateur.1 Les causes étaient des failles web ordinaires, et le signalement envoyé par le canal de signalement de l’entreprise est resté sans réponse pendant des semaines.1 Avant de prononcer la recette d’un chatbot, testez ce qu’il révèle, ce qu’il peut faire et à quelles données il accède, et demandez au prestataire, par écrit, des journaux, des correctifs et un canal de signalement qui fonctionne.23
Qu’est-ce qui n’a pas fonctionné dans le cas Eurostar ?
Le 22 décembre 2025, la société de sécurité Pen Test Partners a raconté comment elle avait découvert quatre failles dans le chatbot IA public d’Eurostar, l’opérateur ferroviaire.1 Le chercheur est tombé sur le chatbot en simple client qui préparait un voyage, et l’a testé dans le respect des règles publiées par l’entreprise pour le signalement des failles de sécurité.1
Ce que décrivent les chercheurs, c’est un dispositif qui avait l’air correct, mais dont les règles n’étaient pas réellement appliquées.
- Le contrôle de sécurité ne regardait que le dernier message. À chaque nouveau message, la page renvoyait toute la conversation au serveur, et le serveur ne vérifiait que le plus récent.1 Les messages plus anciens pouvaient être modifiés dans le navigateur et parvenaient au modèle d’IA comme un contexte de confiance.1 Selon les chercheurs, la couche de sécurité était visible à l’écran, mais son application côté serveur était faible.1
- Les instructions cachées ont fuité. Une fois le contrôle franchi, le chercheur a amené le modèle à révéler son nom et son prompt système, c’est-à-dire les instructions cachées qui disent au bot comment se comporter, y compris la façon dont il construisait les liens de ses réponses.1
- Les réponses pouvaient contenir du code. Les réponses du bot s’affichaient dans la fenêtre de discussion sans être nettoyées, on pouvait donc lui faire renvoyer du code que le navigateur de l’utilisateur exécutait ensuite.1
- Les identifiants de conversation n’étaient pas vérifiés. Le serveur acceptait des identifiants de conversation et de message aussi simples que « 1 » ou « hello ».1
Les chercheurs n’ont pas tenté d’accéder aux conversations d’autres utilisateurs, et ils écrivent que l’injection n’a pas exposé les données d’autres utilisateurs.1 Ils ont jugé ces failles peu graves parce que le chatbot ne pouvait alors pas faire grand-chose, et ont averti que des fonctions supplémentaires pourraient exposer des données personnelles.1
La seconde moitié de l’histoire concerne le canal de signalement. Le premier signalement est parti le 11 juin 2025 et une relance le 18 juin, sans réponse ni à l’un ni à l’autre.1 Un collègue a contacté le responsable de la sécurité de l’entreprise le 7 juillet, et le 31 juillet on leur a répondu qu’il n’existait aucune trace du signalement.1 Entre-temps, le canal de signalement avait été confié à un prestataire externe et l’ancien fermé.1 Les demandes d’accusé de réception et de calendrier de correction sont restées sans réponse.1 Les failles ont finalement été corrigées, et les chercheurs écrivent qu’ils ne savent toujours pas si tous les problèmes l’ont été entièrement.1
Leur propre leçon tient en une phrase. Les vieilles faiblesses du web et des API restent d’actualité quand un modèle d’IA entre dans la boucle.1
Pourquoi ne suffit-il pas de dire au chatbot comment se comporter ?
Parce que les instructions et le texte du visiteur arrivent au modèle dans le même flux. Le Top 10 for LLM Applications 2026 de l’OWASP, la liste des principaux risques des systèmes fondés sur des modèles de langage d’IA établie par la communauté de la sécurité, place l’injection de prompt en tête.2 L’injection de prompt désigne un texte qui modifie le comportement du modèle d’une façon que son concepteur n’avait pas prévue.2
La liste le dit sans détour. Il n’existe aujourd’hui aucun moyen fiable d’empêcher l’injection de prompt, le système qui entoure le modèle doit donc être conçu en partant du principe que ses instructions seront contournées, et doit limiter ce que le modèle a le droit de faire.2 Les instructions ne viennent d’ailleurs pas forcément du visiteur. Elles peuvent se cacher dans une page web, un document ou un e-mail que le bot lit.2
Pour l’acheteur, la question change. Il ne s’agit pas de savoir si le bot peut être piégé. Il s’agit de savoir ce qui se passe quand il l’est.
Que tester avant la mise en ligne du chatbot ?
Testez les risques que rencontre réellement un chatbot public. Le tableau suit la liste de l’OWASP et les constats du cas Eurostar, en termes simples.12
| Ce qu’il faut tester | Ce que tente le testeur | Le résultat attendu |
|---|---|---|
| Les instructions cachées dans la saisie | convaincre le bot d’enfreindre ses règles, directement ou par un document ou une page qu’il lit2 | le bot peut dire des choses étranges, mais il ne peut rien faire ni rien révéler qu’il ne devrait pas |
| Le contrôle de sécurité | modifier des messages antérieurs ou contourner le contrôle depuis le navigateur1 | chaque contrôle s’exécute sur le serveur, pour toute la conversation |
| Les instructions cachées | faire en sorte que le bot les révèle2 | elles ne contiennent ni mots de passe, ni clés, ni règles qui protègent quoi que ce soit2 |
| Les données des autres | accéder à une autre conversation ou aux données d’un autre client12 | les identifiants de conversation viennent du serveur et sont liés à la session du visiteur1 |
| Du code dans les réponses | amener le bot à renvoyer du code qui s’exécute dans le navigateur12 | chaque réponse s’affiche en texte brut, ou est nettoyée avant affichage12 |
| Ce que le bot peut faire | le faire agir hors de sa mission, par exemple envoyer un e-mail ou modifier une commande2 | il n’a que les fonctions et les droits dont sa mission a besoin2 |
| La facture | lui faire produire en boucle des réponses longues et coûteuses2 | un plafond de dépenses strict et une limite par visiteur sont fixés2 |
Deux de ces points méritent qu’on s’y arrête.
Les instructions cachées ne sont pas un secret. L’OWASP recommande aux concepteurs de partir du principe qu’elles peuvent être découvertes, de ne jamais y mettre de mots de passe ni de clés et de ne jamais en faire la seule barrière de sécurité.2 Le résultat attendu, ce n’est pas un bot qui refuse de les révéler. C’est un bot dont les instructions, une fois révélées, ne causent aucun tort.
Le bot doit pouvoir faire le moins possible. L’OWASP appelle ce risque l’agentivité excessive (excessive agency), un bot qui peut faire plus qu’il ne devrait, et en cite trois causes, trop de fonctions, trop de droits et trop de liberté d’agir seul.2 Elle recommande de ne donner que les outils dont la mission a besoin, avec le moins de droits possible, d’exécuter les actions avec les droits de l’utilisateur qui les a demandées, et de faire valider par une personne tout ce qui a un effet important.2 Elle donne l’exemple d’un chatbot de service client qui peut accorder seul un remboursement sous forme d’avoir, alors qu’un versement d’argent passe par une personne.2
Qui doit mener les tests ?
Quelqu’un qui n’a pas construit le chatbot, et à qui l’on explique comment fonctionnent ses défenses. L’OWASP conseille de tester face à des attaquants qui connaissent les défenses en place, et pas seulement avec un jeu fixe d’attaques connues.2 La recherche qu’elle cite a passé en revue douze défenses récentes, dont la plupart annonçaient que les attaques ne passaient presque jamais, et des attaquants qui adaptaient leur méthode ont réussi dans plus de 90 % des cas contre la plupart d’entre elles.2
Les chercheurs du cas Eurostar ajoutent qu’un test ne se fait pas une fois pour toutes, et conseillent d’éprouver régulièrement le chatbot avec les techniques connues d’injection et de rejeu.1 À notre avis, le rapport de test du prestataire est un bon début, et un test indépendant avant la mise en ligne est l’étape qui donne tout son sens à la recette.
Que demander au prestataire par écrit ?
Le Secure by Demand Guide des agences américaines CISA et FBI, publié en 2024, donne aux acheteurs des questions à poser avant l’achat, des exigences à inscrire au contrat et des vérifications à faire ensuite.3 Il précise que ces questions valent aussi pour les revendeurs et les prestataires de services, ce guide convient donc également à un chatbot acheté à une agence ou en tant que service.3 En y ajoutant les leçons du cas Eurostar,1 voici les points que nous voudrions obtenir par écrit.
- Un canal de signalement qui fonctionne. Une politique de signalement des vulnérabilités publiée sur une page web publique, qui autorise le public à tester.3 Ensuite, qui lit les signalements, et ce qu’ils deviennent quand le canal change de mains.1
- Une réponse et un calendrier. Les demandes d’accusé de réception et de calendrier de correction des chercheurs sont restées sans réponse.1 Convenez dans le contrat du délai d’accusé de réception d’un signalement de sécurité et du délai de correction d’une faille grave.
- Des journaux que vous pouvez lire. Des journaux de sécurité inclus dans la version de base et, pour un service cloud, conservés au moins six mois sans supplément, couvrant les changements de configuration, les connexions et l’accès aux données.3 Pour un chatbot, les chercheurs ajoutent un enregistrement de chaque conversation qui permet de la reconstituer, y compris les décisions de sécurité et les outils utilisés par le modèle, avec des alertes sur les comportements inhabituels.1
- Un moyen de le couper. Un interrupteur d’urgence qui désactive rapidement le chatbot ou l’une de ses fonctions.1
- Des correctifs faciles à appliquer. La façon dont le prestataire rend les correctifs de sécurité simples à installer.3
- Ce qui le compose. La liste des composants tiers du produit, appelée nomenclature logicielle (SBOM).3
- Une connexion sûre pour vos équipes. L’authentification unique (SSO) et l’authentification multifacteur pour les personnes qui administrent le chatbot, sans surcoût.3
Liste de contrôle pour la recette d’un chatbot
- Chaque contrôle de sécurité s’exécute sur le serveur, pour toute la conversation, pas seulement pour le dernier message.
- Les identifiants de conversation et de message viennent du serveur et sont liés à la session du visiteur.
- Les réponses s’affichent en texte brut, ou sont nettoyées avant affichage.
- Les instructions cachées ne contiennent ni mots de passe, ni clés, ni règles qui protègent quoi que ce soit.
- Le bot n’a que les fonctions, les données et les droits dont sa mission a besoin, et une personne valide tout ce qui a un effet important.
- Un plafond de dépenses et une limite par visiteur sont fixés.
- Quelqu’un qui n’a pas construit le bot l’a testé comme le ferait un attaquant, et le testera de nouveau.
- Chaque conversation est enregistrée, et vous pouvez lire les enregistrements.
- Le prestataire dispose d’un canal public de signalement de sécurité, d’une personne nommée qui le lit et de délais convenus pour répondre et corriger.
- Vous pouvez couper le chatbot vous-mêmes, immédiatement.
Prochaine étape
Si cela peut vous être utile, nous pouvons convenir d’un court appel pour passer en revue, point par point, la recette du chatbot que vous achetez, avec les réponses de votre prestataire sous les yeux. La suite que vous y donnerez vous appartient.
Sources
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Consulté le 17 novembre 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Consulté le 17 novembre 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Consulté le 17 novembre 2026
Historique des modifications
- Publication.