Collaudare il chatbot di un fornitore
Un chatbot sul vostro sito è una porta verso i vostri sistemi, quindi merita lo stesso collaudo di qualsiasi altro software che acquistate, più alcune verifiche specifiche.
- Pubblicato
- Aggiornato
- Tempo di lettura
- 8 min di lettura
- Responsabile editoriale
- David Lahuta
In breve
Un chatbot AI sul vostro sito è un software a cui possono scrivere perfetti sconosciuti. Prima che vada online, mettetelo alla prova come farebbe un attaccante. In un caso pubblicato a dicembre 2025, alcuni ricercatori hanno aggirato i controlli di sicurezza del chatbot di una grande azienda, gli hanno fatto rivelare le sue istruzioni nascoste e restituire codice eseguito nel browser dell'utente.1 Le cause erano comuni vulnerabilità web, e la segnalazione inviata tramite il canale di segnalazione dell'azienda è rimasta senza risposta per settimane.1 Prima di accettare un chatbot, verificate cosa rivela, cosa può fare e a quali dati può accedere, e chiedete al fornitore per iscritto registri, correzioni e un canale di segnalazione che funzioni.23
Cosa è andato storto nel caso Eurostar?
Il 22 dicembre 2025 la società di sicurezza Pen Test Partners ha reso noto come aveva individuato quattro vulnerabilità nel chatbot AI pubblico di Eurostar, la società ferroviaria.1 Il ricercatore si era imbattuto nel chatbot come un normale cliente che stava organizzando un viaggio e lo aveva testato nel rispetto delle regole pubblicate dall'azienda per la segnalazione delle vulnerabilità.1
Quello che descrivono i ricercatori è un'impostazione corretta sulla carta, ma non applicata nei fatti.
- Il controllo di sicurezza guardava solo l'ultimo messaggio. A ogni nuovo messaggio la pagina rimandava al server l'intera conversazione, e il server controllava solo il più recente.1 I messaggi precedenti si potevano modificare nel browser e arrivavano al modello AI come contesto attendibile.1 Per usare le parole dei ricercatori, a video lo strato di sicurezza c'era, ma lato server veniva applicato in modo debole.1
- Le istruzioni nascoste sono trapelate. Superato il controllo, il ricercatore ha indotto il modello a rivelare il nome del modello e il suo system prompt, cioè le istruzioni nascoste che dicono al bot come comportarsi, compreso il modo in cui costruiva i link nelle risposte.1
- Le risposte potevano contenere codice. Le risposte del bot venivano mostrate nella finestra della chat senza alcun filtro, quindi gli si poteva far restituire codice che il browser dell'utente poi eseguiva.1
- Gli identificativi delle conversazioni non venivano verificati. Il server accettava identificativi di conversazione e di messaggio semplici come «1» o «hello».1
I ricercatori non hanno tentato di accedere alle conversazioni di altri utenti e scrivono che l'iniezione di istruzioni non ha esposto dati di altri utenti.1 Hanno giudicato le vulnerabilità poco gravi perché all'epoca il chatbot poteva fare poco, avvertendo però che con più funzioni avrebbero potuto esporre dati personali.1
La seconda metà della storia riguarda il canale di segnalazione. La prima segnalazione è partita l'11 giugno 2025 e un sollecito il 18 giugno, ed entrambi sono rimasti senza risposta.1 Il 7 luglio un collega ha contattato il responsabile della sicurezza dell'azienda, e il 31 luglio è stato risposto loro che della segnalazione non c'era traccia.1 Nel frattempo il canale di segnalazione era stato affidato a un fornitore esterno e quello vecchio dismesso.1 Le richieste di una conferma di ricezione o di tempi per la correzione sono rimaste senza risposta.1 Alla fine le vulnerabilità sono state corrette, e i ricercatori scrivono di non sapere ancora se ogni problema sia stato risolto del tutto.1
La conclusione che ne traggono è semplice. Le vecchie debolezze del web e delle API valgono ancora quando nel processo c'è un modello AI.1
Perché non basta dire al chatbot di comportarsi bene?
Perché le istruzioni e il testo del visitatore arrivano al modello nello stesso flusso. L'OWASP Top 10 for LLM Applications 2026, l'elenco dei principali rischi dei sistemi basati su modelli linguistici di AI redatto dalla comunità della sicurezza informatica, mette al primo posto la prompt injection.2 Per prompt injection si intende un testo che modifica il comportamento del modello in un modo non previsto da chi lo ha realizzato.2
L'elenco è esplicito. Oggi non esiste un modo affidabile per prevenire la prompt injection, quindi il sistema attorno al modello va progettato partendo dal presupposto che le sue istruzioni verranno aggirate, e deve limitare ciò che il modello può fare.2 E le istruzioni non devono per forza arrivare dal visitatore. Possono nascondersi in una pagina web, in un documento o in un'e-mail che il bot legge.2
Per chi acquista, questo cambia la domanda. La domanda non è se il bot possa essere ingannato. È cosa succede quando lo è.
Cosa verificare prima che il chatbot vada online?
Verificate i rischi che un chatbot pubblico incontra davvero. La tabella segue l'elenco OWASP e quanto emerso nel caso Eurostar, in parole semplici.12
| Cosa verificare | Cosa prova a fare il tester | Quando il test è superato |
|---|---|---|
| Istruzioni nascoste nell'input | convincere il bot a violare le sue regole, direttamente o tramite un documento o una pagina che legge2 | il bot può dire cose strane, ma non può fare né rivelare nulla che non debba |
| Il controllo di sicurezza | modificare messaggi precedenti o aggirare il controllo dal browser1 | ogni controllo avviene sul server, sull'intera conversazione |
| Le istruzioni nascoste | indurre il bot a rivelarle2 | non contengono password, chiavi né regole che proteggano qualcosa2 |
| I dati di altre persone | accedere a un'altra conversazione o ai dati di un altro cliente12 | gli identificativi delle conversazioni vengono dal server e sono legati alla sessione del visitatore1 |
| Codice nelle risposte | far restituire al bot codice che viene eseguito nel browser12 | ogni risposta viene mostrata come testo semplice, oppure filtrata prima di essere mostrata12 |
| Cosa può fare il bot | farlo agire oltre il suo compito, per esempio inviare un'e-mail o modificare un ordine2 | ha solo le funzioni e i permessi di cui il compito ha bisogno2 |
| I costi | fargli generare a ripetizione risposte lunghe e costose2 | sono fissati un limite di spesa rigido e un limite per visitatore2 |
Due di questi punti meritano un approfondimento.
Le istruzioni nascoste non sono un segreto. OWASP raccomanda a chi sviluppa di dare per scontato che possano essere scoperte, di non inserirvi mai password o chiavi e di non usarle come unica barriera di sicurezza.2 Superare il test non significa avere un bot che si rifiuta di rivelarle. Significa avere un bot per cui rivelarle non fa alcun danno.
Il bot dovrebbe fare il meno possibile. OWASP chiama questo rischio excessive agency (autonomia eccessiva), cioè un bot che può fare più di quanto dovrebbe, e ne indica tre cause, troppe funzioni, troppi permessi e troppa libertà di agire da solo.2 Come rimedi indica solo gli strumenti che servono al compito, i permessi minimi, azioni eseguite con i diritti dell'utente che le ha richieste e l'approvazione di una persona per tutto ciò che ha un impatto rilevante.2 L'esempio proposto dalla stessa OWASP è un chatbot di assistenza che può concedere da solo un rimborso sotto forma di buono, mentre un rimborso in denaro lo decide una persona.2
Chi dovrebbe fare i test?
Qualcuno che non lo ha sviluppato e a cui viene spiegato come funzionano le difese. OWASP consiglia di testare contro attaccanti che conoscono le difese adottate, non solo con una serie fissa di attacchi noti.2 La ricerca che cita ha preso in esame dodici difese recenti, la maggior parte delle quali aveva dichiarato che gli attacchi non passavano quasi mai, e contro la maggior parte di esse gli attaccanti che adattavano il loro metodo sono riusciti in oltre il 90% dei casi.2
I ricercatori del caso Eurostar aggiungono che i test non si fanno una volta sola, e consigliano di testare il chatbot regolarmente con le tecniche note di iniezione di istruzioni e di reinvio di messaggi (replay).1 A nostro avviso il rapporto di test del fornitore è un buon punto di partenza, e un test indipendente prima del lancio è ciò che dà valore al collaudo.
Cosa chiedere al fornitore per iscritto?
La Secure by Demand Guide delle agenzie statunitensi CISA e FBI, del 2024, fornisce agli acquirenti domande da porre prima dell'acquisto, requisiti da inserire nel contratto e verifiche da fare dopo.3 Precisa inoltre che le domande valgono anche per rivenditori e fornitori di servizi, quindi la guida vale anche per un chatbot acquistato tramite un'agenzia web o come servizio.3 Insieme alle lezioni del caso Eurostar,1 ecco i punti che noi vorremmo vedere messi per iscritto.
- Un canale di segnalazione che funzioni. Una policy per la segnalazione delle vulnerabilità, consultabile su una pagina web pubblica, che autorizzi chiunque a effettuare test.3 Poi chi legge le segnalazioni, e cosa ne succede quando il canale passa di mano.1
- Una risposta e dei tempi. Le richieste dei ricercatori di una conferma di ricezione e di tempi per la correzione sono rimaste senza risposta.1 Fissate nel contratto entro quanto tempo va confermata la ricezione di una segnalazione di sicurezza ed entro quanto va corretta una vulnerabilità grave.
- Registri che potete leggere. Log di sicurezza già nella versione base, e per un servizio cloud conservati per almeno sei mesi senza costi aggiuntivi, relativi a modifiche di configurazione, accessi al sistema e accessi ai dati.3 Per un chatbot i ricercatori aggiungono una registrazione di ogni conversazione che permetta di ricostruirla, comprese le decisioni di sicurezza e gli strumenti usati dal modello, con allarmi in caso di comportamenti anomali.1
- Un modo per spegnerlo. Un interruttore di emergenza che disattivi rapidamente il chatbot o una delle sue funzioni.1
- Correzioni facili da applicare. Come il fornitore rende semplice installare le correzioni di sicurezza.3
- Di cosa è fatto. Un elenco dei componenti di terze parti presenti nel prodotto, la cosiddetta distinta base del software (SBOM, software bill of materials).3
- Accesso sicuro per il vostro personale. Single sign-on e autenticazione a più fattori per chi gestisce il chatbot, senza costi aggiuntivi.3
Checklist di collaudo per un chatbot
- Ogni controllo di sicurezza avviene sul server, sull'intera conversazione, non solo sull'ultimo messaggio.
- Gli identificativi di conversazione e di messaggio vengono dal server e sono legati alla sessione del visitatore.
- Le risposte vengono mostrate come testo semplice, oppure filtrate prima di essere mostrate.
- Le istruzioni nascoste non contengono password, chiavi né regole che proteggano qualcosa.
- Il bot ha solo le funzioni, i dati e i permessi di cui il suo compito ha bisogno, e una persona approva tutto ciò che ha un impatto rilevante.
- Sono fissati un limite di spesa e un limite per visitatore.
- Qualcuno che non ha costruito il bot lo ha testato come farebbe un attaccante, e lo testerà di nuovo.
- Ogni conversazione viene registrata, e potete leggere i registri.
- Il fornitore ha un canale pubblico per le segnalazioni di sicurezza, una persona designata che lo legge e tempi concordati per rispondere e per correggere.
- Potete spegnere voi stessi il chatbot, all'istante.
Prossimo passo
Se vi è utile, possiamo sentirci per una breve telefonata e ripercorrere punto per punto il collaudo del chatbot che state acquistando, con le risposte del vostro fornitore sotto mano. Cosa farne poi lo decidete voi.
Fonti
- 1. Pen Test Partners, Eurostar AI vulnerability, when a chatbot goes off the rails, 22 December 2025. Consultata il 17 novembre 2026
- 2. OWASP GenAI Security Project, Top 10 for LLM Applications 2026, version 2026, August 2026. Consultata il 17 novembre 2026
- 3. CISA and FBI, Secure by Demand Guide, How Software Customers Can Drive a Secure Technology Ecosystem. Consultata il 17 novembre 2026
Cronologia delle modifiche
- Pubblicato.