Negli Stati Uniti, la Food and Drug Administration tiene un elenco pubblico dei dispositivi medicali con IA autorizzati: molte app “benessere” non rientrano in quel perimetro e dunque non sono valutate come dispositivi medici, con i rischi di ambiguità che ne derivano. Sempre più spesso la letteratura scientifica – da The Lancet Digital Health a Nature Mental Health – segnala potenzialità (accesso, triage, aderenza) ma anche lacune su sicurezza, validazione clinica e gestione dei casi-limite, proprio quelli che un disclaimer non basta a risolvere.
Il caso europeo
L’Europa, intanto, ha imboccato una via regolatoria che potrebbe fare scuola oltreoceano. Con l’entrata in vigore dell’AI Act (1° agosto 2024), l’Unione europea introduce obblighi graduati in base al rischio: gli usi “ad alto rischio” – come quelli sanitari – richiedono gestione sistematica dei pericoli, qualità dei dati, tracciabilità, sorveglianza post–marketing e controllo umano effettivo. Non vieta i chatbot di supporto emotivo, ma alza l’asticella se la funzione sconfina nella sfera clinica, imponendo trasparenza e accountability lungo tutto il ciclo di vita. È un cambio di paradigma: non più solo privacy, ma integrità, sicurezza e diritti fondamentali come criteri di conformità.
Il caso italiano
L’Italia ha già vissuto il “test” con i bot conversazionali. Il Garante per la protezione dei dati ha prima bloccato ChatGPT (poi riammesso dopo adeguamenti), quindi sanzionato il chatbot “Replika” con 5 milioni di euro per violazioni legate a minori, verifica dell’età e basi giuridiche del trattamento, ribadendo in seguito il divieto per rischi persistenti ai soggetti vulnerabili. Un modo per dire: quando un’interfaccia si propone come “amico” o “partner” digitale – o, peggio, come surrogato di terapeuta – le cautele devono raddoppiare perché perché la straordinaria verosimiglianza dei modelli generativi può indebolire il senso critico degli utenti, rendendo la differenza tra realtà e finzione meno netta.
Tornando al Texas, il Paese non è nuovo a offensive verso le piattaforme: a fine 2024 l’ufficio di Paxton aveva già messo sotto osservazione una quindicina di servizi, fra cui Character.ai, per prassi su sicurezza e privacy dei minori. L’indagine attuale potrebbe però essere il caso “pilota” più incisivo perché tocca il confine più sensibile: l’eventuale assimilazione di chatbot a strumenti terapeutici senza passare per i canali di validazione propri della medicina e senza garanzie proporzionate ai rischi. Se il procuratore accerterà claim fuorvianti o “presentazioni” idonee a ingannare un utente medio, le conseguenze – sanzionatorie e di mercato – potrebbero spingere l’intero settore a un riposizionamento del linguaggio commerciale e delle interfacce.
È un nodo anche di design. In un ecosistema dove persona e “persona” (il personaggio IA) si confondono, bastano avatar, badge, toni empatici e formule di “confidenzialità” a creare l’aspettativa di una relazione d’aiuto. Ma una relazione terapeutica non è la somma di parole gentili, è contesto, responsabilità, supervisione e capacità – appresa e vigilata – di riconoscere segnali d’allarme come ideazione suicidaria, abuso, disturbi psicotici. Le migliori pratiche suggerite dall’Organizzazione mondiale della sanità e dalla comunità clinica puntano dunque a paletti minimi: sistemi di filtraggio affidabili, collegamenti diretti a reti di assistenza reale, registrazione dei dati limitata e sicura, controlli indipendenti, valutazioni sui possibili effetti sui diritti fondamentali e meccanismi trasparenti di segnalazione degli incidenti. Dove questi standard mancano, l’“amico” generativo può trasformarsi in un rischio sistemico.
