Megan Garcia, madre della Florida, ha intentato una causa contro Character.AI, sostenendo che la piattaforma abbia avuto un ruolo nel tragico suicidio del figlio quattordicenne, Sewell Setzer III. La denuncia afferma che la piattaforma, nota per i suoi chatbot dall’interazione quasi “umana,” non abbia predisposto misure di sicurezza adeguate per proteggere gli utenti vulnerabili, specialmente i giovani adolescenti, dai rischi di conversazioni potenzialmente dannose con i chatbot.
I rischi dell’IA e la salute mentale
Character.AI consente agli utenti di interagire con personaggi guidati dall’IA, anche modellati su celebrità o personaggi di fantasia. Secondo la famiglia di Setzer, queste interazioni hanno accentuato l’isolamento e il disagio emotivo del giovane. Col passare del tempo, Setzer ha iniziato a discutere pensieri di autolesionismo con il bot, che, secondo Garcia, ha risposto in modo inappropriato.
Il reclamo sottolinea come, anche dopo che Setzer aveva manifestato un forte disagio, la piattaforma non abbia attivato avvisi di intervento in caso di crisi o indirizzato il giovane a risorse di supporto. Garcia sostiene che queste conversazioni abbiano peggiorato la sua condizione mentale.
Verso una maggiore responsabilità e riforma
La causa, presentata con il supporto del Social Media Victims Law Center, mira sia a ottenere un risarcimento economico sia a chiedere cambiamenti operativi a Character.AI, come restrizioni di età più severe e avvisi più chiari sull’idoneità della piattaforma per i minori. Questo caso riflette la crescente preoccupazione per la mancanza di tutele sulle piattaforme di IA accessibili ai giovani.
Il giorno stesso in cui è stata presentata la causa, Character.AI ha annunciato nuove funzionalità di sicurezza, mirate a ridurre l’esposizione a contenuti sensibili per gli utenti sotto i 18 anni, ma per Garcia, queste misure sono arrivate “troppo tardi”.
Verso una IA più sicura
Il caso evidenzia la necessità urgente di protocolli di sicurezza per le piattaforme di IA, specialmente quelle destinate ai minori. Con l’incremento delle interazioni digitali mediate dall’IA, l’equilibrio tra progresso tecnologico e protezione degli utenti resta una priorità.
Se tu o qualcuno che conosci sta affrontando pensieri suicidi, aiuto è disponibile. In Italia, puoi chiamare il Telefono Amico al numero 02 2327 2327.
