Venerdì 22 febbraio 2025 OpenAI ha rivelato di aver bandito un gruppo di account che utilizzavano il suo strumento ChatGPT per sviluppare un sospetto strumento di sorveglianza basato sull’intelligenza artificiale (IA).
OpenAI e l’uso “improprio” di ChatGPT, com’è cominciato tutto
Si crede che lo strumento di “ascolto dei social medi”a provenga dalla Cina e sia alimentato da uno dei modelli Llama di Meta (sebbene non legati ad OpenAI), con gli account in questione che utilizzavano i modelli dell’azienda di IA per generare descrizioni dettagliate e analizzare documenti per un apparato in grado di raccogliere dati e report in tempo reale su proteste contro la Cina in Occidente e condividere le informazioni con le autorità cinesi.
La campagna è stata soprannominata “Peer Review” a causa del “comportamento della rete nel promuovere e rivedere strumenti di sorveglianza,” hanno osservato i ricercatori Ben Nimmo, Albert Zhang, Matthew Richard e Nathaniel Hartley, aggiungendo che lo strumento è progettato per acquisire e analizzare post e commenti da piattaforme come X, Facebook, YouTube, Instagram, Telegram e Reddit.
Chi ha usato in modo improprio ChatGPT di OpenAI?
In un caso segnalato dalla società, gli attori hanno usato ChatGPT per correggere e modificare il codice sorgente che si crede alimenti il software di monitoraggio, chiamato “Qianyue Overseas Public Opinion AI Assistant.”
Oltre a utilizzare il suo modello come strumento di ricerca per raccogliere informazioni pubbliche su think tank negli Stati Uniti e funzionari governativi e politici in paesi come Australia, Cambogia e Stati Uniti, il gruppo è stato trovato anche a sfruttare l’accesso a ChatGPT di OpenAI per leggere, tradurre e analizzare screenshot di documenti in lingua inglese.
Alcune delle immagini erano annunci di proteste per i diritti degli uiguri in varie città occidentali, probabilmente copiate dai social media, ma non è ancora noto se queste immagini fossero autentiche.
I vari utilizzi impropri di ChatGPT di OpenAI
OpenAI ha anche dichiarato di aver interrotto diversi altri gruppi che stavano abusando di ChatGPT per varie attività dannose:
- Schema Occupazionale Ingannatore: Una rete dalla Corea del Nord legata allo schema fraudolento di lavoratori IT coinvolti nella creazione di documenti personali per fittizi candidati a lavori, come curriculum, profili online e lettere di presentazione, oltre a generare risposte convincenti per spiegare comportamenti insoliti come evitare le videochiamate, accedere ai sistemi aziendali da paesi non autorizzati o lavorare a orari irregolari. Alcune delle finte domande di lavoro sono state poi condivise su LinkedIn.
- Sponsor “non contento”: Una rete probabilmente di origine cinese coinvolta nella creazione di contenuti sui social media in inglese e articoli lunghi in spagnolo critici verso gli Stati Uniti, poi pubblicati su siti di notizie latinoamericani in paesi come Perù, Messico ed Ecuador e alcune delle attività si sovrappongono a un gruppo noto come Spamouflage.
- Truffa di adescamento romantico: Una rete di account coinvolti nella traduzione e generazione di commenti in giapponese, cinese e inglese per la pubblicazione su piattaforme di social media tra cui Facebook, X e Instagram in connessione con sospette truffe romantiche e di investimento originarie della Cambogia.
- Nesso di Influenza Iraniana: Una rete di cinque account coinvolti nella generazione di post su X e articoli pro-palestinesi, pro-Hamas, pro-Iran, anti-Israele e anti-USA, condivisi su siti web associati a operazioni di influenza iraniane monitorate come l’International Union of Virtual Media (IUVM) e Storm-2035 ed uno degli account banditi è stato utilizzato per creare contenuti per entrambe le operazioni, indicando una “relazione non precedentemente riportata.”
- Kimsuky e BlueNoroff: Una rete di account gestita da malintenzionati nordcoreani coinvolti nella raccolta di informazioni relative a strumenti di intrusione informatica e argomenti legati alle criptovalute, e nella correzione di codice per attacchi di forza bruta al protocollo RDP (Remote Desktop Protocol).
- Operazione di Influenza Occulta Youth Initiative: Una rete di account coinvolti nella creazione di articoli in inglese per un sito web chiamato “Empowering Ghana” e commenti sui social media mirati alle elezioni presidenziali in Ghana.
- Truffa di compiti: Una rete di account probabilmente originaria della Cambogia coinvolta nella traduzione di commenti tra urdu e inglese come parte di una truffa che inganna le persone a svolgere semplici compiti (ad esempio, mettere mi piace a video o scrivere recensioni) in cambio di una commissione inesistente, per accedere alla quale le vittime devono cedere i propri soldi.
Ulteriori sviluppi arrivano mentre gli strumenti di IA vengono sempre più utilizzati da malintenzionati per facilitare campagne di disinformazione supportate dalla tecnologia e altre operazioni dannose.
Non solo OpenAI, anche Gemini di Google nel mirino
Il mese scorso, il Google Threat Intelligence Group (GTIG) ha rivelato che oltre 57 criminali informatici distinti con legami con Cina, Iran, Corea del Nord e Russia avevano utilizzato il suo chatbot Gemini per migliorare più fasi del ciclo di attacco e condurre ricerche su eventi tematici, o per creare contenuti, tradurre e localizzare.
“Le informazioni uniche che le aziende di IA possono ottenere dai malintenzionati sono particolarmente preziose se vengono condivise con i fornitori upstream, come gli sviluppatori di hosting e software, le piattaforme downstream di distribuzione, come le aziende di social media, e i ricercatori open-source“, ha dichiarato OpenAI.
OpenAi ha infine concluso che: “Allo stesso modo, le informazioni che i fornitori upstream e downstream e i ricercatori hanno sugli attori di minaccia aprono nuove strade di rilevamento e applicazione per le aziende di IA.”
