Alcuni ricercatori di sicurezza informatica hanno scoperto una serie di difetti (delle falle) di sicurezza in un provider di intelligenza artificiale (IA) come servizio, Replicate, che avrebbe potuto permettere a minacciosi criminali informatici di accedere a modelli di IA proprietari e informazioni sensibili.
Quali difetti sono stati trovati in Replicate
“L’uso di questa vulnerabilità avrebbe consentito l’accesso non autorizzato ai prompt e ai risultati di IA di tutti i clienti della piattaforma di Replicate“, ha dichiarato Wiz, una società di sicurezza cloud, in un rapporto pubblicato questa settimana.
Il problema deriva dal fatto che i modelli di IA sono tipicamente confezionati in formati che consentono l’esecuzione di codice arbitrario, che un attaccante potrebbe utilizzare per eseguire attacchi cross-tenant attraverso un modello malevolo.
Replicate utilizza uno strumento open-source chiamato Cog per containerizzare e confezionare modelli di machine learning che possono essere poi distribuiti in un ambiente self-hosted o su Replicate.
L’esperimento dei ricercatori di sicurezza informatica di Wiz
Wiz ha dichiarato di aver creato un container Cog rogue e di averlo caricato su Replicate, impiegandolo infine per ottenere l’esecuzione remota di codice malevolo sull’infrastruttura del servizio con privilegi elevati (ovverosia i privilegi di amministratore di sistema).
“Sospettiamo che questa tecnica di esecuzione di codice sia un modello, dove aziende e organizzazioni eseguono modelli di IA da fonti non attendibili, anche se questi modelli potrebbero essere codice potenzialmente malevolo“, hanno detto i ricercatori della sicurezza Shir Tamari e Sagi Tzadik.
La tecnica utilizzata affinché i criminali informatici possano carpire informazioni sensibili
La tecnica di attacco ideata dalla società ha poi sfruttato una connessione TCP già stabilita associata a un’istanza di server Redis all’interno del cluster Kubernetes ospitato (hostato, in gergo) su Google Cloud Platform per iniettare comandi malevoli.
Inoltre, con il server Redis centralizzato utilizzato come una coda per gestire più richieste dei clienti e le loro risposte, potrebbe essere abusato per facilitare attacchi cross-tenant manipolando il processo per inserire compiti rogue che potrebbero influenzare i risultati dei modelli di altri consumatori.
Prompt intercettabili come segnali radio?
Queste manipolazioni rogue non solo minacciano l’integrità dei modelli di IA, ma pongono anche rischi significativi per l’accuratezza e l’affidabilità degli output guidati dall’IA.
“Un attaccante avrebbe potuto interrogare i modelli di IA privati dei clienti, esponendo potenzialmente conoscenze proprietarie o dati sensibili coinvolti nel processo di addestramento del modello“, hanno detto i ricercatori. “Inoltre, intercettare i prompt avrebbe potuto esporre dati sensibili, inclusi dati personali identificabili (PII).“
La carenza, che è stata divulgata in modo responsabile nel gennaio 2024, è stata successivamente risolta da Replicate; tuttavia non ci sono prove che la vulnerabilità sia stata sfruttata fuori dall’ambito ipotetico per compromettere i dati degli utenti.
Le conclusioni dei ricercatori di sicurezza informatica
La divulgazione arriva poco più di un mese dopo che Wiz ha stilato un rapporto molto dettagliato sui rischi, ora risolti, su piattaforme come Hugging Face che potrebbero consentire a potenziali criminali informatici di aumentare i privilegi, ottenere accesso cross-tenant ai modelli di altri clienti e persino prendere il controllo delle pipeline di integrazione continua e distribuzione continua (CI/CD).
“I modelli malevoli rappresentano un rischio importante per i sistemi di IA, specialmente per i provider di IA come servizio perché gli attaccanti possono sfruttare questi modelli per eseguire attacchi cross-tenant“, hanno concluso i ricercatori.
“L’impatto potenziale è devastante, poiché gli attaccanti potrebbero essere in grado di accedere ai milioni di modelli e applicazioni di IA privati memorizzati all’interno dei provider di IA come servizio.“
Cosa fare di fronte ad un caso come questo di Replicate
Per proteggersi da queste vulnerabilità, è fondamentale che le organizzazioni adottino una serie di pratiche di sicurezza informatica: prima di tutto, è essenziale implementare un rigoroso processo di verifica e validazione per tutti i modelli di IA provenienti da fonti esterne.
Questo include l’esecuzione di test di sicurezza approfonditi e l’analisi del codice per identificare eventuali comportamenti sospetti. Inoltre, le organizzazioni dovrebbero isolare gli ambienti di esecuzione dei modelli di IA, utilizzando tecniche di sandboxing per limitare l’impatto di un’eventuale compromissione.
È altrettanto importante monitorare continuamente l’attività della rete e dei sistemi per rilevare tempestivamente qualsiasi anomalia o tentativo di accesso non autorizzato. Infine, mantenere aggiornati tutti i software e le dipendenze, applicando rapidamente le patch di sicurezza fornite dai fornitori, può ridurre significativamente il rischio di sfruttamento di vulnerabilità note.
