Nuove ricerche hanno scoperto che i fornitori di Intelligenza Artificiale (IA) (quindi di AI come servizio, ai-as-a-service) come Hugging Face sono suscettibili a due rischi critici che potrebbero permettere ai criminali informatici di aumentare i privilegi (ovvero, ottenere permessi di amministratore tramite ai-as-a-service) e ottenere pertanto accesso multiproprietario ai modelli di altri clienti e persino prendere il controllo dei flussi di integrazione e distribuzione continua (CI/CD).
Ai-as-a-service (IA come servizio) e i suoi pericoli, cosa c’è da sapere
“I modelli maligni rappresentano un rischio significativo per i sistemi di IA, specialmente per i fornitori di IA come servizio [ai-as-a-service] perché gli attaccanti potenziali potrebbero sfruttare questi modelli per effettuare attacchi multiproprietario,” hanno dichiarato i ricercatori di Wiz Shir Tamari e Sagi Tzadik che hanno poi aggiunto: “L‘impatto potenziale è devastante, poiché gli attaccanti potrebbero essere in grado di accedere ai milioni di modelli di IA privati e app memorizzati all’interno dei fornitori di IA come servizio [ai-as-a-service].“
Lo sviluppo avviene mentre i flussi di lavoro del machine learning sono emersi come un nuovo vettore di attacco della catena di distribuzione, con repository come Hugging Face che diventano un obiettivo attraente per la messa in scena di attacchi avversari progettati per ottenere informazioni sensibili e accedere a ambienti target, usando proprio le ai come servizio (ai-as-a-service).
Le minacce sono come una sorta di arma a doppio taglio, emergendo a seguito del rilevamento (sfruttando una ai-as-a-service) dell’infrastruttura condivisa di Inferenza e del takeover condiviso di CI/CD; ciò rende possibile eseguire modelli non attendibili caricati nel servizio in formato pickle e assumere il controllo del flusso CI/CD per effettuare un attacco alla catena di distribuzione.
Le scoperte della società di sicurezza cloud mostrano che è possibile violare il servizio che esegue i modelli personalizzati caricando un modello fraudolento e sfruttare le tecniche di fuga dei container per uscire dal proprio tenant e compromettere l’intero servizio, consentendo efficacemente agli utilizzatori delle ai-as-a-service di ottenere accesso multiproprietario ai modelli di altri clienti memorizzati ed eseguiti in Hugging Face.
“Hugging Face consentirà comunque all’utente di inferire il modello basato su Pickle caricato sull’infrastruttura della piattaforma, anche quando è considerato pericoloso” hanno chiarito i ricercatori.
Questo essenzialmente permette a un attaccante di creare un modello PyTorch (Pickle) con capacità di esecuzione di codice arbitrario al momento del caricamento e concatenarlo con configurazioni errate nel servizio Amazon Elastic Kubernetes (EKS) per ottenere privilegi elevati e muoversi lateralmente all’interno del cluster.
“I segreti che abbiamo ottenuto avrebbero potuto avere un impatto significativo sulla piattaforma se fossero stati nelle mani di un autore malintenzionato” hanno detto i ricercatori. “I segreti all’interno di ambienti condivisi possono spesso portare ad accesso multiproprietario e perdita di dati sensibili“, cosa che è semplificata proprio da queste ai-as-a-service.
Per mitigare il problema, si consiglia di abilitare IMDSv2 con limite di hop per evitare che i pod accedano al servizio Metadata dell’istanza (IMDS) e ottenere il ruolo di un Nodo all’interno del cluster.
Le ricerche hanno anche scoperto che è possibile ottenere l’esecuzione di codice remoto tramite un Dockerfile appositamente creato durante l’esecuzione di un’applicazione sul servizio Hugging Face Spaces e usarlo per estrarre e inserire (cioè sovrascrivere) tutte le immagini disponibili in un registro container interno.
Hugging Face, nella divulgazione coordinata, che parla proprio delle ai-as-a-service, ha detto di aver affrontato tutti i problemi identificati e che sta anche esortando gli utenti a utilizzare modelli solo da fonti affidabili, abilitare l’autenticazione multi-fattore (MFA) e astenersi dall’utilizzare file pickle in ambienti di produzione.
“Questa ricerca dimostra che l’utilizzo di modelli di IA non attendibili (specialmente quelli basati su Pickle) potrebbe comportare gravi conseguenze per la sicurezza” hanno detto i ricercatori. “Inoltre, se intendete consentire agli utenti di utilizzare modelli di IA non attendibili nel vostro ambiente, è estremamente importante assicurarsi che vengano eseguiti in un ambiente sandbox.“
La divulgazione segue un’altra ricerca di Lasso Security secondo la quale è possibile per i modelli generativi di IA come OpenAI ChatGPT e Google Gemini distribuire pacchetti di codice dannoso (e non esistente) a sviluppatori di software ignari.
In altre parole, l’idea è quella di trovare una raccomandazione per un pacchetto non pubblicato e pubblicare un pacchetto trojanizzato al suo posto per propagare il malware; il fenomeno delle allucinazioni di pacchetti di IA sottolinea la necessità di esercitare cautela quando si fa affidamento su modelli di linguaggio di grandi dimensioni (LLM) per soluzioni di codifica.
Anche l’azienda di IA Anthropic ha dettagliato un nuovo metodo chiamato “many-shot jailbreaking” che può essere utilizzato per aggirare le protezioni di sicurezza incorporate nei LLM per produrre risposte a query potenzialmente dannose sfruttando la finestra di contesto dei modelli.
“L’abilità di inserire quantità sempre più grandi di informazioni ha ovvi vantaggi per gli utenti di LLM, ma comporta anche rischi: vulnerabilità a jailbreak che sfruttano la finestra di contesto più lunga” ha detto l’azienda all’inizio di questa settimana.
La tecnica, in poche parole, consiste nell’introdurre un grande numero di dialoghi falsi tra un umano e un assistente di IA all’interno di un singolo prompt per il LLM nel tentativo di “indirizzare il comportamento del modello” e rispondere a query che altrimenti non farebbe (ad esempio, “Come costruire una bomba?”).
