I ricercatori di sicurezza informatica hanno scoperto quasi due dozzine di vulnerabilità di sicurezza che riguardano 15 diversi progetti open-source legati al machine learning (ML) che tra le altre cose sono pure open source.
Quali sono gli strumenti ML con vulnerabilità
Questi includono vulnerabilità rilevate sia lato server sia lato client, come ha riportato in un’analisi pubblicata la scorsa settimana la società di sicurezza della catena di approvvigionamento del software JFrog.
Le vulnerabilità lato server “consentono agli attaccanti di prendere il controllo di server critici dell’organizzazione, come i registri dei modelli Machine Learning, i database Machine Learning e le pipeline ML“, ha dichiarato la società.
Le vulnerabilità, rilevate in Weave, ZenML, Deep Lake, Vanna.AI e Mage AI, sono state suddivise in macro-categorie che permettono di compromettere da remoto registri di modelli, framework di database Machine Learning e di prendere il controllo delle pipeline Machine Learning.
Quali sono le vulnerabilità degli strumenti di Machine Learning
Di seguito una breve descrizione delle vulnerabilità identificate:
- CVE-2024-7340 (punteggio CVSS: 8.8) – Una vulnerabilità di traversal dei directory nel toolkit Weave ML che consente di leggere file su tutto il filesystem, permettendo effettivamente a un utente autenticato con pochi privilegi di aumentare i propri privilegi fino al livello di amministratore leggendo un file denominato “api_keys.ibd” (risolta nella versione 0.50.8).
- Una vulnerabilità di controllo degli accessi improprio nel framework MLOps ZenML che consente a un utente con accesso a un server ZenML gestito di elevare i propri privilegi da spettatore a amministratore completo, dando così all’attaccante la possibilità di modificare o leggere lo “Secret Store” (senza identificatore CVE).
- CVE-2024-6507 (punteggio CVSS: 8.1) – Una vulnerabilità di iniezione di comandi nel database Deep Lake orientato all’AI che consente agli attaccanti di iniettare comandi di sistema durante il caricamento di un dataset remoto da Kaggle, a causa di una mancata corretta sanificazione dell’input (risolta nella versione 3.9.11).
- CVE-2024-5565 (punteggio CVSS: 8.1) – Una vulnerabilità di injection nel prompt della libreria Vanna.AI che potrebbe essere sfruttata per ottenere l’esecuzione di codice da remoto sull’host sottostante.
- CVE-2024-45187 (punteggio CVSS: 7.1) – Una vulnerabilità di assegnazione errata dei privilegi che consente agli utenti ospiti nel framework Mage AI di eseguire codice arbitrario da remoto tramite il server terminale di Mage AI, poiché dispongono di privilegi elevati e rimangono attivi per un periodo predefinito di 30 giorni nonostante siano stati eliminati.
- CVE-2024-45188, CVE-2024-45189 e CVE-2024-45190 (punteggi CVSS: 6.5) – Molteplici vulnerabilità di traversal dei percorsi in Mage AI che permettono agli utenti remoti con ruolo di “Spettatore” di leggere file di testo arbitrari dal server Mage tramite richieste di “File Content,” “Git Content” e “Pipeline Interaction,” rispettivamente.
“Poiché le pipeline MLOps possono avere accesso ai dataset ML dell’organizzazione, all’addestramento dei modelli ML e alla pubblicazione dei modelli ML, lo sfruttamento di una pipeline ML può portare a una violazione estremamente grave“, ha dichiarato JFrog, che ha poi aggiunto: “Ognuno degli attacchi menzionati in questo blog (come backdooring di modelli Machine Learning, avvelenamento dei dati Machine Learning, ecc.) potrebbe essere eseguito dall’attaccante, a seconda dell’accesso della pipeline MLOps a queste risorse.“
La divulgazione avviene oltre due mesi dopo che la società ha scoperto più di 20 vulnerabilità che potrebbero essere sfruttate per colpire le piattaforme MLOps.
Segue inoltre il rilascio di un framework difensivo, con nome in codice Mantis, che sfrutta l’injection dei prompt come metodo per contrastare gli attacchi informatici su modelli di linguaggio di grandi dimensioni (LLM) con un’efficacia superiore al 95%.
“Al rilevamento di un attacco informatico automatizzato, Mantis inserisce input attentamente studiati nelle risposte di sistema, portando l’LLM dell’attaccante a interrompere le proprie operazioni (difesa passiva) o persino a compromettere la macchina dell’attaccante (difesa attiva)“, ha dichiarato un gruppo di accademici della George Mason University, i quali hanno aggiunto: “Distribuendo servizi esca volutamente vulnerabili per attrarre l’attaccante e utilizzando injection dinamiche dei prompt per l’LLM dell’attaccante, Mantis può autonomamente contrattaccare l’attaccante.“
