I coding agents promettono di automatizzare codice e analisi scientifiche, ma un nuovo preprint suggerisce un limite concreto: riprodurre una ricerca computazionale è molto più difficile che superare un benchmark di programmazione. Se il risultato sarà confermato, il messaggio per laboratori, aziende e ricercatori è netto: l’IA può aiutare, ma non è ancora pronta a sostituire il controllo umano nei workflow scientifici complessi.
Il paper si intitola “Can Coding Agents Reproduce Findings in Computational Materials Science?” ed è stato pubblicato su arXiv il 1 maggio 2026. Va chiarito subito: è un preprint, quindi non è ancora stato sottoposto a peer review. Gli autori principali indicati sono Ziyang Huang, Yi Cao, Ali K. Shargh e Jing Luo, insieme a un gruppo più ampio di ricercatori.
Coding agents nella scienza: il problema non è solo scrivere codice
I coding agents funzionano bene in molti test di programmazione, ma la scienza computazionale richiede altro: capire procedure incomplete, usare strumenti specialistici e verificare se i risultati sostengono davvero una tesi. Nel preprint, il miglior sistema testato arriva solo al 54,1% di successo complessivo.
Il punto centrale è la riproducibilità. In teoria, un agente IA dovrebbe leggere un paper, ricostruire il flusso di lavoro, scrivere o adattare codice, lanciare simulazioni e confrontare i risultati con l’affermazione scientifica da verificare. Nella pratica, ogni passaggio può rompersi.
Un esperimento di scienza dei materiali non è una ricetta scritta sempre con dosi perfette. Spesso i paper contengono dettagli impliciti, scelte metodologiche non spiegate fino in fondo, versioni software specifiche, parametri non banali e strumenti che richiedono competenza di dominio. È qui che i coding agents incontrano il muro.
Huang e colleghi non si limitano a chiedere all’IA di generare codice funzionante. Chiedono qualcosa di più vicino al lavoro reale di un ricercatore: prendere una frase scientifica e capire se può essere riprodotta con un workflow computazionale coerente.
AutoMat: un test per capire se l’IA può rifare un esperimento digitale
Per misurare questa capacità, gli autori propongono AutoMat, un benchmark costruito per valutare agenti basati su grandi modelli linguistici nella scienza computazionale dei materiali. AutoMat mette insieme affermazioni tratte da veri paper di materials science e chiede agli agenti di ricostruire il percorso necessario per verificarle.
La metafora più semplice è questa: non basta dare all’IA una cucina e chiederle di preparare un piatto. Bisogna vedere se riesce a leggere una ricetta incompleta, capire quali ingredienti mancano, scegliere gli strumenti giusti, cucinare senza bruciare nulla e poi dire se il risultato somiglia davvero al piatto promesso.
Nel paper, AutoMat ruota attorno a tre difficoltà. La prima è recuperare procedure computazionali non sempre descritte in modo completo. La seconda è muoversi dentro toolchain specialistiche, cioè software e strumenti usati da chi fa simulazioni e analisi sui materiali. La terza è interpretare le evidenze: il risultato ottenuto supporta davvero la claim iniziale o la indebolisce?
Gli autori scrivono, tradotto fedelmente: “AutoMat pone tre sfide interconnesse: recuperare procedure computazionali sotto specificate, navigare toolchain specializzate e determinare se l’evidenza risultante supporta una tesi”. È una definizione importante, perché sposta il test dalla semplice programmazione alla riproducibilità scientifica.
Il risultato principale: i coding agents arrivano al 54,1%
Il dato che colpisce è il tasso di successo. Secondo il preprint, gli agenti basati su LLM ottengono risultati complessivamente bassi su AutoMat e la configurazione migliore raggiunge solo il 54,1%. Non è un fallimento totale, ma è lontano dall’idea di un assistente autonomo affidabile per rifare analisi scientifiche complesse.
Il risultato è utile proprio perché evita due estremi. Non dice che i coding agents siano inutili. Dice che funzionano meglio quando il compito è strutturato, documentato e vicino ai benchmark software tradizionali. Quando invece devono ricostruire metodi da un paper scientifico, la loro affidabilità cala.
Gli errori più frequenti, secondo l’analisi degli autori, emergono quando il workflow deve essere ricostruito dal solo testo dell’articolo. Gli agenti falliscono soprattutto per procedure incomplete, deviazioni metodologiche e fragilità nell’esecuzione. In altre parole: non sempre capiscono cosa manca, non sempre seguono il metodo corretto e spesso inciampano nei dettagli operativi.
Questo è un punto molto concreto per chi lavora con AI for science. Un codice che gira non basta. Se il metodo è diverso da quello del paper originale, il risultato può sembrare plausibile ma non essere scientificamente valido. Il rischio non è solo un errore tecnico, ma una conclusione sbagliata presentata con sicurezza.
Perché questo preprint conta per la ricerca assistita dall’IA
La ricerca scientifica sta già usando modelli linguistici, agenti software e strumenti automatici per leggere articoli, scrivere codice, cercare pattern e accelerare analisi. È un passaggio inevitabile, perché la quantità di dati e pubblicazioni cresce più rapidamente della capacità umana di seguirla tutta.
Ma questo studio ricorda un limite fondamentale: la scienza non è solo produzione di output. È controllo del metodo, confronto con ipotesi, tracciabilità delle scelte e interpretazione del risultato. Un agente può automatizzare passaggi utili, ma deve essere verificato da chi conosce il dominio.
Il tema è vicino anche ad altri ambiti della tecnologia applicata alla ricerca. Quando parliamo di IA in medicina o biologia, come nel caso delle ossa sintetiche sviluppate grazie all’IA, il valore non sta solo nel modello, ma nella validazione sperimentale. Lo stesso vale per gli agenti che promettono di “rifare” una ricerca: senza controllo, l’automazione rischia di produrre risultati eleganti ma fragili.
Il paper è classificato su arXiv nelle aree Software Engineering, Artificial Intelligence e Computation and Language. Questo collocamento è significativo: il problema non appartiene solo alla scienza dei materiali, ma tocca il modo in cui misuriamo le capacità reali dei sistemi agentici.
I limiti dichiarati: preprint, dominio specifico e test ancora da consolidare
Il primo limite è formale ma decisivo: si tratta di un preprint. La peer review potrebbe chiedere chiarimenti, modifiche al benchmark, confronti aggiuntivi o nuove analisi. Per questo il risultato va trattato come una fotografia preliminare, non come verdetto definitivo.
Il secondo limite riguarda il dominio. AutoMat è costruito sulla scienza computazionale dei materiali, un campo con strumenti e procedure specifiche. Un agente potrebbe comportarsi diversamente in bioinformatica, climatologia, chimica computazionale o fisica delle particelle. Il dato del 54,1% non va quindi generalizzato a tutta la scienza senza cautela.
Il terzo limite è legato all’evoluzione rapidissima dei modelli. I coding agents cambiano in pochi mesi: migliorano memoria di contesto, uso degli strumenti, capacità di pianificazione e gestione degli errori. Un benchmark come AutoMat serve proprio a misurare questi progressi in modo più aderente alla ricerca reale.
Gli autori scrivono, tradotto fedelmente, che i risultati “posizionano AutoMat sia come benchmark per la riproducibilità scientifica computazionale sia come strumento per diagnosticare i limiti attuali dei sistemi agentici negli scenari di AI for science”. È una frase prudente, ma importante: l’obiettivo non è bocciare l’IA, bensì capire dove fallisce.
Cosa manca prima di affidare la scienza ai coding agents
Il prossimo passo sarà costruire agenti più robusti, ma anche paper più riproducibili. Se un workflow scientifico è descritto in modo ambiguo, nemmeno un ricercatore umano esterno riesce sempre a replicarlo facilmente. L’IA rende visibile un problema già noto: troppi risultati computazionali dipendono da dettagli non documentati bene.
Per rendere utili i coding agents nella scienza, servono almeno tre condizioni:
- workflow più trasparenti, con codice, dati e parametri disponibili
- agenti capaci di segnalare incertezza invece di riempire i vuoti
- valutazioni condotte da esperti del dominio, non solo da metriche automatiche
La domanda vera non è se i coding agents sostituiranno i ricercatori. Per ora, il preprint suggerisce di no. La domanda più interessante è se potranno diventare strumenti di verifica, capaci di trovare punti deboli nei paper, testare ipotesi e accelerare la riproducibilità.
Se AutoMat verrà confermato e ampliato, potrebbe diventare uno dei test più utili per misurare l’IA scientifica oltre il marketing. Non basta che un agente sappia programmare. Deve capire quando un risultato è davvero una prova.
