Chi gestisce un sito può chiedere a GPTBot di non raccogliere le pagine per l’addestramento e, separatamente, consentire l’accesso a OAI-SearchBot per la ricerca di ChatGPT. La distinzione si configura con regole mirate nel file robots.txt, ma una direttiva non è un blocco tecnico: se usi Cloudflare devi controllare anche le politiche AI Crawl Control, che possono sovrascrivere le tue intenzioni bloccando categorie di crawler.
Le istruzioni ufficiali OpenAI sui crawler distinguono GPTBot, destinato alla raccolta di dati per migliorare i modelli, OAI-SearchBot, usato per la ricerca, e ChatGPT-User, relativo ad alcune richieste esplicite degli utenti. Non sono tre nomi per lo stesso processo.
GPTBot e OAI-SearchBot: quali differenze contano per il tuo sito?
| Crawler | Scopo dichiarato | Scelta tipica |
|---|---|---|
| GPTBot | Raccolta per il miglioramento dei modelli | Bloccare se non vuoi contribuire a questo utilizzo |
| OAI-SearchBot | Accesso a pagine per la ricerca di ChatGPT | Consentire se vuoi rendere il sito accessibile alla ricerca AI |
| ChatGPT-User | Accesso legato a specifiche richieste dell’utente | Valutare a parte, senza confonderlo con i crawler di ricerca |
Permettere OAI-SearchBot non garantisce che una pagina venga mostrata, citata o riceva visite. Indica soltanto che non stai escludendo quel crawler con una regola specifica. La reperibilità dipende anche da accessibilità tecnica, qualità delle pagine, contenuto e altri sistemi di selezione.
Come bloccare GPTBot senza bloccare la ricerca AI nel robots.txt
Nel file robots.txt puoi inserire queste direttive, se non ci sono altre regole contraddittorie per i medesimi user agent:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /La prima regola richiede a GPTBot di non effettuare crawling del sito; la seconda consente l’accesso a OAI-SearchBot. Non copiare questa configurazione alla cieca su siti con aree private o regole di scansione più articolate. La direttiva Allow: / non deve diventare un modo per esporre risorse riservate: le aree private richiedono autenticazione e controlli reali.
Non aggiungere automaticamente Disallow: / sotto User-agent: * pensando di bloccare solo i sistemi AI: una regola generale può limitare la scansione di altri motori e servizi. Per i normali siti WordPress è fondamentale che le pagine pubbliche importanti restino accessibili ai crawler che si desidera ammettere.
WordPress: dove controllare il file realmente pubblicato
Apri nel browser l’indirizzo https://tuodominio.it/robots.txt, sostituendo il dominio con il tuo. WordPress può generare un robots.txt virtuale, ma hosting, plugin SEO, configurazione server e CDN possono modificarne la risposta. Conta il file che viene servito pubblicamente, non soltanto quanto appare nell’interfaccia del plugin.
Prima di intervenire, conserva una copia della configurazione. Poi modifica le regole nel punto che controlla effettivamente il robots.txt, verificando di non creare direttive duplicate o conflittuali. Su siti complessi è meglio coordinare chi gestisce WordPress, SEO e server. È lo stesso principio delle nostre guide sulla sicurezza del CMS, come le patch PHP e WordPress: una modifica tecnica va verificata nella configurazione reale.
Se usi Cloudflare, controlla anche AI Crawl Control
Cloudflare spiega che robots.txt esprime una preferenza, mentre le regole di AI Crawl Control possono applicare un blocco all’accesso. Le istruzioni ufficiali del servizio permettono di scegliere come trattare singoli crawler. È quindi possibile che il file dica di consentire OAI-SearchBot, ma che una regola Cloudflare più restrittiva lo blocchi comunque.
Nel pannello Cloudflare accedi alla zona del dominio, apri AI Crawl Control e controlla le azioni impostate per GPTBot e OAI-SearchBot. Se desideri bloccare soltanto l’addestramento mantenendo la ricerca, verifica anche le politiche per categoria: Training e Search non devono essere trattate automaticamente nello stesso modo. Le funzionalità disponibili possono dipendere dal piano e dalla configurazione adottata.
Cloudflare può inoltre generare direttive robots.txt gestite attraverso Bot Preference Sync. Se la funzione è attiva, le regole vengono aggiunte al file servito dal dominio. Dopo ogni cambiamento devi quindi rileggere il risultato pubblico per controllare cosa è stato aggiunto e se esistono conflitti.
Come capire se il blocco è effettivamente applicato
- Apri il robots.txt pubblico e verifica le direttive GPTBot e OAI-SearchBot, senza affidarti alla sola schermata dell’editor.
- Controlla nel pannello Cloudflare se ciascun crawler risulta consentito o bloccato e se altre regole firewall interferiscono.
- Consulta, se disponibili, i log di server o CDN per distinguere richieste identificate, risposte HTTP e azioni applicate.
- Ripeti il controllo dopo modifiche a plugin SEO, cache, CDN o politiche automatiche di gestione bot.
La presenza di una riga nel robots.txt non dimostra che un crawler l’abbia rispettata. Inoltre un semplice user agent può essere imitato da terzi: per valutare se una richiesta provenga davvero dal servizio indicato bisogna seguire i metodi di verifica e i segnali tecnici forniti dall’operatore.
Bloccare GPTBot fa perdere visibilità su Google o ChatGPT?
Bloccare GPTBot non è, di per sé, la stessa cosa che bloccare Googlebot o OAI-SearchBot, perché sono crawler distinti. Tuttavia alcune regole generiche applicate con firewall o CDN possono coinvolgerne più di uno. Per questo la domanda corretta non è solo che cosa dice robots.txt, ma quali richieste sono ammesse davvero.
Un sito che limita la raccolta per training può comunque voler restare accessibile ai motori di ricerca. Il tema si inserisce nella più ampia gestione della privacy e dei contenuti online; per chi lavora con servizi digitali vale la pena distinguere controlli sulla raccolta e controlli sull’account, come spiegato anche nel nostro articolo sulla gestione delle sessioni attive in ChatGPT, che riguarda però un ambito differente dalla scansione dei siti.
Cosa non puoi garantire con robots.txt
Un file pubblico con istruzioni di scansione non sostituisce un controllo degli accessi e non garantisce da solo né la rimozione di dati già acquisiti né l’esclusione di ogni sistema di raccolta. Può richiedere tempo perché cambiamenti e nuove regole vengano recepiti. Per contenuti riservati occorrono misure tecniche di protezione, e per rivendicare diritti o richiedere rimozioni bisogna usare le procedure dell’operatore interessato.
La scelta pratica è separare i tre obiettivi: impedire il training dove non lo desideri, permettere l’accesso alla ricerca dove ti interessa e proteggere davvero ciò che non deve essere pubblico. WordPress, Cloudflare e robots.txt possono contribuire a questa strategia, ma nessuno di questi controlli, da solo, promette citazioni o traffico.
Entra nella conversazione
Condividi il tuo punto di vista: non serve creare un account. I contributi restano soggetti alla moderazione editoriale.