Che cos'è Google-Extended e cosa blocca?

È il token che Google mette a disposizione nel robots.txt per decidere se i contenuti del sito possono servire ad addestrare i futuri modelli Gemini e al grounding nelle app Gemini e in Vertex AI. Non riguarda Googlebot: secondo Google non incide sull'inclusione nella Ricerca e non è un fattore di ranking. Dal 2027 Google tratterà la regola unica __usage_ai-training come un blocco di Google-Extended.

Bloccare l'addestramento IA fa perdere posizioni su Google?

No. Google scrive che Google-Extended non incide sull'inclusione del sito nella Ricerca e non è un fattore di ranking, e la regola unica viene trattata come un blocco di Google-Extended. Anche Bing dichiara che le nuove preferenze non cambiano l'idoneità ai risultati di ricerca classici.

Se blocco l'addestramento il mio sito sparisce dalle AI Overview?

No. AI Overview e AI Mode fanno parte della Ricerca Google e dipendono da Googlebot e dai controlli sugli snippet come nosnippet, max-snippet e noindex, non da Google-Extended. Con Google-Extended bloccato perdi invece la possibilità di essere usato come fonte nelle risposte dell'app Gemini.

Basta una regola User-agent: * nel robots.txt per bloccare l'IA?

No. La bozza IETF stabilisce che il gruppo con l'asterisco non va interpretato come una preferenza sull'addestramento: senza il gruppo dedicato vale l'impostazione predefinita di ogni fornitore, che di norma è usare i contenuti. Un Disallow: / sotto l'asterisco, invece, blocca anche Googlebot e Bingbot e toglie il sito dalla ricerca.

Da quando Google, Bing e OpenAI rispettano la nuova regola sull'addestramento?

Google la indica nella sua documentazione per l'inizio del 2027. Bing applicherà le nuove preferenze dal 1° febbraio 2027, man mano che scansiona le pagine. OpenAI ha parlato dei prossimi mesi; secondo le testate che hanno ripreso l'annuncio Anthropic ha già iniziato ad applicarla.

Bloccare l'addestramento cancella i contenuti già usati dai modelli?

No. La preferenza riguarda gli usi futuri: Anthropic, per esempio, scrive che bloccare ClaudeBot segnala che i materiali futuri del sito vanno esclusi dai dati di addestramento. I modelli già addestrati non vengono modificati, e la regola non crea licenze né diritti a compensi.

Bloccare l'addestramento IA con il robots.txt

Chi vuole bloccare l'addestramento IA sui contenuti del proprio sito finora doveva scrivere nel robots.txt una regola per ogni azienda: Google-Extended per Google, GPTBot per OpenAI, ClaudeBot per Anthropic, e così via. Tra i prossimi mesi e l'inizio del 2027 un gruppo solo sarà letto da Google, Microsoft, OpenAI e Anthropic; gli altri fornitori per ora non si sono impegnati. La novità semplifica il file, ma lascia aperta la domanda che conta per un'impresa: chiudere l'addestramento conviene, o toglie visibilità proprio dove i clienti iniziano a cercare?

La risposta breve

Per bloccare l'addestramento IA aggiungi al robots.txt User-Agent: __usage_ai-training seguito da Disallow: /, e per ora tieni anche le regole per Google-Extended, GPTBot e ClaudeBot. Non perdi posizioni su Google né le AI Overview. Con Google, però, esci anche dalle fonti che l'app Gemini può citare.

01Cosa è stato annunciato il 30 ottobre e chi lo applica

La regola nasce da una bozza depositata all'IETF, l'ente che scrive gli standard tecnici di internet, come proposta individuale nell'ambito dei lavori del gruppo AIPREF, che da oltre un anno discute un vocabolario comune per le preferenze sull'uso dei contenuti da parte dell'IA. Il documento, draft-kelley-aipref-training-preference-signal, porta la firma di Kevin Kelley di Anthropic. L'IETF non l'ha ancora approvata e, come ha fatto notare Nate Hake, che partecipa ai lavori del gruppo, citato da Search Engine Roundtable, alcuni punti restano controversi.

Nel robots.txt si scrive un normale gruppo di regole, ma al posto del nome di un crawler si mette un "policy token", cioè un'etichetta che indica uno scopo: __usage_ai-training. Il significato è quello definito dal gruppo AIPREF per addestramento: usare un contenuto per modificare i parametri appresi di un modello di IA generativa. I quattro fornitori si sono mossi così:

GoogleNella pagina sui crawler comuni di Google ora c'è una nota: Google "intends to support" il segnale con user-agent: __usage_ai-training "in early 2027". Nel post sul blog di Search Central, John Mueller spiega che un opt-out espresso così sarà interpretato "as if the publisher had disallowed Google-Extended".
Microsoft BingIl blog di Bing adotta lo stesso token per sito e cartelle, lo estende alla singola pagina con meta tag e intestazione X-Robots-Tag e aggiunge una preferenza separata per il grounding. In vigore dal 1° febbraio 2027.
OpenAIHa scritto che "will honor a common signal" sull'addestramento dei modelli fondazionali, con un'applicazione prevista nei prossimi mesi (fonte: Thurrott e Unite.AI).
AnthropicSecondo le stesse testate ha già iniziato ad applicarla. La pagina di Anthropic sui suoi crawler, però, oggi parla ancora solo di ClaudeBot.

Google motiva la scelta con le richieste di editori, società civile e autorità di regolamentazione, e la collega al Codice di condotta europeo per i fornitori di modelli di IA per finalità generali, che riconosce il robots.txt come strumento per esprimere preferenze leggibili dalle macchine.

02Addestramento, grounding e ricerca: tre usi diversi dei tuoi contenuti

Molti errori sui crawler IA nascono dal confondere tre usi che funzionano in modo diverso.

AddestramentoI testi entrano nei dati con cui si costruisce un modello. Ciò che il modello "sa" del tuo settore o del tuo marchio senza cercare nulla viene da qui. L'effetto è lento, indiretto e non porta clic.
GroundingMentre risponde, il sistema recupera pagine da un indice di ricerca e le usa come base della risposta, spesso citandole con un link. È il meccanismo di Copilot, della ricerca di ChatGPT e delle risposte dell'app Gemini che mostrano le fonti. Qui si giocano citazioni e visite.
RicercaI risultati classici, più AI Overview e AI Mode, che per Google fanno parte della Ricerca. Li governano Googlebot e Bingbot, non i token per l'IA.

La nuova regola tocca solo il primo uso. Il problema è che Google e Bing hanno già legato l'addestramento ad altro in modo diverso, ed è qui che il blocco può costare.

03Bloccare l'addestramento IA fa perdere visibilità? Google e Bing a confronto

Su Google la risposta sta nella definizione di Google-Extended. La documentazione dice che questo token controlla sia l'uso dei contenuti per addestrare le future generazioni di Gemini sia il grounding nelle app Gemini e in Vertex AI, e che "does not impact a site's inclusion in Google Search" né è un fattore di ranking. Quindi:

PosizioniNessun effetto. Il blocco non tocca Googlebot.
AI Overview e AI ModeNessun effetto. La guida di Google sulle funzioni IA rimanda a nosnippet, data-nosnippet, max-snippet e noindex per limitare ciò che la Ricerca mostra, e a Google-Extended solo per "Google's other systems". Se vuoi uscire dalle AI Overview, la strada è un'altra: l'abbiamo spiegata nella guida su come escludere il sito dalle AI Overview.
App GeminiQui il blocco ha un costo. Mueller scrive che i siti che "specifically allow Google-Extended" restano idonei a comparire nelle risposte e a ricevere clic tramite il grounding nelle app Gemini. Ne deduciamo che chi scrive solo la regola unica esce anche da lì, perché per Google equivale a chiudere Google-Extended.

Con Google, quindi, addestramento e fonti di Gemini viaggiano insieme. Un gruppo Google-Extended con Allow: / ti rende di nuovo idoneo al grounding in Gemini, come scrive Mueller. Poiché Google-Extended governa insieme addestramento e grounding, ne deduciamo che così riapri anche l'addestramento di Google: Google non lo dice in questi termini, ma un controllo che separi le due cose oggi non esiste.

Bing invece separa le due cose. Secondo il post di Krishna Madhavan, la preferenza sull'addestramento si esprime con il token nel robots.txt o pagina per pagina, mentre il grounding si regola solo a livello di pagina, con tre valori: Allow (predefinito), DisallowExtended (contenuto usato solo nei prodotti Microsoft come Copilot, non nei servizi di grounding offerti a terzi) e Disallow. Si può quindi bloccare l'addestramento e restare citabili in Copilot, e le scelte non cambiano l'idoneità ai risultati di Bing. Microsoft aggiunge che "neither choice guarantees inclusion, traffic, or payment".

Con OpenAI e Anthropic la separazione c'era già, per crawler: GPTBot e ClaudeBot servono all'addestramento, mentre OAI-SearchBot e Claude-SearchBot alimentano la ricerca di ChatGPT e di Claude. La documentazione di OpenAI scrive che OAI-SearchBot "is used to surface websites in search results in ChatGPT's search features" e che le modifiche al robots.txt richiedono circa 24 ore. Ne parliamo nella guida su come farsi trovare da ChatGPT.

04Come bloccare l'addestramento IA nel robots.txt: cosa scrivere oggi

La sintassi è quella di sempre, ma la bozza fissa alcune regole da conoscere. Le citazioni che seguono sono quelle riportate da chi l'ha analizzata (per esempio fireup.pro):

Asterisco"wildcard groups (i.e., User-Agent: *) MUST NOT be interpreted as matching the policy token". Le regole sotto User-agent: * non dicono nulla sull'addestramento.
SilenzioPer la bozza, un robots.txt senza il gruppo dedicato non esprime alcuna preferenza. In pratica vale l'impostazione predefinita di ogni fornitore, che per Bing è dichiaratamente "Allow": se non scrivi nulla, il sito resta disponibile per l'addestramento.
Scansione"This policy token is not a directive for crawling behavior": il token non ferma nessun crawler, dice solo cosa fare dei contenuti. Googlebot continua a passare.
PrecedenzaLe espressioni specifiche valgono più di quelle generali e gli accordi privati possono superare la preferenza. Dentro il gruppo, come sempre, la regola più lunga vince: Disallow: / più Allow: /comunicati/ lascia aperti i comunicati.

Visto che nessuno dei grandi fornitori legge ancora il token in modo pieno, oggi serve un file a due strati. Ecco una base per chi decide di chiudere l'addestramento, da adattare alle esclusioni che il sito ha già:

TuttiUser-agent: *
Disallow: /wp-admin/
Regola unicaUser-Agent: __usage_ai-training
Disallow: /
GoogleUser-agent: Google-Extended
Disallow: /
OpenAIUser-agent: GPTBot
Disallow: /
AnthropicUser-agent: ClaudeBot
Disallow: /

Ogni gruppo va separato dal successivo con una riga vuota. OAI-SearchBot, Claude-SearchBot, Googlebot e Bingbot non compaiono e seguono il gruppo generale: restano aperti. Al contrario, un crawler che trova un gruppo con il proprio nome segue solo quello e ignora User-agent: *: se scegli il blocco per cartella (per esempio Disallow: /documentazione/), il percorso va ripetuto in ogni gruppo. L'elenco non è completo: il token copre solo chi lo adotta, e gli altri crawler di addestramento vanno gestiti per nome. Bing non ha un crawler dedicato all'addestramento: per lui conta il token, dal 1° febbraio 2027. Per Meta il crawler di addestramento è meta-externalagent, come spiegato nell'articolo sui crawler di Meta. Chi vuole restare fonte nell'app Gemini scrive Allow: / sotto Google-Extended, sapendo che così accetta anche l'addestramento di Google.

La procedura, con chi la fa di solito:

1 · TitolareDecidi sezione per sezione cosa è vetrina e cosa è prodotto, con il criterio della sezione 06. È una decisione di business, non tecnica.
2 · TitolareApri tuosito.it/robots.txt nel browser e guarda cosa c'è già. Se trovi OAI-SearchBot, Claude-SearchBot o Bingbot con Disallow: /, il sito rischia di essere escluso, o molto meno visibile, nelle risposte di ChatGPT, Claude o Copilot (e con Bingbot anche dai risultati di Bing).
3 · FornitoreScrivi i gruppi come sopra. Controlla il file effettivamente pubblicato, non quello che pensi di avere: plugin SEO, hosting e CDN possono generarlo o modificarlo. Il file deve rispondere con codice 200. Chiedi anche se firewall o CDN bloccano i bot IA: quel blocco non compare nel robots.txt.
4 · FornitoreSe il sito usa i meta tag NoArchive o NoCache per tenersi fuori da Copilot (ex Bing Chat), segna in calendario due date: dal 15 dicembre 2026 Bing Webmaster Tools offre preferenze temporanee per il grounding, ed entro il 1° marzo 2027 vanno configurate le nuove preferenze se vuoi mantenere le restrizioni. Le preferenze temporanee scadono il 30 settembre 2027.
5 · Tutti e dueA febbraio 2027 ricontrolla: Bing applica le preferenze dal 1° febbraio e Google ha indicato l'inizio del 2027. Nel frattempo misura le citazioni con il rapporto AI Performance di Bing Webmaster Tools, per vedere se una scelta sul grounding ha avuto effetto.

Un limite da tenere presente: il robots.txt è una dichiarazione, non una serratura. I crawler che si spacciano per bot legittimi lo ignorano. Come riconoscerli nei log è spiegato nell'articolo sulle statistiche di scansione e il finto Googlebot.

05Cosa cambia per la visibilità su ChatGPT, Gemini, Claude e Copilot

La visibilità nelle risposte generative passa soprattutto dal grounding: il sistema cerca, trova la tua pagina e la cita. Su questo la regola unica non incide, tranne nel caso di Gemini descritto sopra. Su ChatGPT, Claude e Copilot puoi chiudere l'addestramento e restare citabile, purché i crawler di ricerca restino aperti.

Resta l'effetto dell'addestramento sulla conoscenza "interna" del modello. È ragionevole pensare che un marchio assente dai dati di addestramento venga ricordato meno quando il modello risponde senza cercare, e che quella conoscenza interna influenzi anche le ricerche che il modello lancia per conto dell'utente (il query fan-out, cioè la scomposizione di una domanda in più ricerche). È un'ipotesi. Non ci sono però dati pubblici che misurino quanto pesi per un sito piccolo, e il blocco vale solo per il futuro: i modelli già addestrati non cambiano. Lo trattiamo come un fattore minore rispetto al grounding, ma non nullo.

Se il problema è il carico sul server, il nuovo token non aiuta: non è una regola di scansione e i crawler continuano a passare. Bloccare GPTBot ferma invece GPTBot, ma OpenAI scrive che, quando GPTBot e OAI-SearchBot sono entrambi consentiti, può usare una sola scansione per i due scopi: il risparmio può essere minore di quanto ci si aspetta.

Tre scenari tipici dalla provincia

Uno studio di commercialisti di Treviglio scrive circolari che sono il suo biglietto da visita: vuole che ChatGPT e Gemini le citino. Lascia aperto tutto, compreso Google-Extended. Un fotografo di matrimoni di Bergamo vende proprio le immagini: chiude l'addestramento con la regola unica e i token specifici, e accetta di uscire dalle fonti dell'app Gemini; il blocco vale solo per il suo sito, non per le foto pubblicate su social e portali. Un'azienda meccanica della Val Seriana pubblica schede tecniche e manuali frutto di anni di progettazione: chiude l'addestramento solo sulla cartella /documentazione/ e lascia aperto il resto del sito, sapendo che quelle pagine escono anche dalle fonti di Gemini. Se i manuali sono davvero riservati, però, vanno dietro login: il robots.txt non protegge nulla.

06Cosa ne pensiamo

La regola unica è un passo avanti: un solo gruppo, definito in modo pubblico, al posto di un elenco di nomi di crawler che si allunga ogni anno. Ma non è una protezione dei contenuti: è un'adesione volontaria dei fornitori, vale solo per il futuro e non dà diritto a compensi.

Per la maggior parte delle PMI bergamasche il sito è materiale commerciale: servizi, prodotti, contatti, qualche articolo. Che un modello impari dal tuo sito cosa fai e dove lavori, per un'impresa così, è più un vantaggio che una perdita. Per questi siti noi non chiudiamo l'addestramento, e soprattutto non chiudiamo Google-Extended, perché con Google significa rinunciare anche alle citazioni in Gemini.

Il criterio che usiamo è uno: chiudi l'addestramento sulle pagine in cui il contenuto è il prodotto (foto, corsi, documentazione tecnica, ricerche originali) e lascialo aperto sulle pagine che servono a farti trovare. Quando la scelta si fa per cartella anziché per tutto il sito, il robots.txt va scritto con attenzione: è uno dei controlli che facciamo nel SEO tecnico e, per la parte di visibilità nelle risposte IA, nel servizio di GEO.

L'errore che temiamo di più, nelle prossime settimane, è un altro: imprenditori che leggono "blocca l'IA con una riga" e chiudono OAI-SearchBot, Bingbot o addirittura tutto con l'asterisco. Il danno sulla visibilità di un errore così è immediato, mentre il beneficio di un blocco dell'addestramento per una PMI è difficile da misurare.

→In sintesi

User-Agent: __usage_ai-training con Disallow: / sarà letto come rifiuto dell'addestramento da Google dall'inizio del 2027, da Bing dal 1° febbraio 2027 e da OpenAI nei prossimi mesi; per ora servono anche le regole per Google-Extended, GPTBot e ClaudeBot. Il blocco non tocca Google, AI Overview e risultati di Bing, ma con Google esclude anche dalle fonti dell'app Gemini, mentre con Bing, OpenAI e Anthropic si resta citabili. Decidi per sezione, e non chiudere mai i crawler di ricerca per errore.

FAQDomande frequenti su robots.txt e addestramento IA

→Che cos'è Google-Extended e cosa blocca?

È il token che Google mette a disposizione nel robots.txt per decidere se i contenuti del sito possono servire ad addestrare i futuri modelli Gemini e al grounding nelle app Gemini e in Vertex AI. Non riguarda Googlebot: secondo Google non incide sull'inclusione nella Ricerca e non è un fattore di ranking. Dal 2027 Google tratterà la regola unica __usage_ai-training come un blocco di Google-Extended.
→Bloccare l'addestramento IA fa perdere posizioni su Google?

No. Google scrive che Google-Extended non incide sull'inclusione del sito nella Ricerca e non è un fattore di ranking, e la regola unica viene trattata come un blocco di Google-Extended. Anche Bing dichiara che le nuove preferenze non cambiano l'idoneità ai risultati di ricerca classici.
→Se blocco l'addestramento il mio sito sparisce dalle AI Overview?

No. AI Overview e AI Mode fanno parte della Ricerca Google e dipendono da Googlebot e dai controlli sugli snippet come nosnippet, max-snippet e noindex, non da Google-Extended. Con Google-Extended bloccato perdi invece la possibilità di essere usato come fonte nelle risposte dell'app Gemini.
→Basta una regola User-agent: * nel robots.txt per bloccare l'IA?

No. La bozza IETF stabilisce che il gruppo con l'asterisco non va interpretato come una preferenza sull'addestramento: senza il gruppo dedicato vale l'impostazione predefinita di ogni fornitore, che di norma è usare i contenuti. Un Disallow: / sotto l'asterisco, invece, blocca anche Googlebot e Bingbot e toglie il sito dalla ricerca.
→Da quando Google, Bing e OpenAI rispettano la nuova regola sull'addestramento?

Google la indica nella sua documentazione per l'inizio del 2027. Bing applicherà le nuove preferenze dal 1° febbraio 2027, man mano che scansiona le pagine. OpenAI ha parlato dei prossimi mesi; secondo le testate che hanno ripreso l'annuncio Anthropic ha già iniziato ad applicarla.
→Bloccare l'addestramento cancella i contenuti già usati dai modelli?

No. La preferenza riguarda gli usi futuri: Anthropic, per esempio, scrive che bloccare ClaudeBot segnala che i materiali futuri del sito vanno esclusi dai dati di addestramento. I modelli già addestrati non vengono modificati, e la regola non crea licenze né diritti a compensi.

Bloccare l'addestramento IA nel robots.txt: la nuova regola unica e cosa ti costa davvero