Come impedisco a Meta di usare il sito per addestrare l'IA senza perdere le anteprime su Facebook?

Crea nel robots.txt un gruppo per meta-externalagent con Disallow: / e lascia aperto facebookexternalhit, che genera le anteprime. Se vuoi restare citabile nelle risposte di Meta AI, lascia aperto anche meta-webindexer. Ricorda di ricopiare in ogni gruppo le esclusioni generali del sito.

Meta rispetta il robots.txt?

Secondo la documentazione di Meta i crawler si gestiscono con il robots.txt, con due eccezioni dichiarate: FacebookExternalHit può ignorarlo nei controlli di sicurezza e Meta-ExternalFetcher può ignorarlo perché agisce su richiesta degli utenti. Le modifiche possono richiedere fino a 24 ore. Il robots.txt non controlla l'uso dei dati già raccolti.

Quando entrano in vigore i nuovi termini commerciali di Meta?

Il 20 novembre 2026. La data iniziale era il 30 ottobre, ma il 23 ottobre, secondo Reuters, Meta ha comunicato il rinvio per spiegare meglio ai partner cosa cambia. Continuare a usare i prodotti di Meta per lavoro dopo quella data vale come accettazione.

Bloccare Meta-ExternalAgent penalizza il sito su Google?

No. Il robots.txt si legge crawler per crawler e un gruppo dedicato a meta-externalagent non riguarda Googlebot. L'errore da evitare è un Disallow generico sotto User-agent: *, che chiuderebbe il sito anche a Google.

Crawler di Meta: cosa bloccare nel robots.txt

Se la tua azienda ha una pagina Facebook o fa pubblicità su Instagram, i nuovi termini commerciali di Meta autorizzano i suoi software automatici a scansionare i siti collegati ai tuoi prodotti e servizi. Dovevano entrare in vigore il 30 ottobre; il 23 ottobre Meta li ha rinviati al 20 novembre. I crawler di Meta però non sono uno solo: la documentazione ufficiale ne elenca cinque, con scopi diversi e regole diverse sul robots.txt. Qui vedi cosa fa ciascuno, quali lasciare passare, quale bloccare se vuoi e come scriverlo senza rompere le anteprime dei link.

La risposta breve

Lascia passare FacebookExternalHit (anteprime dei link), Meta-WebIndexer (ricerca e citazioni di Meta AI) e, se fai pubblicità su Meta, Meta-ExternalAds. Su Meta-ExternalAgent, usato anche per addestrare i modelli, decidi tu. Meta-ExternalFetcher agisce su richiesta degli utenti e può ignorare il robots.txt: le aree riservate si proteggono con una password.

01Cosa cambia con i nuovi termini di Meta e perché sono slittati al 20 novembre

La versione in anteprima dei Commercial Terms, il contratto che regola l'uso di Facebook, Instagram e degli strumenti pubblicitari da parte delle aziende, è stata segnalata da PPC Land il 16 ottobre. Conteneva una frase secondo cui Meta poteva usare i contenuti dei domini collegati all'azienda per «provide, develop, improve, research, train» i propri servizi. Dopo un articolo di The Verge la parola "train" è sparita: lo ricostruisce PPC Land, che riporta anche il testo rivisto. L'azienda autorizza Meta a usare «automated software (such as web scrapers, bots, robots, spiders, crawlers and user agents)» per «access, index, cache, analyse, collect, retrieve or crawl» le pagine «associated with your products or services», con lo scopo dichiarato di fornire «advertising and business products».

Secondo Reuters, editori e inserzionisti si sono rivolti alle autorità antitrust europea e britannica. Il 23 ottobre, come riporta la stessa Reuters, Meta ha comunicato: «We are extending the effective date of our updated Commercial Terms and Self-Serve Ad Terms to 20 November». Il rinvio non annuncia modifiche al testo. Un portavoce di Meta ha detto a The Verge, secondo SmartWorld, che i termini non danno nuovi diritti che scavalcano le preferenze dei webmaster; un altro portavoce, Andy Stone, ha indicato il robots.txt come lo strumento con cui i proprietari dei contenuti esprimono le loro preferenze.

Secondo PPC Land il contratto non prevede una scelta parziale, e continuare a usare i prodotti di Meta per lavoro dopo la data di efficacia vale come accettazione. Nel testo riportato, inoltre, non c'è un impegno esplicito a rispettare il robots.txt; quell'impegno sta nelle dichiarazioni dei portavoce e nella documentazione tecnica dei crawler. Valutare il contratto è lavoro da legale; il robots.txt invece lo governi tu.

02Quali sono i crawler di Meta e cosa fa ciascuno

Un crawler è il programma che visita le pagine e ne scarica il contenuto; nel robots.txt lo chiami con il suo user agent, il nome con cui si presenta. La pagina Meta Web Crawlers ne elenca cinque:

FacebookExternalHitLegge le pagine condivise su Facebook, Instagram e Messenger per costruire l'anteprima: titolo, descrizione, immagine. Rispetta il robots.txt, ma Meta scrive che «might bypass robots.txt when performing security or integrity checks», cioè nei controlli di sicurezza.
Meta-WebIndexerAnalizza i contenuti del web per migliorare i risultati di ricerca di Meta AI. La documentazione è esplicita: lasciarlo passare «helps us cite and link to your content».
Meta-ExternalAdsScansiona il web per la pubblicità e per gli altri prodotti commerciali di Meta. La documentazione non dice altro.
Meta-ExternalAgentUsato per addestrare i modelli di base dell'IA o per migliorare i prodotti indicizzando i contenuti.
Meta-ExternalFetcherApre singoli link quando un utente lo chiede, per esempio quando un assistente IA deve visitare un sito per completare un compito. Meta avverte che «this crawler may bypass robots.txt rules».

Meta-ExternalAgent è un crawler a doppio uso: un solo nome per due scopi, addestramento e indicizzazione per i prodotti. Se lo blocchi, li blocchi entrambi, senza poter accettare l'uno e rifiutare l'altro. OpenAI ha scelto la strada opposta, con un bot per la ricerca e uno per l'addestramento, come spiegato nell'articolo su come indicizzare il sito su ChatGPT. Per le citazioni in Meta AI la documentazione indica Meta-WebIndexer, quindi chi vuole restare citabile senza contribuire all'addestramento ha una combinazione possibile: WebIndexer aperto, ExternalAgent chiuso. Cosa si perde chiudendo il secondo nella parte "indicizzazione per i prodotti", Meta non lo dice.

Un collegamento che vale la pena notare: lo scopo dichiarato nei nuovi termini, «advertising and business products», è quasi lo stesso che la documentazione assegna a Meta-ExternalAds. Il contratto non nomina i crawler, quindi è una nostra deduzione: è probabile che la scansione autorizzata dai termini passi soprattutto da lì. È coerente con quanto ha detto Stone, secondo Unite.AI: l'aggiornamento serve a ricavare informazioni accurate sui prodotti per annunci e raccomandazioni.

03A chi interessa davvero: tre scenari tipici

Negozio di SeriateUn negozio di arredamento con e-commerce e catalogo collegato alle campagne su Instagram. Qui i crawler di Meta lavorano anche per te: anteprime dei prodotti, informazioni per gli annunci, citazioni in Meta AI. Bloccare ExternalAds o WebIndexer per prudenza toglie più di quanto protegge; la scelta riguarda solo ExternalAgent.
Studio di TreviglioUno studio di commercialisti con una pagina Facebook e un blog di approfondimenti fiscali scritti dai soci. Il valore del sito sta in quei testi. Ha senso chiudere ExternalAgent per non cederli all'addestramento e tenere aperto WebIndexer, perché una risposta di Meta AI che cita lo studio è una forma di visibilità.
PMI di DalmineUn'azienda meccanica che fa campagne su Facebook per cercare personale, con un'area riservata per i clienti dove ci sono disegni tecnici. Il problema qui non è Meta: se l'area riservata è raggiungibile senza login, nessun robots.txt la protegge. Prima la password, poi le scelte sui crawler.

Il criterio generale: più il sito vende prodotti attraverso Meta, più conviene lasciare aperti i crawler pubblicitari e di ricerca; più il valore sta nei testi originali, più ha senso chiudere quello che addestra. Chi non usa Meta per lavoro non è toccato dai termini, ma i crawler visitano anche il suo sito.

04Come gestire i crawler di Meta nel robots.txt: la procedura

Accanto a ogni passo trovi chi lo fa di solito. L'imprenditore decide cosa aprire e cosa chiudere; scrittura del file e controlli sul server sono lavoro del fornitore del sito.

1 · TitolareApri il robots.txt attuale scrivendo tuosito.it/robots.txt nel browser. Cerca righe con meta-, facebook o un User-agent: * seguito da Disallow: /. Molte guide citano ancora FacebookBot, che oggi non compare nella documentazione di Meta: una regola su quel nome non riguarda nessuno dei cinque crawler attuali.
2 · FornitoreGuarda nei log del server quali crawler di Meta arrivano davvero e su quali pagine. Il nome si può falsificare: Meta indica di verificare gli indirizzi IP con l'elenco del suo sistema autonomo, AS32934, ottenibile con whois -h whois.radb.net -- '-i origin AS32934', e avverte che gli indirizzi cambiano spesso.
3 · TitolareDecidi crawler per crawler con il criterio della sezione precedente. Per la maggior parte delle PMI: FacebookExternalHit, Meta-WebIndexer e Meta-ExternalAds aperti, ExternalAgent a scelta.
4 · FornitoreScrivi un gruppo per ogni crawler che tratti in modo diverso e ricopia dentro ciascun gruppo le esclusioni generali. È un errore frequente nei robots.txt scritti a mano: secondo la specifica RFC 9309 un crawler segue solo il gruppo che porta il suo nome e ricade sul gruppo * solo se non ne trova uno suo. Se crei un gruppo per meta-webindexer con il solo Allow: /, le esclusioni scritte sotto * (pannello di amministrazione, carrello, ricerca interna) per lui non valgono più. Copia anche le eventuali righe Allow, come quella per /wp-admin/admin-ajax.php tipica di WordPress.
5 · FornitoreControlla CDN e firewall. Una regola anti-bot dell'hosting o della CDN può bloccare un crawler che nel robots.txt risulta aperto.
6 · TitolareVerifica le anteprime con il Debugger di condivisione di Meta, che serve anche a forzare una nuova lettura della pagina. Se l'anteprima esce vuota, controlla che FacebookExternalHit non sia bloccato.
7 · FornitoreMetti in conto 24 ore. Meta scrive che i suoi crawler possono tenere in memoria il robots.txt fino a 24 ore. E se il file risponde con un errore 5xx, la RFC 9309 chiede al crawler di considerare vietato l'intero sito: un robots.txt in errore rischia di fermare tutti i crawler che seguono lo standard, non solo quelli di Meta.

Un esempio di partenza, da adattare alle esclusioni che il tuo sito ha già:

TuttiUser-agent: *
Disallow: /wp-admin/
Disallow: /carrello/
AddestramentoUser-agent: meta-externalagent
Disallow: /
Meta AIUser-agent: meta-webindexer
Disallow: /wp-admin/
Disallow: /carrello/
AnteprimeUser-agent: facebookexternalhit
Disallow: /wp-admin/
Disallow: /carrello/

Meta-ExternalAds e Meta-ExternalFetcher qui non hanno un gruppo proprio: seguono quello generale. I gruppi di meta-webindexer e facebookexternalhit ripetono quello generale per rendere esplicita la scelta: se un giorno qualcuno chiude il gruppo generale, quei due restano aperti.

05Meta AI e ricerca generativa: perché il crawler di Meta conta per la visibilità

Meta AI è disponibile in Italia da marzo 2025 dentro WhatsApp, Instagram e Messenger, come riportava Sky TG24 al lancio, con accesso a informazioni dal web. Quando risponde con informazioni prese dai siti, la documentazione dice da quale crawler dipende la possibilità di essere citati: Meta-WebIndexer. Chi lo blocca per errore, magari con un Disallow: / generico pensato contro "i bot dell'IA", sparisce da quelle risposte senza saperlo.

Lo stesso vale per gli altri motori generativi. Per comparire in ChatGPT Search non va bloccato OAI-SearchBot, mentre GPTBot riguarda l'addestramento; per Google il token Google-Extended governa l'uso per addestramento e grounding dei modelli Gemini, e il controllo IA generativa di Search Console riguarda AI Overview e AI Mode, come spiegato nell'articolo su come escludere il sito dalle AI Overview. In tutti i casi la mossa giusta è separare ricerca e addestramento, non trattare "i bot dell'IA" come un blocco unico.

Un limite: nella seconda puntata di The Non-Canonical Cabinet, il 21 ottobre, il team di Google Search Central ha definito il robots.txt un «access preference protocol»: dice se un crawler può entrare, «it doesn't dictate what a system does with the data after it has already crawled it». Le frasi sono riportate da PPC Land dalla trascrizione del video. Bloccare oggi ExternalAgent non toglie quello che ha già letto ieri.

06Gli errori più comuni con i crawler di Meta

Bloccare tutto ciò che porta il nome MetaCon FacebookExternalHit e WebIndexer chiusi rischi link condivisi senza anteprima e nessuna citazione in Meta AI.
Pensare che il robots.txt annulli il contrattoSono due piani diversi. Il robots.txt è una preferenza tecnica che Meta dice di rispettare per i crawler documentati, con le eccezioni dichiarate. Il contratto è un accordo che accetti usando i prodotti per lavoro.
Usare il noindex contro MetaIl meta robots noindex parla ai motori di ricerca e serve a togliere una pagina dai loro risultati, come spiegato nell'articolo su come rimuovere una pagina da Google. Meta non documenta come lo tratta: per i suoi crawler lo strumento documentato è il robots.txt.
Affidare le aree riservate al robots.txtIl file è pubblico e indica a chiunque dove guardare, e Meta-ExternalFetcher per dichiarazione di Meta può ignorarlo. Quello che non deve essere letto va dietro un login.
Fidarsi del nome nelle regole del firewallChiunque può presentarsi come meta-externalagent o facebookexternalhit. Un'eccezione nel firewall basata solo sul nome lascia entrare anche chi lo copia; per aprire o chiudere davvero servono gli IP verificati con l'elenco di Meta.

07Cosa ne pensiamo

La discussione sui termini di Meta si è concentrata sugli editori. Per una PMI la domanda utile è un'altra: quali crawler di Meta lavorano per me e quale no. Nel nostro lavoro vediamo robots.txt scritti una volta dal tema o dal primo fornitore e mai riaperti, con regole su nomi superati e nessuna sui crawler di oggi.

La nostra posizione: chi vende attraverso Facebook e Instagram tiene aperti i crawler delle anteprime, della pubblicità e di Meta AI, e decide su ExternalAgent caso per caso. Noi lo chiudiamo quando il valore del sito sta in testi originali, guide, schede tecniche scritte in casa; lo lasciamo aperto quando il sito è soprattutto catalogo e contatti, perché lì il costo di contribuire all'addestramento è basso e il guadagno di chiuderlo è incerto. Nei controlli di SEO tecnico il robots.txt va riletto ogni volta che un motore generativo cambia i suoi crawler, cioè più spesso di quanto si pensi: è parte del lavoro di ottimizzazione per i motori generativi.

→In sintesi

I nuovi termini di Meta slittano al 20 novembre e non si possono accettare in parte. I crawler di Meta invece si gestiscono uno per uno nel robots.txt: chi vende sui social tiene aperti anteprime, pubblicità e Meta AI, e chiude Meta-ExternalAgent se il valore del sito sta nei testi originali.

FAQDomande frequenti sui crawler di Meta

→Quali sono i crawler di Meta?

La documentazione ufficiale ne elenca cinque: FacebookExternalHit per le anteprime dei link, Meta-WebIndexer per la ricerca di Meta AI, Meta-ExternalAds per la pubblicità, Meta-ExternalAgent per l'addestramento dei modelli e l'indicizzazione per i prodotti, Meta-ExternalFetcher per le visite richieste dagli utenti. Ognuno ha un nome proprio da usare nel robots.txt.
→Come impedisco a Meta di usare il sito per addestrare l'IA senza perdere le anteprime su Facebook?

Crea nel robots.txt un gruppo per meta-externalagent con Disallow: / e lascia aperto facebookexternalhit, che genera le anteprime. Se vuoi restare citabile nelle risposte di Meta AI, lascia aperto anche meta-webindexer. Ricorda di ricopiare in ogni gruppo le esclusioni generali del sito.
→Meta rispetta il robots.txt?

Secondo la documentazione di Meta i crawler si gestiscono con il robots.txt, con due eccezioni dichiarate: FacebookExternalHit può ignorarlo nei controlli di sicurezza e Meta-ExternalFetcher può ignorarlo perché agisce su richiesta degli utenti. Le modifiche possono richiedere fino a 24 ore. Il robots.txt non controlla l'uso dei dati già raccolti.
→Quando entrano in vigore i nuovi termini commerciali di Meta?

Il 20 novembre 2026. La data iniziale era il 30 ottobre, ma il 23 ottobre, secondo Reuters, Meta ha comunicato il rinvio per spiegare meglio ai partner cosa cambia. Continuare a usare i prodotti di Meta per lavoro dopo quella data vale come accettazione.
→Bloccare Meta-ExternalAgent penalizza il sito su Google?

No. Il robots.txt si legge crawler per crawler e un gruppo dedicato a meta-externalagent non riguarda Googlebot. L'errore da evitare è un Disallow generico sotto User-agent: *, che chiuderebbe il sito anche a Google.

Crawler di Meta sul tuo sito: cinque bot, cinque decisioni diverse