Robots.txt e AI Overviews: la riga che non protegge gli editori

Bloccare Google-Extended nel robots.txt non esclude un sito dalle risposte generate di Google: lo dice la documentazione di Google stessa. Intanto gli editori chiedono di uscire, anche a costo di perdere clic. Cosa succede davvero e cosa conviene verificare.

Robots.txt e AI Overviews: la riga che non vi protegge, e perché qualcuno vuole sparire

C’è una riga di testo che negli ultimi due anni è finita nel file robots.txt di moltissimi siti, spesso su richiesta di qualcuno che voleva "tenere fuori l’intelligenza artificiale". La riga blocca un crawler di Google che si chiama Google-Extended. Chi l’ha messa, in genere, è convinto di aver fatto una scelta difensiva: i miei contenuti non finiscono nelle risposte generate da Google.

Non è così. E non lo diciamo noi: lo dice la documentazione di Google sui suoi crawler, che spiega che quel token riguarda l’addestramento e il grounding dei modelli generativi, non l’inclusione dei contenuti nella ricerca. Il sito continua a comparire negli AI Overviews, cioè nei riassunti che Google mostra in cima ai risultati.

La questione è tornata sotto i riflettori a luglio 2026, quando John Shehata, CEO di NewzDash, ha rilevato che Google ha iniziato a spostare l’intero carosello Top Stories dentro gli AI Overviews, al posto del modulo separato che compariva sotto la risposta generata. Secondo il tracking di NewzDash, ripreso da Search Engine Journal e da Press Gazette, succede nel 15,5% delle query di attualità con Top Stories negli Stati Uniti e nel 17,46% nel Regno Unito. Shehata parla di collocazioni mutuamente esclusive: se il carosello è dentro il riassunto, non compare anche sotto. È una sua osservazione, non un comportamento documentato da Google.

Qui il caso specifico riguarda le testate giornalistiche, perché le Top Stories sono un formato riservato a chi è registrato come fonte di notizie. Un sito aziendale non entra in quel carosello. Ma il punto tecnico che è emerso di rimbalzo riguarda tutti.

Cosa fa davvero quella riga, e cosa non fa

Semplifichiamo il meccanismo, perché la confusione nasce dal fatto che Google usa più agenti per scopi diversi.

Di fatto ci sono tre livelli distinti. Il primo è la scansione per la ricerca: se lo blocchi, il sito esce da Google e dai risultati. Il secondo è l’uso dei contenuti per addestrare i modelli e per fornire loro materiale di riferimento in applicazioni come Gemini: è questo il perimetro di Google-Extended. Il terzo è la comparsa dentro le funzioni generative della ricerca, cioè AI Overviews e AI Mode. Il terzo livello non si governa con il secondo.

Detto in modo brutale: chi ha bloccato Google-Extended ha rinunciato a una parte di visibilità nelle applicazioni AI di Google e non ha ottenuto niente in cambio sul fronte che gli interessava.

Search Engine Journal descrive questa convinzione errata come l’assunto di default del settore. Nessuno ha misurato quanti siti ne siano vittima, quindi non mettiamo un numero: registriamo che è un fraintendimento diffuso abbastanza da essere il punto centrale di un articolo di categoria.

La verifica costa dieci minuti e non richiede un tecnico. Si scrive l’indirizzo del sito seguito da /robots.txt nella barra del browser e si legge cosa c’è scritto. Se compare una riga che nomina Google-Extended con un Disallow, quella riga esiste, e vale la pena chiedere a chi l’ha messa perché l’ha fatto e cosa pensava di ottenere. Le due risposte possono essere diverse.

L’unico interruttore vero, e dove si trova

A giugno 2026 Google ha avviato il test di un controllo in Search Console che esclude un sito da AI Overviews, AI Mode e funzioni generative di Discover senza toccare la ricerca tradizionale. È la cosa che gli editori chiedevano da tempo: un’uscita selettiva, non la scelta fra restare dentro tutto o sparire da Google.

Due precisazioni, entrambe necessarie. La prima: il test è limitato a una parte dei siti del Regno Unito, e le fonti che l’hanno raccontato, fra cui Engadget e Neowin, collegano la mossa agli obblighi imposti dall’autorità britannica per la concorrenza. La seconda: non abbiamo trovato conferma che questo controllo sia disponibile in Italia o nell’Unione europea. Chi vi dice che si può fare oggi, qui, sta anticipando.

Quindi: non è vero che non si può fare niente, e non è vero che si può fare adesso. Sono due affermazioni sbagliate in direzioni opposte, e circolano entrambe.

C’è poi la frase con cui Google accompagna il nuovo controllo, ed è quella che conta più di tutto il resto: i siti che si escludono non riceveranno traffico né impressioni dalle funzioni AI. Nessuna via di mezzo dichiarata, nessuna presenza senza clic. Fuori è fuori.

Perché un editore rifiuta visibilità gratuita

A questo punto la domanda che si fa un imprenditore è legittima: se Google mi mette in vetrina senza chiedermi niente, perché dovrei rinunciare?

Perché comparire senza essere cliccati, per chi vive di pagine viste, non è visibilità. È sostituzione.

Il modello economico di un editore è semplice: produce un contenuto, la persona arriva sulla pagina, la pagina mostra pubblicità o propone un abbonamento. Il valore si crea nel momento in cui qualcuno atterra sul sito. Se la risposta viene consegnata prima, dentro la pagina dei risultati, il contenuto ha comunque lavorato ma il valore si è formato da un’altra parte.

Sul peso di questo effetto ci sono misure, e vanno lette per quello che dicono. Uno studio di Ahrefs, curato da Ryan Law, ha rilevato un calo del 58% del tasso di clic per le pagine in prima posizione quando nella pagina dei risultati è presente un AI Overview: il dato è di dicembre 2025, pubblicato a febbraio 2026, e va confrontato con il meno 34,5% che gli stessi autori misuravano ad aprile 2025. Attenzione a cosa significa: è il tasso di clic della prima posizione su query con riassunto generato, non il traffico complessivo di qualcuno. Ma la direzione è chiara e il peggioramento in nove mesi è la parte più interessante.

Sullo sfondo c’è la dipendenza. Search Engine Journal, a ottobre 2025, indicava fra il 20 e il 40% la quota di traffico di referral che la ricerca Google, Discover compreso, porta ai grandi editori. Quando fra un quinto e due quinti del pubblico arriva da un solo canale, e quel canale cambia le regole di consegna, non è una questione di ottimizzazione: è una questione di modello di business.

Da qui la scelta apparentemente irrazionale di voler sparire. Non è un gesto ideologico. È il calcolo di chi ha stimato che comparire come fonte di un riassunto valga meno del danno di sostituire la propria pagina.

DMG Media, il gruppo di MailOnline e Metro, ha dichiarato cali che su alcune query arrivano intorno al 90%. È una dichiarazione aziendale, non una verifica indipendente, e la riportiamo come tale.

La partita italiana si gioca a Bruxelles

In Italia il percorso è formale. La FIEG, la federazione degli editori, ha presentato un reclamo ad AGCOM a ottobre 2025. Dopo le audizioni di Google, FIEG e FISC, ad aprile 2026 AGCOM ha deciso di trasmettere alla Commissione europea una richiesta di valutazione sugli AI Overviews, in base all’articolo 65 del Digital Services Act, nel suo ruolo di Coordinatore dei servizi digitali. Lo hanno riportato, fra gli altri, ItaliaOggi, Milano Finanza e Agenda Digitale.

Una precisazione che spesso salta nei riassunti: AGCOM non ha aperto un’indagine e non ha sanzionato nessuno. Ha trasmesso una segnalazione a chi ha la competenza per valutarla. La differenza è sostanziale, e chi la ignora costruisce aspettative sbagliate sui tempi.

Google, dal suo lato, non sta zitto: sostiene che gli AI Overviews aumentino l’uso complessivo della ricerca, che l’azienda continui a inviare miliardi di clic al giorno ai siti, e definisce parziali o distorti i dati portati dagli editori, attribuendo parte dei cali alla stagionalità e al cambio di interessi degli utenti. La ricostruzione è di Agenda Digitale sulle risposte date da Google a critiche analoghe in altri mercati.

Va detto anche che non tutti leggono la novità delle Top Stories dentro gli AI Overviews come una perdita. Greg Jarboe, autore dell’articolo di Search Engine Journal, la interpreta come un tentativo di riportare testate con firma e link dentro la risposta generata, quindi di ricostruire fiducia e non solo di trattenere il clic. Lo stesso Shehata parla di arma a doppio taglio: più link editoriali in posizione prominente, meno controllo su come vengono mostrati. Nessuno, per ora, ha contestato nel merito la misurazione di NewzDash: il contraddittorio riguarda gli effetti, non il dato.

Cosa cambia per un’impresa che non vende contenuti

Se la vostra azienda ha un sito che serve a farsi trovare e a raccogliere contatti, la risposta operativa immediata è: sul robots.txt non c’è niente da fare, a parte guardarlo.

Il dilemma dell’editore non è il vostro. Rinunciare alle funzioni AI significa rinunciare a impressioni e clic, per dichiarazione esplicita di Google, e per chi prende contatti dal sito è una scelta quasi sempre perdente. Il calcolo si ribalta solo per chi vende l’accesso al contenuto.

Quello che invece va preso sul serio è lo spostamento di valore. Se il traffico che arrivava da ricerche informative cala, e in molti settori sta calando, il peso si sposta sulle pagine che una risposta generata non può sostituire: preventivi, configuratori, disponibilità e prezzi, contatto diretto, contenuti costruiti su dati che solo voi avete. Una risposta automatica può riassumere una spiegazione generica. Non può dirvi se un pezzo è in magazzino oggi.

Sui tempi conviene essere onesti: riprogettare i contenuti di un sito con questa logica dà effetti misurabili in mesi, non in settimane. Chi promette risultati in trenta giorni sta vendendo qualcosa.

E se l’azienda pubblica un magazine settoriale con pubblicità, allora il caso la riguarda in pieno, e va seguito nel merito.

Il punto che resta

In dodici mesi sono cambiate tre cose contemporaneamente: dove Google mette i link editoriali, quanto vale il primo posto quando sopra c’è un riassunto, e quali interruttori esistono per starne fuori. Nessuna di queste era prevedibile un anno prima, e il controllo in Search Console esiste da giugno 2026, in un solo Paese, per ora.

È per questo che una riga scritta nel robots.txt due anni fa oggi non fa quello che si credeva. Non perché fosse sbagliata allora: perché il perimetro si è spostato e nessuno è tornato a rileggerla.

La domanda utile da fare a chi vi gestisce il sito non è "siamo protetti dall’AI". È: cosa c’è scritto oggi nel nostro robots.txt, chi l’ha messo, e quando l’abbiamo controllato l’ultima volta. Se la risposta arriva in dieci minuti e con precisione, avete un fornitore che segue la materia. Se arriva vaga, il problema non è il file.

Mattia Zanin, Founder di Gigamind