I crawler AI entrano ogni giorno nel tuo sito, leggono i tuoi articoli, copiano le tue schede prodotto e se ne vanno senza lasciarti niente: dal 15 settembre 2026 questa storia cambia direzione. Cloudflare, la società che gestisce il traffico di una fetta enorme del web mondiale, ha annunciato il 1° luglio 2026 una decisione che sposta gli equilibri: i bot che raccolgono contenuti per addestrare i modelli di intelligenza artificiale verranno bloccati di default sulle pagine che mostrano pubblicità. Se hai un blog, un e-commerce o un sito di servizi, questa notizia ti tocca da vicino, perché per la prima volta il coltello dalla parte del manico passa a chi i contenuti li crea: cioè a te.
La mossa arriva dopo mesi di tensione crescente tra editori e colossi dell’AI. Da una parte ci sono milioni di siti che producono guide, recensioni e articoli originali; dall’altra ci sono modelli come ChatGPT, Gemini e Claude che rispondono alle domande degli utenti usando proprio quei contenuti, senza mandare visite in cambio. Cloudflare ha deciso di mettere un cancello con serratura: chi vuole entrare deve dichiarare chi è e cosa viene a fare.
Cosa ha deciso Cloudflare e perché ti riguarda
Il cuore dell’annuncio sta in una data e in una regola. La data è il 15 settembre 2026: da quel giorno le aziende AI dovranno separare i loro crawler AI in base alla funzione che svolgono. La regola è chiara: sulle pagine che ospitano pubblicità, i bot di ricerca restano autorizzati, mentre quelli dedicati all’addestramento dei modelli e agli agenti autonomi verranno fermati in automatico, salvo tua scelta contraria.
Il nuovo assetto non vale per tutti allo stesso modo, quindi conviene guardare i dettagli. Le impostazioni predefinite si applicano a tre gruppi precisi:
- Nuovi clienti Cloudflare: chiunque registri un dominio sulla piattaforma dopo il 15 settembre parte con il blocco attivo.
- Nuovi siti di clienti esistenti: se aggiungi un secondo progetto al tuo account, anche quello nasce protetto.
- Tutti i clienti del piano gratuito: milioni di siti, compresi tantissimi blog italiani, riceveranno il blocco senza muovere un dito.
I clienti a pagamento mantengono il controllo completo dal pannello: possono riaprire la porta a bot specifici quando vogliono. Il punto politico però resta: il permesso smette di venire dato per scontato e diventa una scelta consapevole del proprietario del sito. Come ha detto il CEO Matthew Prince nel comunicato ufficiale:
«Ora che la maggioranza del traffico su internet non è umana, dobbiamo spingerci oltre e agire più in fretta.»
Una frase che fotografa la situazione: secondo i dati diffusi dall’azienda, oltre il 50% del traffico web arriva ormai da bot e sistemi automatici, e più della metà delle richieste dei crawler AI riscarica pagine che non hanno subito alcuna modifica. Uno spreco di banda che paghi tu, per contenuti che qualcun altro monetizza.
Crawler AI: cosa sono e cosa fanno davvero sul tuo sito
Facciamo un passo indietro, così capisci esattamente di cosa parliamo. Un crawler è un programma automatico che visita le pagine web in modo sistematico, ne legge il contenuto e lo archivia. I motori di ricerca li usano da trent’anni per costruire i loro indici: senza Googlebot, il tuo sito non comparirebbe tra i risultati di Google. Fin qui, uno scambio equo: tu apri la porta, il motore ti manda visitatori.
I crawler AI hanno rotto questo patto. Raccolgono gli stessi contenuti, ma li usano per addestrare modelli linguistici o per generare risposte dirette dentro le chat: l’utente ottiene ciò che cerca senza mai cliccare sul tuo link. Il tuo lavoro alimenta il prodotto di qualcun altro, mentre le tue statistiche di traffico restano ferme. Se vuoi approfondire come gli agenti automatici stiano cambiando anche il modo di navigare, dai un’occhiata all’analisi su ChatGPT Atlas, il browser AI di OpenAI pubblicata qui su Biz Academy.
I numeri di questo squilibrio li ha messi in fila la stessa Cloudflare in un report dell’anno scorso: rispetto alla vecchia ricerca Google, con OpenAI diventa circa 750 volte più difficile ricevere traffico in cambio dei propri contenuti, e con Anthropic si arriva a 30.000 volte. Detto in parole povere: le AI leggono tantissimo e restituiscono pochissimo.
Le tre categorie che cambiano le regole del gioco
La novità tecnica più concreta riguarda la classificazione del traffico automatico. Dal 15 settembre ogni bot dovrà dichiarare a quale delle tre famiglie appartiene, e tu potrai gestire ciascuna in modo indipendente: consentire, bloccare o monetizzare. Ecco il quadro completo:
| Categoria | Cosa fa | Default dal 15 settembre |
|---|---|---|
| Search (ricerca) | Indicizza le pagine per mostrarle nei risultati di ricerca | Consentito |
| Training (addestramento) | Preleva i contenuti per addestrare o perfezionare i modelli AI | Bloccato sulle pagine con pubblicità |
| Agent (agente) | Agisce in tempo reale per conto di un utente, ad esempio prenota o compila | Bloccato sulle pagine con pubblicità |
E i bot che fanno tutto insieme senza dichiararlo? Qui arriva la parte più dura del provvedimento: i cosiddetti crawler a uso misto, quelli che non vogliono o non possono specificare la funzione di ogni singola richiesta, verranno bloccati del tutto sulle pagine monetizzate con pubblicità. Nessuna eccezione, nemmeno per i nomi grossi. Anzi: soprattutto per i nomi grossi.
Google spalle al muro: il caso Googlebot
Il bersaglio principale della manovra ha un nome preciso. Google gestisce circa 20 crawler distinti per scopi diversi, eppure Googlebot, il più attivo di tutti, continua a svolgere un doppio lavoro: indicizza le pagine per la ricerca e allo stesso tempo alimenta prodotti AI come AI Overviews e AI Mode. Per te, proprietaria di un sito, questo doppio ruolo crea un ricatto silenzioso: se blocchi Googlebot perdi il traffico organico, se lo lasci entrare regali i tuoi contenuti all’intelligenza artificiale di Mountain View.
Cloudflare ha documentato la sproporzione con dati raccolti su un campione di due mesi:
- Googlebot ha raggiunto circa l’8% degli URL unici campionati, il valore più alto in assoluto;
- ha visitato 1,7 volte più pagine di ClaudeBot di Anthropic e 3 volte più di Bingbot di Microsoft;
- PerplexityBot ha visto appena 1/167 degli URL toccati da Googlebot;
- gli editori bloccano gli altri crawler AI a un ritmo quasi 7 volte superiore rispetto a Googlebot.
Quest’ultimo dato racconta tutto: nessuno osa chiudere la porta a Google, non per amore dei suoi prodotti AI, ma per paura di sparire dalla ricerca. La separazione obbligatoria dei crawler serve proprio a spezzare questo vantaggio competitivo: con le nuove regole, Google potrà continuare a indicizzare, ma dovrà usare bot dichiarati e distinti se vuole anche addestrare i suoi modelli. Anche Microsoft e Apple, che operano bot a doppio uso simili, si trovano davanti allo stesso bivio. Le aziende hanno circa 10 settimane per adeguarsi.
Pay Per Use: i crawler AI adesso pagano il conto
Bloccare va bene, ma la vera partita si gioca sulla monetizzazione. Insieme ai nuovi blocchi, Cloudflare ha lanciato Pay Per Use, l’evoluzione del vecchio Pay Per Crawl. La differenza sta nel momento in cui scatta il compenso: prima ti pagavano quando il bot scaricava la pagina, adesso il pagamento arriva quando il tuo contenuto genera valore, per esempio quando compare in una risposta AI o quando un agente lo consulta per conto di un utente.
I primi partner del marketplace danno un’idea della direzione:
- Ceramic.ai paga gli editori quando i loro contenuti compaiono nei risultati della sua ricerca AI;
- You.com compensa i siti quando i suoi agenti accedono a contenuti premium su richiesta;
- Patreon bloccherà i crawler di addestramento su tutta la sua rete, proteggendo i creator;
- beehiiv offrirà controlli AI a livello di singolo creator direttamente dalla dashboard.
Nell’ultimo anno, sempre secondo i dati della società, sono stati firmati oltre 50 accordi di licenza tra editori e piattaforme AI. Con i blocchi attivi di default, quel numero salirà: quando l’accesso gratuito sparisce, pagare diventa l’unica strada per ottenere contenuti freschi. E i contenuti freschi, per un modello AI, valgono oro.
Il principio è semplice: il tuo contenuto, le tue regole. Chi lo vuole usare per addestrare una macchina che poi risponderà al posto tuo, deve chiedertelo e riconoscerti qualcosa in cambio.
Cosa devi fare adesso se hai un sito
Passiamo alla parte pratica, quella che puoi mettere in campo questa settimana. Le mosse dipendono da dove si trova il tuo sito e da che rapporto vuoi avere con le AI.
- Verifica se il tuo sito passa da Cloudflare. Controlla i DNS del dominio o chiedi a chi gestisce il tuo hosting. Se usi il piano gratuito, dal 15 settembre il blocco dei crawler AI di addestramento si attiverà da solo.
- Decidi la tua strategia sui contenuti. Vuoi la massima visibilità nelle risposte AI oppure vuoi proteggere guide e materiali esclusivi? Le due strade portano a impostazioni opposte, e nessuna delle due va scelta a caso.
- Apri il pannello dei bot e guarda chi ti visita. La nuova dashboard Attribution Business Insights mostra come i sistemi AI consumano i tuoi contenuti: dati che finora nessuno ti faceva vedere.
- Aggiorna il file robots.txt. Anche fuori da Cloudflare puoi dichiarare quali bot accetti: GPTBot, ClaudeBot, Google-Extended e simili rispettano queste direttive.
- Valuta il marketplace Pay Per Use. Se produci contenuti originali di qualità, iscriverti al programma può trasformare i crawler AI da parassiti a clienti.
Se gestisci una piccola attività locale, il discorso si intreccia con la visibilità su Google: su questo tema trovi la guida a Gemini per le piccole imprese e Google Business Profile, che spiega come i nuovi strumenti AI di Google trattano le schede delle attività.
AEO: farsi citare dalle AI senza regalare tutto
Insieme ai blocchi, Cloudflare ha battezzato una disciplina nuova: la Answer Engine Optimization, in sigla AEO. Se la SEO serviva a comparire tra i dieci link blu di Google, l’AEO serve a farsi citare nelle risposte generate dall’AI, con tanto di attribuzione e, in prospettiva, di compenso. La logica cambia: non ottimizzi più per il clic, ottimizzi per la citazione.
Cosa significa in concreto per chi scrive contenuti? Strutturare le pagine in modo che un modello possa estrarre risposte precise: titoli chiari, dati verificabili, paragrafi che rispondono a domande specifiche, markup pulito. A questo si aggiunge Web Bot Auth, il protocollo aperto rilasciato da Cloudflare che permette ai bot di certificare identità e scopo: una specie di documento d’identità per i crawler AI, che rende il sistema verificabile invece che basato sulla fiducia.
Il confronto con l’evoluzione dei modelli corre veloce: strumenti sempre più potenti come quelli descritti nell’articolo su Claude Fable 5 e il confronto con ChatGPT hanno bisogno di dati sempre più freschi e affidabili. Chi possiede quei dati, cioè chi pubblica contenuti originali, si trova per la prima volta dal lato giusto del tavolo delle trattative.
Chi vince e chi perde con i crawler AI bloccati di default
Proviamo a tirare le somme di questo scontro, perché di scontro si tratta. Da un lato ci sono i giganti dell’AI, abituati ad attingere al web come a un pozzo senza fondo: per loro il 15 settembre segna la fine dell’accesso illimitato e gratuito. Google rischia più di tutti, perché il doppio uso di Googlebot smette di funzionare come passe-partout. Dall’altro lato ci sono editori, blogger e creator: per loro si apre una stagione di potere contrattuale mai vista prima.
| Chi | Cosa ci guadagna | Cosa rischia |
|---|---|---|
| Piccoli siti e blog | Protezione automatica, possibili ricavi da Pay Per Use | Meno presenza nelle risposte AI se bloccano tutto |
| Grandi editori | Leva negoziale per accordi di licenza | Dipendenza dalle piattaforme di intermediazione |
| Google, Microsoft, Apple | Regole chiare e accesso legittimo se si adeguano | Blocco totale dei bot misti sulle pagine con pubblicità |
| Startup AI | Parità di condizioni rispetto a Googlebot | Costi di accesso ai contenuti in aumento |
Resta una domanda aperta: funzionerà? Cloudflare gestisce una porzione gigantesca del traffico mondiale, quindi la sua parola pesa. Ma la storia del web insegna che i colossi trovano spesso strade alternative, e la partita tra chi crea contenuti e chi li consuma per addestrare macchine non si chiude certo con un annuncio. Quel che cambia da subito, però, è la tua posizione nel gioco: i crawler AI smettono di comportarsi da padroni di casa e tornano a fare gli ospiti, con tanto di campanello da suonare. Il tuo sito, le tue regole: dal 15 settembre 2026 questa frase smette di sembrare uno slogan e diventa un’impostazione attiva di default.
Domande frequenti sui crawler AI
Cosa sono esattamente i crawler AI?
Sono programmi automatici che visitano i siti web e ne raccolgono i contenuti per scopi legati all’intelligenza artificiale: addestrare modelli linguistici, alimentare risposte generate nelle chat o agire per conto di un utente. Si distinguono dai crawler di ricerca classici, che indicizzano le pagine per mostrarle nei risultati dei motori.
Quando entra in vigore il blocco di Cloudflare?
Il 15 settembre 2026. Da quella data i crawler di addestramento e gli agenti AI verranno bloccati di default sulle pagine con pubblicità per i nuovi clienti, per i nuovi siti di clienti esistenti e per tutti gli utenti del piano gratuito.
Il mio blog sul piano gratuito di Cloudflare verrà protetto in automatico?
Sì. Tutti i siti sul piano free ricevono le nuove impostazioni predefinite senza alcuna azione manuale. Potrai comunque modificarle dal pannello se preferisci consentire l’accesso ad alcuni bot.
Il blocco dei crawler AI danneggia la mia SEO?
No. I bot dedicati alla ricerca, come quelli che indicizzano le pagine per i risultati organici, restano autorizzati di default. Il blocco riguarda solo addestramento e agenti autonomi sulle pagine monetizzate.
Cosa succede a Googlebot con le nuove regole?
Se Google continuerà a usare un solo bot per ricerca e addestramento senza dichiarare la funzione di ogni richiesta, quel bot verrà bloccato sulle pagine con pubblicità dei siti che adottano i nuovi default. Per mantenere l’accesso completo, Google dovrà separare i crawler per scopo.
Posso guadagnare dai crawler AI che leggono il mio sito?
Sì, attraverso il marketplace Pay Per Use di Cloudflare: vieni compensata quando i tuoi contenuti compaiono nelle risposte AI dei partner aderenti, come Ceramic.ai e You.com, o quando un agente accede ai tuoi materiali premium.
Cosa cambia rispetto al vecchio Pay Per Crawl?
Pay Per Crawl pagava alla scansione della pagina. Pay Per Use paga quando il contenuto produce valore reale, per esempio una citazione in una risposta generata: un modello più vicino a come i contenuti vengono usati davvero.
Come faccio a sapere quali bot visitano il mio sito?
La dashboard Attribution Business Insights di Cloudflare mostra quali sistemi AI consumano i tuoi contenuti e con quale frequenza. In alternativa puoi analizzare i log del server cercando gli user agent dei bot più noti, come GPTBot o ClaudeBot.
Cos’è la Answer Engine Optimization?
L’AEO è la pratica di strutturare i contenuti per massimizzare le citazioni nelle risposte generate dall’intelligenza artificiale: titoli chiari, dati verificabili e paragrafi che rispondono a domande precise aumentano le probabilità che un modello citi la tua pagina come fonte.
Devo usare Cloudflare per bloccare i crawler AI?
No. Puoi dichiarare le tue preferenze nel file robots.txt del sito, che i bot principali rispettano, oppure usare strumenti del tuo hosting. Cloudflare rende però il controllo più solido, perché applica il blocco a livello di rete e non si limita a una richiesta di cortesia.
