Ogni negozio dovrebbe controllare i propri crawler basati sull’IA – la domanda è solo: con quali strumenti? Il tanto discusso llms.txt è una proposta della community senza valore vincolante; a decidere quali bot possano effettivamente accedere al negozio è ancora il file robots.txt – e, in caso di dubbio, la regola relativa ai bot nel CDN. Questo articolo illustra quali crawler basati sull’intelligenza artificiale esistono, come consentirne o bloccarne l’accesso in modo mirato e quali risultati realistici può effettivamente garantire il file llms.txt.
In sintesi
- llms.txt (llmstxt.org) è un file Markdown nella directory principale che offre contenuti selezionati ai sistemi di IA: si tratta di una proposta della comunità, non di uno standard adottato da OpenAI, Google o Anthropic.
- Il controllo vincolante avviene tramite direttive robots.txt per GPTBot, ClaudeBot, Google-Extended, PerplexityBot e simili, oltre a regole CDN/WAF come limite inderogabile.
- Sia l’ammissione che l’esclusione sono legittime: ciò che conta è una scelta consapevole, anziché una configurazione casuale basata su elenchi generici di bot.
- La letteratura scientifica sull’utilità di llms.txt è scarsa (aggiornata a novembre 2026): sforzo minimo, rendimento incerto.
Che cos’è llms.txt?
Il file llms.txt è una proposta della comunità dell’IA (llmstxt.org, avviata nel settembre 2024): un file Markdown nella directory principale del sito web che fornisce ai sistemi di IA una panoramica curata: chi è il fornitore, quali contenuti sono importanti, dove si trovano i punti di accesso leggibili dalle macchine. A integrazione, la proposta prevede un file llms-full.txt che raggruppa tutti i contenuti in testo completo. L’idea: invece di costringere un modello linguistico a districarsi tra navigazione, banner dei cookie e codice dei template, gli viene fornita direttamente l’essenza del sito web. Importante per contestualizzare: nessuno dei principali fornitori di IA si è formalmente impegnato a valutare il file – si tratta di un’offerta, non di un protocollo.
Il file llms.txt controlla davvero ciò che fanno i crawler di IA?
No. Il file llms.txt può offrire contenuti, ma non può vietare nulla: è la vetrina, non il buttafuori. Il controllo effettivo dei crawler di IA avviene su due altri livelli: in primo luogo tramite il file robots.txt, in cui i bot documentati dei principali fornitori possono essere identificati tramite l’User-Agent. In secondo luogo tramite le regole CDN e firewall (Cloudflare & Co.), che impongono tecnicamente gli accessi – questo è rilevante perché il file robots.txt è una convenzione a cui, come è dimostrato, non tutti i bot si attengono. Chi configura correttamente entrambi non ha bisogno del file llms.txt per il controllo; chi lo crea in aggiunta non ha nulla da perdere.
Quali crawler basati sull’intelligenza artificiale dovrei conoscere?
I principali user-agent documentati, ordinati per scopo (aggiornato a novembre 2026 – gli elenchi dei fornitori sono in continua crescita):
| User-Agent | Gestore | Scopo |
|---|---|---|
| GPTBot | OpenAI | Addestramento dei futuri modelli GPT. |
| OAI-SearchBot | OpenAI | Indice di ricerca per ChatGPT – fornisce risposte con link alle fonti. |
| Utenti ChatGPT | OpenAI | Recupero in tempo reale di singole pagine su richiesta dell'utente. |
| ClaudeBot | Anthropic | Crawling per Claude, tra l'altro a scopo di addestramento. |
| Google-Extended | Non si tratta di un crawler proprio, bensì di un token di controllo: stabilisce se Gemini può utilizzare i contenuti per l'addestramento di modelli futuri e come fonte per le risposte nell'app Gemini e in Vertex AI (grounding). | |
| PerplexityBot | Perplexity | Indice di ricerca del motore di risposta Perplexity. |
| Meta-ExternalAgent | Meta | Addestramento dei modelli di meta-IA. |
| CCBot | Common Crawl | Archivio web aperto – alimenta molti set di dati di addestramento di terze parti. |
C'è un dettaglio che spesso viene frainteso: Google Extended riguarda Gemini al di fuori della ricerca – ovvero l'addestramento dei modelli futuri e l'utilizzo come fonte per le risposte nell'app Gemini e in Vertex AI (Grounding). Le AI Overview e la modalità AI della ricerca Google dipendono dal normale Googlebot: chi blocca Google-Extended non scompare quindi dalle risposte AI della ricerca, ma sì come fonte nell’app Gemini. Abbiamo illustrato cosa cambia in questo contesto nell’articolo dedicato alla modalità AI e alle AI Overview.
Come posso bloccare o autorizzare GPTBot & Co.?
Tramite le normali direttive robots.txt, in base all’User-Agent. Un modello comune per i negozi online: consentire i crawler di risposta e di ricerca (visibilità), bloccare i crawler di addestramento (protezione dei contenuti):
# Bloccare i crawler di addestramento
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Consentire i crawler di risposta e di ricerca
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Per quanto riguarda Google-Extended, vale quanto segue: il blocco esclude il negozio anche come fonte dall’app Gemini, mentre le risposte basate sull’IA della ricerca Google rimangono inalterate. L’istruzione Allow esplicita è tecnicamente per lo più ridondante (ciò che non è vietato è consentito), ma documenta la decisione consapevole. Successivamente, verificare il secondo livello: molti CDN e firewall gestiscono elenchi generici di «AI-Bot» o «Bad-Bot» che includono anche i crawler di risposta – un’autorizzazione nel file robots.txt non serve a nulla se il WAF respinge lo stesso bot con un codice di stato HTTP 403. Entrambi i livelli devono riflettere la stessa decisione. Lo sforzo richiesto è contenuto: un quarto d’ora, che si può trovare anche nella settimana che precede il Black Friday.
Consentire o bloccare: cosa è più adatto al mio negozio?
La valutazione presenta due aspetti. A favore dell’autorizzazione c’è la visibilità: chi vuole comparire come fonte nelle risposte generate dall’IA deve consentire l’accesso ai crawler di risposta e di ricerca – le basi in merito sono illustrate nell’articolo sui fondamenti GEO; lo stesso vale anche per i futuri agenti di acquisto: chi blocca, è invisibile. A favore del blocco giocano la protezione dei contenuti (non fornire gratuitamente contenuti editoriali per l’addestramento) e il carico sul server, poiché i crawler di IA generano volumi di accessi talvolta notevoli. La via di mezzo pragmatica per la maggior parte dei negozi online: consentire l’accesso ai crawler di ricerca e di risposta, valutando separatamente i crawler di addestramento. Una cosa è soprattutto sbagliata: non prendere alcuna decisione e affidarsi a un elenco di bot fornito di serie.
Il file llms.txt migliora la visibilità per l’IA?
Risposta onesta: la questione è aperta. Finora non esistono studi attendibili che dimostrino un effetto del file llms.txt sulla frequenza delle citazioni o sul traffico generato dall’IA (alla data di chiusura della redazione); le analisi dei log dei server mostrano, presso molti gestori, solo accessi sporadici al file, e nessun grande provider ha ufficialmente confermato la propria valutazione. A ciò si contrappone uno sforzo davvero minimo: un file llms.txt si crea e si aggiorna in un’ora. La nostra valutazione: crearlo, ma senza aspettarsi miracoli – il lavoro di visibilità si svolge nei contenuti, nei dati strutturati e nell’autorizzazione ai crawler. Il nostro llms.txt, attivo sul sito, mostra come si presenta un file di questo tipo.
Cosa offre il XONIC Shop System a questo proposito
Il controllo dei crawler tramite IA è integrato a partire dalla versione 4.8.2 e separa esattamente i due livelli di cui si parla in questo articolo: L’opzione AI_BOT_ALLOW consente in modo mirato l’accesso ai crawler di risposta e di ricerca, mentre AI_TRAINING_ROBOTS_DISALLOW inserisce automaticamente nel file robots.txt le esclusioni per i crawler di addestramento – senza alcun intervento manuale sul file. A ciò si aggiunge l’esportazione delle conoscenze tramite IA, che rende i contenuti curati del negozio disponibili in formato leggibile dalle macchine – in sostanza, l’idea alla base del file llms.txt, ma in forma strutturata. Le pagine dei prodotti e dei contenuti forniscono immediatamente la base citabile: Product-JSON-LD con feed del commerciante, microdati FAQPage e NewsArticle-JSON-LD con profilo dell’autore. La panoramica delle funzionalità offre una visione d’insieme.
