SEO e marketing online

llms.txt, GPTBot & Co.: il mio negozio dovrebbe utilizzare crawler basati sull’intelligenza artificiale?

19 nov 2026·Autore: Stephan Dunger

llms.txt, GPTBot & Co.: il mio negozio dovrebbe utilizzare crawler basati sull’intelligenza artificiale?

Ogni negozio dovrebbe controllare i propri crawler basati sull’IA – la domanda è solo: con quali strumenti? Il tanto discusso llms.txt è una proposta della community senza valore vincolante; a decidere quali bot possano effettivamente accedere al negozio è ancora il file robots.txt – e, in caso di dubbio, la regola relativa ai bot nel CDN. Questo articolo illustra quali crawler basati sull’intelligenza artificiale esistono, come consentirne o bloccarne l’accesso in modo mirato e quali risultati realistici può effettivamente garantire il file llms.txt.

In sintesi

  • llms.txt (llmstxt.org) è un file Markdown nella directory principale che offre contenuti selezionati ai sistemi di IA: si tratta di una proposta della comunità, non di uno standard adottato da OpenAI, Google o Anthropic.
  • Il controllo vincolante avviene tramite direttive robots.txt per GPTBot, ClaudeBot, Google-Extended, PerplexityBot e simili, oltre a regole CDN/WAF come limite inderogabile.
  • Sia l’ammissione che l’esclusione sono legittime: ciò che conta è una scelta consapevole, anziché una configurazione casuale basata su elenchi generici di bot.
  • La letteratura scientifica sull’utilità di llms.txt è scarsa (aggiornata a novembre 2026): sforzo minimo, rendimento incerto.

Che cos’è llms.txt?

Il file llms.txt è una proposta della comunità dell’IA (llmstxt.org, avviata nel settembre 2024): un file Markdown nella directory principale del sito web che fornisce ai sistemi di IA una panoramica curata: chi è il fornitore, quali contenuti sono importanti, dove si trovano i punti di accesso leggibili dalle macchine. A integrazione, la proposta prevede un file llms-full.txt che raggruppa tutti i contenuti in testo completo. L’idea: invece di costringere un modello linguistico a districarsi tra navigazione, banner dei cookie e codice dei template, gli viene fornita direttamente l’essenza del sito web. Importante per contestualizzare: nessuno dei principali fornitori di IA si è formalmente impegnato a valutare il file – si tratta di un’offerta, non di un protocollo.

Il file llms.txt controlla davvero ciò che fanno i crawler di IA?

No. Il file llms.txt può offrire contenuti, ma non può vietare nulla: è la vetrina, non il buttafuori. Il controllo effettivo dei crawler di IA avviene su due altri livelli: in primo luogo tramite il file robots.txt, in cui i bot documentati dei principali fornitori possono essere identificati tramite l’User-Agent. In secondo luogo tramite le regole CDN e firewall (Cloudflare & Co.), che impongono tecnicamente gli accessi – questo è rilevante perché il file robots.txt è una convenzione a cui, come è dimostrato, non tutti i bot si attengono. Chi configura correttamente entrambi non ha bisogno del file llms.txt per il controllo; chi lo crea in aggiunta non ha nulla da perdere.

Quali crawler basati sull’intelligenza artificiale dovrei conoscere?

I principali user-agent documentati, ordinati per scopo (aggiornato a novembre 2026 – gli elenchi dei fornitori sono in continua crescita):

User-AgentGestoreScopo
GPTBotOpenAIAddestramento dei futuri modelli GPT.
OAI-SearchBotOpenAIIndice di ricerca per ChatGPT – fornisce risposte con link alle fonti.
Utenti ChatGPTOpenAIRecupero in tempo reale di singole pagine su richiesta dell'utente.
ClaudeBotAnthropicCrawling per Claude, tra l'altro a scopo di addestramento.
Google-ExtendedGoogleNon si tratta di un crawler proprio, bensì di un token di controllo: stabilisce se Gemini può utilizzare i contenuti per l'addestramento di modelli futuri e come fonte per le risposte nell'app Gemini e in Vertex AI (grounding).
PerplexityBotPerplexityIndice di ricerca del motore di risposta Perplexity.
Meta-ExternalAgentMetaAddestramento dei modelli di meta-IA.
CCBotCommon CrawlArchivio web aperto – alimenta molti set di dati di addestramento di terze parti.

C'è un dettaglio che spesso viene frainteso: Google Extended riguarda Gemini al di fuori della ricerca – ovvero l'addestramento dei modelli futuri e l'utilizzo come fonte per le risposte nell'app Gemini e in Vertex AI (Grounding). Le AI Overview e la modalità AI della ricerca Google dipendono dal normale Googlebot: chi blocca Google-Extended non scompare quindi dalle risposte AI della ricerca, ma sì come fonte nell’app Gemini. Abbiamo illustrato cosa cambia in questo contesto nell’articolo dedicato alla modalità AI e alle AI Overview.

Come posso bloccare o autorizzare GPTBot & Co.?

Tramite le normali direttive robots.txt, in base all’User-Agent. Un modello comune per i negozi online: consentire i crawler di risposta e di ricerca (visibilità), bloccare i crawler di addestramento (protezione dei contenuti):

# Bloccare i crawler di addestramento
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Consentire i crawler di risposta e di ricerca
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Per quanto riguarda Google-Extended, vale quanto segue: il blocco esclude il negozio anche come fonte dall’app Gemini, mentre le risposte basate sull’IA della ricerca Google rimangono inalterate. L’istruzione Allow esplicita è tecnicamente per lo più ridondante (ciò che non è vietato è consentito), ma documenta la decisione consapevole. Successivamente, verificare il secondo livello: molti CDN e firewall gestiscono elenchi generici di «AI-Bot» o «Bad-Bot» che includono anche i crawler di risposta – un’autorizzazione nel file robots.txt non serve a nulla se il WAF respinge lo stesso bot con un codice di stato HTTP 403. Entrambi i livelli devono riflettere la stessa decisione. Lo sforzo richiesto è contenuto: un quarto d’ora, che si può trovare anche nella settimana che precede il Black Friday.

Consentire o bloccare: cosa è più adatto al mio negozio?

La valutazione presenta due aspetti. A favore dell’autorizzazione c’è la visibilità: chi vuole comparire come fonte nelle risposte generate dall’IA deve consentire l’accesso ai crawler di risposta e di ricerca – le basi in merito sono illustrate nell’articolo sui fondamenti GEO; lo stesso vale anche per i futuri agenti di acquisto: chi blocca, è invisibile. A favore del blocco giocano la protezione dei contenuti (non fornire gratuitamente contenuti editoriali per l’addestramento) e il carico sul server, poiché i crawler di IA generano volumi di accessi talvolta notevoli. La via di mezzo pragmatica per la maggior parte dei negozi online: consentire l’accesso ai crawler di ricerca e di risposta, valutando separatamente i crawler di addestramento. Una cosa è soprattutto sbagliata: non prendere alcuna decisione e affidarsi a un elenco di bot fornito di serie.

Il file llms.txt migliora la visibilità per l’IA?

Risposta onesta: la questione è aperta. Finora non esistono studi attendibili che dimostrino un effetto del file llms.txt sulla frequenza delle citazioni o sul traffico generato dall’IA (alla data di chiusura della redazione); le analisi dei log dei server mostrano, presso molti gestori, solo accessi sporadici al file, e nessun grande provider ha ufficialmente confermato la propria valutazione. A ciò si contrappone uno sforzo davvero minimo: un file llms.txt si crea e si aggiorna in un’ora. La nostra valutazione: crearlo, ma senza aspettarsi miracoli – il lavoro di visibilità si svolge nei contenuti, nei dati strutturati e nell’autorizzazione ai crawler. Il nostro llms.txt, attivo sul sito, mostra come si presenta un file di questo tipo.

Cosa offre il XONIC Shop System a questo proposito

Il controllo dei crawler tramite IA è integrato a partire dalla versione 4.8.2 e separa esattamente i due livelli di cui si parla in questo articolo: L’opzione AI_BOT_ALLOW consente in modo mirato l’accesso ai crawler di risposta e di ricerca, mentre AI_TRAINING_ROBOTS_DISALLOW inserisce automaticamente nel file robots.txt le esclusioni per i crawler di addestramento – senza alcun intervento manuale sul file. A ciò si aggiunge l’esportazione delle conoscenze tramite IA, che rende i contenuti curati del negozio disponibili in formato leggibile dalle macchine – in sostanza, l’idea alla base del file llms.txt, ma in forma strutturata. Le pagine dei prodotti e dei contenuti forniscono immediatamente la base citabile: Product-JSON-LD con feed del commerciante, microdati FAQPage e NewsArticle-JSON-LD con profilo dell’autore. La panoramica delle funzionalità offre una visione d’insieme.

Domande frequenti su llms.txt e crawler basati sull’IA

Il file robots.txt regola gli accessi: consente o vieta ai crawler di leggere il sito web ed è uno standard consolidato. Il file llms.txt offre invece la possibilità di presentare contenuti curati ai sistemi di IA, ma non può imporre nulla – e la sua valutazione non è garantita da nessun grande provider.

Sì: i fornitori utilizzano user-agent distinti a tale scopo. Chi blocca GPTBot (addestramento) e consente l’accesso a OAI-SearchBot e agli utenti ChatGPT (ricerca e consultazione in tempo reale), rimane citabile nella ricerca di ChatGPT. Per quanto riguarda Google, vale quanto segue: Google-Extended regola l’addestramento e il grounding per Gemini (app Gemini, Vertex AI), non le risposte generate dall’IA nella ricerca Google.

Il file robots.txt è una convenzione, non un blocco tecnico. I grandi fornitori documentano i propri bot e dichiarano di rispettare le direttive; ciò non vale per i crawler non documentati. Chi ha bisogno di un limite rigido, imposta inoltre regole CDN o firewall.

No, purché il Googlebot standard continui ad avere accesso: l’esclusione di GPTBot, ClaudeBot o Google-Extended non influisce sull’indicizzazione classica di Google. Chi invece blocca in modo indiscriminato tutti i bot rischia di compromettere anche la ricerca stessa; per questo è importante verificare sempre nei dettagli gli elenchi dei bot.

Fonti

Stephan Dunger
L'autore

Stephan Dunger

XONIC Solutions GmbH · In azienda dal 2012

Testimonianze dei clienti

Scrivere una valutazione
Non perda più nulla.

Aggiornamenti sul diritto dell’e-commerce e nuove funzionalità, direttamente nella Sua casella di posta.

Iscrizione alla newsletter