Chaque boutique en ligne devrait contrôler ses robots d'indexation basés sur l'IA – la question est de savoir comment. Le fichier llms.txt, qui fait l'objet de nombreuses discussions, est une proposition de la communauté sans caractère contraignant ; c'est toujours le fichier robots.txt qui détermine quels robots sont autorisés à lire le site, et en cas de doute, la règle relative aux robots dans le CDN. Cet article présente les différents robots d’indexation basés sur l’IA, explique comment les autoriser ou les bloquer de manière ciblée, et détaille ce que le fichier llms.txt peut réellement apporter.
En bref
- llms.txt (llmstxt.org) est un fichier Markdown situé à la racine du répertoire, qui propose des contenus sélectionnés aux systèmes d’IA – il s’agit d’une proposition de la communauté, et non d’une norme adoptée par OpenAI, Google ou Anthropic.
- Le contrôle contraignant s’effectue via des directives robots.txt pour GPTBot, ClaudeBot, Google-Extended, PerplexityBot & Co. – ainsi que des règles CDN/WAF servant de limite stricte.
- Autoriser et bloquer sont deux approches légitimes – l’essentiel est de prendre une décision réfléchie plutôt que de se contenter d’une configuration aléatoire à partir de listes génériques de bots.
- Les études sur l’utilité du fichier llms.txt sont rares (situation en novembre 2026) : effort minime, bénéfice incertain.
Qu’est-ce que llms.txt ?
Le fichier llms.txt est une proposition issue de la communauté de l’IA (llmstxt.org, lancée en septembre 2024) : un fichier Markdown placé à la racine du site web, qui fournit aux systèmes d’IA une vue d’ensemble organisée : qui est l’éditeur, quels sont les contenus importants, où se trouvent les points d’entrée lisibles par machine. En complément, la proposition prévoit un fichier llms-full.txt qui regroupe l’intégralité des contenus en texte intégral. L’idée : au lieu qu’un modèle linguistique doive se frayer un chemin à travers la navigation, les bannières de cookies et le code des modèles, on lui sert directement l’essence même du site web. Important à noter : aucun des grands fournisseurs d’IA ne s’est formellement engagé à exploiter ce fichier – il s’agit d’une proposition, pas d’un protocole.
Le fichier llms.txt contrôle-t-il réellement ce que font les robots d’IA ?
Non. Le fichier llms.txt peut proposer des contenus, mais ne peut rien interdire : c’est la vitrine, pas le videur. Le contrôle effectif des robots d’IA s’effectue à deux autres niveaux : premièrement via le fichier robots.txt, dans lequel les robots documentés des grands fournisseurs peuvent être ciblés par leur user-agent. Deuxièmement, via les règles des CDN et des pare-feu (Cloudflare & Co.), qui imposent techniquement les accès – ce qui est pertinent, car le fichier robots.txt est une convention à laquelle tous les robots ne se conforment pas de manière avérée. Si vous configurez correctement ces deux éléments, vous n’avez pas besoin du fichier llms.txt pour le contrôle ; si vous le créez en plus, vous n’y perdez rien.
Quels robots d’indexation basés sur l’IA dois-je connaître ?
Les principaux user-agents documentés, classés par objectif (mise à jour : novembre 2026 – les listes des fournisseurs s’allongent sans cesse) :
| Agent utilisateur | Opérateur | Objectif |
|---|---|---|
| GPTBot | OpenAI | Entraînement des futurs modèles GPT. |
| OAI-SearchBot | OpenAI | Index de recherche pour ChatGPT – fournit des réponses accompagnées de liens vers les sources. |
| Utilisateurs de ChatGPT | OpenAI | Récupération en temps réel de pages individuelles à la demande d'un utilisateur. |
| ClaudeBot | Anthropic | Exploration du Web pour Claude, notamment à des fins d'entraînement. |
| Google-Extended | Il ne s'agit pas d'un crawler à part entière, mais d'un jeton de contrôle : il détermine si Gemini est autorisé à utiliser les contenus pour l'entraînement de futurs modèles et comme source de réponses dans l'application Gemini et dans Vertex AI (Grounding). | |
| PerplexityBot | Perplexity | Index de recherche du moteur de réponses Perplexity. |
| Meta-ExternalAgent | Meta | Entraînement des modèles d'IA Meta. |
| CCBot | Common Crawl | Archive Web ouverte – alimente de nombreux ensembles de données d'entraînement provenant de tiers. |
Un détail est souvent mal compris : Google Extended concerne Gemini en dehors de la recherche – l’entraînement des futurs modèles et leur utilisation comme source de réponses dans l’application Gemini et dans Vertex AI (Grounding). Les « AI Overviews » et le « AI Mode » de la recherche Google dépendent du Googlebot classique : ceux qui bloquent Google Extended ne disparaissent donc pas des réponses IA de la recherche, mais ne figurent plus comme source dans l’application Gemini. Nous avons détaillé les changements qui s’opèrent à ce niveau dans notre article consacré au « AI Mode » et aux « AI Overviews ».
Comment bloquer ou autoriser GPTBot & Co. ?
Via des directives robots.txt classiques, en fonction de l’agent utilisateur. Un modèle courant pour les boutiques en ligne : autoriser les robots d’indexation des réponses et de recherche (visibilité), bloquer les robots d’indexation d’entraînement (protection du contenu) :
# Bloquer les robots d'entraînement
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Autoriser les robots d'indexation de réponses et de recherche
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Concernant Google-Extended, la règle suivante s'applique : le blocage exclut également la boutique en tant que source dans l'application Gemini, mais les réponses générées par l'IA dans la recherche Google ne sont pas affectées. L'autorisation explicite « Allow » est généralement redondante d'un point de vue technique (ce qui n'est pas interdit est autorisé), mais elle atteste d'un choix délibéré. Vérifiez ensuite le deuxième niveau : de nombreux CDN et pare-feu gèrent des listes génériques de « bots IA » ou de « mauvais bots » qui incluent également les robots d’exploration de réponses – une autorisation dans le fichier robots.txt ne sert à rien si le WAF rejette ce même bot avec un code HTTP 403. Les deux niveaux doivent refléter la même décision. L’effort requis est raisonnable : un quart d’heure, ce qui peut encore se caser même dans la semaine précédant le Black Friday.
Autoriser ou bloquer : quelle est la meilleure option pour ma boutique ?
Il y a deux aspects à prendre en compte. La visibilité plaide en faveur de l’autorisation : pour apparaître comme source dans les réponses générées par l’IA, il faut laisser entrer les robots d’indexation des réponses et de recherche – les principes de base sont expliqués dans l’article sur les principes fondamentaux du GEO; et cela vaut également pour les futurs agents d’achat : celui qui bloque reste invisible. Les arguments en faveur du blocage sont la protection du contenu (ne pas fournir gratuitement du contenu rédactionnel pour l’entraînement) et la charge du serveur, car les robots d’IA génèrent parfois un volume de requêtes considérable. Le juste milieu pragmatique pour la plupart des boutiques en ligne : autoriser les robots de recherche et de réponse, et évaluer séparément les robots d’entraînement. Une chose est surtout à éviter : ne pas prendre de décision du tout et s’en remettre à une liste de bots fournie.
Le fichier llms.txt améliore-t-il la visibilité pour l’IA ?
Réponse honnête : la question reste ouverte. Il n’existe à ce jour (à la date de clôture de la rédaction) aucune étude fiable démontrant un impact du fichier llms.txt sur la fréquence de citation ou le trafic lié à l’IA ; les analyses des journaux de serveur montrent, chez de nombreux opérateurs, que le fichier n’est consulté que de manière sporadique, et aucun grand fournisseur n’a officiellement confirmé son évaluation. En contrepartie, l’effort requis est très faible : un fichier llms.txt se crée et se met à jour en une heure. Notre avis : créez-le, mais n’en attendez pas de miracles – le travail de visibilité passe par le contenu, les données structurées et l’autorisation d’accès aux robots d’indexation. Pour voir à quoi ressemble un tel fichier, consultez notre propre fichier llms.txt en production.
Ce que le XONIC Shop System apporte à cet égard
Le contrôle des robots d’indexation par IA est intégré depuis la version 4.8.2 et sépare précisément les deux niveaux abordés dans cet article : Le commutateur AI_BOT_ALLOW autorise de manière ciblée les robots de réponse et de recherche, tandis que AI_TRAINING_ROBOTS_DISALLOW inscrit automatiquement les exclusions pour les robots d’entraînement dans le fichier robots.txt – sans aucune intervention manuelle sur ce dernier. À cela s’ajoute l’exportation de connaissances par IA, qui met à disposition des contenus de boutique sélectionnés sous une forme lisible par machine – il s’agit en substance du principe du fichier llms.txt, mais sous une forme structurée. Les pages de produits et de contenu fournissent d’emblée la base citable : JSON-LD de produit avec flux marchand, microdonnées FAQPage et JSON-LD NewsArticle avec profil d’auteur. L’aperçu des fonctionnalités donne une vue d’ensemble.
