Vérifie en un clic qui peut lire ton site, moteurs de recherche comme robots des IA, puis génère un robots.txt clair si besoin.
NelviUser-agent: *
Disallow: /panier
Disallow: /mon-compte
Placé à la racine du site (monapp.com/robots.txt), il indique aux robots d’exploration ce qu’ils peuvent lire. Il sert à éviter que Google perde du temps sur des pages sans intérêt (panier, compte, recherche interne) et à signaler l’adresse de ton sitemap. Ce n’est pas une protection : une page interdite reste accessible à qui connaît son adresse.
Les assistants IA ont leurs propres robots. Certains collectent des pages pour entraîner les modèles (GPTBot, ClaudeBot, Google-Extended…), d’autres lisent une page à la demande pour répondre à un utilisateur. Bloquer les seconds, c’est disparaître des réponses des assistants. Beaucoup de sites les bloquent sans le savoir, à cause d’un modèle copié ou d’un réglage d’hébergeur.
L’option du générateur ne bloque que les robots d’entraînement. Les robots de recherche et ceux qui lisent pour un utilisateur restent autorisés : ton site peut toujours être lu et cité par les assistants.
Une ligne « Disallow: / » sous « User-agent: * » interdit tout le site à tous les robots. Elle traîne souvent après une mise en ligne, recopiée depuis le site de préproduction. Le vérificateur la repère tout de suite.
Non : sans fichier, tout est autorisé. En ajouter un reste utile pour indiquer ton sitemap et écarter les pages sans intérêt.
À la racine du domaine, sous le nom robots.txt. Selon ta plateforme, un réglage ou une extension permet de le modifier sans toucher au serveur.
GPTBot sert à l’entraînement. ChatGPT utilise d’autres robots (OAI-SearchBot, ChatGPT-User) pour chercher et lire des pages en direct.
Il indique si chaque robot peut lire la racine du site. Une règle plus fine (un dossier interdit) est visible dans le fichier affiché sous le résultat.
Donne l’adresse de ton site : ton CMO le lit, écrit ta stratégie et te propose tes premières actions.
Gratuit, sans carte bancaire
