Générateur de robots.txt
Tapez l'adresse de votre site : notre IA lit votre fichier actuel et en écrit un propre, qui dit aux robots ce qu'ils peuvent visiter.
Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un petit fichier texte placé à la racine de votre site (monsite.fr/robots.txt). Les robots le lisent avant de visiter vos pages : il leur dit quelles parties du site ils peuvent parcourir et où trouver votre sitemap.
Ce générateur l'écrit pour vous. Tapez l'adresse de votre site : notre IA lit le fichier que vous avez aujourd'hui, l'explique en mots simples et propose un fichier propre. Il garde ce que votre fichier bloque déjà, robots d'IA compris, retire un blocage de tout le site s'il y en a un et ajoute votre sitemap.
Comment l'utiliser
- Tapez l'adresse de votre site.
- Lisez ce que nous avons trouvé : ce que dit votre fichier actuel, en mots simples. « Ce qui change » liste les différences avec le nouveau.
- Copiez ou téléchargez le fichier et placez-le à la racine de votre site, sous le nom robots.txt exactement.
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Non. robots.txt empêche la visite, pas l'affichage : une page bloquée peut rester dans les résultats si d'autres sites font des liens vers elle. Pour retirer une page, laissez-la accessible et ajoutez-lui une balise noindex. Et ne bloquez jamais tout le site par erreur avec « Disallow: / ».
Faut-il bloquer les robots d'IA ?
C'est un choix. Les bloquer évite que vos textes servent à entraîner leurs modèles, mais certains de ces robots servent aussi aux réponses des assistants (OAI-SearchBot ou PerplexityBot, par exemple) : les bloquer peut vous rendre moins visible dans ces réponses. Google-Extended ne change rien à votre présence dans la recherche Google. Enfin, robots.txt est une consigne : les robots sérieux la respectent, mais il ne bloque pas techniquement l'accès. Le fichier proposé ici garde le choix de votre fichier actuel.
Mon site a-t-il déjà un robots.txt ?
Tapez votre adresse en haut de cette page : l'outil charge votre fichier actuel, ou vous dit que vous n'en avez pas encore. Vous pouvez aussi taper votre adresse suivie de /robots.txt dans votre navigateur, par exemple monsite.fr/robots.txt. Beaucoup de CMS en créent un automatiquement : lisez « Ce qui change » avant de le remplacer.
Que devient l'adresse que je tape ?
semchat lit la page publique à cette adresse, et le fichier robots.txt du site, comme n'importe quel visiteur pourrait le faire. Des extraits de la page sont confiés à une IA qui écrit le résultat. Rien n'est conservé au-delà d'un cache de 24 heures, qui permet de répondre tout de suite si la même adresse est vérifiée à nouveau.
Et le reste de votre site ?
La vérification gratuite lit votre page d'accueil en quelques secondes et vous dit quoi améliorer en premier, sans inscription.
Prêt à faire décoller votre site ?
Posez votre première question - semchat vous répond avec un plan d'action clair, en quelques secondes.
Gratuit · sans inscription · en 5 secondes

