Generador de robots.txt
Escribe la dirección de tu sitio: nuestra IA lee tu archivo actual y escribe uno limpio que dice a los robots qué pueden visitar.
¿Qué es el archivo robots.txt?
El archivo robots.txt es un pequeño archivo de texto en la raíz de tu sitio (misitio.es/robots.txt). Los robots lo leen antes de visitar tus páginas: les dice qué partes del sitio pueden recorrer y dónde encontrar tu sitemap.
Este generador lo escribe por ti. Escribe la dirección de tu sitio: nuestra IA lee el archivo que tienes ahora, te lo explica con palabras sencillas y te propone uno limpio. Mantiene lo que tu archivo ya bloquea, robots de IA incluidos, quita un bloqueo de todo el sitio si lo hay y añade tu sitemap.
Cómo usarla
- Escribe la dirección de tu sitio.
- Lee lo que hemos encontrado: lo que dice tu archivo actual, con palabras sencillas. «Qué cambia» enumera las diferencias con el nuevo.
- Copia o descarga el archivo y colócalo en la raíz de tu sitio, con el nombre exacto robots.txt.
¿Bloquear una página en robots.txt la quita de Google?
No. robots.txt impide la visita, no la presencia en el índice: una página bloqueada puede seguir en los resultados si otros sitios la enlazan. Para quitar una página, déjala accesible y ponle una etiqueta noindex. Y nunca bloquees todo tu sitio por error con «Disallow: /».
¿Debería bloquear los robots de IA?
Es tu decisión. Bloquearlos mantiene tus textos fuera de su entrenamiento, pero algunos de estos robots también alimentan las respuestas de los asistentes (OAI-SearchBot o PerplexityBot, por ejemplo): bloquearlos puede hacerte menos visible en esas respuestas. Google-Extended no cambia nada en tu presencia en la Búsqueda de Google. Y robots.txt es una petición: los robots que se portan bien la respetan, pero no bloquea el acceso técnicamente. El archivo que te proponemos aquí mantiene lo que decide tu archivo actual.
¿Mi sitio ya tiene un robots.txt?
Escribe tu dirección arriba en esta página: la herramienta carga tu archivo actual o te dice que todavía no tienes uno. También puedes escribir tu dirección seguida de /robots.txt en tu navegador, por ejemplo misitio.es/robots.txt. Muchos CMS crean uno automáticamente: lee «Qué cambia» antes de sustituirlo.
¿Qué pasa con la dirección que escribo?
semchat lee la página pública de esa dirección, y el robots.txt del sitio, como podría hacerlo cualquier visitante. Algunos fragmentos de la página van a una IA que escribe el resultado. No se guarda nada más allá de una caché de 24 horas, que permite responder al momento si se vuelve a comprobar la misma dirección.
¿Y el resto de tu sitio?
La comprobación gratuita lee tu página de inicio en unos segundos y te dice qué mejorar primero, sin registro.
¿Listo para impulsar tu web?
Haz tu primera pregunta - semchat te responde con un plan de acción claro en segundos.
Gratis · sin registro · en 5 segundos

