Robots.txt generator gratuito

Scrivi l'indirizzo del tuo sito: la nostra AI legge il tuo file attuale e ne scrive uno pulito, che indica ai crawler cosa possono visitare.

Gratis, senza registrazione. Leggiamo solo la pagina pubblica.

Cos'è il file robots.txt?

Il file robots.txt è un piccolo file di testo nella radice del tuo sito (miosito.it/robots.txt). I crawler, i programmi che esplorano il web, lo leggono prima di visitare le tue pagine: indica loro quali parti del sito possono percorrere e dove trovare la tua sitemap.

Questo generatore lo scrive per te. Scrivi l'indirizzo del tuo sito: la nostra AI legge il file che hai adesso, te lo spiega in parole semplici e ti propone un file pulito. Mantiene ciò che il tuo file blocca già, crawler AI compresi, toglie un blocco di tutto il sito se c'è e aggiunge la tua sitemap.

Come si usa

  1. Scrivi l'indirizzo del tuo sito.
  2. Leggi cosa abbiamo trovato: cosa dice il tuo file attuale, in parole semplici. "Cosa cambia" elenca le differenze con quello nuovo.
  3. Copia o scarica il file e mettilo nella radice del tuo sito, con il nome esatto robots.txt.

Domande frequenti

Le tue domande

Contattaci
Bloccare una pagina nel robots.txt la toglie da Google?

No. Il robots.txt ferma la visita, non la presenza nei risultati: una pagina bloccata può restare nei risultati se altri siti rimandano a lei. Per togliere una pagina, lasciala raggiungibile e dalle un tag noindex. E non bloccare mai tutto il sito per errore con "Disallow: /".

Devo bloccare i crawler AI?

Sta a te. Bloccarli tiene i tuoi testi fuori dal loro addestramento, ma alcuni di questi crawler alimentano anche le risposte degli assistenti (OAI-SearchBot o PerplexityBot, per esempio): bloccarli può renderti meno visibile in quelle risposte. Google-Extended non cambia nulla della tua presenza nella Ricerca Google. E il robots.txt è una richiesta: i crawler corretti la rispettano, ma non blocca tecnicamente l'accesso. Il file proposto qui mantiene la scelta del tuo file attuale.

Il mio sito ha già un robots.txt?

Scrivi il tuo indirizzo in cima a questa pagina: lo strumento carica il file attuale o ti dice che non ne hai ancora uno. Puoi anche digitare il tuo indirizzo seguito da /robots.txt nel browser, per esempio miosito.it/robots.txt. Molti CMS ne creano uno automaticamente: leggi "Cosa cambia" prima di sostituirlo.

Che fine fa l'indirizzo che scrivo?

semchat legge la pagina pubblica a quell'indirizzo, e il robots.txt del sito, come potrebbe fare qualsiasi visitatore. Alcune parti della pagina vanno a un'AI che scrive il risultato. Non viene conservato nulla oltre a una cache di 24 ore, che permette di rispondere subito se lo stesso indirizzo viene controllato di nuovo.

E il resto del tuo sito?

La verifica gratuita legge la tua home page in pochi secondi e ti dice cosa migliorare per primo, senza registrazione.

Tutti gli strumenti gratuiti

Pronto a far decollare il tuo sito?

Fai la tua prima domanda - semchat ti risponde con un piano d'azione chiaro in pochi secondi.

Gratis · senza registrazione · in 5 secondi