Robots.txt-Generator

Geben Sie die Adresse Ihrer Website ein: Unsere KI liest Ihre aktuelle Datei und schreibt eine saubere, die Crawlern sagt, was sie besuchen dürfen.

Kostenlos, ohne Anmeldung. Gelesen wird nur die öffentliche Seite.

Was ist eine robots.txt?

Die robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website (meine-website.de/robots.txt). Crawler lesen sie, bevor sie Ihre Seiten besuchen: Sie sagt ihnen, welche Bereiche der Website sie durchlaufen dürfen und wo sie Ihre Sitemap finden.

Dieser Generator schreibt sie für Sie. Geben Sie die Adresse Ihrer Website ein: Unsere KI liest Ihre aktuelle Datei, erklärt sie in einfachen Worten und schlägt eine saubere Datei vor. Sie behält bei, was Ihre Datei schon sperrt, KI-Crawler eingeschlossen, hebt eine Sperre der ganzen Website auf, falls es eine gibt, und ergänzt Ihre Sitemap.

So nutzen Sie es

  1. Geben Sie die Adresse Ihrer Website ein.
  2. Lesen Sie, was wir gefunden haben: was Ihre aktuelle Datei sagt, in einfachen Worten. „Was sich ändert“ listet die Unterschiede zur neuen auf.
  3. Kopieren Sie die Datei oder laden Sie sie herunter und legen Sie sie im Stammverzeichnis Ihrer Website ab, genau unter dem Namen robots.txt.

FAQ

Ihre Fragen

Kontaktieren Sie uns
Entfernt eine Sperre in der robots.txt eine Seite aus Google?

Nein. Die robots.txt verhindert den Besuch, nicht die Aufnahme: Eine gesperrte Seite kann in den Ergebnissen bleiben, wenn andere Websites auf sie verlinken. Um eine Seite zu entfernen, lassen Sie sie erreichbar und geben ihr ein noindex-Tag. Und sperren Sie nie versehentlich Ihre ganze Website mit „Disallow: /“.

Sollte ich KI-Crawler sperren?

Das ist Ihre Entscheidung. Wenn Sie sie sperren, bleiben Ihre Texte aus deren Training heraus, aber einige dieser Crawler speisen auch die Antworten von Assistenten (zum Beispiel OAI-SearchBot oder PerplexityBot): Wer sie sperrt, kann in diesen Antworten weniger sichtbar werden. Google-Extended ändert nichts an Ihrer Präsenz in der Google-Suche. Und die robots.txt ist eine Bitte: Seriöse Crawler halten sich daran, technisch blockiert sie den Zugriff aber nicht. Die hier vorgeschlagene Datei behält die Entscheidung Ihrer aktuellen Datei bei.

Hat meine Website schon eine robots.txt?

Geben Sie Ihre Adresse oben auf dieser Seite ein: Das Tool lädt Ihre aktuelle Datei oder sagt Ihnen, dass Sie noch keine haben. Sie können auch Ihre Adresse gefolgt von /robots.txt in Ihren Browser eingeben, zum Beispiel meine-website.de/robots.txt. Viele CMS legen automatisch eine an: Lesen Sie „Was sich ändert“, bevor Sie sie ersetzen.

Was passiert mit der Adresse, die ich eingebe?

semchat liest die öffentliche Seite unter dieser Adresse und die robots.txt der Website, so wie jeder Besucher es könnte. Teile der Seite gehen an eine KI, die das Ergebnis schreibt. Nichts wird länger gespeichert als in einem Cache von 24 Stunden, damit eine erneute Prüfung derselben Adresse sofort antwortet.

Und der Rest Ihrer Website?

Der kostenlose Website-Check liest Ihre Startseite in wenigen Sekunden und sagt Ihnen, was Sie zuerst verbessern sollten, ohne Anmeldung.

Alle kostenlosen Tools

Bereit, Ihrer Website Aufschwung zu geben?

Stellen Sie Ihre erste Frage - semchat antwortet in Sekunden mit einem klaren Aktionsplan.

Kostenlos · ohne Anmeldung · in 5 Sekunden