robots.txt

Die robots.txt ist eine Textdatei, die Webmaster auf ihren Websites hochladen können, um Suchmaschinen darüber zu informieren, welche Teile der Website von den Crawlern der Suchmaschine indexiert werden sollen und welche nicht. Die robots.txt-Datei enthält Anweisungen im „Robots Exclusion Standard“, einem Protokoll, das von den meisten Suchmaschinen unterstützt wird. Die robots.txt-Datei kann verwendet werden, um bestimmte Seiten, Bilder oder andere Dateien auf der Website vor dem Indexieren durch die Suchmaschine zu schützen. Sie kann auch verwendet werden, um die Häufigkeit zu steuern, mit der eine Website von einem Crawler besucht wird. Allerdings sollten Webmaster beachten, dass die robots.txt-Datei keinen absoluten Schutz bietet und dass es immer noch möglich ist, dass Inhalte auf der Website von der Suchmaschine indexiert werden, auch wenn sie in der robots.txt-Datei ausgeschlossen wurden.