Robots.txt

Die robots.txt-Datei ist eine Datei auf der Website, die Suchmaschinen und anderen Bots Anweisungen gibt, welche Seiten oder Inhalte indexiert werden sollen und welche nicht. Mit der robots.txt-Datei können Website-Besitzer die Sichtbarkeit und die Art und Weise steuern, wie ihre Website von Suchmaschinen indexiert wird.