Skip to main content

Robots.txt

Die Robots.txt ist eine Textdatei, die auf dem Server der Webseite im Root Directory gespeichert wird und die definiert, welche Bereiche der Webseite die Crawler einer Suchmaschine indexieren und bewerten dürfen.
Robots.txt - Definition - fusepro Glossar

Dies ist z.B. für Temp- oder Cache Ordner sinnvoll, die vom crawlen ausgeschlossen werden, um das Crawling Budget nicht überzustrapazieren oder den Linkjuice einer Seite nicht auf unnötige Unterseiten zu verteilen. Sensible Inhalte sollten allerdings zusätzlich passwortgeschützt werden, um nicht in den Suchergebnissen aufzutauchen, da manche Suchmaschinen dazu tendieren, die robots.txt zu ignorieren.

Jetzt kontaktieren