|
Robot.txt :
Die robots.txt Datei wird im root Verzeichnis eines Webservers
(in den verzeichnis html oder public) abgelegt und teilt den
Robots von Suchmaschinen mit, welche Verzeichnisse des Servers
sie nicht besuchen dürfen.
Fall die Suchmaschine alle Ihre Dateien und Seiten indizieren
soll, fügen sie diese Datei in ein Editor ein, und speichern
Sie die Datei als "robots.txt". Dann übertragen
Sie die Datei mittels ftp.
| # /robots.txt file for http://www.ihredomain.com/
User-agent: *
Disallow: /logs
Disallow: /img
Disallow: /cgi-bin
Disallow: /Admin
|
Wollen sie testen ob der File robots.txt auf ihren Webspace
schon existiert:
Tippen Sie in Ihren Browser einfach: http://www.ihredomain.com/robots.txt
|
