robots.txt schliesst die Referer-Liste aus

Damit sich die netten Crawler nicht in Tabuzonen der Webseiten bewegen, gibt es das robots.txt – viele halten sich dran. Ich schliesse nun meine nette Referer-Seite aus, da ich kein Interesse an Referer-Spammern habe.

Mein robots.txt sieht nun folgendermassen aus:

User-agent: *
Disallow: /refer/


Natürlich kannste das auch hier sehen: http://web.sequenz.ch/robots.txt.

Leave a Reply

Your email address will not be published. Required fields are marked *