Für Website-Betreiber
CostaYGolfBot, der Crawler von Costa y Golf
Wenn Sie diese Seite in Ihren Server-Logs gefunden haben, hat unser Crawler Ihre Website besucht. Wir lesen die Websites von Golfplätzen, um ihre Porträts vorzubereiten: Platzlayout, Greenfees, Einrichtungen und Anfahrt. Was wir veröffentlichen, ist immer ein eigener, von Hand geprüfter Text; Ihre Texte kopieren wir nie.
Wie er sich ausweist
Jede Anfrage trägt diesen User-Agent-Header:
CostaYGolfBot/1.0 (+https://costaygolf.com/bot)Wie er sich verhält
- Er beachtet robots.txt und hält sich von allem fern, was Sie dort ausschließen.
- Er liest nur die Domain, die er besuchen soll, und folgt nie Links zu anderen Websites.
- Zwischen zwei Anfragen an denselben Server wartet er 1,5 Sekunden.
- Er hört auf, eine Seite zu lesen, sobald ihre Größenbegrenzung erreicht ist, und folgt keinen Links, die sich endlos wiederholen, etwa unendlichen Kalendern oder Pfaden, die sich im Kreis drehen.
Wie Sie ihn sperren
Fügen Sie diese Zeilen in Ihre robots.txt ein, und er liest Ihre Website nicht mehr:
User-agent: CostaYGolfBot
Disallow: /Kontakt
Falls der Crawler Ihnen Probleme bereitet oder wir etwas auf der Seite Ihres Platzes korrigieren sollen, schreiben Sie uns an bot@costaygolf.com.
bot@costaygolf.com