Per chi gestisce un sito web
CostaYGolfBot, il crawler di Costa y Golf
Se hai trovato questa pagina nei log del tuo server, il nostro crawler ha visitato il tuo sito. Leggiamo i siti dei campi da golf per preparare le loro schede: percorsi, green fee, servizi e indicazioni per arrivarci. Quello che pubblichiamo è sempre un testo nostro, controllato a mano: non copiamo mai i tuoi testi.
Come si identifica
Ogni richiesta porta questa intestazione User-Agent:
CostaYGolfBot/1.0 (+https://costaygolf.com/bot)Come si comporta
- Rispetta robots.txt e non entra dove non vuoi.
- Legge solo il dominio che gli è stato chiesto di visitare e non segue mai i link verso altri siti.
- Aspetta 1,5 secondi tra due richieste allo stesso server.
- Smette di leggere una pagina quando ne raggiunge il limite di dimensione e non segue i link che si ripetono all’infinito, come calendari senza fine o percorsi che girano su sé stessi.
Come bloccarlo
Aggiungi queste righe al tuo robots.txt e non leggerà più il tuo sito:
User-agent: CostaYGolfBot
Disallow: /Contatti
Se il crawler ti crea qualche problema, o vuoi che correggiamo qualcosa nella scheda del tuo campo, scrivici a bot@costaygolf.com.
bot@costaygolf.com