Para quien gestiona una web
CostaYGolfBot, el rastreador de Costa y Golf
Si has llegado aquí desde los registros de tu servidor, es que nuestro rastreador ha visitado tu web. Leemos las webs de los campos de golf para preparar sus fichas: recorridos, tarifas, servicios y cómo llegar. Lo que publicamos es siempre texto propio, revisado a mano; nunca copiamos tus textos.
Cómo se identifica
Cada petición lleva esta cabecera User-Agent:
CostaYGolfBot/1.0 (+https://costaygolf.com/bot)Cómo se comporta
- Respeta robots.txt y no entra donde no le dejas.
- Solo lee el dominio de la web que se le pide; no sigue enlaces a otros sitios.
- Espera 1,5 segundos entre dos peticiones al mismo servidor.
- Deja de leer una página al llegar a su tope de tamaño y no sigue enlaces que se repiten sin fin, como calendarios infinitos o rutas en bucle.
Cómo bloquearlo
Añade estas líneas a tu robots.txt y no volverá a leer tu web:
User-agent: CostaYGolfBot
Disallow: /Contacto
Si el rastreador te causa algún problema, o quieres que corrijamos algo de la ficha de tu campo, escríbenos a bot@costaygolf.com.
bot@costaygolf.com