Pour les propriétaires de sites web
CostaYGolfBot, le robot d’exploration de Costa y Golf
Si vous avez trouvé cette page dans les journaux de votre serveur, notre robot est passé sur votre site. Nous lisons les sites des golfs pour préparer leurs fiches : parcours, green-fees, équipements et accès. Ce que nous publions est toujours un texte à nous, relu à la main ; nous ne copions jamais vos textes.
Comment il s’identifie
Chaque requête porte cet en-tête User-Agent :
CostaYGolfBot/1.0 (+https://costaygolf.com/bot)Comment il se comporte
- Il respecte robots.txt et ne va jamais là où vous l’interdisez.
- Il ne lit que le domaine qu’on lui a demandé de visiter et ne suit jamais les liens vers d’autres sites.
- Il attend 1,5 secondes entre deux requêtes au même serveur.
- Il cesse de lire une page dès qu’elle atteint sa taille limite et ne suit pas les liens qui se répètent sans fin, comme les calendriers infinis ou les chemins qui tournent en boucle.
Comment le bloquer
Ajoutez ces lignes à votre fichier robots.txt et il ne lira plus votre site :
User-agent: CostaYGolfBot
Disallow: /Nous contacter
Si le robot vous cause le moindre problème, ou si vous souhaitez que nous corrigions quelque chose sur la fiche de votre golf, écrivez-nous à bot@costaygolf.com.
bot@costaygolf.com