GoogleBot: Solucionado el problema en CompareBlogs

Supongo que esto no es muy sutil pero esta visto que funciona y soluciona ese problema de voracidad de un robot de Google.

<%
IP = Request.ServerVariables(“REMOTE_ADDR”)
if IP=”66.249.65.135″ then
Response.Buffer = true%>
<HTML><BODY>
<%response.redirect(“http://www.google.com”)%>
</BODY></HTML><%
Response.End
End if
%>

Con este código no dejamos entrar en CompareBlogs al robot con la IP 66.249.65.132 y que se identificaba como:

Mozilla Compatible AgentMozilla/5.0+
(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)

Pero esto no afecta a otros robots de Google que también nos visitan y se identifican como:

Googlebot/2.1+(+http://www.google.com/bot.html)

Escribimos a Google utilizando el formulario disponible para notificar este tipo de problemas y ésta ha sido la respuesta:

Hi Fernando,

Thank you for your note. We’re working to respond in Spanish, but we’re currently best able to answer in English. We apologize for this inconvenience.

If Google is causing excessive strain on your servers and you’d like us to slow the rate at which Googlebot crawls your site, please send us a text snippet from your most recent weblog that lists Googlebot. Also, please confirm your request by creating a forgoogl.html page on your site and sending us the URL. We will then pass your request on to our engineers.

Regards,
The Google Team

Y yo me pregunto ¿por qué no avisan cuando rellenas el formulario que debes escribir en inglés para que puedan responderte?. Por cierto, que como muchos sabréis, Google Sitemaps ha creado nuevas herramientas para analizar los archivos robots.txt, algo que puede resultar bastante útil para solucionar problemas con spiders (Matt Cutts habla de estas nuevas funcionalidades).

Gracias a todos los que me habéis ayudado con vuestros e-mails y con vuestros comentarios en el post en el que exponía el problema.