viernes, 10 febrero 2006

GoogleBot: Solucionado el problema en CompareBlogs

por Fernando Plaza en , , ,

Supongo que esto no es muy sutil pero esta visto que funciona y soluciona ese problema de voracidad de un robot de Google.

<%
IP = Request.ServerVariables("REMOTE_ADDR")
if IP="66.249.65.135" then
Response.Buffer = true%>
<HTML><BODY>
<%response.redirect("http://www.google.com")%>
</BODY></HTML><%
Response.End
End if
%>


Con este código no dejamos entrar en CompareBlogs al robot con la IP 66.249.65.132 y que se identificaba como:

Mozilla Compatible AgentMozilla/5.0+
(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)

Pero esto no afecta a otros robots de Google que también nos visitan y se identifican como:

Googlebot/2.1+(+http://www.google.com/bot.html)

Escribimos a Google utilizando el formulario disponible para notificar este tipo de problemas y ésta ha sido la respuesta:

Hi Fernando,

Thank you for your note. We’re working to respond in Spanish, but we’re currently best able to answer in English. We apologize for this inconvenience.

If Google is causing excessive strain on your servers and you’d like us to slow the rate at which Googlebot crawls your site, please send us a text snippet from your most recent weblog that lists Googlebot. Also, please confirm your request by creating a forgoogl.html page on your site and sending us the URL. We will then pass your request on to our engineers.

Regards,
The Google Team

Y yo me pregunto ¿por qué no avisan cuando rellenas el formulario que debes escribir en inglés para que puedan responderte?. Por cierto, que como muchos sabréis, Google Sitemaps ha creado nuevas herramientas para analizar los archivos robots.txt, algo que puede resultar bastante útil para solucionar problemas con spiders (Matt Cutts habla de estas nuevas funcionalidades).

Gracias a todos los que me habéis ayudado con vuestros e-mails y con vuestros comentarios en el post en el que exponía el problema.



CompareBlogs: Suscriptores en Bloglines por número de suscripciones
CompareBlogs: Suscriptores en Bloglines por número de suscripciones
Hemos estado haciendo unos cuantos cálculos en CompareBlogs y hemos descubierto que el suscriptor con perfil público medio de Bloglines está suscrito a 61 feeds ¿curioso verdad?En este gráfico representamos un primer tramo de 1 a 200...

Ayuda: CompareBlogs Under Attack
Ayuda: CompareBlogs Under Attack
|Algo ha estado entrando en CompareBlogs durante Enero y Febrero descargándose casi un GB de datos diario... lo que se ha traducido en que Arsys me acaba de pasar una factura por casí 300 Euros por exceso de transferencia.Revisando las estadísticas he...

La ciencia pega fuerte...
La ciencia pega fuerte...
El éxito del lanzamiento de Genciencia yo creo que también ha debido ser una sorpresa para Julio Alonso. El tirón inicial ha sido muy superior al de cualquier otro blog lanzado últimamente por Weblogs SL. A fecha de hoy cuentan ya con 405 suscriptores y...

CompareBlogs: Problemas de memoria y ¡Boooom!
CompareBlogs: Problemas de memoria y ¡Boooom!
El Dpto. de Sistemas de Arsys me explica la razón por la que el web de CompareBlogs se ha caído tanto últimamente:Estimado cliente:En respuesta a su consulta indicarle que su incidencia ha sido tramitada en el Departamento de Sistemas y nos indican lo...

En portada