Fernando Plaza Blog

viernes, 10 febrero 2006

 GoogleBot: Solucionado el problema en CompareBlogs

Supongo que esto no es muy sutil pero esta visto que funciona y soluciona ese problema de voracidad de un robot de Google.

<%
IP = Request.ServerVariables("REMOTE_ADDR")
if IP="66.249.65.135" then
Response.Buffer = true%>
<HTML><BODY>
<%response.redirect("http://www.google.com")%>
</BODY></HTML><%
Response.End
End if
%>


Con este código no dejamos entrar en CompareBlogs al robot con la IP 66.249.65.132 y que se identificaba como:

Mozilla Compatible AgentMozilla/5.0+
(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)

Pero esto no afecta a otros robots de Google que también nos visitan y se identifican como:

Googlebot/2.1+(+http://www.google.com/bot.html)

Escribimos a Google utilizando el formulario disponible para notificar este tipo de problemas y ésta ha sido la respuesta:

Hi Fernando,

Thank you for your note. We’re working to respond in Spanish, but we’re currently best able to answer in English. We apologize for this inconvenience.

If Google is causing excessive strain on your servers and you’d like us to slow the rate at which Googlebot crawls your site, please send us a text snippet from your most recent weblog that lists Googlebot. Also, please confirm your request by creating a forgoogl.html page on your site and sending us the URL. We will then pass your request on to our engineers.

Regards,
The Google Team

Y yo me pregunto ¿por qué no avisan cuando rellenas el formulario que debes escribir en inglés para que puedan responderte?. Por cierto, que como muchos sabréis, Google Sitemaps ha creado nuevas herramientas para analizar los archivos robots.txt, algo que puede resultar bastante útil para solucionar problemas con spiders (Matt Cutts habla de estas nuevas funcionalidades).

Gracias a todos los que me habéis ayudado con vuestros e-mails y con vuestros comentarios en el post en el que exponía el problema.





CompareBlogs: Suscriptores en Bloglines por número de suscripciones
CompareBlogs: Suscriptores en Bloglines por número de suscripciones
Hemos estado haciendo unos cuantos cálculos en CompareBlogs y hemos descubierto que el suscriptor con perfil público medio de Bloglines está suscrito a 61 feeds ¿curioso verdad?En este gráfico representamos un primer tramo de 1 a 200...

Ayuda: CompareBlogs Under Attack
Ayuda: CompareBlogs Under Attack
|Algo ha estado entrando en CompareBlogs durante Enero y Febrero descargándose casi un GB de datos diario... lo que se ha traducido en que Arsys me acaba de pasar una factura por casí 300 Euros por exceso de transferencia.Revisando las estadísticas he...

18 millones para FON y un router gratis para mi... ¡genial!
18 millones para FON y un router gratis para mi... ¡genial!
Lo de que FON obtenga 18 millones de Euros me parece genial... pero que yo probablemente vaya a recibir un Router FON gratis, es aun mejor (lo cual demuestra mi indomable egoísmo).Sabía que me había registrado muy pronto en FON pero no sabía cuanto de...

Ninja.es: Estadísticas curiosas y votaciones
Ninja.es: Estadísticas curiosas y votaciones
Votar en el concurso Ninja implica valorar a independientemente a nuestros 20 finalistas y luego votar a un favorito. Como se puede observar en el gráfico de abajo, que representa la media de páginas vistas por sesión, algunos -los menos- se han cansado y...


<  Portada