CompareBlogs: Out of memory… ups!

Uno de los procedimientos más costosos a nivel de recursos de CompareBlogs es comprobar cuántos suscriptores comparten todos los blogs entre si. Al tener ya dados de alta más de 500, hay un montón de combinaciones posibles y almacenar los resultados de todas ocupa mucho espacio en nuestra base de datos mySQL. Es por eso que cada cierto tiempo tenemos que llevar a cabo una pequeña limpieza que consiste en eliminar aquellos datos sin valor. Por ejemplo esta es la evolución de suscriptores públicos compartidos entre mi blog y el de Enrique Dans:

31/08/05 – 11 suscriptores compartidos
03/09/05 – 11
06/09/05 – 11
08/09/05 – 11
11/09/05 – 11
15/09/05 – 11
17/09/05 – 11
19/09/05 – 11
21/09/05 – 11
22/09/05 – 10 suscriptores compartidos
25/09/05 – 12 suscriptores compartidos
28/09/05 – 12
29/09/05 – 12
03/10/05 – 13 suscriptores compartidos
05/10/05 – 13
07/10/05 – 14 suscriptores compartidos
09/10/05 – 14
10/10/05 – 14

12/10/05 – 14
14/10/05 – 14

16/10/05 – 14
17/10/05 – 14
19/10/05 – 14
22/10/05 – 14
25/10/05 – 13 suscriptores compartidos
28/10/05 – 14 suscriptores compartidos
31/10/05 – 15 suscriptores compartidos

02/11/05 – 16 suscriptores compartidos
04/11/05 – 16
08/11/05 – 16
12/11/05 – 16
14/11/05 – 16

19/11/05 – 16
21/11/05 – 16
24/11/05 – 16
28/11/05 – 16
30/11/05 – 16
02/12/05 – 17 suscriptores compartidos

Tras la limpieza nos quedamos sólo con lo que está en negrita. El problema es que generar este proceso lleva mucho tiempo, unas seis o siete horas en nuestro actual servidor y a veces nos quedamos sin memoria… como nos ha pasado esta vez:


Espero que se arregle pronto, si alguno de los genios que se pasa por aquí tiene alguna idea de cómo evitar este tipo de fallos no dude en hacérmelo saber a través de los comentarios. A mi se me ocurre el hacer esto en local, aunque sería muy farragoso ya que supondría descargarse una tabla de unas 200 megas (que tras la depuración se queda en unas 20 megas).