CompareBlogs: Out of memory… ups!

Uno de los procedimientos más costosos a nivel de recursos de CompareBlogs es comprobar cuántos suscriptores comparten todos los blogs entre si. Al tener ya dados de alta más de 500, hay un montón de combinaciones posibles y almacenar los resultados de todas ocupa mucho espacio en nuestra base de datos mySQL. Es por eso que cada cierto tiempo tenemos que llevar a cabo una pequeña limpieza que consiste en eliminar aquellos datos sin valor. Por ejemplo esta es la evolución de suscriptores públicos compartidos entre mi blog y el de Enrique Dans:

31/08/05 – 11 suscriptores compartidos
03/09/05 – 11
06/09/05 – 11
08/09/05 – 11
11/09/05 – 11
15/09/05 – 11
17/09/05 – 11
19/09/05 – 11
21/09/05 – 11
22/09/05 – 10 suscriptores compartidos
25/09/05 – 12 suscriptores compartidos
28/09/05 – 12
29/09/05 – 12
03/10/05 – 13 suscriptores compartidos
05/10/05 – 13
07/10/05 – 14 suscriptores compartidos
09/10/05 – 14
10/10/05 – 14

12/10/05 – 14
14/10/05 – 14

16/10/05 – 14
17/10/05 – 14
19/10/05 – 14
22/10/05 – 14
25/10/05 – 13 suscriptores compartidos
28/10/05 – 14 suscriptores compartidos
31/10/05 – 15 suscriptores compartidos

02/11/05 – 16 suscriptores compartidos
04/11/05 – 16
08/11/05 – 16
12/11/05 – 16
14/11/05 – 16

19/11/05 – 16
21/11/05 – 16
24/11/05 – 16
28/11/05 – 16
30/11/05 – 16
02/12/05 – 17 suscriptores compartidos

Tras la limpieza nos quedamos sólo con lo que está en negrita. El problema es que generar este proceso lleva mucho tiempo, unas seis o siete horas en nuestro actual servidor y a veces nos quedamos sin memoria… como nos ha pasado esta vez:


Espero que se arregle pronto, si alguno de los genios que se pasa por aquí tiene alguna idea de cómo evitar este tipo de fallos no dude en hacérmelo saber a través de los comentarios. A mi se me ocurre el hacer esto en local, aunque sería muy farragoso ya que supondría descargarse una tabla de unas 200 megas (que tras la depuración se queda en unas 20 megas).


Publicado

en

por