Compresión en maquinas multicore (SMP)

Actualmente la mayoria de las maquinas tiene dos o más procesadores. Por ello, si se desea una compresión rápida, se pueden utilizar programas multi-thread como los siguientes:

• pbzip2: http://compression.ca/pbzip2/
• mgzip: http://lemley.net/mgzip.html

Éstos, a diferencia de los bzip2 y gzip clasicos, utilizan más de un hilo concurrentemente para utilizar al máximo todas las CPUs disponibles.

Por el contrario gzip y bzip2 solo utilizan un hilo, por lo que aúnque la maquina disponga de 8 CPUs sólo se utiliza una para la compresión.

Para comprar los resultados se ha utilizado un fichero de log de 2,4Gb en una maquina de 4 cores. Los resultados, medidos con el comando time, son los siguientes:

[jprats@quars rra]# time bzip2 prueba_log.test

real    16m27.551s
user    16m24.255s
sys     0m2.592s

[jprats@quars rra]# time pbzip2 prueba_log.test

real    4m22.296s
user    16m58.162s
sys     0m16.416s

Se puede apreciar como el tiempo real de ejecución se divide por el número de cores disponibles, en este caso 4.

Relacionados

• Ver la hora de otra zona horaria en Linux
• swappiness: Regular la tendecia a usar swap del kernel de Linux
• Significado del primer carácter de la salida de ls -l
• Rendimiento ext3: Creación del journal en otro dispositivo
• Recuperar ficheros borrados pero aún abiertos por algun proceso