Sunday, August 25, 2013

Tratando archivos de texto gigantes en linux.

INTRODUCCIÓN

Al tratar con archivos de texto gigantes (recientemente en mi experiencia un dump SQL de ~37GB) surgen complicaciones: espacio en disco, lentitud, memoria, etc.
A continuación se presentan 3 técnicas ensayadas para tratar de solventar el problema.




INICIO

Invocación de script para generar "huge file":
$ ./build_huge_02.sh 1000000 > myhugefile.txt