La gracia (desgracia más bien...) está en que no se les ocurrió nada mejor que usar espacios tanto para los valores NaN
como para el separador entre columnas.... Sería trivial con pandas.read_table
o read_csv
si no fuera por este pequeño detalle y los valores NaN fueran cualquier otro carácter o cadena, bastaría con usar sep="\s+"
o delim_whitespace=True
y el parser de Python podría parsearlo sin problemas.
Para empeorarlo todo más si cabe, los ficheros no tienen cabeceras con los títulos de las columnas. Esto simplificaría enormemente todo ya que podríamos usar esta fila (que no tiene NaN lógicamente) para obtener el número de columnas y sus límites.
En definitiva, a priori no sabemos el número de columnas ni podemos diferenciar entre lo que es un separador y una celda vacía, pero nada es imposible. Si asumimos algunas condiciones que se cumplen en tu ejemplo:
Al menos la tabla está bien hecha, es decir, las columnas están bien alineadas:

Esto es imprescindible, si lo anterior no se cumple no veo la forma de resolver el problema, no al menos de forma determinista.
No hay una columna con todos sus valores NaN
. Esto no es realmente un problema en el parseo, simplemente esta "supuesta columna" (porque no sabemos ni nosotros si solo es un espaciado muy amplio y no una columna vacía, a no ser que sepamos seguro que el fichero tiene x columnas) sería ignorada.
No hay espacios en los valores de cada celda. Esto se podría solventar dado el caso modificando la expresión regular, siempre y cuando los valores estén correctamente acotados (p.e "Stack Overflow"
o |Stack Overflow|
)
Con ello se puede hacer un enfoque más o menos simple, la idea sería la siguiente:
Usar una expresión regular que nos permita separar cada "columna", entendiendo por "columna" cualquier número de espacios en blanco (o ninguno) seguido de cualquier número de caracteres que no lo sean. La idea es obtener por cada fila los valores de las columnas no nulas y el índice del último carácter del mismo.
Esto se puede conseguir con una expresión regular del tipo '(\s{0,})(\S{1,})'
dónde (\s{0,})
captura cero o cualquier número de espacios y (\S{1,})
uno o más caracteres que no sean espacios.
Con re.finditer
podemos obtener un objeto Match
por cada coincidencia que nos permite obtener el índice final (índice del carácter justo antes de la línea roja en la imagen anterior) con Match.end()
y el valor de la columna con Match.group(2)
(grupo generado por (\S{1,})
)
Con los dos valores anteriores vamos a crear un diccionario por cada fila, dónde la clave es el índice final de la columna y el valor el contenido de la misma. Al final tendremos una lista con un diccionario por fila.
Ahora la clave está en detectar todas las columnas y sus índices, para ello recorremos las claves de todos los diccionarios y nos quedamos con los índices únicos. Un conjunto (set
) nos ayuda en ello eficientemente.
Con esto no queda más que recorrer la lista de diccionarios e ir guardando las filas en el nuevo csv, cuando el diccionario de la fila no tenga una columna (falte la clave de su índice) añadimos un "NaN", dict.get
está pensado para esto.
Esta sería una posible implementación:
import csv
import re
patt = re.compile(r'(\s{0,})(\S{1,})')
with open("entrada.txt") as archivo_entrada:
tabla = [{math.end(): math.group(2) for math in patt.finditer(fila.rstrip())}
for fila in archivo_entrada
]
indices = list(set(indice for fila in tabla for indice in fila))
indices.sort()
numero_columnas = len(indices)
with open("salida.csv", "w", newline='') as archivo_salida:
csv_writer = csv.writer(archivo_salida, delimiter=',')
gen = ((fila.get(i, "NaN") for i in indices) for fila in tabla )
csv_writer.writerows(gen)
Para un archivo de partida más diabólico que el que muestras:
398.4
9680
-40.8
0.61
24
-32.8
21
295
333.2
333.4
335.6
Obtenemos:
398.4,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN
NaN,9680,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN
NaN,NaN,-40.8,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN
NaN,NaN,NaN,NaN,NaN,0.61,NaN,NaN,NaN,NaN,NaN
NaN,NaN,NaN,NaN,24,NaN,NaN,NaN,NaN,NaN,NaN
NaN,NaN,NaN,-32.8,NaN,NaN,NaN,NaN,NaN,NaN,NaN
NaN,NaN,NaN,NaN,NaN,NaN,NaN,21,NaN,NaN,NaN
NaN,NaN,NaN,NaN,NaN,NaN,295,NaN,NaN,NaN,NaN
NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,333.2,NaN,NaN
NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,333.4
NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,335.6,NaN
Ahora es simple la lectura por Pandas, para tu ejemplo:
>>> import pandas as pd
>>> df = pd.read_csv("salida.csv", header=None)
>>> df
0 1 2 3 4 5 6 7 8 9 10
0 398.4 7620 -17.0 -32.8 24.0 0.61 295 21 333.2 335.6 333.4
1 300.0 9680 -32.7 -43.7 33.0 0.27 325 34 339.2 340.3 339.2
2 259.7 10668 -40.8 NaN NaN NaN 315 40 341.6 NaN 341.6
3 250.0 10930 -42.9 NaN NaN NaN 310 40 342.1 NaN 342.1
Con el ejemplo "malvado" mostrado antes, es fácil comprender que necesitamos cargar todo el fichero en memoria para asegurarnos de obtener todas las columnas y sus límites. Si estamos tratando fichero enormes y estamos limitados por la RAM esto podría ser un problema. Hay varias formas de lidiar con esto aunque son menos "elegantes", por ejemplo:
Requerir la intervención de un cerebro humano y su magnífica eficiencia para detectar patrones, para que abra el fichero en un editor y proporcione manualmente al proceso una fila o varias filas que contengan todas las columnas en su conjunto o bien que de los indices directamente. Esto permitiría saltarse el primer paso y podríamos procesar el fichero linea a linea.
Otra opción es leer el fichero dos veces, una para detectar el número de columnas y otro para el parseo, pero permitiría no usar apenas memoria concurrentemente a costa de duplicar el trabajo...