Otra idea es usar la librería textfsm
, creada por Google.
Admito que para este caso particular es "matar moscas a cañonazos", pues es mucho más sencillo ir buscando simplemente las líneas que empiezan de cierta forma junto con un booleano para "recordar" si estamos dentro del bloque a guardar, o fuera de él. No obstante, he decidido añadir esta respuesta como ejemplo de uso de esta biblioteca, que puede ser útil en casos más complicados en los que la información a extraer tenga también una cierta estructura que desees analizar para separar en "campos".
La idea de textfsm
es que, mediante un fichero aparte, describas qué estructura tiene el fichero que quieres procesar, usando una especie de gramática dependiente del contexto. El formato con que se especifica esta gramática es un tanto farragoso, y se basa en expresiones regulares y en máquinas de estado, pero es muy flexible.
A la librería le pasas tu "esquema" (el fichero antes mencionado), y los datos a procesar, y te devuelve una lista de tuplas con la información que ha encontrado de acuerdo al esquema especificado.
El mayor problema que le veo a esta librería es que, si bien el "esquema" lo lee de un fichero, los datos en cambio los espera en una cadena. Bien es cierto que puedes abrir tu fichero "monstruoso" y leerlo con un simple f.read()
para tenerlo en una sola cadena, pero esto es altamente indeseable, pues estarás consumiendo tanta memoria como requiera ese fichero de forma innecesaria, puesto que al final el procesamiento se hace línea a línea, por lo que no veo por qué habría de leerse más de una línea de cada vez. Es una mala decisión de diseño por parte de los implementadores de esta librería el no admitir un objeto file
como parámetro, y obligarte en cambio a pasar un str
.
No obstante es fácil de arreglar. En el código que sigue implemento mi propia clase (heredando de la que me da textfsm
) que admite un file
en vez de una cadena. También muestro cómo sería el "esquema" para procesar tu caso, y cómo mostrar los resultados una vez procesados.
Para hacer el ejemplo más interesante, supongo que tu mega-fichero contiene varios "trozos" interesantes. Cada uno de los trozos delimitado por una línea que contiene lo de "ELEMENT-ID=XXXXXXX" pero con diferente valor de XXXXXX, y que nos interesa guardar todo lo que aparezca entre esa línea y la siguiente que comience por 1, y así para cada trozo de este tipo, para al final mostrar todos los trozos hallados, cada uno precedido de una cabecera que muestre su id (el valor de XXXXXXX)
Vamos allá:
import textfsm
# Extender la clase para que pueda procesar directamente desde
# un fichero, en lugar de tener que leer antes todo el fichero a memoria
class TextFSMFile(textfsm.TextFSM):
# Basta añadir un método nuevo a la clase
def ParseTextFromFile(self, f, eof=True):
for line in f:
self._CheckLine(line)
if self._cur_state_name in ('End', 'EOF'):
break
if self._cur_state_name != 'End' and 'EOF' not in self.states and eof:
self._AppendRecord()
return self._result
# Plantilla para procesar los datos en este caso, que significa básicamente lo siguiente
#
# 1) Vamos a recoger dos cosas, el "Chunk" (así llamo a todo el texto a recoger)
# y el Element-id. El texto es cualquier cosa (expresión regular .*)
# mientras que el ID es una secuencia de dígitos (\d+)
#
# 2) Al empezar ignoramos todo hasta encontrar una línea que comience por ELEMENT-ID
# Entonces registramos el ID y pasamos al estado Chunk
#
# 3) En el estado chunk, si encontramos una línea que comienza por 1, volvemos al estado start
# En cualquier otro caso, la línea entera se considera parte del chunk y se registra
template = """#
Value Chunk (.+)
Value Id (\d+)
Start
^\s+ELEMENT-ID\s+=${Id} -> Record Chunk
Chunk
^1\s+ -> Start
^${Chunk} -> Record
"""
# Leemos la plantilla (normalmente hay que leerla de un fichero, pero ya que aquí la tengo
# en una cadena, uso StringIO)
import io
re_table = TextFSMFile(io.StringIO(template))
# Procesamos el fichero y `data` tendrá el resultado
with open("A350-900_SMM10_I4_Exceedance_LCs_Step_7_FS_LHS.f06") as f:
data = re_table.ParseTextFromFile(f)
# Al terminar, `data` será una lista conteniendo tantos elementos como
# cambios de estado se hayan producido. En cada cambio de estado se genera
# una tupla con el resultado del "Chunk" y del "Id"
#
# Tal como hemos definido la plantilla, cuando registramos un Id, no registramos
# Chunk, y viceversa, por lo que podemos mirar cuándo el segundo elemento
# de la tupla es no-vacío, para saber que se trata de un trozo nuevo
# y entonces imprimir un separador. En caso contrario tenemos el
# correspondiente chunk
for row in data:
if row[1]:
print("\n---------{}-----------".format(row[1]))
else:
print(row[0])
Le doy como fichero de entrada el siguiente (que es el tuyo al que he añadido más líneas para que tenga un segundo trozo y para que se vea que lo que salga "entre trozos" es ignorado):
3000556 6.023182E+00 1.023053E+01 -1.074925E+01 -4.197674E-01 -1.215663E-01 -2.054059E-02 5.945688E-03 -8.270144E-02
3000557 5.842894E+00 1.023645E+01 -1.071378E+01 -4.153232E-01 -1.192223E-01 -6.078959E-03 5.859221E-03 -8.208457E-02
3000558 5.968817E+00 1.022984E+01 -1.070720E+01 -4.196891E-01 -1.224118E-01 -1.553611E-02 5.919636E-03 -8.245116E-02
3000559 5.979013E+00 1.022730E+01 -1.068543E+01 -4.205325E-01 -1.236235E-01 -1.621033E-02 5.913686E-03 -8.239029E-02
1 A350-900 HTP ON FUSELAGE (CERTIFICATION LOADS) AUGUST 17, 2017 MSC Nastran 11/27/13 PAGE 493
CMVB00B009 - 10026 - CONFIG 1 - TREF= 20.00DEGC - INTACT WIT
0
ELEMENT-ID =55100516
F O R C E S I N R O D E L E M E N T S ( C R O D )
AXIAL AXIAL
SUBCASE FORCE TORQUE SUBCASE FORCE TORQUE
1002600 2.431603E+04 0.0 1002601 1.622446E+04 0.0
1002602 1.621741E+04 0.0 1002603 1.622094E+04 0.0
1002604 1.620985E+04 0.0 1002605 1.620762E+04 0.0
1002606 1.620998E+04 0.0 1002607 1.621061E+04 0.0
1002608 1.620382E+04 0.0 1002609 1.620839E+04 0.0
1002610 2.431860E+04 0.0 1002611 1.622685E+04 0.0
1002612 1.621897E+04 0.0 1002613 1.622243E+04 0.0
1002614 1.621159E+04 0.0 1002615 1.620927E+04 0.0
1002616 1.621168E+04 0.0 1002617 1.621233E+04 0.0
1002618 1.620461E+04 0.0 1002619 1.621040E+04 0.0
1002620 5.333795E+04 0.0 1002621 4.524657E+04 0.0
1002622 4.524009E+04 0.0 1002623 4.524282E+04 0.0
1002624 4.523175E+04 0.0 1002625 4.522950E+04 0.0
1 A350-900 HTP ON FUSELAGE (CERTIFICATION LOADS) AUGUST 17, 2017 MSC Nastran 11/27/13 PAGE 493
Esto debe ignorarse
Esto también
ELEMENT-ID =55100517
1002614 1.621159E+04 0.0 1002615 1.620927E+04 0.0
1002616 1.621168E+04 0.0 1002617 1.621233E+04 0.0
1002618 1.620461E+04 0.0 1002619 1.621040E+04 0.0
1002620 5.333795E+04 0.0 1002621 4.524657E+04 0.0
1 Pueden aparecer más cosas tras el 1
Más para ignorar...
Y el resultado de ejecutar el script es:
---------55100516-----------
F O R C E S I N R O D E L E M E N T S ( C R O D )
AXIAL AXIAL
SUBCASE FORCE TORQUE SUBCASE FORCE TORQUE
1002600 2.431603E+04 0.0 1002601 1.622446E+04 0.0
1002602 1.621741E+04 0.0 1002603 1.622094E+04 0.0
1002604 1.620985E+04 0.0 1002605 1.620762E+04 0.0
1002606 1.620998E+04 0.0 1002607 1.621061E+04 0.0
1002608 1.620382E+04 0.0 1002609 1.620839E+04 0.0
1002610 2.431860E+04 0.0 1002611 1.622685E+04 0.0
1002612 1.621897E+04 0.0 1002613 1.622243E+04 0.0
1002614 1.621159E+04 0.0 1002615 1.620927E+04 0.0
1002616 1.621168E+04 0.0 1002617 1.621233E+04 0.0
1002618 1.620461E+04 0.0 1002619 1.621040E+04 0.0
1002620 5.333795E+04 0.0 1002621 4.524657E+04 0.0
1002622 4.524009E+04 0.0 1002623 4.524282E+04 0.0
1002624 4.523175E+04 0.0 1002625 4.522950E+04 0.0
---------55100517-----------
1002614 1.621159E+04 0.0 1002615 1.620927E+04 0.0
1002616 1.621168E+04 0.0 1002617 1.621233E+04 0.0
1002618 1.620461E+04 0.0 1002619 1.621040E+04 0.0
1002620 5.333795E+04 0.0 1002621 4.524657E+04 0.0