1

Tengo un archivo csv muy grande, quiero salvar un pedazo solamente,---Quiero guardar solo grupo 20--- tengo:

|Group 1| | 0. 00000000 | 0.00000000 | 0.00000000 | | 2.5000E-002 | 0.00000000 | 0.00000000 |
. . . | 148.90374759368984 | 1.4819977662E-002 | 9.3191136E-003|
| 148.92874821870546 | 1.4807592487E-002 | 9.3658770E-003|
. . . |Group 20| | 0. 00000000 | 0.00000000 | 0.00000000 | | 2.5000E-002 | 0.00000000 | 0.00000000 |
. . . | 149.90374759368984 | 1.4819977662E-002 | 9.3191136E-003|
| 149.92874821870546 | 1.4807592487E-002 | 9.3658770E-003|
. . . |Group 200| | 0. 00000000 | 0.00000000 | 0.00000000 | | 2.5000E-002 | 0.00000000 | 0.00000000 |
. . . | 150.90374759368984 | 1.4819977662E-002 | 9.3191136E-003|
| 150.92874821870546 | 1.4807592487E-002 | 9.3658770E-003|

import pandas as pd  import numpy as np  dos =
pd.read_csv('file.txt',header=0,delimiter= '\s+', index_col=False)

while line := file.readline():
    read = line.rstrip()
    for i in line:
           if i == Group 20:
           group = []
           print(group)
        
1
  • Querés cargar el csv con pandas, o guardar ese fragmento de archivo en el disco. Si es el segundo caso, probablemente sea mejor itertools antes que pandas.
    – Dante S.
    Commented el 23 ene. a las 17:53

1 respuesta 1

2

Explicando algunas cosas

Pandas carga todos los datos en memoria como comportamiento por defecto. Teniendo esto en cuenta, usar pandas de forma "convencional" no sería buena idea. Esto debido a que:

  • La memoria promedio suele ser de 4 u 8 gb. Si hablamos de gigabytes de información, tu programa ocuparía mucha memoria, por no decir que podría serle insuficiente.
  • Al parsearse todo el csv, se gasta esfuerzo innecesario en obtener datos que nunca serán usados.

De cualquier forma, he de aclarar que tu csv es poco convencional y requiere ser modificado antes de intentar parsearlo. Además, de cualquier forma, tu código no utiliza el dataframe creado.

Documentacion sobre manejo de archivos grandes en Pandas

Iteradores

Cuando se lee un archivo grande, lo habitual es usar iteradores. Los iteradores son objetos especiales que, pasados a la funcion next o usandos en un bucle for, "generan" el siguiente valor sin necesidad de que estos existan de manera simultanea.
En el caso de los archivos, estos son de por si iteradores, que van leyendo cada linea del archivo sin cargar todo en simultaneo.

Cursores

Los archivos se leen mediante cursores. Esto es, un número que indica desde donde leer y escribir en el archivo. Funciona muy similar al tipico cursor que podés ver en el Block de Notas, Word, etc.

Idea inicial

A sabiendas de esto, si tu objetivo es eliminar del csv todos los grupos menos el 20, se me ocurre lo siguiente como el camino más rapido:

  • Leer linea por linea descartando todos los grupos hasta llegar al 20.

  • Si deseas obtener el grupo 20 como dataframe:

    • guardamos la posición actual del cursor, contamos la cantidad de filas que ocupa el grupo 20 y volvemos a colocar el cursor en la posición original (el inicio del grupo 20)

    • Pasamos el objeto archivo a pandas, el cual se dedicará a leer desde donde dejamos el cursor. Le pasamos nrows para indicarle cuantas filas han de leerse.

  • Guardando el fragmento en el disco (resulta ser innecesario parsear el archivo):

    • escribimos en un nuevo archivo las lineas restantes del grupo 20.

A continuación, dejo el código, en el cual usé itertools, más rapido que un bucle for de Python:

from timeit import timeit
import pandas as pd
import itertools
import io

# creamos un archivo "falso" en memoria con un csv de prueba
stream = io.StringIO("\n".join(f"|group           {i}|\n|value{i} | value{i+1} | value{i+2}|" for i in range(1_000_000)))
# archivo falso de destino
dest = io.StringIO()

def group20_itertools_maybe_pandas(file, group, dest=None):
    # así es como entendí que debe ser la linea con el grupo ("group" + " " * 11 + str(group))
    group20 = f"|group           {group}|"
    
    # Descartamos todos los grupos anteriores.
    # line.strip elimina todos los espacios y saltos de linea alrededor de line.
    header_g20 = next(itertools.dropwhile(lambda line:line.strip() != group20, file))
    # Creamos un iterador que recorra las lineas restantes hasta llegar al siguiente grupo.
    iterator_end_g20 = itertools.takewhile(lambda line:not line.startswith("|group"), file)

    if dest is None:
        # Guardamos la posición del cursor en una variable
        start = file.tell()

        # Ignoramos el valor devuelto por el iterador y sumamos 1 por cada valor devuelto.
        # Como no se puede aplicar la función len a un iterador, esta es la mejor forma
        # de contar la cantidad de valores devueltos
        rowcount = sum(1 for _ in iterator_end_g20)

        # movemos el cursor al inicio del grupo
        file.seek(start)

        df = pd.read_csv(file, nrows=rowcount, header=None, delimiter="|")
        
        # eliminamos la primer y ultima fila. Esto debido a que lo anterior al primer |
        # también se considera una columna
        df.drop(columns=[df.columns[0], df.columns[-1]], inplace=True)
        return df
    else:
        # A pesar de su nombre, writelines no escribe lineas, 
        # si no que equivale a:
        #
        # for text in iterator_end_g20:
        #     dest.write(text)
        #
        # Pero es más rapido debido a que está hecho en c

        dest.writelines(iterator_end_g20)

print("Usando pandas e itertools:",
      timeit(lambda:group20_itertools_maybe_pandas(stream, 20), number=1) * 1000,
      "milisegundos")
stream.seek(0)
print(group20_itertools_maybe_pandas(stream, 20))
stream.seek(0)

print("-" * 100)

print("Usando itertools, sin parsear el csv:",
      timeit(lambda:group20_itertools_maybe_pandas(stream, 20, dest), number=1) * 1000,
      "milisegundos")
stream.seek(0)
print(dest.getvalue())

Produce

Usando pandas e itertools: 24.36619997024536 milisegundos
          1          2         3
0  value20    value21    value22
----------------------------------------------------------------------------------------------------
Usando itertools, sin parsear el csv: 0.03520003519952297 milisegundos
|value20 | value21 | value22|
1
  • 1
    Por que el negativo? Que está mal en mi respuesta?
    – Dante S.
    Commented el 24 ene. a las 15:15

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.