Explicando algunas cosas
Pandas carga todos los datos en memoria como comportamiento por defecto. Teniendo esto en cuenta, usar pandas de forma "convencional" no sería buena idea. Esto debido a que:
- La memoria promedio suele ser de 4 u 8 gb. Si hablamos de gigabytes de información, tu programa ocuparía mucha memoria, por no decir que podría serle insuficiente.
- Al parsearse todo el csv, se gasta esfuerzo innecesario en obtener datos que nunca serán usados.
De cualquier forma, he de aclarar que tu csv es poco convencional y requiere ser modificado antes de intentar parsearlo. Además, de cualquier forma, tu código no utiliza el dataframe creado.
Documentacion sobre manejo de archivos grandes en Pandas
Cuando se lee un archivo grande, lo habitual es usar iteradores. Los iteradores son objetos especiales que, pasados a la funcion next o usandos en un bucle for, "generan" el siguiente valor sin necesidad de que estos existan de manera simultanea.
En el caso de los archivos, estos son de por si iteradores, que van leyendo cada linea del archivo sin cargar todo en simultaneo.
Los archivos se leen mediante cursores. Esto es, un número que indica desde donde leer y escribir en el archivo. Funciona muy similar al tipico cursor que podés ver en el Block de Notas, Word, etc.
Idea inicial
A sabiendas de esto, si tu objetivo es eliminar del csv todos los grupos menos el 20, se me ocurre lo siguiente como el camino más rapido:
Leer linea por linea descartando todos los grupos hasta llegar al 20.
Si deseas obtener el grupo 20 como dataframe:
guardamos la posición actual del cursor, contamos la cantidad de filas que ocupa el grupo 20 y volvemos a colocar el cursor en la posición original (el inicio del grupo 20)
Pasamos el objeto archivo a pandas, el cual se dedicará a leer desde donde dejamos el cursor. Le pasamos nrows para indicarle cuantas filas han de leerse.
Guardando el fragmento en el disco (resulta ser innecesario parsear el archivo):
- escribimos en un nuevo archivo las lineas restantes del grupo 20.
A continuación, dejo el código, en el cual usé itertools, más rapido que un bucle for de Python:
from timeit import timeit
import pandas as pd
import itertools
import io
# creamos un archivo "falso" en memoria con un csv de prueba
stream = io.StringIO("\n".join(f"|group {i}|\n|value{i} | value{i+1} | value{i+2}|" for i in range(1_000_000)))
# archivo falso de destino
dest = io.StringIO()
def group20_itertools_maybe_pandas(file, group, dest=None):
# así es como entendí que debe ser la linea con el grupo ("group" + " " * 11 + str(group))
group20 = f"|group {group}|"
# Descartamos todos los grupos anteriores.
# line.strip elimina todos los espacios y saltos de linea alrededor de line.
header_g20 = next(itertools.dropwhile(lambda line:line.strip() != group20, file))
# Creamos un iterador que recorra las lineas restantes hasta llegar al siguiente grupo.
iterator_end_g20 = itertools.takewhile(lambda line:not line.startswith("|group"), file)
if dest is None:
# Guardamos la posición del cursor en una variable
start = file.tell()
# Ignoramos el valor devuelto por el iterador y sumamos 1 por cada valor devuelto.
# Como no se puede aplicar la función len a un iterador, esta es la mejor forma
# de contar la cantidad de valores devueltos
rowcount = sum(1 for _ in iterator_end_g20)
# movemos el cursor al inicio del grupo
file.seek(start)
df = pd.read_csv(file, nrows=rowcount, header=None, delimiter="|")
# eliminamos la primer y ultima fila. Esto debido a que lo anterior al primer |
# también se considera una columna
df.drop(columns=[df.columns[0], df.columns[-1]], inplace=True)
return df
else:
# A pesar de su nombre, writelines no escribe lineas,
# si no que equivale a:
#
# for text in iterator_end_g20:
# dest.write(text)
#
# Pero es más rapido debido a que está hecho en c
dest.writelines(iterator_end_g20)
print("Usando pandas e itertools:",
timeit(lambda:group20_itertools_maybe_pandas(stream, 20), number=1) * 1000,
"milisegundos")
stream.seek(0)
print(group20_itertools_maybe_pandas(stream, 20))
stream.seek(0)
print("-" * 100)
print("Usando itertools, sin parsear el csv:",
timeit(lambda:group20_itertools_maybe_pandas(stream, 20, dest), number=1) * 1000,
"milisegundos")
stream.seek(0)
print(dest.getvalue())
Produce
Usando pandas e itertools: 24.36619997024536 milisegundos
1 2 3
0 value20 value21 value22
----------------------------------------------------------------------------------------------------
Usando itertools, sin parsear el csv: 0.03520003519952297 milisegundos
|value20 | value21 | value22|