tengo el siguiente código el cual lee un archivo, los registros están repetido, así que en una lista meto todas incluyendo duplicados y hago un set para después compararlo con las lista y obtener el numero de veces que se repite, el detalle es que al escribirlo a un archivo tarda demasiado, son alrededor de 1M de registros.
import csv
with open(file, 'r') as act:
lec = csv.reader(act, delimiter='|')
reg = [x[2] for x in lec]
sin_dups = list(set(reg))
salida = open('cuenta_cuentas.txt', 'w')
for x in sin_dups:
if x in reg:
registro = [x]
rep = [str(reg.count(x))]
data = registro + rep
salida.write(','.join(data) + '\n')
salida.close()
en si, debería devolverme uno 500k registros con el numero de veces que se repite, pero el proceso demora demasiado.
x[2]
(entero, string, fecha, ...)? ¿Qué rango de valores tiene?