1

tengo el siguiente código el cual lee un archivo, los registros están repetido, así que en una lista meto todas incluyendo duplicados y hago un set para después compararlo con las lista y obtener el numero de veces que se repite, el detalle es que al escribirlo a un archivo tarda demasiado, son alrededor de 1M de registros.

import csv

with open(file, 'r') as act:
    lec = csv.reader(act, delimiter='|')
    reg  = [x[2] for x in lec]

sin_dups = list(set(reg))

salida = open('cuenta_cuentas.txt', 'w')

for x in sin_dups:
    if x in reg:
        registro = [x]
        rep = [str(reg.count(x))]
        data = registro + rep
        salida.write(','.join(data) + '\n')

salida.close()

en si, debería devolverme uno 500k registros con el numero de veces que se repite, pero el proceso demora demasiado.

2
  • ¿Vienen ordenados los datos? ¿Qué tipo de dato es x[2] (entero, string, fecha, ...)? ¿Qué rango de valores tiene?
    – Candid Moe
    Commented el 27 sept. 2021 a las 7:14
  • @CandidMoe, una disculpa por no haber visto tú comentario y respuesta, ya añadí una posible solución. Commented el 14 oct. 2021 a las 9:13

2 respuestas 2

1

Lo que haces es horriblemente ineficiente: creas una lista de un millón de elementos, luego la conviertes en un set y de vuelta en lista, para recorrerla una vez más generando la salida. Son como 4 millones de accesos.

La forma normal de eliminar duplicados es ordenar el archivo en forma externa. Un utilitario de sort externo siempre será más rápido y eficiente.

El programa recibe el archivo donde los duplicados vienen en un solo bloque, por lo que contarlos y reducirlos es trivial.

En este algoritmo, el archivo se procesa en una sola pasada, sin requerir almacenar nada en memoria:

with open("sorted.csv", 'r') as act:
    with open('cuenta_cuentas.txt', 'w') as salida:
        prev = None
        rep = 0
        for registro in csv.reader(act, delimiter='|'):
            if registro[2] != prev: 
                if rep:
                    salida.write(f"{prev},{rep}\n")
                prev = registro[2]
                rep = 1
            else:
                rep += 1
        if rep:
            salida.write(f"{prev},{rep}\n")

La variable prev nos da la llave del registro anterior, mientras que registro[2] es la llave del registro actual. La variable rep lleva la cuenta de cuantas veces se repite la llave.

Tras leer un registro, comparamos su llave contra la anterior. Si son iguales, simplemente agrega 1 al contador rep. Si son distintas, se ha producido un cambio de llave y podemos imprimir sus datos (llave y cuenta) y reinicializar prev con la llave actual y poner rep en 1.

Al terminar de leer el archivo de entrada, todavía queda una llave por imprimir, junto con su cuenta.

Demo

sorted.csv

reg1|ABC|0001|+45
reg2|ABC|0001|-12
reg3|XYZ|0001|+5
reg4|OLL|0002|+40
reg5|HHH|0003|+5
reg6|HUY|0003|+1

produce:

cuenta_cuentas.txt

0001,3
0002,1
0003,2
0

2 días después de mi pregunta encontré un posible solución con el modulo Counter, reduce el proceso a menos de la mitad, anteriormente el proceso con aproximadamente 1M de registros demoraba de 5 a 8 min y ahora tarda de 1 a 2 minutos.

Aquí mi posible solución.

import collections
from collections import Counter
import csv

with open(file, 'r') as act:
    lec = csv.reader(act, delimiter='|')
    reg = [n[2] for n in lec]

contador = Counter()
contador.update(reg)
# mas_rep es una lista[reg,frecuencia_reg]
mas_rep = contador.most_common()

for e in mas_rep:
    salida.write('{},{}'.format(e[0],e[1]))

salida.close()

devolviendo los registros de mayor a menor según su frecuencia:

10121021452,32
12021352152,31

el archivo de donde obtengo los datos son cadenas de texto delimitadas por '|', durante el proceso de trabajo y en su resultado debo obtener los resultados de manera idéntica sin cambiar su tipo de dato.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.