Skip to main content
se añadieron 387 caracteres en el cuerpo
Origen Enlace
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68

Observase que en ambos casos nos quedamos con la primera aparición si se da el caso de un mismo timestamp para dos registros con la misma id. Si se pudiera dar este caso (lo veo complicado en este ejemplo concreto pero podría darse en otros) y quisiéramos el último bastaría con modificar el condicional if timestamp <= uniq[id_]["timestamp"] por if timestamp < uniq[id_]["timestamp"].

Observase que en ambos casos nos quedamos con la primera aparición si se da el caso de un mismo timestamp para dos registros con la misma id. Si se pudiera dar este caso (lo veo complicado en este ejemplo concreto pero podría darse en otros) y quisiéramos el último bastaría con modificar el condicional if timestamp <= uniq[id_]["timestamp"] por if timestamp < uniq[id_]["timestamp"].

se añadieron 1340 caracteres en el cuerpo
Origen Enlace
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68

Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro.

No obstante Por ejemplo, dadopuedes ordenar el contenido del fichero por la id de cada registro (registros = sorted(in_file, key=lambda line: line[:26]) o simplemente ordenar las lineas sin más (ya que tu id está al final terminas cargando todoinicio de la línea). Esto te agrupa los registros con el archivomismo id en memoria puedeslineas consecutivas. Hecho esto basta con iterar sobre la lista e ir comprobando la fecha para aquellos registros consecutivos con la misma id:

with open("ENDEUDADOS.txt", "rb") as in_file,\
     open("ENDEUDADOS2.txt", "wb") as out_file:

    registros = sorted(in_file)

    if registros:
        id_actual = registros[0][:26]
        timestamp_max = registros[0][109:134]
        reg_max = registros[0]

        for registro in registros:
            id_ = registro[:26]
            timestamp_ = registro[109:134]
            if id_actual != id_:
                out_file.write(registro_max)
                id_actual = id_
                timestamp_max = timestamp_
                reg_max = registro
            else:
                if timestamp > timestamp_max:
                    timestamp_max = timestamp
                    reg_max = registro
        out_file.write(reg_max)

Esto tiene dos inconvenientes:

  • Hay que ordenar las líneas del archivo, lo cual es costoso computacionalmente. Además, si la clave no está al inicio hay que sumar la sobrecarga de la llamada a la función lambda y el slicing adicional.

  • Hay que cargar todo el fichero en memoria siempre para poder ordenarlo (al menos mediante TimSort que es lo que implementa Python). Esto es muy ineficiente sobretodo si tenemos muchos registros duplicados. Imaginemos que tenemos un fichero con solo 10 registros con distinta id y 1000 líneas, terminamos creando una lista en memoria de 1000 cadenas para terminar usando solo 10...

Una alternativa es usar usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp junto al resto de campos, de forma que por cada fila actualizamos el registro en el diccionario solo si el timestamp es mayor. o agregamos el registro si no existe en el diccionario:

uniq = {}
 
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:-27]26]
        timestamp = line[-27line[109:]134]

        if id_ in uniq:
            if timestamp <= uniq[id_]uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS2.txt", "wb") as f:
    f.writelines(id_ + timestamp(registro["data"] for id_, timestampregistro in uniq.itemsvalues())) 

NoEn este caso no se requiere un ordenamiento previo de las filas del fichero y se asume que el "timestamp" está definido siempre por los últimos 26 caracteres de cada línea (mas uno que es el caráctertamaño del diccionario depende del número de nueva línea \n, observase que la fecha terminaregistros con un espacio en blanco)diferente id.

Si cada fila tuviera más información podemos hacer que el valor sea un diccionario a su vez y almacenar en el En el timestamp yejemplo anterior, el resto dediccionario solo contendrá 10 items, no 1000. Además, dado que se implementan mediante tablas hash la filabúsqueda de claves es muy eficiente. Si nuestro archivo esfuera un csv, el módulo csv y DictReader pueden ser de ayuda, en este caso la única forma de diferenciar cada campo es por sus índices.

ParaEn ambos casos, para un archivo de entrada como:

000155330074657374007936672018-07-1811.03.54.986989
000565663266965566235937542018-03-1811.04.55.886989
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-10-1107.02.30.486987

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17    

000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.86N000.0002018-02-2111.42.17.19891400000000002382.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.71+0000000042565.86N000.0002018-12-2002.15.23.84046400000000002382.33
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.86N000.0002018-07-2002.15.23.84013400000000002382.71

Edición

Si tus registros tienen más campos como muestras en los comentarios:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17

debes almacenar también esos campos en el diccionario o bien la linea completa, por ejemplo:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS3.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 

Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro.

No obstante, dado que al final terminas cargando todo el archivo en memoria puedes usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp, de forma que por cada fila actualizamos el registro en el diccionario si el timestamp es mayor.

uniq = {}
 
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:-27]
        timestamp = line[-27:]
        if id_ in uniq:
            if timestamp <= uniq[id_]:
                continue
        uniq[id_] = timestamp

with open("ENDEUDADOS2.txt", "wb") as f:
    f.writelines(id_ + timestamp for id_, timestamp in uniq.items())

No se requiere un ordenamiento previo de las filas del fichero y se asume que el "timestamp" está definido siempre por los últimos 26 caracteres de cada línea (mas uno que es el carácter de nueva línea \n, observase que la fecha termina con un espacio en blanco).

Si cada fila tuviera más información podemos hacer que el valor sea un diccionario a su vez y almacenar en el el timestamp y el resto de la fila. Si nuestro archivo es un csv, el módulo csv y DictReader pueden ser de ayuda.

Para un archivo de entrada como:

000155330074657374007936672018-07-1811.03.54.986989
000565663266965566235937542018-03-1811.04.55.886989
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-10-1107.02.30.486987

000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479


Edición

Si tus registros tienen más campos como muestras en los comentarios:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17

debes almacenar también esos campos en el diccionario o bien la linea completa, por ejemplo:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS3.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 

Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro. Por ejemplo, puedes ordenar el contenido del fichero por la id de cada registro (registros = sorted(in_file, key=lambda line: line[:26]) o simplemente ordenar las lineas sin más (ya que tu id está al inicio de la línea). Esto te agrupa los registros con el mismo id en lineas consecutivas. Hecho esto basta con iterar sobre la lista e ir comprobando la fecha para aquellos registros consecutivos con la misma id:

with open("ENDEUDADOS.txt", "rb") as in_file,\
     open("ENDEUDADOS2.txt", "wb") as out_file:

    registros = sorted(in_file)

    if registros:
        id_actual = registros[0][:26]
        timestamp_max = registros[0][109:134]
        reg_max = registros[0]

        for registro in registros:
            id_ = registro[:26]
            timestamp_ = registro[109:134]
            if id_actual != id_:
                out_file.write(registro_max)
                id_actual = id_
                timestamp_max = timestamp_
                reg_max = registro
            else:
                if timestamp > timestamp_max:
                    timestamp_max = timestamp
                    reg_max = registro
        out_file.write(reg_max)

Esto tiene dos inconvenientes:

  • Hay que ordenar las líneas del archivo, lo cual es costoso computacionalmente. Además, si la clave no está al inicio hay que sumar la sobrecarga de la llamada a la función lambda y el slicing adicional.

  • Hay que cargar todo el fichero en memoria siempre para poder ordenarlo (al menos mediante TimSort que es lo que implementa Python). Esto es muy ineficiente sobretodo si tenemos muchos registros duplicados. Imaginemos que tenemos un fichero con solo 10 registros con distinta id y 1000 líneas, terminamos creando una lista en memoria de 1000 cadenas para terminar usando solo 10...

Una alternativa es usar usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp junto al resto de campos, de forma que por cada fila actualizamos el registro en el diccionario solo si el timestamp es mayor o agregamos el registro si no existe en el diccionario:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS2.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 

En este caso no se requiere un ordenamiento previo de las filas del fichero y el tamaño del diccionario depende del número de registros con diferente id. En el ejemplo anterior, el diccionario solo contendrá 10 items, no 1000. Además, dado que se implementan mediante tablas hash la búsqueda de claves es muy eficiente. Si nuestro archivo fuera un csv, el módulo csv y DictReader pueden ser de ayuda, en este caso la única forma de diferenciar cada campo es por sus índices.

En ambos casos, para un archivo de entrada como:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17    
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.86N000.0002018-02-2111.42.17.19891400000000002382.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.71+0000000042565.86N000.0002018-12-2002.15.23.84046400000000002382.33
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.86N000.0002018-07-2002.15.23.84013400000000002382.71
se añadieron 1467 caracteres en el cuerpo
Origen Enlace
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68

Edición

Si tus registros tienen más campos como muestras en los comentarios:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17

debes almacenar también esos campos en el diccionario o bien la linea completa, por ejemplo:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS3.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 

Edición

Si tus registros tienen más campos como muestras en los comentarios:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17

debes almacenar también esos campos en el diccionario o bien la linea completa, por ejemplo:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}

        
with open("ENDEUDADOS3.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 
se añadieron 65 caracteres en el cuerpo
Origen Enlace
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68
Loading
Origen Enlace
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68
Loading