Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro.
No obstante Por ejemplo, dadopuedes ordenar el contenido del fichero por la id de cada registro (registros = sorted(in_file, key=lambda line: line[:26])
o simplemente ordenar las lineas sin más (ya que tu id está al final terminas cargando todoinicio de la línea). Esto te agrupa los registros con el archivomismo id en memoria puedeslineas consecutivas. Hecho esto basta con iterar sobre la lista e ir comprobando la fecha para aquellos registros consecutivos con la misma id
:
with open("ENDEUDADOS.txt", "rb") as in_file,\
open("ENDEUDADOS2.txt", "wb") as out_file:
registros = sorted(in_file)
if registros:
id_actual = registros[0][:26]
timestamp_max = registros[0][109:134]
reg_max = registros[0]
for registro in registros:
id_ = registro[:26]
timestamp_ = registro[109:134]
if id_actual != id_:
out_file.write(registro_max)
id_actual = id_
timestamp_max = timestamp_
reg_max = registro
else:
if timestamp > timestamp_max:
timestamp_max = timestamp
reg_max = registro
out_file.write(reg_max)
Esto tiene dos inconvenientes:
Hay que ordenar las líneas del archivo, lo cual es costoso computacionalmente. Además, si la clave no está al inicio hay que sumar la sobrecarga de la llamada a la función lambda y el slicing adicional.
Hay que cargar todo el fichero en memoria siempre para poder ordenarlo (al menos mediante TimSort que es lo que implementa Python). Esto es muy ineficiente sobretodo si tenemos muchos registros duplicados. Imaginemos que tenemos un fichero con solo 10 registros con distinta id y 1000 líneas, terminamos creando una lista en memoria de 1000 cadenas para terminar usando solo 10...
Una alternativa es usar usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp junto al resto de campos, de forma que por cada fila actualizamos el registro en el diccionario solo si el timestamp es mayor. o agregamos el registro si no existe en el diccionario:
uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
for line in f:
id_ = line[:-27]26]
timestamp = line[-27line[109:]134]
if id_ in uniq:
if timestamp <= uniq[id_]uniq[id_]["timestamp"]:
continue
uniq[id_] = {"timestamp": timestamp, "data": line}
with open("ENDEUDADOS2.txt", "wb") as f:
f.writelines(id_ + timestamp(registro["data"] for id_, timestampregistro in uniq.itemsvalues()))
NoEn este caso no se requiere un ordenamiento previo de las filas del fichero y se asume que el "timestamp" está definido siempre por los últimos 26 caracteres de cada línea (mas uno que es el caráctertamaño del diccionario depende del número de nueva línea \n
, observase que la fecha terminaregistros con un espacio en blanco)diferente id.
Si cada fila tuviera más información podemos hacer que el valor sea un diccionario a su vez y almacenar en el En el timestamp yejemplo anterior, el resto dediccionario solo contendrá 10 items, no 1000. Además, dado que se implementan mediante tablas hash la filabúsqueda de claves es muy eficiente. Si nuestro archivo esfuera un csv, el módulo csv
y DictReader
pueden ser de ayuda, en este caso la única forma de diferenciar cada campo es por sus índices.
ParaEn ambos casos, para un archivo de entrada como:
000155330074657374007936672018-07-1811.03.54.986989
000565663266965566235937542018-03-1811.04.55.886989
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-10-1107.02.30.486987
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.86N000.0002018-02-2111.42.17.19891400000000002382.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.71+0000000042565.86N000.0002018-12-2002.15.23.84046400000000002382.33
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.86N000.0002018-07-2002.15.23.84013400000000002382.71
Edición
Si tus registros tienen más campos como muestras en los comentarios:
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17
debes almacenar también esos campos en el diccionario o bien la linea completa, por ejemplo:
uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
for line in f:
id_ = line[:26]
timestamp = line[109:134]
if id_ in uniq:
if timestamp <= uniq[id_]["timestamp"]:
continue
uniq[id_] = {"timestamp": timestamp, "data": line}
with open("ENDEUDADOS3.txt", "wb") as f:
f.writelines((registro["data"] for registro in uniq.values()))