Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro. Por ejemplo, puedes ordenar el contenido del fichero por la id de cada registro (registros = sorted(in_file, key=lambda line: line[:26])
o simplemente ordenar las lineas sin más (ya que tu id está al inicio de la línea). Esto te agrupa los registros con el mismo id en lineas consecutivas. Hecho esto basta con iterar sobre la lista e ir comprobando la fecha para aquellos registros consecutivos con la misma id
:
with open("ENDEUDADOS.txt", "rb") as in_file,\
open("ENDEUDADOS2.txt", "wb") as out_file:
registros = sorted(in_file)
if registros:
id_actual = registros[0][:26]
timestamp_max = registros[0][109:134]
reg_max = registros[0]
for registro in registros:
id_ = registro[:26]
timestamp_ = registro[109:134]
if id_actual != id_:
out_file.write(registro_max)
id_actual = id_
timestamp_max = timestamp_
reg_max = registro
else:
if timestamp > timestamp_max:
timestamp_max = timestamp
reg_max = registro
out_file.write(reg_max)
Esto tiene dos inconvenientes:
Hay que ordenar las líneas del archivo, lo cual es costoso computacionalmente. Además, si la clave no está al inicio hay que sumar la sobrecarga de la llamada a la función lambda y el slicing adicional.
Hay que cargar todo el fichero en memoria siempre para poder ordenarlo (al menos mediante TimSort que es lo que implementa Python). Esto es muy ineficiente sobretodo si tenemos muchos registros duplicados. Imaginemos que tenemos un fichero con solo 10 registros con distinta id y 1000 líneas, terminamos creando una lista en memoria de 1000 cadenas para terminar usando solo 10...
Una alternativa es usar usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp junto al resto de campos, de forma que por cada fila actualizamos el registro en el diccionario solo si el timestamp es mayor o agregamos el registro si no existe en el diccionario:
uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
for line in f:
id_ = line[:26]
timestamp = line[109:134]
if id_ in uniq:
if timestamp <= uniq[id_]["timestamp"]:
continue
uniq[id_] = {"timestamp": timestamp, "data": line}
with open("ENDEUDADOS2.txt", "wb") as f:
f.writelines((registro["data"] for registro in uniq.values()))
En este caso no se requiere un ordenamiento previo de las filas del fichero y el tamaño del diccionario depende del número de registros con diferente id. En el ejemplo anterior, el diccionario solo contendrá 10 items, no 1000. Además, dado que se implementan mediante tablas hash la búsqueda de claves es muy eficiente. Si nuestro archivo fuera un csv, el módulo csv
y DictReader
pueden ser de ayuda, en este caso la única forma de diferenciar cada campo es por sus índices.
En ambos casos, para un archivo de entrada como:
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17
Obtendríamos:
K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.86N000.0002018-02-2111.42.17.19891400000000002382.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.71+0000000042565.86N000.0002018-12-2002.15.23.84046400000000002382.33
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.86N000.0002018-07-2002.15.23.84013400000000002382.71
Observase que en ambos casos nos quedamos con la primera aparición si se da el caso de un mismo timestamp para dos registros con la misma id. Si se pudiera dar este caso (lo veo complicado en este ejemplo concreto pero podría darse en otros) y quisiéramos el último bastaría con modificar el condicional if timestamp <= uniq[id_]["timestamp"]
por if timestamp < uniq[id_]["timestamp"]
.
IMPORTANTE: en aquellos casos en los que la fecha tenga un formato en el cual el orden lexicográfico se corresponda con el temporal (como ocurre con ISO 8601) podemos realizar la comparación de las misma como cadenas. En aquellos casos en los que esto no ocurra ( por ejemplo ("2018-2-03", "2018-12-4", ...)
o ("02-12-2018", "13-04-2018")
) será necesario hacer un casting a datetime.datetime
, UNIX timestamp, etc que permitan el correcto ordenamiento temporal.