Skip to main content
1 de 5
FJSevilla
  • 62.1k
  • 7
  • 43
  • 68

Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro.

No obstante, dado que al final terminas cargando todo el archivo en memoria puedes usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp, de forma que por cada fila actualizamos el registro en el diccionario si el timestamp es mayor.

uniq = {}

with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:-26]
        timestamp = line[-26:]
        if id_ in uniq:
            if timestamp <= uniq[id_]:
                continue
        uniq[id_] = timestamp

with open("ENDEUDADOS2.txt", "wb") as f:
    f.writelines(id_ + timestamp for id_, timestamp in uniq.items())

No se requiere un ordenamiento previo de las filas del fichero y se asume que el "timestamp" está definido siempre por los últimos 25 caracteres de cada línea (mas uno que es el carácter de nueva línea \n).

Si cada fila tuviera más información podemos hacer que el valor sea un diccionario a su vez y almacenar en el el timestamp y el resto de la fila. Si nuestro archivo es un csv, el módulo csv y DictReader pueden ser de ayuda.

Para un archivo de entrada como:

000155330074657374007936672018-07-1811.03.54.986989
000565663266965566235937542018-03-1811.04.55.886989
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479
000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-10-1107.02.30.486987

Obtendríamos:

000155330074657374007936672018-07-2002.15.23.880180
000565663266965566235937542018-12-2307.15.13.236479


IMPORTANTE: en aquellos casos en los que la fecha tenga un formato en el cual el orden lexicográfico se corresponda con el temporal (como ocurre con ISO 8601) podemos realizar la comparación de las misma como cadenas. En aquellos casos en los que esto no ocurra ( por ejemplo ("2018-2-03", "2018-12-4", ...) o ("02-12-2018", "13-04-2018")) será necesario hacer un casting a datetime.datetime, UNIX timestamp, etc que permitan el correcto ordenamiento temporal.

FJSevilla
  • 62.1k
  • 7
  • 43
  • 68