1

No se si exista alguna forma directa para hacer esto o se debe hacer con un algoritmo, si es con algoritmo ¿Cómo se haría?

Este es mi código actual que muestra como realizo el sort del fichero:

linea1 = sorted(open("ENDEUDADOS-FINAL.TXT"))
open("ENDEUDADOS2.TXT", "w").writelines(linea1)

Este es un ejemplo que muestra la estructura de mi archivo:

K5512261007409609666303795F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-1811.03.54.98698900000000002382.75
K5512261007409609666303795F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-2002.15.23.88018000000000002382.75
K5512261007409609666303795F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-1911.00.54.98698900000000002382.75

al final me quedaría solo con el más reciente:

K5512261007409609666303795F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-2002.15.23.88018000000000002382.75

Cada registro es identificado por los primeros 25 caracteres (K5512261007409609666303795), siendo esto es lo que hay que considerar para ver si es o no un duplicado. Los caracteres del 110 al 134 son la fecha (2018-07-2002.15.23.880180).

5
  • 1
    Hola Kwyjibo, bienvenido a Stack Overflow en español, te recomiendo pasarte por recorrido de bienvenida y Cómo preguntar para conocer mejor el sitio y cómo realizar buenas preguntas. Por ejemplo, falta algo fundamental en tu pregunta para que podamos reproducir el problema, la estructura de las líneas de tu archivo. Ahora mismo solo ordenas por orden lexicográfico las filas y no eliminas nada. Agrega algunas líneas del fichero en las que existan duplicados y la salida que esperarías para ese ejemplo. Un saludo.
    – FJSevilla
    Commented el 25 jul. 2018 a las 19:34
  • Que tal FJSevilla, gracias por los tips, me pasaré por el tutorial. Respecto a las lineas, son estas:
    – Kwyjibo
    Commented el 26 jul. 2018 a las 13:26
  • 000155330074657374007936672018-07-1811.03.54.986989 000155330074657374007936672018-07-2002.15.23.880180 000155330074657374007936672018-07-2002.15.23.880180
    – Kwyjibo
    Commented el 26 jul. 2018 a las 13:29
  • solo deberia quedar esta, la mas reciente, los ultimos 26 caracteres es el timestamp
    – Kwyjibo
    Commented el 26 jul. 2018 a las 13:35
  • 000155330074657374007936672018-07-2002.15.23.880180
    – Kwyjibo
    Commented el 26 jul. 2018 a las 13:35

1 respuesta 1

1

Con tu código actual solamente estás ordenando lexicográficamente las lineas del archivo, lo cual podría ser un primer paso para quedarte con la fecha más reciente de cada registro. Por ejemplo, puedes ordenar el contenido del fichero por la id de cada registro (registros = sorted(in_file, key=lambda line: line[:26]) o simplemente ordenar las lineas sin más (ya que tu id está al inicio de la línea). Esto te agrupa los registros con el mismo id en lineas consecutivas. Hecho esto basta con iterar sobre la lista e ir comprobando la fecha para aquellos registros consecutivos con la misma id:

with open("ENDEUDADOS.txt", "rb") as in_file,\
     open("ENDEUDADOS2.txt", "wb") as out_file:

    registros = sorted(in_file)

    if registros:
        id_actual = registros[0][:26]
        timestamp_max = registros[0][109:134]
        reg_max = registros[0]

        for registro in registros:
            id_ = registro[:26]
            timestamp_ = registro[109:134]
            if id_actual != id_:
                out_file.write(registro_max)
                id_actual = id_
                timestamp_max = timestamp_
                reg_max = registro
            else:
                if timestamp > timestamp_max:
                    timestamp_max = timestamp
                    reg_max = registro
        out_file.write(reg_max)

Esto tiene dos inconvenientes:

  • Hay que ordenar las líneas del archivo, lo cual es costoso computacionalmente. Además, si la clave no está al inicio hay que sumar la sobrecarga de la llamada a la función lambda y el slicing adicional.

  • Hay que cargar todo el fichero en memoria siempre para poder ordenarlo (al menos mediante TimSort que es lo que implementa Python). Esto es muy ineficiente sobretodo si tenemos muchos registros duplicados. Imaginemos que tenemos un fichero con solo 10 registros con distinta id y 1000 líneas, terminamos creando una lista en memoria de 1000 cadenas para terminar usando solo 10...

Una alternativa es usar usar un diccionario en el que la clave sea la id que identifique el registro y el valor el timestamp junto al resto de campos, de forma que por cada fila actualizamos el registro en el diccionario solo si el timestamp es mayor o agregamos el registro si no existe en el diccionario:

uniq = {}
with open("ENDEUDADOS.txt", "rb") as f:
    for line in f:
        id_ = line[:26]
        timestamp = line[109:134]

        if id_ in uniq:
            if timestamp <= uniq[id_]["timestamp"]:
                continue
        uniq[id_] = {"timestamp": timestamp, "data": line}


with open("ENDEUDADOS2.txt", "wb") as f:
    f.writelines((registro["data"] for registro in uniq.values())) 

En este caso no se requiere un ordenamiento previo de las filas del fichero y el tamaño del diccionario depende del número de registros con diferente id. En el ejemplo anterior, el diccionario solo contendrá 10 items, no 1000. Además, dado que se implementan mediante tablas hash la búsqueda de claves es muy eficiente. Si nuestro archivo fuera un csv, el módulo csv y DictReader pueden ser de ayuda, en este caso la única forma de diferenciar cada campo es por sus índices.

En ambos casos, para un archivo de entrada como:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.46N000.0002018-02-2111.42.17.11254800000000005282.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000070600.000000000038655.71+0000000042565.86N000.0002018-12-2002.15.23.92046400000000002553.33
K5479221007409609665701797F0NOMCPN2+0000000075382.750000000010000.000000000000438.71+0000000014528.56N000.0002018-04-2002.15.23.12046800000000001254.77
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.96N000.0002018-07-2002.15.23.15013400000000002541.71
K5479221007409609665701797F0NOMCPN2+0000004556382.750000000020000.000000000000452.71+0000000052555.16N000.0002018-01-2002.15.23.95046500000000008995.17    

Obtendríamos:

K5512261007409609666303795F0NOMCPN2+0000000452155.745455233005550.000000001425563.86+0000000001426.86N000.0002018-02-2111.42.17.19891400000000002382.75
K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.71+0000000042565.86N000.0002018-12-2002.15.23.84046400000000002382.33
K5476853007409609665577603F0NOMCPN2+0000142251556.457211566660000.000000000000183.14+0000000425136.86N000.0002018-07-2002.15.23.84013400000000002382.71

Observase que en ambos casos nos quedamos con la primera aparición si se da el caso de un mismo timestamp para dos registros con la misma id. Si se pudiera dar este caso (lo veo complicado en este ejemplo concreto pero podría darse en otros) y quisiéramos el último bastaría con modificar el condicional if timestamp <= uniq[id_]["timestamp"] por if timestamp < uniq[id_]["timestamp"].


IMPORTANTE: en aquellos casos en los que la fecha tenga un formato en el cual el orden lexicográfico se corresponda con el temporal (como ocurre con ISO 8601) podemos realizar la comparación de las misma como cadenas. En aquellos casos en los que esto no ocurra ( por ejemplo ("2018-2-03", "2018-12-4", ...) o ("02-12-2018", "13-04-2018")) será necesario hacer un casting a datetime.datetime, UNIX timestamp, etc que permitan el correcto ordenamiento temporal.

6
  • FJSevilla gracias y te comento, si tiene mas información el archivo, lo quise grabar en el archivo de salida pero en todos graba el ultimo registro.Así puse el código que me proporcionas y le añadí dos cadenas:
    – Kwyjibo
    Commented el 26 jul. 2018 a las 16:56
  • 'uniq = {} with open("ENDEUDADOS2.txt", "rb") as f: for line in f: id_ = line[0:26] cifras = line[26:109] timestamp = line[109:134] campana = line[134:168] if id_ in uniq: if timestamp <= uniq[id_]: continue uniq[id_] = timestamp with open("ENDEUDADOS3.txt", "wb") as f: f.writelines(id_ + cifras +timestamp + campana for id_, timestamp in uniq.items())'
    – Kwyjibo
    Commented el 26 jul. 2018 a las 16:56
  • Así quedaron los registros:
    – Kwyjibo
    Commented el 26 jul. 2018 a las 16:57
  • K5512261007409609666303795F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-2111.42.17.19891400000000002382.75 K5479221007409609665701797F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-2002.15.23.84046400000000002382.75 K5476853007409609665577603F0NOMCPN2+0000000002382.750000000010000.000000000000438.86+0000000000438.86N000.0002018-07-2002.15.23.84013400000000002382.75
    – Kwyjibo
    Commented el 26 jul. 2018 a las 16:57
  • @Kwyjibo he editado la respuesta, mira al final de la misma, tu problema es que no almacenas el contenido de las variables campana y cifras en cada registro del diccionario, por lo que al final writelines(id_ + cifras +timestamp + campana for id_, timestamp in uniq.items()) usa la id_ y el timestamp de cada registro (tomados del diccionario) pero campana y cifras de la última iteración del for(última línea del fichero). Eso debería resolver tu problema, sino comenta. Un saludo.
    – FJSevilla
    Commented el 26 jul. 2018 a las 17:59

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.