6

Hola buenas noches recurro a ustedes para obtener sabiduría jaja, Resulta que tengo varios días tratando de organizar un TXT (Leer un TXT A e Imprimir un TXT B)

el asunto es que supongamos esta ordenado con registros de la siguiente manera:

1 2 3 1 2 3 ....

Y así sucesivamente, Obviamente aquí lo resumo muchísimo pero la realidad del archivo es que tiene mas de 1.000.000 de lineas y los registros pueden llegar a repetirse supongamos 4 veces, es decir que tendria 250.000 registros pero en 1.000.000 de lineas.

Lo que necesito es que quede organizado de tal manera que obtenga solo 250.000 líneas (siguiendo con el ejemplo) agrupando todo lo que sea 1, 1, 1, 1 ... 2, 2, 2, 2.

En un principio lo que se me ocurrio fue crear un ciclo que recorra el archivo, almacenar el ID (el numero) en una variable luego leer la siguiente linea y verificar si es igual o diferente, Si es igual uno las líneas y continuo buscando otros ID tantas veces sepa que se repite (porque si puedo saber cuantas veces se va a repetir un ID) entonces yo en un ciclo de X Repeticiones ubico todos los ID idénticos una vez hecho eso, cierro el archivo, lo vuelvo a abrir, le indico al archivo cuantas líneas voy a leer para obtener un nuevo ID y repito el proceso hasta que se tengo las 250.000 lineas.

Debo aclarar que lo que tengo funciona, pero es extremadamente tardado... entonces quisiera saber si hay forma de agilizarlo. Anexo el código de lo que indico, disculpen si no es bueno pero estoy comenzando en este lenguaje.

f = open("ArchivoEntrada.txt")
linea = f.readline()
conteo = 0
while linea != "":
    conteo = conteo + 1
    linea = f.readline()

f.close()
conteo = conteo + 1

#Lo primero que hago es verificar cuantas líneas tiene el archivo, esto lo hago recorriendo linea a linea y llevando un contador, no se si existe otro metodo.

g = open("ArchivoSalida.txt","w")

MyPos = 1  #Linea del archivo donde estoy parado actualmente
paginas = 4 #Cantidad de veces que se que se repite un mismo ID

while MyPos < conteo:

    f = open("ArchivoEntrada.txt")
    linea = f.readline()
    linea = linea.replace("\n", "")
    a = 1
    while a != MyPos:
        linea = f.readline()
        linea = linea.replace("\n", "")
        a = a + 1

    #Con esta variable A lo que le indico es al archivo que lea tantas lineas hasta llegar a MyPos que se supone voy sumando 1 cada vez que termino de imprimir algo.

    LineaN = linea
    AuxNew = int(linea[0:8])

    if AuxNew > AuxAnt:  
        ID1 = int(linea[0:8])
        AuxAnt = ID1

#Con la variable AuxNew puedo ver si el ID que estoy leyendo es mayor al anterior que tenia, si no fuera mayor sencillamente me salto la linea porque ya lo habria unificado en un punto previo. esto claramente es para cuando estoy volviendo a leer los valores 1, 2, 3 por segunda vez por ejemplo.

        j = 1
        while j < paginas:
            linea = f.readline()
            linea = linea.replace("\n", "")
            ID2 = int(linea[0:8])

            while ID1 != ID2:
                linea = f.readline()
                linea = linea.replace("\n", "")
                ID2 = int(linea[0:8])

#Procedo a leer la linea de Abajo hasta que el ID1 e ID2 sean iguales, una vez identifico que son iguales unifico y repito tantas veces como repeticiones sepa que tendré
            
            LineaN = LineaN + linea[9:]
            j = j + 1

        g.write(LineaN.strip()  +'\n')

#Finalmente imprimo la Linea unificada (LineaN) y repito el proceso sumando 1 a MyPos, con lo que cada vez iré bajando 1 linea mas en el archivo desde el comienzo pero obviamente haciendo un bucle de lectura desde 1 hasta MyPos.

    MyPos = MyPos + 1
    f.close()

g.close()


5
  • Por cierto el numero 1, 2, 3, 1, 2, 3 Estan cada uno en una linea. Al publicar se coloco todo pegado Commented el 4 sept. 2021 a las 6:18
  • Tu archivo es: 1,2,2,3,1,3 o 1:{},2:{},3{}. Pero si solo necesitas agarrar los numero y inglesarlo en orden puedes agarrar un diccionario y llenarlo de numero como key con valor dé 0: dic={ "%d"%i:0 for i in range(0,10)};, ahora complobamos Si el char actual es un numero inclementamos el contador de ese numero: if char>='0' and char<='9': dic[char]+=1;. y cuando debas escribirlo puedes hacer: for key,value in dic: for i in range( value ): f.write(key);
    – DABL03
    Commented el 4 sept. 2021 a las 6:53
  • Concretamente cada linea es mas o menos similar a esto: 00000001_|1393|CON|55|2042100|018||DDE|| 00000002_|2965|CON|55|2034000|019||DDE|| asi consecutivamente luego mas adelante aparece 00000001_|||0.00|0.00|0.00| 00000002_|||0.00|0.00|0.00| es decir cada vez que hay un nuevo ID (Los primeros 8 digitos) es una nueva linea. Commented el 4 sept. 2021 a las 7:01
  • Y como destaco... son 1 milllon de lineas que deben quedar en 250 mil lineas unicas agrupadas por el ID Commented el 4 sept. 2021 a las 7:06
  • ¿Por que no usar un sort externo?
    – Candid Moe
    Commented el 4 sept. 2021 a las 10:34

2 respuestas 2

4

El problema se puede resolver usando muy pocas líneas de código, y de forma muy eficiente si usas un diccionario para ir guardando (agrupados por id) todos los datos en una única lectura del fichero. El único inconveniente de este enfoque es que puede requerir demasiada memoria, pues todo el contenido del fichero quedaría en ese diccionario, en RAM, antes de ser volcado. Ya que indicas que el fichero tiene un tamaño muy grande, pudiera ser que no dispusieras de suficiente memoria para la operación. En ese caso proporciono otra idea más adelante.

Usando un diccionario (alto consumo de RAM)

El código lo separo en dos funciones. Una que lee el fichero completo y lo guarda en el diccionario que te decía antes, en el que cada clave es cada posible id encontrado en el fichero, y cada valor es una lista con todas las líneas que contenían ese id (una vez eliminado el mismo de cada línea). Otra función recibe este diccionario y lo usa para crear las líneas que concatenan en una sola todas las que pertenecen a un mismo id.

def procesar_fichero(nombre_fichero):
  datos = {}
  with open(nombre_fichero) as f:
    for linea in f:
      id, resto = linea.strip().split("|", 1)
      if id not in datos:
        datos[id] = resto
  return datos

def volcar_fichero(nombre_fichero, datos):
  with open(nombre_fichero, "w") as f:
    for id, valores in datos:
      contenido = valores.join("|")
      f.write(id + "|" + contenido + "\n")

d = procesar_fichero("Entrada.txt")
volcar_fichero("Salida.txt", d)

Nota. No dispongo de tu fichero en realidad, por lo que el código anterior no he podido probarlo. Y en concreto no estoy seguro de si necesitas usar "|" para juntar en una lo que antes eran líneas separadas o no. Tampoco he puesto en mi código la parte en la que reemplazas "||||" por una cadena vacía, pues no entiendo bien la razón de hacer eso.

Solución alternativa (no consume RAM)

Una solución alternativa que no consuma RAM, pero que también use una única lectura del fichero, parte de la idea de que el fichero de entrada esté previamente ordenado alfabéticamente, lo que causará que todas las líneas con el mismo ID estén consecutivas en la entrada. Eso hace fácil detectar cuándo se termina el "bloque" que debe ser concatenado en una sola línea, y tan solo requiere guardar en memoria la línea que está siendo procesada y no todo el fichero (ni siquiera la cadena que está siendo concatenada).

Esta sería la idea (asumiendo el fichero previamente ordenado como dije):

def procesar2(f_entrada, f_salida):
  id_anterior = ""
  with open(f_entrada) as f, open(f_salida, "w") as g:
    for linea in f:
      id, resto = linea.strip().split("|", 1)
      if id != id_anterior:
        if id_anterior != "":
          g.write("\n")
        g.write(id)
        id_anterior = id
      g.write("|" + resto)

procesar2("Entrada_ordenada.txt", "Salida.txt")

Si el fichero no estuviera ordenado, podrías ordenarlo previamente con alguna herramienta de línea de comandos, como sort (en linux). Por ejemplo así:

$ sort -t='|' -k1 < Entrada.txt > Entrada_ordenada.txt

Nota2: En realidad esta solución parece estar haciendo trampa, pues si bien el tener el archivo ordenado permite que el programa python sea muy eficiente en el uso de memoria, hemos derivado a sort el problema, ya que aparentemente sort necesitará usar igualmente mucha memoria para ordenar el archivo. Lo cierto es que sort es muy eficiente también en este aspecto pues detecta si hay o no suficiente RAM y en caso de ser necesario divide el archivo en trozos, ordena cada uno por separado en diferentes ficheros auxiliares, y después realiza un merge-sort entre todos ellos, todo esto de forma transparente para ti. Además, al estar sort implementado en C esta solución será seguramente más rápida que la primera basada en diccionarios, aunque realmente habría que cronometrar para estar seguros, pues la implementación de diccionarios en python es también muy eficiente, y evita realizar la ordenación.

3

Ya logre solucionar el problema, luego de darle mil vueltas lo que hice fue almacenar el Valor de AuxAnt la primera vez que se repite en una variable unica y cuando AuxNew > AuxAnt sumo Ese numero a MyPos.... asi cuando abro el archivo no tengo que volver a comparar todas las lineas ya revisadas si no que leo hasta la nueva linea.

f = open("Entrada.txt")
linea = f.readline()
conteo = 0
auxiliar2 = 0
while linea != "":
    conteo = conteo + 1
    linea = f.readline()

f.close()
conteo = conteo + 1

g = open("Salida.txt","w")

MyPos = 1
paginas = 2

while MyPos < conteo:

    f = open("Entrada.txt")
    linea = f.readline()
    linea = linea.replace("\n", "")
    a = 1
    while a != MyPos:
        linea = f.readline()
        linea = linea.replace("\n", "")
        a = a + 1

    LineaN = linea
    AuxNew = int(linea[0:8])

    if AuxNew > AuxAnt:
        ID1 = int(linea[0:8])
        AuxAnt = ID1

        j = 1
        while j < paginas:
            linea = f.readline()
            linea = linea.replace("\n", "")
            ID2 = int(linea[0:8])

            while ID1 != ID2:
                linea = f.readline()
                linea = linea.replace("\n", "")
                ID2 = int(linea[0:8])
            
            LineaN = LineaN + linea[9:]
            LineaN = LineaN.replace("||||", "")
            j = j + 1

        g.write(LineaN.strip()  +'\n')

    else:

        if Auxiliar2 == 0:
            Auxiliar2 = AuxAnt - 1

        MyPos = MyPos + Auxiliar2

    MyPos = MyPos + 1
    f.close()

g.close() 

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.