0

Como hacer mas rapido este codigo Python ?? Me busca y compara 2 valores en base de datos TXT de 1200000 lineas.

for x in range(1):
    y=int(input("introduce numero base :"))
    j=int(input("introduce numero flotante :"))
    
for i in range(j,1200000 ):
    file = open("XXpi.txt")        
    nlinea1 = [y+i]                         
  
    for pos, l_num in enumerate(file):    
                if pos in nlinea1:        
                          
                    a=(l_num[:3])
                    b=(l_num[6:])
    file = open("XXpi.txt")               
    nlinea2 = [i+j]                         
  
    for pos, l_num in enumerate(file):    
                if pos in nlinea2:           
                    
                    d=(l_num[:3])
                    e=(l_num[6:])             
                        
                    k=int(str(a)+str(b))-int(str(d)+str(e))
               
    if k== 0:
        print(k)
        print(i+1)
        print(nlinea1)
        print(nlinea2)

El archivo TXT es de la forma :

936192459
459514179
391402061
598250479
701609233
609978327
368377111
226213662
988740083
493724626
483964461
965443572
287906354
523994694
544975513
419894027
071232635
758924396
329724050
219818001
737402273
111950711
290361967
012856477
521514385
766564667
827240781
183157349
378296626
6
  • 1. No necesitas un for para pedir los datos 2. No abras el archivo en cada iteración, mejor léelo todo y guardalo en una lista, cada línea es un elemento de la lista, lo puedes hacer con file.readlines() y esto lo debes hacer antes del ciclo.
    – Christian
    el 30 may. 2022 a las 22:17
  • @christian no me gusta readlines. Es mejor mover el cursor al principio del txt en lugar de gastar memoria leyendo todo el archivo. Pero concuerdo con que el OP abre el archivo demasiadas veces.
    – Dante S.
    el 30 may. 2022 a las 22:18
  • @DanteS. ha claro. Se me había olvidado >_< ya he dejado bastante de lado python.
    – Christian
    el 30 may. 2022 a las 22:24
  • Por que lenguaje dejaste a Python de lado @Christian??? Se te extraña por acá!
    – Dante S.
    el 30 may. 2022 a las 22:26
  • 1
    Pues suerte con ello y gracias por este pequeño permitido en los comentarios c: Te noto apareciendo por aqui de vez en cuando!
    – Dante S.
    el 30 may. 2022 a las 22:31

2 respuestas 2

2

La unica optimización de velocidad que se me ocurre (pueden haber más, pero necesitaría saber el proposito del código) es abrir el archivo la menor cantidad de veces posible.

En este caso, podemos reducir el numero de veces a una sola. Además, si queremos recorrer el archivo varias veces, podemos mover el cursor del archivo al principio de éste.

También podemos sacar los prints, ya que reducen mucho la velocidad de los programas

import random

# genero un archivo de prueba
with open("XXpi.txt", "w") as file:
    for _ in range(1200000):
        file.write(str(random.randint(0, 10**9)))
        file.write("\n")

for x in range(1):
    y=int(input("introduce numero base :"))
    j=int(input("introduce numero flotante :"))

with open("XXpi.txt") as file:
    for i in range(j,1200000):
        nlinea1 = [y+i]                  

        # movemos el cursor a la posición 0 del archivo.
        file.seek(0)
      
        for pos, l_num in enumerate(file):    
            if pos in nlinea1:        
                a=(l_num[:3])
                b=(l_num[6:])
              
        nlinea2 = [i+j]                         

        file.seek(0)
        
        for pos, l_num in enumerate(file):    
            if pos in nlinea2:           
                
                d=(l_num[:3])
                e=(l_num[6:])             
                    
                k=int(str(a)+str(b))-int(str(d)+str(e))
4
  • Hola "k" es la resta de 2 numeros ; cuando se da el valor "0" es porque ha encontrado la igualdad entre 2 numeros y tiene que detenerse .. gracias he hecho correr el archivo y no aparece nada .. gracias
    – george
    el 30 may. 2022 a las 23:17
  • Perdona por no darme cuenta bien las cosas. Tus agradecimientos son sarcasticos? No muestra nada por que quité los prints. Si quieres puedes agregarlos devuelta (pero ralentizaran el proceso).
    – Dante S.
    el 30 may. 2022 a las 23:19
  • De ninguna manera son sarcasticos . No programaba desde hace unos 40 años por lo que sus aportes los agradesco mucho .. pero quedo en el aire en algunas cosas que me aportan..gracias
    – george
    el 30 may. 2022 a las 23:23
  • Ahhh, entonces fui yo que me dio un poco la impresión. Me alegro de que sirvan c: Pregunta lo que quieras (siempre que se pueda contestar en comentarios). Cuando ganes suficiente reputación (20) podrás entrar a nuestro chat y preguntar cosas mas extensas :D
    – Dante S.
    el 30 may. 2022 a las 23:27
0

Si explicas algo más de lo que son "numero base" y "numero flotante" igual te podríamos ayudar más.

Algunas optimizaciones claras:

El bucle for para los inputs sobra:

y = int(input("introduce numero base :"))
j = int(input("introduce numero flotante :"))    

Cuando abres un fichero, siempre hay que cerrarlo. Libera recursos:

    file = open("XXpi.txt")        
...
    file.close()

El modo pythónico para abrir un fichero y no olvidarte cerrarlo es usando una estructura with:

with open("XXpi.txt") as file:
   ...

Al salir del with se cierra automáticamente el fichero.

Cuando compruebas si has llegado a una posición haces lo siguiente:

    nlinea2 = [i+j]                         
  
    for pos, l_num in enumerate(file):    
                if pos in nlinea2: 

O sea, compruebas si pos está en la lista nlinea2. Esta comprobación es equivalente a hacer simplemente un chequeo de igualdad:

    for pos, l_num in enumerate(file):    
                if pos == i + j: 

Otra optimización:

k = int(str(a)+str(b))-int(str(d)+str(e))

if k == 0:
    ...

Este modo de comprobar si los dos números son iguales se puede dejar más simple como:

if str(a)+str(b) == str(d)+str(e):
   ...

Incluso mejor, ya que se tratan de cadenas de igual tamaño:

if (a, b) == (d, e):
   ...

Por otro lado, no es eficiente estar abriendo una y otra vez el fichero para recorrerlo

Sabiendo algo más, igual se podría usar alguna función de bajo nivel para acceder a la línea en concreto que se quiere leer, en lugar de leer todas las líneas del fichero.

Intentemos optimizar la lectura del fichero con la información que tenemos. Por lo que parece, se comprueba la línea y+j con la j+j, luego las siguientes, y+j+1 con j+j+1, y+j+2 con j+j+2, así hasta llegar al final del fichero. No sé cuánto valdrá y y j, pero supongamos que xmin = min(y+j, j+j) y xmax = max(y+j, j+j). El número de líneas entre el máximo y el mínimo será numlineas = xmax - xmin + 1. Seguramente, será un rango de líneas asumible para guardar en memoria en una caché para así evitar la segunda lectura del fichero.

from collections import deque
from itertools import islice

y = int(input("introduce numero base :"))
j = int(input("introduce numero flotante :"))

nlinea1 = y + j
nlinea2 = j + j

# tamaño para la caché
xmin = min(nlinea1, nlinea2)
xmax = max(nlinea1, nlinea2)
maxlen = xmax - xmin + 1

# caché
cache = deque(maxlen=maxlen)

with open("XXpi.txt") as file:

    # saltamos las primeras líneas
    next(islice(file, xmin, xmin), None)

    # llenamos la caché
    for i in range(maxlen):
        cache.append(file.readline())

    # comprobamos coincidencias
    for pos, line in enumerate(file):
        line1 = line[:3] + line[6:]
        line2 = cache.popleft()
        cache.append(line1)  # se guarda la línea procesada

        if line1 == line2:
            print(line)
            print("Línea 1", xmin+maxlen+pos)
            print("Línea 2", xmin+pos)

El código lo he escrito sin comprobar nada, así que seguro que los índices están incorrectos. Basta con probar y hacer las correcciones correspondientes. Pero la idea sería algo así.

3
  • Primero darte las gracias por tu tiempo ..."el numero base y numero flotante ". Son los numeros a comparar; como no son iguales , se les suma una unidad hasta encontrar la igualdad . Son el principio de la comparacion.. gracias
    – george
    el 31 may. 2022 a las 6:57
  • Hola ..una pregunta : aparece unsupported operation not readable..from collections import deque.py,line 25, in module cache.append8FILE.READLINE())....COMO SE TRADUCE ESTO .. gracias
    – george
    el 31 may. 2022 a las 17:46
  • Había copiado el open("XXpi.txt", "w") del comentario de @Dante_S. Al abrirlo como escritura, el fichero se machaca y no hay nada qué leer. Ya he corregido el código. el 31 may. 2022 a las 18:59

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.