0

tengo dos DataFrame y quería saber cual es la mejor manera de iterar y comparar ciertos datos entre ambos y si es posible hacerlo con una list comprehension.

notIsin y q_imagenes son mis 2 df , comparando el valor de 'url_imagen' obtengo el id y asi lo agrego en su fila correspondiente. Esto es lo que tengo de código.

nota:

len(q_imagenes)
output: 41084


len(notIsin)

output: 1202

De esta manera estuvo 5 minutos y lo interrumpí porque al parecer es ineficiente:

for index,row in notIsin.iterrows():
    for ind,reg in q_imagenes.iterrows():
        if(row['url_imagen'] == reg['url_imagen']):
            notIsin.loc[index, 'id_sc_imagenes'] = reg['id_sc_imagenes']

Luego intente hacer algo como esto y tampoco tuve exito:

notIsin['id_sc_imagenes'] = [reg['id_sc_imagenes'] for ind,reg in q_imagenes.iterrows() for index,row in notIsin.iterrows() if row['url_imagen']== reg['url_imagen']]

Con un solo DataFrame me sale, pero con 2 no puedo entenderlo.

1 respuesta 1

1

Si he entendido el problema, tienes dos DataFrames con la siguiente estructura a modo de ejemplo:

>>> notIsin    

  url_imagen id_sc_imagenes
0    aaa.com          idni0
1    bbb.com          idni1
2    ccc.com          idni2
3    ddd.com          idni3
4    eee.com          idni4
5    fff.com          idni5



>>> q_imagenes   

  url_imagen id_sc_imagenes
0    aaa.com         idqi13
1    bbb.com         idqi23
2    ccc.com         idqi31
3    eee.com         idqi52
4    ggg.com         idqi61

Lo que buscarías es asignar el valor de la columna id_sc_imagenes de q_imagenes a la columna del mismo nombre del Dataframe notIsin en aquellas filas en las que el valor de url_imagen coincida en ambos dataframes. Es decir:

>>> notIsin    

  url_imagen id_sc_imagenes
0    aaa.com         idqi13
1    bbb.com         idqi23
2    ccc.com         idqi31
3    ddd.com          idni3
4    eee.com         idqi52
5    fff.com          idni5

Tu algoritmo es muy ineficiente básicamente porque para cada fila de notIsin recorres al completo todas las filas de q_images, lo que nos da el nada desdeñable número de 49382968 iteraciones...

Si estuviéramos usando Python solo, una aproximación mucho más eficiente sería usar un diccionario para q_images, lo cual hace las búsquedas mucho más eficientes. Usar listas por compresión no es la solución en este caso. Tu algoritmo falla porque la lista final generada debe tener el mismo número de elementos que la columna notIsin['id_sc_imagenes'], lo cual no va a pasar con los dos for anidados que tienes.

No obstante la máxima en NumPy/Pandas es siempre vectorizar las operaciones y solo de ser totalmente necesario e inevitable recurrir a funciones/iteraciones propias de Python.

En este caso, una posibilidad sería:

  • Usar pandas.merge para unir ambos DataFrames en base a la columna url_imagen, teniendo solo en cuenta las filas de notIsin.

  • Lo anterior nos genera un DataFrame similar al siguiente:

      url_imagen id_sc_imagenes_x id_sc_imagenes_y
    0    aaa.com            idni0           idqi13
    1    bbb.com            idni1           idqi23
    2    ccc.com            idni2           idqi31
    3    ddd.com            idni3              NaN
    4    eee.com            idni4           idqi52
    5    fff.com            idni5              NaN
    
  • Ahora solo queda sustituir los valores NaN de id_sc_imagenes_y por el valor de la misma fila de id_sc_imagenes_x. Esto lo podemos hacer con pandas.Series.fillna.

Un ejemplo completo y reproducible:

import pandas as pd


notIsin = pd.DataFrame({
    'url_imagen': ("aaa.com", "bbb.com", "ccc.com", "ddd.com", "eee.com", "fff.com"),
    'id_sc_imagenes': ("idni0", "idni1", "idni2", "idni3", "idni4", "idni5")
    })

q_imagenes = pd.DataFrame({
    'url_imagen': ("aaa.com", "bbb.com", "ccc.com", "eee.com", "ggg.com"),
    'id_sc_imagenes': ("idqi13", "idqi23", "idqi31", "idqi52", "idqi61")
    })


aux = pd.merge(notIsin.loc[:,['url_imagen', 'id_sc_imagenes']],
              q_imagenes.loc[:,['url_imagen', 'id_sc_imagenes']],
              on='url_imagen',
              how="left"
              )

notIsin.loc[:, "id_sc_imagenes"] = aux['id_sc_imagenes_y'].fillna(aux['id_sc_imagenes_x'])
del(aux)
print(notIsin)
2
  • Muchas gracias, mañana en lo probaré en mi notebook. Lo pude solucionar haciendo merge pero de otra forma, mañana lo compartiré a ver que me dices Commented el 31 may. 2019 a las 0:23
  • Como ayer te comentaba, lo hice de esta manera, cual es la diferencia de usar .loc:? result = pd.merge(notIsin, img_nuevas[['id_sc_imagenes','url_imagen']], on='url_imagen') Commented el 31 may. 2019 a las 17:51

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.