Si he entendido el problema, tienes dos DataFrames con la siguiente estructura a modo de ejemplo:
>>> notIsin
url_imagen id_sc_imagenes
0 aaa.com idni0
1 bbb.com idni1
2 ccc.com idni2
3 ddd.com idni3
4 eee.com idni4
5 fff.com idni5
>>> q_imagenes
url_imagen id_sc_imagenes
0 aaa.com idqi13
1 bbb.com idqi23
2 ccc.com idqi31
3 eee.com idqi52
4 ggg.com idqi61
Lo que buscarías es asignar el valor de la columna id_sc_imagenes
de q_imagenes
a la columna del mismo nombre del Dataframe notIsin
en aquellas filas en las que el valor de url_imagen
coincida en ambos dataframes. Es decir:
>>> notIsin
url_imagen id_sc_imagenes
0 aaa.com idqi13
1 bbb.com idqi23
2 ccc.com idqi31
3 ddd.com idni3
4 eee.com idqi52
5 fff.com idni5
Tu algoritmo es muy ineficiente básicamente porque para cada fila de notIsin
recorres al completo todas las filas de q_images
, lo que nos da el nada desdeñable número de 49382968 iteraciones...
Si estuviéramos usando Python solo, una aproximación mucho más eficiente sería usar un diccionario para q_images
, lo cual hace las búsquedas mucho más eficientes. Usar listas por compresión no es la solución en este caso. Tu algoritmo falla porque la lista final generada debe tener el mismo número de elementos que la columna notIsin['id_sc_imagenes']
, lo cual no va a pasar con los dos for
anidados que tienes.
No obstante la máxima en NumPy/Pandas es siempre vectorizar las operaciones y solo de ser totalmente necesario e inevitable recurrir a funciones/iteraciones propias de Python.
En este caso, una posibilidad sería:
Usar pandas.merge
para unir ambos DataFrames en base a la columna url_imagen
, teniendo solo en cuenta las filas de notIsin
.
Lo anterior nos genera un DataFrame similar al siguiente:
url_imagen id_sc_imagenes_x id_sc_imagenes_y
0 aaa.com idni0 idqi13
1 bbb.com idni1 idqi23
2 ccc.com idni2 idqi31
3 ddd.com idni3 NaN
4 eee.com idni4 idqi52
5 fff.com idni5 NaN
Ahora solo queda sustituir los valores NaN
de id_sc_imagenes_y
por el valor de la misma fila de id_sc_imagenes_x
. Esto lo podemos hacer con pandas.Series.fillna
.
Un ejemplo completo y reproducible:
import pandas as pd
notIsin = pd.DataFrame({
'url_imagen': ("aaa.com", "bbb.com", "ccc.com", "ddd.com", "eee.com", "fff.com"),
'id_sc_imagenes': ("idni0", "idni1", "idni2", "idni3", "idni4", "idni5")
})
q_imagenes = pd.DataFrame({
'url_imagen': ("aaa.com", "bbb.com", "ccc.com", "eee.com", "ggg.com"),
'id_sc_imagenes': ("idqi13", "idqi23", "idqi31", "idqi52", "idqi61")
})
aux = pd.merge(notIsin.loc[:,['url_imagen', 'id_sc_imagenes']],
q_imagenes.loc[:,['url_imagen', 'id_sc_imagenes']],
on='url_imagen',
how="left"
)
notIsin.loc[:, "id_sc_imagenes"] = aux['id_sc_imagenes_y'].fillna(aux['id_sc_imagenes_x'])
del(aux)
print(notIsin)