0

Necesito comparar fila por fila una columna de edad en dos dataframes diferentes. Cuando las filas sean iguales se genera un dato para la fila de una columna adicional, para incorporar al dataframe 1. Un dataframe tiene 25 mil filas y el otro dataframe tiene 12 mil filas. Obviamente es muy ineficiente y tardará mucho. Me pueden dar una idea de una mejor manera de hacerlo?

nacionalidad = []
for i in range(df1.shape[0]):
    for j in range(df2.shape[0]):
        if df1['Atributo1'][i] == df2['Atributo2'][j]:
            nacionalidad.append(df2['pais_nacionalidad'][j])
1
  • Buen día, las preguntas que buscan ayuda con la depuración deben incluir el comportamiento esperado, un problema específico o error, y el código más corto necesario para reproducirlo en la propia pregunta. Las preguntas sin un planteamiento claro del problema no son útiles para otros lectores. Véase: Cómo crear un Ejemplo mínimo, completo y verificable. Por favor edita tu pregunta y agrega el mínimo código necesario para reproducir el problema y algunas filas de tu dataframe como texto, no como imagen. Commented el 23 nov. 2022 a las 2:46

1 respuesta 1

0

La busqueda realizada esta siendo a ciegas y fuerza bruta, yo sugiero hacerla filtrando con mascara las filas de df2 que cumplen, de esta forma se reducen la cantidad de iteraciones en consecuencia el tiempo de ejecucion.

Esto se puede resolver usando la indexacion de dataframes segun dato es decir, buscar "juanita" en cierta columna de un data frame y devolver las filas que cumplen.

esto en codigo de python usando pandas para tus variables seria:

df1[ df1["atributo1"] == "juanita" ]

esta sentencia en general significa que se buscara el dato tipo string "juanita" en la columna "atributo1" del dataframe contenido en la variable llamada df1 y devolvera todas las listas con coincidencias exactas

ENMASCARADO

df1["atributo1"] == "juanita"

ESTA SECCION De la linea genera una "mascara" del data frame en df1. Esto significa que genera un data frame con solo valores booleanos, con dimensiones identicas al dataframe involucrado, y estos valores booleanos son True en las celdas que cumple la condicion y False en las que no.

INDEXING

df1[ df1["atributo1"] == "juanita" ]

El indexing es el termino que se usa al referirse al ACCESO de informacion contenido en lista, tupla, matrizes, diccionarios y otros a traves de un identificador que puede ser un dato tipo str, int, boolean dependiendo de la informacion contenida

Los dataframe de pandas permiten el indexing por medio de numeros enteros, strings o booleanos. Debido a esto ultimo, las mascaras anteriormente explicadas permiten acceder a las columnas, filas o celdas que SI cumplen la condicion. Por esto, al combinar el indexing y las mascaras, se puede acceder de manera rapida a los datos de interes.

desarrollo de SOLUCION

En tu caso, el dato de interes consiste en la edad que se ubica en la columna "atributo1" del dataframe cotneido en df1 y en la columna "atributo2" del dataframe contenido en df2, por lo que se trabajara con estas columnas.

Como ya sabes, el acceso a los datos contenidos en la columna "atributo1" del dataframe en df1 se realiza con esta sencilla sentencia

df1["Atributo1"] 

y la misma forma para el dataframe contenido en df2

df2["Atributo1"]

Una vez localizado los datos de interes, hay que razonar la condicion de enmascarado. En este caso, la condicion de enmascarado es el dato edad, cual desconozco su tipo dato.

Tambien me dices que deseas buscar las edades del dataframe de df1 en df2. por lo que se usaran las edades en la columna "Atributo1" del dataframe en df1 para generar una mascara que indexara a df2.

esto en codigo es

df2["Atributo1"] == 15 ]

Esto genera una mascara con booleanos donde tendra un True en cada celda de la columna Atributo1 que contenga el dato 15 pero como la edad no es fija, si no que variable, ese 15 debe ser un valor contenido en una celda especifica de la columna Atributo1 del data frame contenido en df1, por lo que indexaremos a este con la siguiente sentencia

df1["Atributo1"][1 ]

Esta sentencia accede al dato de la fila 1 en la columna "Atributo1" del data frame contenido en df1.

Combinando ambas tenemos.

df2["Atributo1"] == df1["Atributo1"][1 ] ]

esto significa que se esta buscando el valor de la celda del dataframe df1 en la columna atributo1 del dataframe df2, colocando un True donde hay coincidencia y False donde no.

El resultado de esta ultima sentencia genera una mascara, como ya te habia mencionado, y es exactamente esta mascara que se usara para acceder solo a las filas que cumplen la condicion, por medio de un indexing por mascara.

el indexing por mascara se ejecutaria con esta sentencia

df2["Atributo1"][  df2["Atributo1"] == df1["Atributo1"][1 ]   ]

Esta sentencia resultara en una matriz con todas las lineas que cumplen la condicion. es decir, todas las filas en la columna atributo1 del data frame en df2 que SI cumplen la condicion.

Esta linea es dificil de leer, pero se puede facilitar usando la mascara atraves de una variable:

mascara = df2["Atributo1"] == df1["Atributo1"][1 ]
df2["Atributo1"][  mascara ]

haciendo mas legible el codigo.

Hasta el momento, solo se identificado las filas de df2 de su columna atributo1 que tienen la edad contenida en df1["Atributo1"][1 ], pero tu no deseas realizar una sola busqueda, si no que multiples veces esta misma busqueda con cada dato de edad de la columna atributo1 del data frame en df1. por lo que en vez de uusar un dato fijo como es 1, que solo permite acceder a la misma celda en cada indexing, pues usare una variable i, que recibira un entero correspondiente a una fila, y estos enteros seran un conjunto de numeros identicos a la cantidad de filas en el dataframe en df1.

de la misma forma que lo haces tu, identifico la cantidad de filas de df1 df1.shape[0]

y genero un conjunto de numeros enteros en el rango del 0 a df1.shape[0]

range(df1.shape[0])

para luego, recorrerlos con un for:

for i in range(df1.shape[0]):

Todo esto era para usar en vez del 1, una variable, de esta forma buscare cada edad del df1 en df2.

entonces relaciono la variable i del for, con el indexing del dato en df1.

df1["Atributo1"][ i ]

Lo cual permite acceder a cada celda de la columna Atributo1 por separado si lo combinamos con el for...

for i in range(df1.shape[0]):
  df1["Atributo1"][ i ]

Pero tu no quieres solo acceder al dato, quieres buscarlo las filas que lo tienen de df2, por lo que agregamos el codigo que desarrollamos anteriormente para indexar df2

for i in range(df1.shape[0]):
   mascara = df2["Atributo1"] == df1["Atributo1"][1 ]
   df2["Atributo1"][  mascara ]

Para facilitar aun mas la lectura, recurrimos a otra variable, i_edad, que contendra la edad a usar condicion en la mascara.

for i in range(df1.shape[0]):
   
   i_edad = df1["Atributo1"][i ]
   mascara = df2["Atributo1"] == i_edad
   df2["Atributo1"][  mascara ]

Pero las filas que accedimos en df2 no se guardan en ningun lugar, por lo que las guardaremos en la variable coincidencias.

for i in range(df1.shape[0]):
   
   i_edad = df1["Atributo1"][i ]
   mascara = df2["Atributo1"] == i_edad
   coincidencias = df2["Atributo1"][  mascara ]

finalmente, tu querias agregar datos cuando se cumpla la condicion, por lo que incluimos las sentencias de crear lista y agregar dato a esa lista cuando se cumpla la condicion.

nacionalidad = []
for i in range(df1.shape[0]):
   
   i_edad = df1["Atributo1"][i ]
   mascara = df2["Atributo1"] == i_edad
   coincidencias = df2["Atributo1"][  mascara ]
   for indx, edad in coincidencias.iterrows() :

      nacionalidad.append(df2['pais_nacionalidad'][indx])

Esa es mi sugerencia de solucion, estare atento si tiene fallas. espero tu respuesta

SOLUCION

nacionalidad = []
for i in range(df1.shape[0]):
   
   i_edad = df1["Atributo1"][i ]
   mascara = df2["Atributo1"] == i_edad
   coincidencias = df2["Atributo1"][  mascara ]
   for indx, edad in coincidencias.iterrows() :

      nacionalidad.append(df2['pais_nacionalidad'][indx])
3
  • Hola Marcelo, tu propuesta arroja este resultado: AttributeError: 'Series' object has no attribute 'iterrows'
    – Cayr72
    Commented el 8 nov. 2022 a las 17:26
  • Las Series no tienen el atributo iterrows. La mejor manera (aunque no estoy seguro, ya que no lo comprobé, solo lo leí en la documentación) es iterar directamente sobre la serie, lo que irá devolviendo los valores de ésta. Para que no ocurran este tipo de fallos en el código de tus respuestas, te recomiendo probarlos antes de publicarlos. Yo lo hago casi siempre.
    – Dante S.
    Commented el 8 nov. 2022 a las 20:00
  • no lo puedo probar porque no tengo la informacion del que pide Commented el 14 nov. 2022 a las 6:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.