0

Tengo dos dataframe donde quiero evaluar si los valores de una columna del primer dataframe se encuentran o son iguales a los valores de una columna del segundo data frame.

Cree una iteración sobre ambos dataframes para las columnas que necesito, realizando una resta de cada uno de los valores del primer dataframe con cada uno de los valores del segundo dataframe (es decir, la primera fila del primer data frame se resta con todas las filas del segundo dataframe, luego la segunda fila del primer dataframe se resta con todas las filas del segundo dataframe; y así sucesivamente).

Coloco un condicional if donde le digo que si la diferencia entre ambos valores es menor a un umbral, entonces me anexe los valores de las columnas a un diccionario. Luego ese diccionario lo convierto en un nuevo dataframe y lo imprimo.

Pero solo me da una fila, no me asigna los otros valores; y sé que debe asignarlos porque el rango es pequeño y hay suficientes datos para que los asigne. Estoy intentando ver si creo una lista con los valores y luego convertirlo en un diccionario y finalmente en un dataframe. (Disculpen si gasto recursos innecesarios y si mi código no está optimizado, soy realmente nuevo en todo esto)

Este es mi código:

# Iterar sobre las filas de ambos DataFrames
for i in range(len(clean_exp_ldtb.loc[0:29, "Mass"])):
   for j in range(len(clean_ldtb)):

   # Calcular la diferencia entre las filas correspondientes
   diferencia = abs(clean_exp_ldtb.loc[0:30]['Mass'] - clean_ldtb.iloc[j]['MASS'])

   # Comprobar si la diferencia cumple con el umbral deseado
   umbral = 2
   if (diferencia.loc[0] <= umbral):
     # Agregar la diferencia al diccionario
     resultados = {"Compound": [clean_ldtb.loc[j, "SYSTEMATIC_NAME"]], "Mass": [clean_ldtb.loc[j, "MASS"]], "Difference": [diferencia]}
     #print(resultados)

# Imprimir el nuevo DataFrame
resultado = pd.DataFrame(resultados)
resultado
1
  • Buen día, si alguna respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta?. Commented el 3 jul. 2023 a las 6:13

3 respuestas 3

1

Buen día,

Nota: Al utilizar pandas es recomendable no utilizar ciclos (Por ejemplo for) para iterar en los elementos, hay métodos optimizados que trabajan con el dataset rápida y eficientemente. En la mayoría de los casos, si lo que quieres hacer crees que se puede hacer con un for entonces es el camino incorrecto (O el que va a tardar más y tener mayor impacto al procesador). En esos casos, si no hay un método directo que realice la tarea entonces apply podría ser una buena opción, como último recurso sería utilizar ciclos.

La forma más fácil que se me ocurre de comparar igualdad entre valores de una columna de un dataframe (Digamosdf1) con otro (Digamos df2) es utilizando pandas.DataFrame.isin.

Como no pusiste tus datos cree un ejemplo genérico que tendrás que adaptar a tu código:

import pandas as pd

df1 = pd.DataFrame(range(0,15,1), columns = ['Col1'])
df2 = pd.DataFrame([2,23,4,16,8,10,20], columns = ['Col1'])

print('/********* DataFrame: df1 *********/')
print(df1)
print('/********* DataFrame: df2 *********/')
print(df2)

# Obtener los elementos de df1['Col1'] que estén en df2['Col1']
df3 = df1.loc[df1['Col1'].isin(df2['Col1'])]

# Inicializar el índice de df3
df3.reset_index(drop = True, inplace = True)

print('/********* DataFrame: df3 *********/')
print(df3)

La sección de código df1['Col1'].isin(df2['Col1']) crea una serie de booleanos que permitirá que pandas.DataFrame.loc obtenga las filas deseadas.

Ejemplo de la serie de booleanos:

0     False
1     False
2      True
3     False
4      True
5     False
6     False
7     False
8      True
9     False
10     True
11    False
12    False
13    False
14    False

El código anterior imprime lo siguiente:

/********* DataFrame: df1 *********/
    Col1
0      0
1      1
2      2
3      3
4      4
5      5
6      6
7      7
8      8
9      9
10    10
11    11
12    12
13    13
14    14
/********* DataFrame: df2 *********/
   Col1
0     2
1    23
2     4
3    16
4     8
5    10
6    20
/********* DataFrame: df3 *********/
   Col1
0     2
1     4
2     8
3    10
1
  • Muchas gracias, este código me sirvió de mucho. Commented el 5 jul. 2023 a las 0:00
0
  • Evita bucles, intenta crear un dataframe que contenga ambas columnas con un merge, join o añadiendo una selección de columas. Algo similar a df = df1.join(df2, on="MASS").
  • Teniendo ambas columnas (muestra | valor_masa_1 | valor_masa_2), puede hacer directamente df["diff"] = df["valor_masa_1"] - df["valor_masa_2"]
  • Ahora puedes filtrar sobre la column diff con df[abs(df["diff"]) < umbral].
0

No logro comprender del todo tu pregunta, pero me basaré en lo que dice arriba del código.

Antes de continuar, tu código tiene muchos errores de concepto que lo alejan bastante del objetivo planteado. Habitualmente, haría una mención de como corregirlos, pero es dificil, así que me limitaré a ofrecer una mejor forma y decirte que revises tu código y esta respuesta con mucho detenimiento para que puedas comprender ambos.

Un poco de matematicas

La formula matematica versión pandas a plantear sería:

abs(df1.iloc[0, "col"] - df2.iloc[0, "col"] - df2.iloc[1, "col"] ... - df2.iloc[len(df2) - 1, "col"])
abs(df1.iloc[1, "col"] - df2.iloc[0, "col"] - df2.iloc[1, "col"] ... - df2.iloc[len(df2) - 1, "col"])
...

En el fondo, podemos decir que un número negativo es un número positivo multiplicado por -1. Entonces, sacamos factor comun -1:

abs(df1.iloc[n, "col"] + (-1) * (df2.iloc[0, "col"] + df2.iloc[1, "col"] + ...))

Esto resulta ser el total de la columna "col" del df2. Reemplazamos y multiplicamos el -1 que nos quedó de más, convirtiendose en una resta.

abs(df1.iloc[n, "col"] - df2["col"].sum())

Donde df2["col"].sum() es una constante y solo necesitamos calcularla al principio. La llamaremos "total_col".

Yendo al código

Ahora, como te han comentado en otras respuestas, el bucle for debe ser tu ultimo recurso en Pandas. Esto debido a que los métodos de Pandas son mucho más rapidos debido a que se implementan en C (el lenguaje de programación que usa interprete de Python) y no requieren que el lento interprete haga tanto trabajo.

Teniendo esto y la formula, asumiendo que df1 y df2 están declaradas, pandas fue importado como "pd" y que las columnas a comparar se llaman "col", escribí este código sin probar (cualquier fallo que me avisen me viene bien!):

total_col = df2["col"].sum()

differences = abs(df1["col"] - total_col)

# creamos un nuevo df usando series. Como las columnas también son series, 
# se las podemos pasar a pandas (supondré que pandas copia las series)
df3 = pd.DataFrame(dict(col1=df1["col1"], col2=differencies))
    

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.