1

Tengo un par de data frames A y B. El df A tiene más registros que el B y quiero crear una columna de información en A que depende de encontrarse entre dos columnas de valores en B.

Utilizo información ejemplo, ya que la que tengo la importe de archivos .csv

~python

import pandas as pd

brech = pd.DataFrame({'base': [0, 1, 2, 3, 4],
               'min': [0, 3, 4, 8, 32],
               'max': [2, 3, 7, 31, 92]})
datos = pd.DataFrame({'dias': [-10, -12, -13, 8, 5, 15, 20, 0, 3, 10, 40, 31]})                 

Busco obtener algo como

dias    base
-10     nan
-12     nan
-13     nan
8       3
5       2
15      3
20      3
0       0
3       1
10      3
40      4

Probe con una combinación de lambda e iloc pero me arroja "The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()."

datos['base'] = datos['dias'].apply(lambda x: [brech['base'] 
                                   if x > brech.iloc[i,1] and x < brech.iloc[i,2] else ""])
0

1 respuesta 1

1

El error se debe a que usa sel operador lógico and. Debes usar en su lugar el operador &:

(brech["min"] <= x) & (brech["max"] >= x)

Cuando haces x > brech.iloc[i,1] and x < brech.iloc[i,2] el intérprete procede como con cualquier otra comparación boleana con un and, evalúa la expresión de la izquierda (x > brech.iloc[i,1]) lo que resulta en una Serie boleana y luego trata de ver si ese objeto puede ser considerado como verdadero. En Python cualquier contenedor no vacío sería considerado verdadero, pero si esto se aplicara en este caso tendríamos que if x > brech.iloc[i,1] and x < brech.iloc[i,2] terminaría siendo [True and True], es decir [True], lo cual es algo que no queremos. Para evitar esto, NumPy/Pandas han implementado los métodos __bool__ de sus objetos, para que al intentar evaluar si un array/matriz/serie/dataframe es verdadero lance la excepción mostrada.

Lo que deseas realmente es una operación vectorizada, en la que se compare por cada fila si x es mayor que brech.minimo y menor que brench.maximo. Ante la imposibilidad de modificar como actúan los operadores boleanos, para poder realizar estar operaciones de forma vectorizada, Pandas y NumPy han redefinido como funcionan los operadores a nivel de bit ("sobrecarga"), por lo que son estos los que deben ser usados en su lugar para realizar comparaciones o operaciones vectorizadas, por ejemplo:

and ->  &
or  ->  |
not ->  ~

Una forma de obtener algo similar a lo que buscas usando pandas.Series.apply es simplemente aplicar usar el filtro boleano anterior para seleccionar las filas de brech["base"] que lo cumplen y retornar un array de NumPy:

datos['base'] = datos['dias'].apply(lambda x: brech.loc[(brech["min"] <= x) & (brech["max"] >= x), "base"].to_numpy())
    dias base
0    -10   []
1    -12   []
2    -13   []
3      8  [3]
4      5  [2]
5     15  [3]
6     20  [3]
7      0  [0]
8      3  [1]
9     10  [3]
10    40  [4]
11    31  [3]

La razón de retornar un array es para poder obtener todos los valores en el caso que exista la posibilidad de que los rangos se solapen y algún valor caiga en más de uno:

import pandas as pd

brech = pd.DataFrame({'base': [0, 1, 2, 3, 4],
                       'min': [0, 3, 4, 8, 32],
                       'max': [2, 5, 10, 31, 92]})
datos = pd.DataFrame({'dias': [-10, -12, -13, 8, 5, 15, 20, 0, 3, 10, 40, 31]})  

def parser(x):
    r = brech.loc[(brech["min"] <= x) & (brech["max"] >= x), "base"].to_numpy()
    if r 

datos['base'] = datos['dias'].apply(lambda x: brech.loc[(brech["min"] <= x) & (brech["max"] >= x), "base"].to_numpy())
    dias    base
0    -10      []
1    -12      []
2    -13      []
3      8  [2, 3]
4      5  [1, 2]
5     15     [3]
6     20     [3]
7      0     [0]
8      3     [1]
9     10  [2, 3]
10    40     [4]
11    31     [3]

Si no te importa que la columna tenga datos heterogéneos, también podrías hacer algo así:

import pandas as pd
import numpy as np


brech = pd.DataFrame({'base': [0, 1, 2, 3, 4],
                       'min': [0, 3, 4, 8, 32],
                       'max': [2, 5, 10, 31, 92]})
datos = pd.DataFrame({'dias': [-10, -12, -13, 8, 5, 15, 20, 0, 3, 10, 40, 31]})  

def parser(x):
    r = brech.loc[(brech["min"] <= x) & (brech["max"] >= x), "base"]
    if r.size > 1:
        return r.to_numpy()
    elif r.size == 1:
        return r.iloc[0]
    else:
        return np.nan

datos['base'] = datos['dias'].apply(parser)
    dias    base
0    -10     NaN
1    -12     NaN
2    -13     NaN
3      8  [2, 3]
4      5  [1, 2]
5     15       3
6     20       3
7      0       0
8      3       1
9     10  [2, 3]
10    40       4
11    31       3

Si asumes que nunca hay más de un rango que cumpla la característica o que nunca se solapan entre si podrías hacer algo como:

import pandas as pd
import numpy as np

brech = pd.DataFrame({'base': [0, 1, 2, 3, 4],
               'min': [0, 3, 4, 8, 32],
               'max': [2, 3, 7, 31, 92]})
datos = pd.DataFrame({'dias': [-10, -12, -13, 8, 5, 15, 20, 0, 3, 10, 40, 31]})  


def parser(x):
    r = brech.loc[(brech["min"] <= x) & (brech["max"] >= x), "base"]
    return r.iloc[0] if r.size > 0 else np.nan


datos['base'] = datos['dias'].apply(parser)
   dias  base
0    -10   NaN
1    -12   NaN
2    -13   NaN
3      8   3.0
4      5   2.0
5     15   3.0
6     20   3.0
7      0   0.0
8      3   1.0
9     10   3.0
10    40   4.0
11    31   3.0
3
  • Muchas gracias por la respuesta y la explicación. Trate de aplicar todas las opciones. La primera me indicó el error "'Series' object has no attribute 'to_numpy'", intenté quitar la opción de que me devolviera un objeto de numpy y entonces el error "Wrong number of items passed 5, placement implies 1". En el resto de las opciones me arrojo igual que el primer error. No se que estoy haciendo mal. Ojala puedas apoyarme nuevamente. Saludos. Commented el 22 jul. 2019 a las 14:52
  • Hola. Actualicé pandas y con ello funcionó. Gracias. Commented el 22 jul. 2019 a las 18:28
  • @Carlo, podrías marcar la respuesta como aceptada si te ha sido de ayuda.
    – Adrian
    Commented el 18 jul. 2020 a las 8:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.