1

Supongamos el siguiente DataFrame:

import pandas as pd
df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 
                           'C': ['1.1.2010', '2.1.2011', '3.1.2011'], 
                           'D': ['1 days', '>=500', '3 days'],
                           'E': ['1', '2', '3']})

La siguiente sentencia:

df2 = df[df["D"] == "1 days"]

Filtra correctamente el contenido de la columna, presentándo únicamente las filas que en esta columna tienen "1 days" Quisiera a continuación filtrar las filas que en esta columna tengan ">=500", que es una única fila.

df1 = df[df["D"] == '>=500']

No identifica dicha fila y me devuelve: A B C D E ¿Cual puede ser la razón? Supongo que el problema está en los operadores >=. De ser así, sin cambiar el contendio de estos registros, ¿Cómo podría realizar el filtrado?. Agradeceré vuestras sugerencias y ayuda?

Despues de comprobar que este script ya funciona, en otro notebook, hago lo mismo con el script que me dio lugar a esta consulta y veo sigo con el mismo problema. Lo añado a continuación.

"""Función que usa requests.py para imortar los datos de Internet. 
    Crea un directorio y deposita en él los datos descargados."""
import os
import requests
CENSUS_DATASET = ("http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data",
                                 "http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.names",
                                 "http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.test")
def download_data(path='data_1', urls=CENSUS_DATASET):
    if not os.path.exists(path):
        os.mkdir(path)    
    for url in urls:
        response = requests.get(url)
        name = os.path.basename(url)
        with open(os.path.join(path, name), 'wb') as f:
            f.write(response.content)
download_data()

# Cambio de directorio 
os.chdir("G:\Py_machine_learning\data_1")

# Importamos datos a un dataframe
import pandas as pd
names = ['age','workclass','fnlwgt','education','education_num','marital_status',
                              'occupation','relationship','race','sex','capital_gain','capital_loss',
                              'hours_per_week','native_country','income']
data = pd.read_csv('adult.data', header=None, names = names)

df = data[data["income"] == "<=50K"]
df
8
  • Ummm tal como lo planteas tu problema no es reproducible, puedes comprobarlo online en ---> repl.it <--- Los caracteres >= no influyen en nada, forman parte de una cadena y son como cualquier otro carácter, no hay diferencia entre realizar el filtro con "1 day" o con ">=500", en ambos casos te limitas a comparar cadenas.
    – FJSevilla
    Commented el 27 jun. 2019 a las 13:16
  • Efectivamente, he probado tambien con Spyder y opera correctamente.
    – efueyo
    Commented el 27 jun. 2019 a las 13:49
  • En la misma columna del notebook, si sustiuyo el 3 por "menor" y filtro de la misma manera, lo hace correctamente. SIn embargo, si pongo "2menor", vuelve a reproducir el error.
    – efueyo
    Commented el 27 jun. 2019 a las 13:52
  • Parece que el problema esta limitado a jupyter notebook. ¿Qué puedo mirar?.
    – efueyo
    Commented el 27 jun. 2019 a las 13:54
  • Que estés usando un Notebook no debería implicar ninguna diferencia, esto es cosa de Pandas, alguna diferencia debe haber entre el ejemplo y el DataFrame real de tu Notebook que se nos escapa. ¿Es seguro que tu columna es de tipo object y contiene cadenas? ¿Qué quieres decir con "cambio 3 por menor" y "2menor" en la columna?
    – FJSevilla
    Commented el 27 jun. 2019 a las 16:10

1 respuesta 1

1

El problema es que en la columna income no existe la cadena "<=50k", es " <=50k", hay un espacio delante. Esto ocurre en todas las columnas menos en la primera y es causado porque el archivo tiene la siguiente estructura:

39, State-gov, 77516, Bachelors, 13, ..., <=50K

Por defecto pandas.read_csv usa "," como separador de columnas lo que hace que considere el espacio después de la coma como parte de la columna siguiente. En las columnas que son parseadas a int simplemente se descarta el espacio, pero en las columnas que son de tipo str (object) el espacio se queda formando parte de la misma, siendo bastante fácil pasarlo por alto al mostrar el DataFrame o la culumna, a no ser que mostremos el contenido de una celda en concreto:

>>> data.income[0]
' <=50K'

La solución es tan simple como especificar ", " como separador:

data = pd.read_csv('adult.data', header=None, names=names, sep=", ")

Como nota aparte, no uses la barra invertida (\) en las rutas aunque estés en Windows, este carácter se usa en una cadena no cruda para indicar secuencias de escape (\n, \r, \t, \s, \x45, etc). Tarde o temprano tendrás un problema con ello, por ejmplo "C:\nuevos_datos" es una ruta inválida porque \n indica un salto de linea.... Usar cadenas crudas, r"C:\nuevos_datos", aunque se da como solución en muchos casos, tiene también problemas y debe evitarse. En su lugar usa siempre la barra inclinada /, que además es universal entre sistemas operativos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.