Tienes un pequeño lío en un par de lugares.
Primero, en esta expresión:
df[df["education"].str.contains("Bachelors|Masters|Doctorate")].count()
La primera parte de la expresión (sin el .count()
) te selecciona dentro del dataframe df
sólo las filas que corresponden a las personas con educación superior. El resultado es otro dataframe (con las mismas columnas que el original pero con menos filas). Al aplicar count()
sobre él, te cuenta para cada columna cuántos elementos tiene esa columna.
El resultado de aplicar .count()
es esto:
age 7491
workclass 7491
fnlwgt 7491
education 7491
education-num 7491
marital-status 7491
occupation 7491
relationship 7491
race 7491
sex 7491
capital-gain 7491
capital-loss 7491
hours-per-week 7491
native-country 7491
salary 7491
Esto no tiene mucho sentido calcularlo. Todas las columnas tienen el mismo número de elementos (7491) y no queremos ese resultado repetido para cada columna. Si lo que queremos es simplemente contar cuántas personas tienen estudios superiores, basta mirar cuántas filas tiene el dataframe resultante tras el filtrado. El número de filas te lo da len(dataframe)
Así que quitamos el .count()
para quedarnos con el dataframe filtrado (pues lo vamos a usar más adelante) y usamos len()
para contar cuántos elementos tiene cada uno de esos dataframes y guardamos ese número en variables separadas.
higher_education = df[df["education"].str.contains("Bachelors|Masters|Doctorate")]
lower_education = df[~df["education"].str.contains("Bachelors|Masters|Doctorate")]
num_higher_education = len(higher_education)
num_lower_education = len(lower_education)
Después, a la hora de calcular el porcentaje de ricos tienes esto:
higher_education_rich = df[df[higher_education, (df["salary"] == ">50K")].count() / higher_education] * 100
Lo cual estaba mal por varias razones. Dentro de los primeros corchetes tienes una expresión así:
df[higher_education, (...mas cosas aqui...)]
Esto está usando lo que contenga la variable higher_education
como selector de filas dentro de df
. Eso está mal, pues para que funcionara la variable higher_education
debería contener una lista de booleanos tan larga como df
para seleccionar aquellas filas en las que hubiera True
.
En cambio higher_education
contiene como antes vimos el número 7491 repetido unas cuantas veces. Pero es que aunque eso hubiera funcionado, para seleccionar las filas correctas, después tenías entre paréntesis otra expresión (df["salary"] == ">50K")
que pandas interpretaría como un selector de columnas. Eso también sería incorrecto. Y aún si hubiera funcionado y hubiera seleccionado algo, el resultado habría sido un dataframe al que luego aplicas .count()
, que ya vimos que no es adecuado porque produce un montón de contadores (uno por columna). El array de contadores que hubieras obtenido, lo estabas dividiendo por higher_education
, lo que te daría un array de números como resultado, y todo eso estaba entre corchetes en una expresión que se resumiría así:
df[array de numeros resultantes] * 100
De nuevo eso no tiene sentido porque se intentaría usar ese array de números para seleccionar elementos dentro de df
, pero el array no tiene el formato apropiado (ni significaría nada esa operación). Y luego multiplicas por 100 lo que hubiera salido (que sería en todo caso una selección dentro de df
).
Es decir, muchas cosas sin sentido. La solución era mucho más simple.
En realidad no quieres seleccionar elementos dentro de df
, pues eso ya lo hicimos antes. Lo que queremos es seleccionar dentro del dataframe higher_education
que obtuvimos antes (en mi versión sin el .count()
), con una expresión de este estilo:
higher_education[higher_education.salary == ">50K"]
Eso selecciona dentro del dataframe higher_education
(que ya tenía solo las filas de los bachelor, master y doctorate) aquellos con salario elevado. El resultado de esto es otro dataframe que tiene solo ya los de educación superior y además ricos. Aplicando len()
sobre éste contamos cuántos son. Dividiendo por num_num_higher_education
ya tienes el porcentaje buscado:
higher_education_rich = len(higher_education[higher_education.salary == ">50K"]) / num_higher_education * 100
Sale en este caso 46.535843011613935