2

Tengo un conjunto de datos en el que algunas de sus columnas son numéricas, en esas columnas numéricas existen valores NAs y lo que necesito es reemplazar cada uno de esos NA con el valor de la media de cada valor de otra columna. Es decir, el dataset es de pisos en barrios de Madrid y tengo las columnas 'barrios' y 'años de construcción' con valores Nulos.

Me gustaría reemplazar esos nulos como la media de cada uno de los barrios, es decir, Si en el barrio moncloa tuviera 5 nulos, reemplazarlos por la media del año de contrucción de Moncloa, no de toda la columna de año de construcción.

He probado con un bucle for para recorrer cada item y con un lapply pero solo he conseguido cambiar los nulos por la media total de la columna.

url_houses_madrid="https://raw.githubusercontent.com/ucmtfmgrupo5/database/main/houses_Madrid.csv"
s=requests.get(url_houses_madrid).content
df_vivienda=pd.read_csv(io.StringIO(s.decode("utf-8")))}
df_vivienda [['built_year','subtitle']]

Como podeis observar tengo valores nulos y estos quiero reemplazarlos por la media de cada uno de los barrios.

He probado con un bucle en el que recorra cada item de la columna 'built_year' y lo reemplace por la media, pero no obtengo el resultado esperado:

for (x in df_vivienda['built_year']) {  df_vivienda[is.na(df_vivienda[,x]), x] <- cols_mean[x]}

1 respuesta 1

1

Una forma de resolverlo a la manera de pandas evitando la iteración estándar de python podría ser algo así:

1. Calcular las medias

Agrupamos por subtitle y calculamos la media:

medias = df_vivienda[['built_year','subtitle']].groupby(['subtitle']).mean().round(0).astype(np.int64, errors='ignore')

2. Hacemos un merge de los dos dataframes:

df_w_medias = pd.merge(df_vivienda, medias, on=["subtitle"])
print(df_w_medias[['built_year_x', 'built_year_y']])

       built_year_x  built_year_y
0            1960.0        1967.0
1            1960.0        1967.0
2               NaN        1967.0
3               NaN        1967.0
4            1968.0        1967.0
...             ...           ...
21737        1981.0        2000.0
21738        1998.0        2006.0
21739        2001.0        2006.0
21740        2020.0        2006.0
21741        2005.0        2006.0

[21742 rows x 2 columns]

3. Actualizamos la columna original

Luego del merge está se llama built_year_x, actualizamos los valores que sean NaN:

import numpy as np
df_w_medias['built_year_x'] = np.where(df_w_medias['built_year_x'].isna(),
                           df_w_medias['built_year_y'],
                           df_w_medias['built_year_x']) 

print(df_w_medias[['built_year_x', 'built_year_y']])

       built_year_x  built_year_y
0            1960.0        1967.0
1            1960.0        1967.0
2            1967.0        1967.0
3            1967.0        1967.0
4            1968.0        1967.0
...             ...           ...
21737        1981.0        2000.0
21738        1998.0        2006.0
21739        2001.0        2006.0
21740        2020.0        2006.0
21741        2005.0        2006.0

[21742 rows x 2 columns]
1
  • Muchísimas gracias!! ha sido de gran ayuda! Commented el 9 ago. 2021 a las 16:14

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.