0

Tengo este dataframe

introducir la descripción de la imagen aquí

Y se necesita cambiar los valores NaN en la columna price por los valores en el array samples. Sin embargo al utilizar fillna() como en el código no cambia los valores

samples = np.random.normal(media,std,d.price.isna().sum())
d.fillna(value = pd.Series(samples))

¿Cómo se puede utilizar el fillna() con el array samples para cambiar los valores NaN en el dataframe?

2 respuestas 2

1

fillna() solo acepta parametros tipo scalar o dict.

Si necesitas obligatoriamente usar fillna() tendrás que convertir los valores de "samples" en un diccionario, un ejemplo:

import numpy as np
import pandas as pd

# DataFrame con los datos
df = pd.DataFrame([[75.97, 0.0, 9.05], [np.nan, 1.0, 10.88], [np.nan, 0.0, 11.65], [107.92, 2.0, 8.92]], columns=['price','category','margin'])

# Creas samples, como diccionario
samples = {'price': {1:1000, 2:5000}}

# Usas fillna para cambiar los valores de la columna "price"
df_no_NaN = df.fillna(value=dic)

print(df_no_NaN)

Al crear samples: tendrás que tener en cuenta lo siguiente, pasar el nombre de la columna y la posición de la fila.

samples = {'NOMBRE_DE_TU_COLUMNA': {#FILA_PRIMER_NAN:1000, #FILA_SEGUNDO_NAN:5000}}

También debes tener en cuenta, que usar:

df.fillna(value=samples)

No afecta al DataFrame df, tendras que asignar el resultado a otro DataFrame o asignarlo al mismo "df"

df = df.fillna(value=samples)
0

Comparto una aproximación complementaria que aprovecha la función de DataFrame.apply:

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.apply.html

Pasos:

  1. crear lista de samples (como hiciste)
  2. crear una función que hace list.pop(0) a un valor de samples, lo cual va quitando los valores de samples uno por uno por cada NaN que encuentra
  3. aplicar DataFrame.apply con una función lambda que aplica esa función a cada NaN de la columna 'price'
# Datos inventados
# 
#itemid   price  cat
# 0    2835  108.08    1
# 1    5236     NaN    2
# 2    2480   91.84    0
# 3    2700     NaN    0
# 4    3352   92.60    1
# 5    3477   77.28    2
# 6    4102  118.41    1
# 7    5065     NaN    0

media_antes = np.mean(df['price'])
std_antes = np.std(df['price'])
samples = list(np.random.normal(media_antes,std_antes,df['price'].isna().sum()))
# [88.239808,112.273754,84.982539]

# Función que se aplica a la función lambda 
def getOne():
    res = samples[0]
    samples.pop(0)
    return res

# Modificar la columna precio
df['price'] = df['price'].apply(
    lambda x: getOne() if pd.isna(x) else x
)

# Resultado/Datos modificados
#
#itemid       price  cat
# 0    2835  108.080000    1
# 1    5236   88.239808    2
# 2    2480   91.840000    0
# 3    2700  112.273754    0
# 4    3352   92.600000    1
# 5    3477   77.280000    2
# 6    4102  118.410000    1
# 7    5065   84.982539    0



Comparé la media y la desviación estándar antes y después (varias veces), y la media cambia algo aunque la desviación estándar no tanto.

Antes:
  itemid   price  cat
0    2835  108.08    1
1    5236     NaN    2
2    2480   91.84    0
3    2700     NaN    0
4    3352   92.60    1
5    3477   77.28    2
6    4102  118.41    1
7    5065     NaN    0

M = 97.6
sd = 14.2


Después:
   itemid       price  cat
0    2835  108.080000    1
1    5236   88.239808    2
2    2480   91.840000    0
3    2700  112.273754    0
4    3352   92.600000    1
5    3477   77.280000    2
6    4102  118.410000    1
7    5065   84.982539    0

M = 96.7
sd = 13.6

Con una muestra más grande el cambio de media y variación debe de ser mucho menor.

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.