Cuando el EAN coincide (Ejemplo "8430..69") quiero rellenar los NANs de columnas VIN_009, en este caso con 40beste279b
-
1¿Puedes poner un trozo de tu dataframe como texto (o un enlace a los datos para descargar) de modo que pueda hacer pruebas con ellos para encontrar una respuesta?– abulafiaCommented el 30 oct. 2021 a las 20:44
-
dropbox.com/s/pueeb1yuwmwj6us/COMPRAS_CARGA.csv?dl=0– acamposlaCommented el 30 oct. 2021 a las 21:10
1 respuesta
Mediante un df.groupby()
puedes agrupar los datos por una columna (en tu caso por "ART_004 - Código EAN") y una vez agrupados tendrás un conjunto de "sub-dataframes" (cada uno de los grupos) a los que podríamos pensar en aplicar .fillna()
a la columna que interesa.
.fillna()
es una función que puede rellenar los NaN de diferentes formas, según el valor que pases a su parámetro method=
. Por ejemplo "ffill"
rellena los NaN "hacia adelante", es decir, repitiendo el último valor no-nan que había encontrado. "bfill"
en cambio lo hace "hacia atrás" (repitiendo el primer valor no-nan después de una serie de nan).
El problema es que en tu caso no sabemos de antemano la distribución de los NaN dentro de cada grupo. Es posible que en algunos casos los NaN aparezcan al final, y en otros al principio.
Así que una solución más general y robusta puede ser usar .apply()
sobre el grupo para ejecutar nuestra propia función que busque los valores no-nan dentro del grupo y rellene con ellos los sitios donde haya nan.
Imagina que ya tenemos escrita esa función y la hemos llamado rellenar_nan
.
En ese caso la usaríamos así:
df.loc[:, "VIN_001 - Identificador producto"] = \
df.groupby("ART_004 - Código EAN")["VIN_001 - Identificador producto"].apply(rellenar_nan)
para que sustituya la columna en cuestión por el resultado de rellenar.
Y ¿cómo sería esa función? Recibiría un solo parámetro, digamos x
, que contendría todos los valores de la columna "VIN_001 - Identificador producto", pero solo para un sub-dataframe (es decir, para un grupo de los encontrados por .groupby()
.
Por tanto podemos sacar de x
todo lo que no sean nan, con x.dropna()
y de lo que quede hacer un set()
para eliminar duplicados. Entonces:
- Si el
set()
resultante es vacío, es que todo eran NaN en ese grupo y no puede ser rellenado. Emitimos un aviso por pantalla para saberlo, y retornamos lax
sin cambiarla. - Si el
set()
resultante tiene un solo elemento, ese es el valor con el que queremos rellenar los nan. Lo usamos para hacer unx.fillna()
- Si el
set()
resultante tiene más de un elemento, tenemos un problema. Si en el grupo había NaN, hay que reemplazarlos con un id ¿pero con cuál si hay más de uno? En mi solución elijo uno al azar y relleno con él, pero no sin antes emitir por pantalla un aviso para saberlo.
Así que la función sería esta:
def rellenar_nan(x):
ids = set(x.dropna())
if not ids:
# Conjunto vacío, nada que hacer
print(x.name, "era todo NaN")
return x
if len(ids)>1:
# Posible problema si además contiene Nan
if sum(x.isnull()) > 0:
print("Cuidado!", x.name, "tiene varias posibilidades", ids)
# Extraemos uno de los elementos del conjunto y lo usamos para rellenar
id = ids.pop()
return x.fillna(id)
Al ejecutar esto sobre tu dataframe salen los siguientes avisos:
8430624012547 era todo NaN
8430624012561 era todo NaN
8430624013537 era todo NaN
8430624408562 era todo NaN
8430624408739 era todo NaN
8430624441675 era todo NaN
8430624441705 era todo NaN
8430624607064 era todo NaN
8430624607095 era todo NaN
Cuidado! 8430624621275 tiene varias posibilidades {'40bvfoe144c', '40bvfce144c'}
Cuidado! 8430624621688 tiene varias posibilidades {'40bvfoe144c', '40bvfce144c'}
Cuidado! 8430624624481 tiene varias posibilidades {'40bgu535c', '40bgu539c'}
Así que ya lo sabes, algunos grupos son problemáticos. En efecto, filtrando sobre tu datagrama original para esos grupos vemos:
Donde si miras con atención ves que hay grupos con el mismo código EAN y dos diferentes valores para el identificador de producto, y además NaN. ¿cómo habría que rellenar ese Nan? ¿Con cuál de los dos identificadores? Mi solución actual usa uno cualquiera de los dos, pero no sería difícil modificarla para que use el último (cambiar .fillna(id)
por .fillna(method="ffill")
por ejemplo)