0

estoy realizando un recopilatorio de datos, donde he obtenido un diccionario. Este diccionario quiero convertirlo en un dataframe normal, para en un futuro poder exportarlo a csv.

Mi problema es el siguiente, donde con el siguiente código obtengo mi archivo json en un diccionario, y hago la conversión a dataframe:

with open("dicc.json", "r") as file:
    info = json.load(file)

df = pd.DataFrame() #Se crea un dataframe vacío para alojar los datos

for i in range(len(datos)):
    df = df.append(pd.json_normalize(info[str([i+1])])) #Añadimos a cada una de las filas cada uno de los registros extraídos

El problema viene cuando me doy cuenta que dentro de mi diccionario:

introducir la descripción de la imagen aquí

Si por ejemplo entro a la clave 1:

introducir la descripción de la imagen aquí

Se puede apreciar que hay listas y más diccionarios. Al pasar estos datos a dataframe no pasarían como str y quedarían así:

introducir la descripción de la imagen aquí

Donde por ejemplo la columna challenges en vez de una lista, a mi me gustaría que challenges_id fuese otra columna nueva del dataframe, e ir desglosando todas esas listas de los diccionarios en nuevas columnas.

¿Sabéis cómo se podría ir navegando por el diccionario para así a la hora de convertir el diccionario en dataframe no me cree registros que sean literalmente listas, si no que cada registro de esa lista sea una columna nueva del dataframe?

1
  • Buen día, si la respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta?. Commented el 11 ene. a las 5:49

1 respuesta 1

1

Buen día,

No hay una forma sencilla o directa desde pandas de hacer lo que solicitas. Lo que puedes hacer es crear una función, seleccionar las columnas que deseas expandir (En realidad sería aplanar, del inglés flatten, las columnas).

La función para aplanar las columnas podría recibir dos argumentos, el dataframe original y las columnas que deseas aplanar y utilizar pandas.json_normalize para aplanar dichas columnas.

Luego de ser aplanadas y guardadas en un dataframe temporal, puedes utilizar pandas.concat para concatenar las nuevas columnas aplanadas al dataframe original.

Si no necesitas la columna original la puedes eliminar con pandas.DataFrame.drop.

Ya que no pusiste tus datos, cree un ejemplo genérico que tendrás que adaptar a tus necesidades. En el futuro asegurate de siempre agregar un Ejemplo mínimo, completo y verificable en todas tus preguntas.

Ejemplo genérico:

import pandas as pd

# Función para aplanar las columnas seleccionadas
def flatten_columns(df, columns_to_flatten):
    df_result = df.copy()

    for col in columns_to_flatten:
        # Normalizar la columna indicada
        df_expanded = pd.json_normalize(df_result[col])

        # Renombrar las columnas creadas tras la normalización añadiendo el nombre de la columna original como prefijo
        df_expanded.columns = [f'{col}_{subcol}' for subcol in df_expanded.columns]

        # Concatenar las columnas obtenidas en el dataframe original
        df_result = pd.concat([df_result, df_expanded], axis=1)

        # Eliminar la columna original
        df_result = df_result.drop(col, axis=1)

    return df_result

# Ejemplo de uso
d = {'Col1': [1, 2, 3], 'Col2': [{'A': 10, 'B': 20}, {'A': 30, 'B': 40}, {'A': 50, 'B': 60}],
     'Col3': [{'X': 100, 'Y': 200}, {'X': 300, 'Y': 400}, {'X': 500, 'Y': 600}]}

df = pd.DataFrame(d)

# Dataframe original
print(df)

# Especificar las columnas a expandir/aplanar
columns_to_flatten = ['Col2', 'Col3']

df_result = flatten_columns(df, columns_to_flatten)

# Dataframe resultante
print(df_result)

Esto imprime el dataframe original (Con las columnas que contienen diccionarios) y el dataframe resultante (Con las columnas aplanadas):

   Col1                Col2                  Col3
0     1  {'A': 10, 'B': 20}  {'X': 100, 'Y': 200}
1     2  {'A': 30, 'B': 40}  {'X': 300, 'Y': 400}
2     3  {'A': 50, 'B': 60}  {'X': 500, 'Y': 600}
   Col1  Col2_A  Col2_B  Col3_X  Col3_Y
0     1      10      20     100     200
1     2      30      40     300     400
2     3      50      60     500     600
0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.