1

Tengo una serie de ficheros JSON de datos y quiero unificarlos en un único CSV.

Esta es la función que he creado:

def json2df(name):
    # Abrimos JSON
    with open('data/'+name+'.json') as f:
        data = json.load(f)

    # Convertimos json a df
    results = []
    for key, value in data.items():
        value.insert(0, key)
        results.append(value)
        
    col = ['Timestamp','Average','Volume']
    df = pd.DataFrame(results, columns=col)
    
    # Creamos/actualizamos el histórico CSV
    try:
        old_df = pd.read_csv('data/'+name+'.csv')
        df = df.append(old_df, ignore_index=True)
        df = df.drop_duplicates()
    except:  
        print('Creamos fichero de datos')
    df.to_csv('data/'+name+'.csv', index=None, header=True)
    return df

Mi JSON tendría un aspecto a:

{"1622471518.92911": ["36443.71532407", 781]}

Donde el primer valor es el timestamp y el resto una lista de valores.

Básicamente mi objetivo es tener un dataframe cómo:

Timestamp          Average           Volume
1622471518.92911   36443.71532407    781

El problema lo tengo a la hora de eliminar duplicados, pues no se eliminan. He creado dos ficheros para hacer la prueba pero no entiendo el comportamiento.

JSON1: {"1622471518.92911": ["36443.71532407", 781]}

JSON2: {"1622471518.92911": ["36443.71532407", 781], "1622471525.034114": ["36445.94311370", 43]}

A priori lo que yo quiero que pase es que si yo hago json2df(fileName) (json1) obtener:

Timestamp          Average           Volume
1622471518.92911   36443.71532407    781

Y si ahora hago json2df(fileName) (json2) obtener:

Timestamp          Average           Volume
1622471518.92911   36443.71532407    781
1622471525.034114  36445.94311370    43

Ahora mismo, me vuelve a añadir el valor que ya está. He probado a modificar el tipo de dato pero sigo sin conseguir nada.

¿Alguien puede orientarme en donde me estoy equivocando? Entiendo que hago el drop mal, pero no sé porqué, ni como solucionarlo.

¡Gracias!

7
  • Te recomiendo que leas esta respuesta
    – Christian
    el 7 jun. 2021 a las 12:16
  • Mmm espero haberla entendido bien, pero en realidad yo ya hago drop_duplicates(). El problema que tengo es que no me elimina dichos duplicados cuando es obvio que hay. Pienso puede ser un tema de formatos? Índices?
    – Lleims
    el 7 jun. 2021 a las 13:37
  • Y en cuanto al tema de keep me da igual quedarme con el primero o el último pues son idénticos, por lo tanto el valor por defecto va bien
    – Lleims
    el 7 jun. 2021 a las 13:38
  • 1
    Mmm... bueno en un momento lo reviso detalladamente
    – Christian
    el 7 jun. 2021 a las 14:06
  • 1
    encontre el error pero aun no se como solucionarlo :/
    – Christian
    el 8 jun. 2021 a las 16:43

1 respuesta 1

1

Tremendo dolor de cabeza este problema, al final todo se resume a tipo de dato, siempre es bueno especificar el tipo de dato al leer pero también al escribir, pues podemos escribir un numero como string pero al leerlo pandas infiere el tipo de dato por lo que lo toma como un entero o flotante que al final acabara redondeado.

Uno de los principales problemas es el del campo Average pues lo escribes como un string pero al leer el archivo pandas lo interpreta como un float y hace el redondeo, para evitar eso utilice una compresión de lista para trasformar cada dato a float

def json2df(name):
    ...
    for key, value in data.items():
        value = [float(val) for val in value]
        key = float(key) #tambien transformamos la clave
        value.insert(0, key)
        results.append(value)

Como abras notado tambien se transforma la clave, pues pasa lo mismo y estas son las razones por las que al hacer un drop_duplicates() no se eliminan pues son diferentes.

Otro cambio necesario es el de especificar el tipo de dato de la columna ``, pues identifiqué que gracias a esta columna el df.duplicated() lanzaba False, asi que al momento de leer quedaría así:

    try:
        old_df = pd.read_csv('data/'+name+'.csv',dtype={"Timestamp":float})
        df = df.append(old_df, ignore_index=True)
        df = df.drop_duplicates()
    except: 
        ...
5
  • La primera parte que propones, lo había probado, lo segundo de definir el tipo de dato, dtype={"Timestamp":float} no lo conocía. Por desgracia me sigue dando los mismos problemas, también he probado a definirlo cómo dtype={"Timestamp":np.float64} ya que df.dtypes dice que se tratan de ese tipo de float pero nada cambia... Aún así muchísimas gracias por tu dedicación, me huelo que se trata de un problema del tipo de dato pero no lo veo... MUCHAS GRACIAS!
    – Lleims
    el 8 jun. 2021 a las 21:01
  • en serio? a mi me funciona, prueba borrando todos tus csv y corriendo el programa nuevamente, igual veré si hay otras soluciones
    – Christian
    el 8 jun. 2021 a las 21:03
  • Añadir que si ejecuto tres veces el mismo archivo solo deberían ponerse los datos la primera vez, pues las otras veces está todo duplicado, en cambio la segunda vuelve a añadirlos y a partir de la tercera ya funciona, por lo que entiendo que debo tener el problema cuando creo la primera vez el csv y algo lo defino mal, ahora estoy investigando por allí...
    – Lleims
    el 8 jun. 2021 a las 21:04
  • claro, si lo ejecutas 3 veces se añade el dato de la columna Average y Timestamp como float, por eso coincide como duplicado, como te digo prueba borrando tus achivos csv para no tener referencia de estos y modifica tu código como te lo mostre
    – Christian
    el 8 jun. 2021 a las 21:11
  • Si si, los he borrado. Son nuevos de ahora mismo. Borro todo (menos el JSON) y lo hago 3 veces y pasa eso :(
    – Lleims
    el 8 jun. 2021 a las 21:13

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.