Tengo una serie de ficheros JSON de datos y quiero unificarlos en un único CSV.
Esta es la función que he creado:
def json2df(name):
# Abrimos JSON
with open('data/'+name+'.json') as f:
data = json.load(f)
# Convertimos json a df
results = []
for key, value in data.items():
value.insert(0, key)
results.append(value)
col = ['Timestamp','Average','Volume']
df = pd.DataFrame(results, columns=col)
# Creamos/actualizamos el histórico CSV
try:
old_df = pd.read_csv('data/'+name+'.csv')
df = df.append(old_df, ignore_index=True)
df = df.drop_duplicates()
except:
print('Creamos fichero de datos')
df.to_csv('data/'+name+'.csv', index=None, header=True)
return df
Mi JSON tendría un aspecto a:
{"1622471518.92911": ["36443.71532407", 781]}
Donde el primer valor es el timestamp y el resto una lista de valores.
Básicamente mi objetivo es tener un dataframe cómo:
Timestamp Average Volume
1622471518.92911 36443.71532407 781
El problema lo tengo a la hora de eliminar duplicados, pues no se eliminan. He creado dos ficheros para hacer la prueba pero no entiendo el comportamiento.
JSON1: {"1622471518.92911": ["36443.71532407", 781]}
JSON2: {"1622471518.92911": ["36443.71532407", 781], "1622471525.034114": ["36445.94311370", 43]}
A priori lo que yo quiero que pase es que si yo hago json2df(fileName)
(json1) obtener:
Timestamp Average Volume
1622471518.92911 36443.71532407 781
Y si ahora hago json2df(fileName)
(json2) obtener:
Timestamp Average Volume
1622471518.92911 36443.71532407 781
1622471525.034114 36445.94311370 43
Ahora mismo, me vuelve a añadir el valor que ya está. He probado a modificar el tipo de dato pero sigo sin conseguir nada.
¿Alguien puede orientarme en donde me estoy equivocando? Entiendo que hago el drop mal, pero no sé porqué, ni como solucionarlo.
¡Gracias!
drop_duplicates()
. El problema que tengo es que no me elimina dichos duplicados cuando es obvio que hay. Pienso puede ser un tema de formatos? Índices?keep
me da igual quedarme con el primero o el último pues son idénticos, por lo tanto el valor por defecto va bien