Tu problema es que el diccionario en cuestión está dentro de un dataframe Pandas.
Hay varias formas de atacar este problema. Una sería usar pandas.json_normalize()
, pero en mi experiencia no es muy sencillo dar con qué parámetros concretos habría que pasarle y no es muy flexible (en concreto puede fallar si dentro del JSON a su vez hay listas, como es tu caso).
Creo que una opción más flexible es usar df.map()
para aplicar a todos los elementos de la columna (que son el JSON que quieres extraer) una función que extraiga la clave que te interesa, y si acaso usar df.assign()
para crear una nueva columna con el resultado.
Por ejemplo, para extraer el campo "$date"
, que aparece en la columna hourTime
, y asignárselo a una nueva columna fecha
, podrías hacer:
d.assign(fecha=lambda df: df.hourTime.map(lambda c: c["$date"])
Te explico un poco qué hace esto:
d
es tu dataframe, sobre el cual invoco el método .assign()
, que sirve para crear columnas nuevas (podrías haber usado también d["date"]=...
para ello, pero la práctica moderna va por usar .assign()
, que permite encadenar operaciones, luego explico un poco más sobre esto).
.assign()
es un método que espera como parámetro algo del tipo nombre=funcion
, donde nombre
sería el nombre de la columna que queremos crear (en este caso fecha
) y la función típicamente es una lambda
.
- La función en cuestión recibe como parámetro una copia completa del dataframe (en la variable
df
) y debe retornar una serie (una columna nueva). De eso se ocupa la lambda
que he escrito.
df.hourTime
toma la columna hourTime
del DataFrame df
.map()
aplica una función a cada elemento de esa columna. La función en cuestión es otra lambda
, que recibirá como parámetro un valor de una celda concreta (en la variable c
), y podrá usarlo para transformarlo en otra cosa.
- En nuestro caso,
c
tendrá un diccionario, el que había dentro de esa celda, y con cuyo campo "$date"
nos queremos quedar. Así que la lambda
simplemente evalúa c["$date"]
.
Una vez que ha quedado claro el mecanismo, podemos repetir la fórmula con otras columnas, como la track
. Aquí es donde .assign()
es interesante, porque el resultado retornado por assign()
es el nuevo dataframe con la columna "fecha"
añadida. Por tanto podemos volver a aplicar .assign()
a este resultado para añadir otra columna, y otro .assign()
al nuevo resultado para añadir otra, etc. Esto es lo que se conoce como encadenamiento.
En tu caso, la columna track
es más compleja que la hourTime
, pues el JSON que contiene tiene muchas más claves y anidadas de formas más intrincadas. Dices que te interesa sacar por ejemplo una de las coordenadas guardadas. Estas coordenadas están en un campo llamado "coordinates"
, de otro llamado "geometry"
, pero hay varios de estos en una lista, siendo esa lista el valor del campo "features"
.
Supongamos que queremos sólo las coordenadas del primer elemento de esa lista. Dentro del JSON en cuestión sería el valor de ["features"][0]["geometry"]["coordinates"]
. Cuidado que este valor es a su vez una lista con dos elementos, supongo que la latitud y la longitud, o x e y, o lo que sea.
Lo siguiente podría extraer esa información, siguiendo un esquema como el antes visto:
d.assign(coords=lambda df: df.hourTime.map(lambda c: c["features"][0]["geometry"]["coordinates"])
No obstante ahora, la nueva columna "coords"
tendría listas como elementos. Puedes separar los elementos de estas listas en otras dos columnas, digamos x
e y
aplicando otro .assign()
que extraiga de la columna coords
el primer o segundo elemento de las listas que contiene.
Por poner un ejemplo concreto, supongamos que el contenido de tu fichero JSON es como sigue (hay un objeto JSON por línea, en este caso para no inventar datos he repetido tres veces el ejemplo que proporcionaste):
j = """
{ "id": 5, "track": { "type": "FeatureCollection", "features": [ { "geometry": { "type": "Point", "coordinates": [ -5.723554786, 60.2245778]}, "type": "Feature", "properties": {"var": "2985 street St Paul 27 5th ave", "speed": 1.80, "secondsfromstart": 300} },{"geometry": {"type": "Point", "coordinates": [-3.5679896, 22.41933479]}, "type": "Feature", "properties": { "var": "765499 Johson ave west Side 6th floor", "speed": 7.44, "secondsfromstart": 90 } } ]}, "user_type": 1, "hourTime": { "$date": "2018-09-01T01:00:00.000+0200"},"zip_code": "N/A"}
{ "id": 5, "track": { "type": "FeatureCollection", "features": [ { "geometry": { "type": "Point", "coordinates": [ -5.723554786, 60.2245778]}, "type": "Feature", "properties": {"var": "2985 street St Paul 27 5th ave", "speed": 1.80, "secondsfromstart": 300} },{"geometry": {"type": "Point", "coordinates": [-3.5679896, 22.41933479]}, "type": "Feature", "properties": { "var": "765499 Johson ave west Side 6th floor", "speed": 7.44, "secondsfromstart": 90 } } ]}, "user_type": 1, "hourTime": { "$date": "2018-09-01T01:00:00.000+0200"},"zip_code": "N/A"}
{ "id": 5, "track": { "type": "FeatureCollection", "features": [ { "geometry": { "type": "Point", "coordinates": [ -5.723554786, 60.2245778]}, "type": "Feature", "properties": {"var": "2985 street St Paul 27 5th ave", "speed": 1.80, "secondsfromstart": 300} },{"geometry": {"type": "Point", "coordinates": [-3.5679896, 22.41933479]}, "type": "Feature", "properties": { "var": "765499 Johson ave west Side 6th floor", "speed": 7.44, "secondsfromstart": 90 } } ]}, "user_type": 1, "hourTime": { "$date": "2018-09-01T01:00:00.000+0200"},"zip_code": "N/A"}
"""
El DataFrame que Pandas haría por defecto sería este:
import pandas as pd
d = pd.read_json(j, lines=True)
pd.set_option('display.width', 1000)
print(d)
hourTime id track user_type zip_code
0 {'$date': '2018-09-01T01:00:00.000+0200'} 5 {'type': 'FeatureCollection', 'features': [{'g... 1 N/A
1 {'$date': '2018-09-01T01:00:00.000+0200'} 5 {'type': 'FeatureCollection', 'features': [{'g... 1 N/A
2 {'$date': '2018-09-01T01:00:00.000+0200'} 5 {'type': 'FeatureCollection', 'features': [{'g... 1 N/A
Y sobre éste aplicamos las técnicas antes descritas. En este ejemplo voy a extraer la fecha y las coordenadas x, y del primer elemento dentro de "features"
, para cada fila. Una vez hecho esto, uso .drop()
para eliminar del resultado las columnas que ya no me interesa (obviamente no necesitas hacer esto si no quieres, es para que el resultado se vea más limpio):
resultado = (d
.assign(date=lambda df: df.hourTime.map(lambda c: c["$date"]))
.assign(coord=lambda df: df.track.map(lambda c: c["features"][0]["geometry"]["coordinates"]))
.assign(x=lambda df: df.coord.map(lambda c: c[0]))
.assign(y=lambda df: df.coord.map(lambda c: c[1]))
.drop(["hourTime", "track", "coord"], axis=1)
)
print(resultado)
Y sale:
id user_type zip_code date x y
0 5 1 N/A 2018-09-01T01:00:00.000+0200 -5.723555 60.224578
1 5 1 N/A 2018-09-01T01:00:00.000+0200 -5.723555 60.224578
2 5 1 N/A 2018-09-01T01:00:00.000+0200 -5.723555 60.224578
Necesitarías definir un poco mejor qué tipo de procesamiento quieres hacer con la información contenida en track
, si sólo te interesa el primer elemento de la lista, o todos, y en ese caso qué estructura querrías tener en el dataframe resultante.
Si no querías hacer estas transformaciones sino simplemente acceder a la información de las coordenadas, pero sobre el dataframe d
original, bastaba poner (por ejemplo, coordenadas del primer elemento de la lista "features" de la primera fila del dataframe):
>>> d.track[0]["features"][0]["geometry"]["coordinates"]
[-5.723554786, 60.2245778]