1

Como puedo hacer para leer muchos json en un solo json en python, tengo el codigo, Hasta ahora solo me lee uno, pero si uso el json "maestro" me tira error. import json

with open("datos2.json") as mis_datos:
    datos = json.loads(mis_datos.read())
    print(datos["_source"])

pero ese codigo me funciona solo para leer un json, lo que necesito y no se como hacer es que lea un .json que dentro de ese archivo tiene varios json mas y que imprima los datos mencionados en el codigo.

El json maestro es algo asi(pero con unos 200json dentro)

 {"_index":"Prueba2","_type":"_doc","_id":"b8bd","_score":1,"_source":{"@version":"1","id":"2840","content":

  {"_index":"prueba","_type":"_doc","_id":"bd4d","_score":1,"_source":{"@version":"1","id":"2848","content":}

 {"_index":"prueba","_type":"_doc","_id":"bd4d","_score":1,"_source":{"@version":"1","id":"2847","content":     

lo que necesito es que el script lea todos los json dentro del json maestro y me devuelva los parametros de "_source" de todos los json dentro del maestro.

Error al intentar usar el json maestro (el que tiene los 200json dentro)

 Traceback (most recent call last):
  File "scriptpython.py", line 4, in <module>
    datos = json.loads(mis_datos.read())
  File "/usr/lib/python3.8/json/__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "/usr/lib/python3.8/json/decoder.py", line 340, in decode
    raise JSONDecodeError("Extra data", s, end)
 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 1729)

desde ya muchas gracias.

2
  • estoy interesado solo en el campo "_source" de todos los json. tengo aprox 200 json. todos esos dentro de otro json. hay campos que re sepiten (siempre son los mismos) y campos que varian. lo que necesito es poder leer esos 200 json que estan dentro del "general"
    – F4ntash
    Commented el 7 jul. 2020 a las 16:12
  • {"_index":"Prueba","_type":"_doc","_id":"bd594bb,"_score":1,"_source":{"@version":"1","id":"28","content":} {"_index":"prueba2","_type":"_doc","_id":"bd3ca790e73bd","_score":0,"_source":{"@version":"1","id":"2848","content":} una lista con los valores acomodados no me hace falta. solo necesito que lea todo el _source y me lea los 200 json del json maestro
    – F4ntash
    Commented el 7 jul. 2020 a las 16:17

1 respuesta 1

1

El formato que tiene tu fichero se denomina json lines que no es más que una serie de JSONs (uno por línea) en un solo fichero.

Aunque hay un paquete Python para tratar con este formato (jsonlines) tampoco es que sea muy necesario, pues puedes simplemente leer cada línea del fichero a una cadena y convertir esa cadena en un diccionario Python usando json.loads().

Por ejemplo, el siguiente código lee todo el fichero y retorna una lista de diccionarios. Cada uno de los diccionarios de esa lista es un objeto JSON:

def leer_jsons(fichero):
  lista = []
  with open(fichero) as f:
    for linea in f:
       d = json.loads(linea)
       lista.append(d)
  return lista

Y puedes usarla así:

lista_de_dicts = leer_jsons("datos2.json")

Una vez tienes la lista la procesas en la forma que necesites.

Como generador

Pero si el fichero a procesar tiene muchos JSON dentro (200 no son tantos al final, pero supongamos que tiene cientos de miles), y no necesitas la lista de todos ellos porque al final vas a procesarlos y quedarte sólo con parte de la información, puede ser mucho más eficiente que escribas un generador.

La idea es la misma, pero en vez de crear una lista con todos los JSON y retornar esa lista, el generador "genera" y retorna (usando yield) los diccionarios de uno en uno. Sería así: (de paso lo he hecho un poco más resistente haciendo que se salte las líneas vacías si las hubiera):

def leer_jsons(fichero):
  with open(fichero) as f:
    for linea in f:
       if not linea.strip():  # Si la linea está vacía
          continue    # me la salto
       # En caso contrario se convierte el json y se retorna
       yield json.loads(linea)

Este generador puede usarse en una expresión donde Python admita cualquier iterable. Por tanto en un bucle for como el siguiente:

sources = []
for dato in leer_jsons("datos2.json"):
   sources.append(dato.get("_source"))

en el que nos estamos quedando sólo con el campo "_source" de cada objeto JSON y guardando todos en una lista.

Y con comprensiones de listas también funciona

Una comprensión de lista es otra forma más compacta de implementar el bucle anterior, en una sola línea:

sources = [ d.get("_source") for d in leer_jsons("datos2.json") ]
5
  • perdon mi ignorancia (soy nuevo) entiendo lo que hace el codigo pero no entiendo como podria adjuntarlo al mio.
    – F4ntash
    Commented el 7 jul. 2020 a las 16:54
  • @F4ntash He extendido un poco la respuesta. ¿Qué es lo que te falta exactamente?
    – abulafia
    Commented el 7 jul. 2020 a las 16:55
  • no me sale como implementarlo al codigo y me sale error en File "script2.py", line 4 for linea in f: ^ IndentationError: unindent does not match any outer indentation level
    – F4ntash
    Commented el 7 jul. 2020 a las 17:01
  • en donde usted pone "fichero" tengo que poner datos2.json verdad?
    – F4ntash
    Commented el 7 jul. 2020 a las 17:08
  • @F4ntash No, es el parámetro de la función. Cuando llames a la función le pasas el nombre del fichero, como hago yo a continuación. No sé por qué te da error, asegúrate de haber copiado correctamente el código y la indentación. A mi me funciona. Probablemente al copiarlo omitiste algún espacio o pusiste algún espacio de más, y la indentación ya no encaja
    – abulafia
    Commented el 7 jul. 2020 a las 17:09

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.