1

Tengo una función que crea un json vacío y otra que sobreescribe el contenido de dicho json, pero de la manera en que lo tengo lo sobreescribe con un solo objeto cada vez a pesar de pasarle un listado de alrededor 10. ¿Cómo puedo sobreescribir TODA la información cada vez que llame a dicha función?

def override_json(folder_path, elements) -> None:
    json_path = os.path.join(folder_path, 'data.json')
    try:
        with open(json_path, 'r') as json_file:
            data = json.load(json_file)
    except FileNotFoundError:
        data = {}
        
    for element in elements:
        unique_key = str(datetime.now())
        data[unique_key] = element.__dict__

    with open(json_path, 'w') as json_file:
        json.dump(data, json_file, indent=2)

Esta es la función desde donde lo llamo

def scrap_infinite_page() -> None:
    clear_console()

    current_datetime:[datetime] = datetime.now()
    folder_path:[str] = create_folder(current_datetime)

    options:[webdriver.ChromeOptions] = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver:[webdriver.WebDriver] = webdriver.Chrome(options=options)
    
    index:[int] = 0
    
    page_url = INFINITE_SCROLL_URL
    driver.get(page_url)
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:    
        try:
            quotes:list[Quote] = []

            quotes_elements = WebDriverWait(driver, MAX_TIME_DELAYED).until(
                EC.presence_of_all_elements_located((By.CLASS_NAME, "quote"))
            )

            for i in range(index, len(quotes_elements)):
                quote_element = quotes_elements[i]
                quote:Quote = extract_quote(quote_element)
                quotes.append(quote)

            index = len(quotes_elements)
            
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(5)
            
            new_height = driver.execute_script("return document.body.scrollHeight")
            
            if new_height == last_height:
                break
            
            last_height = new_height

            override_json(folder_path, quotes)
            
        except Exception as e:
            print("Error al obtener los elementos:", e)

1 respuesta 1

1

Tu función debería funcionar bien excepto por un detalle, la precisión de datetime.datetime.now depende de la plataforma, por ejemplo, en mi sistema (Linux) la resolución de datetime.datetime.now es de 1 μs.

De la propia documentación:

... si es posible, suministra más precisión de la que se puede obtener usando una marca temporal de time.time() (por ejemplo, esto puede ser posible en plataformas que suministran la función de C gettimeofday()).

y en time.time() nos dice:

Tenga en cuenta que aunque el tiempo siempre se retorna como un número de coma flotante, no todos los sistemas lo proporcionan con una precisión superior a 1 segundo.

Es muy posible que en tu sistema datetime.datetime.now no tenga la resolución necesaria para generar una fecha distinta entre cada iteración del for. Si ocurre esto, todos los items nuevos tendrán la misma clave, por lo que solo se agregara el último de ellos al diccionario data. Puedes ver esto simplemente imprimiendo unique_key en cada iteración del ciclo.

Una posible opción, manteniendo la fecha como clave, seria agregar un pequeño incremento a cada fecha generada en el for, por ejemplo:

from datetime import datetime, timedelta

# ...

for i, element in enumerate(elements):
    unique_key = str(datetime.now() + timedelta(milliseconds=i))
    data[unique_key] = element.__dict__

De forma que te aseguras que cada una de ellas sea diferente.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.