0

Estoy tratando de leer un archivo html con pd.read_html() y luego quiero guardar esa información en un archivo CSV o txt, pero toma toda la memoria de mi PC solo tratando de leerlo, y esperé como Un día y todavía no hay progreso.

¿Hay alguna otra forma de hacer este proceso?

Adjunté una foto de los datos. Alrededor de (800mb)

introducir la descripción de la imagen aquí

1 respuesta 1

0

pd.read_html() debe tratar de leer todo el archivo en memoria. Para que eso no pase, podrías procesar el archivo de forma perezosa usando la clase HTMLParser del módulo html.parser. Esta llama a unas funciones definidas por el usuario cuando encuentra un tag de inicio o de fin, o los datos que se encuentran entre estos tags. Así se puede procesar el archivo por partes.

Un ejemplo que muestra el archivo csv generado por la salida estándar:

from html.parser import HTMLParser
import csv
import sys

class MyHTMLParser(HTMLParser):
    def __init__(self, writer):
        self.tags = []
        self.writer = writer
        self.row = []
        super().__init__()

    def handle_starttag(self, tag, attrs):
        self.tags.append(tag)

    def handle_endtag(self, tag):
        if tag == "tr":
            self.writer.writerow(self.row)
            self.row = []

        self.tags.pop()

    def handle_data(self, data):
        tag = self.tags[-1] if self.tags else: ""

        if tag in {"th", "td"}:
            self.row.append(data)

parser = MyHTMLParser(csv.writer(sys.stdout))

with open("tabla_pec.html", "r", encoding="cp1252") as file_:
    for line in file_:
        parser.feed(line)
4
  • Gracias, esa parece ser una buena solución. Luego de intentar con una parte de la tabla de html me arroja este error, no estoy muy seguro de cómo identificar lo que está mal.
    – Miguel
    el 5 abr. 2020 a las 21:33
  • [kaggle.com/miguelpy/aaaaaa]..... En ese enlace está la parte de la tabla con la cual estoy probando. Tal vez, puedas darle un vistazo?
    – Miguel
    el 5 abr. 2020 a las 21:38
  • Ahi me fije, mira que el html completo (el de 800mb) está público, no sé si lo hayas hecho a propósito. Con respecto al programa, parece que no funciona porque expat no soporta html, solo xml. Ahí edito mi respuesta con una forma que funcione.
    – braver
    el 6 abr. 2020 a las 2:27
  • Pensé que estaba privado.. en fin, esa es la estructura del archivo...
    – Miguel
    el 6 abr. 2020 a las 18:12

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.