pd.read_html()
debe tratar de leer todo el archivo en memoria. Para
que eso no pase, podrías procesar el archivo de forma perezosa usando
la clase HTMLParser
del módulo html.parser
. Esta llama a unas funciones
definidas por el usuario cuando encuentra un tag de inicio o de fin, o los
datos que se encuentran entre estos tags. Así se puede procesar el archivo por
partes.
Un ejemplo que muestra el archivo csv generado por la salida estándar:
from html.parser import HTMLParser
import csv
import sys
class MyHTMLParser(HTMLParser):
def __init__(self, writer):
self.tags = []
self.writer = writer
self.row = []
super().__init__()
def handle_starttag(self, tag, attrs):
self.tags.append(tag)
def handle_endtag(self, tag):
if tag == "tr":
self.writer.writerow(self.row)
self.row = []
self.tags.pop()
def handle_data(self, data):
tag = self.tags[-1] if self.tags else: ""
if tag in {"th", "td"}:
self.row.append(data)
parser = MyHTMLParser(csv.writer(sys.stdout))
with open("tabla_pec.html", "r", encoding="cp1252") as file_:
for line in file_:
parser.feed(line)