0

Tengo un codigo para que me realice un raspado a una pagina de sismos y luego me guarde los datos de los ultimos sismos ocurridos en un csv.

Si hago nuevamente el raspado y no hay datos nuevos estos se duplican, como logro hacer para que cuando realice el nuevo raspado no guarde los datos que ya estan en el csv?

import urllib.request
from bs4 import BeautifulSoup
import csv


e = urllib.request.urlopen("http://www.sismologia.cl/ultimos_sismos.html").read()

soup = BeautifulSoup(e, 'html.parser')

# Ejemplo de como imprimir todo
# print soup.prettify()

# Obtenemos la tabla

tabla_sismos = soup.find_all('table')[0]

# Obtenemos todas las filas
rows = tabla_sismos.find_all("tr")

output_rows = []
for row in rows:
    # obtenemos todas las columns
    cells = row.find_all("td")
    output_row = []
    if len(cells) > 0:
        for cell in cells:
            output_row.append(cell.text)
        output_rows.append(output_row)
        

with open('Sismos.csv', 'a', newline="") as csvfile:
    writer = csv.writer(csvfile, delimiter=";")
    writer.writerows(output_rows)
2
  • Qué has intentado
    – S. Wasta
    Commented el 28 ago. 2021 a las 21:45
  • with open("Sismos.csv", "r") as f_in: unicos = set(f_in.readlines()) with open("output.csv", "w") as f_out: f_out.write("".join(unicos)) ahi ya no me los duplica, pero no quiero enerar otro csv quiero trabajar sobre el mismo.
    – Daxtrox
    Commented el 28 ago. 2021 a las 21:47

1 respuesta 1

1
import urllib.request
from bs4 import BeautifulSoup
import csv

e = urllib.request.urlopen("http://www.sismologia.cl/ultimos_sismos.html").read()

soup = BeautifulSoup(e, 'html.parser')

tabla_sismos = soup.find_all('table')[0]
rows = tabla_sismos.find_all("tr")
output_rows = []

with open("Sismos.csv", "r", encoding="utf-8") as csvfileread:
    sismos = list(csv.reader(csvfileread))

for row in rows:
    # obtenemos todas las columns
    cells = row.find_all("td")
    output_row = []
    if len(cells) > 0:
        for cell in cells:
            output_row.append(cell.text.strip())
# añadimos comprobación
        if not any(";".join(output_row) in sublist for sublist in sismos):
            output_rows.append(output_row)

# añadimos encoding utf8
with open('Sismos.csv', 'a', newline="", encoding="utf-8") as csvfile:
    writer = csv.writer(csvfile, delimiter=";")
    writer.writerows(output_rows)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.