-1

estoy realizando web scraping una una pagina de sismos, en la tabla de sismos aparecen los datos que necesito pero especificamente el dato de "magnitud" viene con numeros y texto, lo que necesito es que cuando realice el raspado y me guarde el csv me separe el texto de los numeros y genere una nueva columna

Latitud Longitud    Profundidad [Km]    Magnitud    Referencia Geográfica
-32.438 -71.502            26.7           2.5 Ml     25 km al O de La Ligua
-23.835 -67.207            243.2          3.2 Ml     75 km al E de Socaire

EL CODIGO

#!/usr/bin/env python
# -*- coding: utf-8 -*-


import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
from pandas.core.frame import DataFrame


e = urllib.request.urlopen("http://www.sismologia.cl/ultimos_sismos.html").read()

soup = BeautifulSoup(e, 'html.parser')

# Ejemplo de como imprimir todo
# print soup.prettify()

# Obtenemos la tabla

tabla_sismos = soup.find_all('table')[0]

# Obtenemos todas las filas
rows = tabla_sismos.find_all("tr")

output_rows = []
for row in rows:
    # obtenemos todas las columns
    cells = row.find_all("td")
    output_row = []
    if len(cells) > 0:
        for cell in cells:
            output_row.append(cell.text)
        output_rows.append(output_row)

dataset = pd.DataFrame(output_rows)

dataset.columns = [
    "Fecha Local",
    "Fecha UTC",
    "Latitud",
    "Longitud",
    "Profundidad [Km]",
    "Magnitud",
    "Referencia Geográfica",
]
dataset[["Latitud", "Longitud"]] = dataset[["Latitud", "Longitud"]].apply(pd.to_numeric)

dataset_filter = dataset[
    (-27.100 <= dataset["Latitud"])
    & (dataset["Latitud"] <= -21.680)
    & (-72.150 <= dataset["Longitud"])
    & (dataset["Longitud"] <= -66.180)
]

df = pd.read_csv("data.csv") #leer archivo data.csv


con = pd.concat([dataset_filter, df]).astype({"Profundidad [Km]":float, "Latitud":float}) # concatenar dataset_filter y df, ademas cambia string a float las columnas Profundidad [Km] y Latitud

con = con.drop_duplicates()

con.to_csv("data.csv",  index=None) # crear csv con archivos concatenados
6
  • Por que no pruebas usando expresiones regulares, o incluso codificar tu propia función para hacer eso sin usar regex? Piensa, que reglas sigue lo que quieres separar en dos partes?
    – Dante S.
    Commented el 20 dic. 2021 a las 12:26
  • Tal como dice Dante, sí tu columna de análisis es Magnitud, puedes tranquilamente aplicarle split() a cada registro de dicha columna sin necesidad de utilizar regex. y tendrías en la primer posición el dato númerico, y en la segunda la escala utilizada Commented el 20 dic. 2021 a las 14:16
  • Prueba poniendo magnitud=df.iloc[:,3].str.split(' ') y con eso consigues separar en dos la magnitud
    – rami
    Commented el 20 dic. 2021 a las 15:29
  • en que linea deberia ir
    – Daxtrox
    Commented el 29 dic. 2021 a las 6:24
  • aun no puedo resolver
    – Daxtrox
    Commented el 30 dic. 2021 a las 1:29

1 respuesta 1

2

Despues de ...

con = con.drop_duplicates()

Esto debe funcionarte, ten en cuenta que el resultado final tambien contiene la actual columna 'magnitud', en el caso que no la quieras mantener solo tienes que hacerle drop

con['magnitud']=con['magnitud'].astype(str)
f =con["magnitud"].str.split(' ', expand=True)
f.columns = ['numeros', 'letras']
con2 = pd.concat([con, f], axis=1)

2
  • Gracias, me ayudo a separar lo que necesitaba, ahora el problema esta en que cada actualización del archivo data.csv se esta generando nuevas columnas ['numeros', 'letras']
    – Daxtrox
    Commented el 29 dic. 2021 a las 9:31
  • aun no puedo resolver
    – Daxtrox
    Commented el 30 dic. 2021 a las 1:29

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.