me estoy iniciando en Scrapear webs, concretamente lo quiero scrapear son web de estadísticas de futbol para crear mi propia base de datos. Principalmente elijo esto porque quiero aprender a scrapear y me gusta el futbol, hehehehe
Bueno, a continuación os dejo mi código.
De momento sólo me descargo una web y busco 5 o 6 resultados sencillos con la idea de practicar cómo crear un .csv y el problema que encuentro la forma de crear dicho archivo.
A ver si algún alma caritativa de este maravilloso foro me ayuda con esta ardua tarea y me dice cómo terminar de crear mi .csv
Muchas gracias a todos
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://es.besoccer.com/partido/salernitana-calcio-1919/lecce/202353462/analisis'
besoccer = requests.get(url)
s = BeautifulSoup(besoccer.text, 'lxml')
type(s)
print(s.prettify())
import numpy as np
def obtener_stats(s):
stats_dict = {}
competition = s.find('h3', attrs={'class':'competition'})
if competition:
stats_dict['competition'] = competition.get_text('/', strip=True)
else:
stats_dict['competition'] = None
homeTeam = s.find('p', attrs={'itemprop':'homeTeam'})
if homeTeam:
stats_dict['homeTeam'] = homeTeam.get_text('/', strip=True)
else:
stats_dict['homeTeam'] = None
homeRank = s.find('div', attrs={'class':'position t1'})
if homeRank:
stats_dict['homeRank'] = homeRank.get_text()
else:
stats_dict['homeRank'] = None
homeGoals = s.find('div', attrs={'class':'content-box t-1'}).find('div', attrs={'class':'poss-box'})
if homeGoals:
stats_dict['homeGoals'] = homeGoals.get_text('/', strip=True)
else:
stats_dict['homeGoals'] = None
awayTeam = s.find('p', attrs={'itemprop':'awayTeam'})
if awayTeam:
stats_dict['awayTeam'] = awayTeam.get_text('/', strip=True)
else:
stats_dict['awayTeam'] = None
awayRank = s.find('div', attrs={'class':'position t2'})
if awayRank:
stats_dict['awayRank'] = awayRank.get_text()
else:
stats_dict['awayRank'] = None
awayGoals = s.find('div', attrs={'class':'content-box t-2'}).find('div', attrs={'class':'poss-box'})
if awayGoals:
stats_dict['awayGoals'] = awayGoals.get_text('/', strip=True)
else:
stats_dict['awayGoals'] = None
draw = s.find('div', attrs={'class':'content-box draw'}).find('div', attrs={'class':'cont'})
if draw:
stats_dict['draw'] = draw.get_text('/', strip=True)
else:
stats_dict['draw'] = None
return stats_dict
obtener_stats(s)
df = pd.DataFrame()
df.head()