0

Estoy tratando de utlizar el siguiende código, que obtuve en https://stackoverflow.com/questions/60649436/scrape-table-data-on-multiple-pages-from-multiple-urls-python-beautifulsoup

import pandas as pd
import requests

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}

results = pd.DataFrame()
year = 2000

while year < 2023:
    goToNextPage = True
    page = 1
    while goToNextPage == True:
        base_URL = 'http://www.espn.com/nba/salaries/_/year/{}/page/{}'.format(year,page) 
        response = requests.get(base_URL, headers)
        if response.status_code == 200:
            temp_df = pd.read_html(base_URL)[0]
            temp_df.columns = list(temp_df.iloc[0,:])
            temp_df = temp_df[temp_df['RK'] != 'RK']

            if len(temp_df) == 0:
                goToNextPage = False
                year +=1
                continue


            print ('Aquiring Season: %s\tPage: %s' %(year, page))

            temp_df['Season'] = '%s-%s' %(year-1, year)

            results = results.append(temp_df, sort=False).reset_index(drop=True)
            page+=1
    
results.to_csv('c:/Users/m3254/OndeDrive/Escritorio/WebScraping/NBA_Salary_2000_2022.csv', index=False)

Al ejecutarlo obtengo: "FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead".

Aquí explica como hacerlo: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future pero la verdad es que soy un principiante y no sé como implementarlo a mi caso concreto. he intentado esto:

results = pd.concat(results,temp_df, ignore_index=True)

pero obtengo estos mensajes: https://gyazo.com/36407fdc8a6e46a9bbc70c8550ebc62e

Agradecería cualquier ayuda al respecto.

3

1 respuesta 1

0

Buen día,

En primer lugar, el código aunque funciona no es correcto, se utiliza append para adjuntar un dataframe a uno existente en cada ciclo y eso desperdicia recursos, si únicamente se convirtiera a concat igual desperdiciarías recursos.

En la documentación de pandas.concat claramente se puede observar que la forma correcta es una lista de dataframes a concatenar por lo que sería así (Hacen falta los corchetes):

results = pd.concat([results, temp_df], ignore_index=True)

Una forma óptima de hacerlo es crear una lista vacía e ir agregando elementos a esa lista para al final utilizar pandas.concat una sola vez.

Ejemplo:

import pandas as pd
import requests

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}

# Creamos una lista vacía
results = []
year = 2000

# Cambié el límite para no esperar hasta el año que estaba
while year < 2001:
    goToNextPage = True
    page = 1
    while goToNextPage == True:
        base_URL = 'http://www.espn.com/nba/salaries/_/year/{}/page/{}'.format(year,page) 
        response = requests.get(base_URL, headers)
        if response.status_code == 200:
            temp_df = pd.read_html(base_URL)[0]
            temp_df.columns = list(temp_df.iloc[0,:])
            temp_df = temp_df[temp_df['RK'] != 'RK']

            if len(temp_df) == 0:
                goToNextPage = False
                year +=1
                continue

            temp_df['Season'] = '%s-%s' %(year-1, year)
            
            # Adjuntamos todos los dataframes parciales en la lista
            results.append(temp_df)
            page+=1

# Creamos un dataframe con todos elementos de la lista
# También quité la función para crear un archivo de excel
# que puede reemplazar esta línea
df = pd.concat(results)

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.