1

Buenas estoy teniendo un problema, a la hora de querer obtener datos de una pagina, solo me descarga la primera pagina, pero si quiero obtener la 2da pagina no me deja, ya que al guardar los datos a la base de datos estos no se guardan porque ya hay una ID unica.

Un resumen:

Tengo una lista de jugadores ya obtenidos de la pagina

Imagen1

En la imagen de arriba se muestra los nombres y la ID del jugador. Bueno cuando obtengo la 1er pagina obtiene un total de 32 ID únicas es decir del 1 al 32.

Pero si quiero obtener la pagina 2 que contiene otros jugadores, las ID siguen siendo iguales y eso hace que me arroje error al querer guardar en la db.

introducir la descripción de la imagen aquí

En la imagen de arriba, se ve que esta queriendo guardar los datos ya que son diferentes en la ID 1 que ya esta ocupada.

En si ambos pertenecen a diferentes paginas.

Dejo el código de como se obtiene los datos.

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

def getpageinfo(page_num, players_urlid, players_name):
    """获得页面中球员的姓名及urlid"""
    print("Pagina 1:", page_num, "Nombre del jugador y URL")
    if page_num==1:
        html = urlopen('http://pesdb.net/pes2021/')
    else:
        html = urlopen('http://pesdb.net/pes2021/?page=' + str(page_num))
    bsObj = BeautifulSoup(html, "html.parser")
    for row in bsObj.table.find_all('a',{"href":re.compile("\.?id=.*")}):
        players_urlid.append(row.attrs['href'])
        players_name.append(row.get_text())
    print("¡Obtenido con éxito!")
    
def get_abilities(bsObj, data_name, level_datas):
    abilities = bsObj.find('script',text=re.compile('abilities.*')).get_text()
    abilities = abilities[0:-3].replace(',[','').split("]")
    for i in range(len(data_name)):
        level_datas[data_name[i]] = abilities[i]
    
def get_styles(bsObj, playing_style, player_skills, com_playing_styles):
    #获取风格信息
    table = bsObj.find('th',text = 'Playing Style').parent.parent.find_all('tr')
    styles = []
    for i in range(len(table)):
        styles.append(table[i].get_text())
    #获取索引
    playing_style_index = styles.index('Playing Style')
    player_skills_index = styles.index('Player Skills')
    com_playing_styles_index = styles.index('COM Playing Styles')
    #将风格信息切片
    playing_style_label = styles[playing_style_index + 1:player_skills_index]
    for i in playing_style_label:
        playing_style.append(i)
    player_skills_label = styles[player_skills_index + 1:com_playing_styles_index]
    for i in player_skills_label:
        player_skills.append(i)
    com_playing_styles_label = styles[com_playing_styles_index + 1:]
    for i in com_playing_styles_label:
        com_playing_styles.append(i)
        
def get_oterinfo(bsObj, other_info):    
    #获取其他基本信息
    tds = bsObj.table.tr.td.table.find_all('td')
    other_info1 = []
    for i in range(len(tds)):
        other_info1.append(tds[i].get_text())
    other_info1 = other_info1[1:-2]
    if other_info1[0] == 'Free Agents':
        other_info1 = ['NULL']+other_info1
    tds = bsObj.table.tr.td.next_sibling.next_sibling.next_sibling.next_sibling.table.find_all('td')
    other_info2 = []
    for i in range(len(tds)):
        other_info2.append(tds[i].get_text())
    other_info2 = other_info2[8:-3]
    other_info_label = other_info1 + other_info2
    for i in other_info_label:
        other_info.append(i)
        
def getplayerinfo(player_urlid, player_name, data_name, level_datas, other_info, playing_style, player_skills, com_playing_styles):
    """根据球员id获得球员信息"""
    print('recuperando:',player_name,'Información')
    html = urlopen('http://pesdb.net/pes2021/' + player_urlid)
    bsObj = BeautifulSoup(html, "html.parser")
    print('Procesando')
    del other_info[:], playing_style[:], player_skills[:], com_playing_styles[:]
    #获取能力值
    get_abilities(bsObj, data_name, level_datas)
    
    #获取风格信息
    get_styles(bsObj, playing_style, player_skills, com_playing_styles)
    
    #获取其他基本信息
    get_oterinfo(bsObj, other_info)
    print('¡Obtenido con éxito!')

El código donde obtiene las paginas es en el siguiente usando la variable page_num

    if page_num==1:
        html = urlopen('http://pesdb.net/pes2021/')
    else:
        html = urlopen('http://pesdb.net/pes2021/?page=' + str(page_num))

Lo que quiero que me ayuden o que me puedan brindar una mano es como hacer para que en vez descargue de 1 pagina descargue varias o que las ID no se reemplacen es decir cada uno tener una ID unica.

Agradezco cualquier ayuda!

pesdb.py

import pymysql  #导入 pymysql
import DBOperation as db_o
import GetInfo as gi

#设置要获取的页面号
page_num = 1

data_name = ['Capacidad ofensiva']
#data_name = ['攻击能力','控球','盘球','地面传球','空中传球','射门','定位球'
                #,'弧度','头球','防守能力','抢球','脚下力量','速度','爆发力','身体平衡'
                #,'协调性','跳跃','体力','守门','接球','解围','扑救反应','覆盖区域','整体评价']
players_urlid, players_name, players_num, level_datas, other_info = [], [], [], {}, []
playing_style, player_skills, com_playing_styles = [], [], []
#打开数据库连接
db= pymysql.connect(host="localhost",user="jkdev",
            password="Asd@02322!",db="pesdb",port=3306)
cur = db.cursor()

gi.getpageinfo(page_num, players_urlid, players_name)
players_num = [((page_num-1) * len(players_urlid) + i + 1) for i in range(len(players_urlid))]

for i in range(len(players_urlid)):
    gi.getplayerinfo(players_urlid[i][2:], players_name[i], data_name, level_datas, other_info, playing_style, player_skills, com_playing_styles)
    
    print(playing_style,'\n',player_skills,'\n',com_playing_styles)
    
    db_o.insert_baseinfo(cur, players_num[i], players_urlid[i], players_name[i], other_info, playing_style, player_skills, com_playing_styles)
    #for table_name, leval_data in level_datas.items():
    #db_o.insert_abilitys(cur, players_num[i], players_name[i], leval_data)
    print('--------------------------------------')
    
#关闭数据库和光标
cur.close()
db.close()
6
  • 1
    no se si esa estructura sea la mas indicada, pero puedes guardar el id con un discriminador por ejemplo id=0000-2el numero seguid del guion indicara la pagina
    – Christian
    el 24 may. 2021 a las 23:09
  • @Christian gracias por tu comentario. Como se podría aumentar el ID mientras sube, en la pagina 1 hay 32 ID del 1 al 32, entonces como puedo hacer que la pagina 2 no use esas mismas ID y use las ID 32+ y así para todos
    – Joaqho C
    el 24 may. 2021 a las 23:13
  • 1
    si cada pagina tiene 32 entonces podrias dividir el ultimo numero entre 32, por ejemplo en la pagina 1 va del 1-32, seria 32/32 =1, en la pagina 2 va del 32-64, seria 64/32=2, y asi sucesivamente
    – Christian
    el 24 may. 2021 a las 23:20
  • Claro, yo queria hacer eso. Pero... mi capacidad con python no es la mejor, así que estoy viendo como hacer eso. Aunque estoy pensando, que el ID aumente dependiendo la pagina :/
    – Joaqho C
    el 24 may. 2021 a las 23:24
  • 1
    bueno la cuestion es que vayas probando y elijas el método que te sea mas fácil, cómodo y escalable posible, ademas ya tienes una respuesta y la haz aceptado
    – Christian
    el 24 may. 2021 a las 23:27

1 respuesta 1

1

Joaqho, puedes aprovechar que la página te devuelve unos ID únicos y usar esa información para añadirlo a la base de datos y evitar el error de duplicados. Respondiendo a como descargar el contenido de varias paginas, una de las formas es primero obtener o generar los enlaces de las paginas y después visitarlas una por una y en cada visita obtener el contenido que deseas, algo como esto:

url = 'http://pesdb.net/pes2021/'
r = urlopen(url)
bsObj = BeautifulSoup(r, "html.parser")
# Obtienes los enlaces de las paginas
pages = []
for a in bsObj.find("div",{"class":"pages"}).find_all("a"):
    pages.append(url+a.get("href"))

players=[]
for page in pages:
    print(f"Analizando la página [{pages.index(page)}/{len(pages)}]")
    r = urlopen(page)
    bsObj = BeautifulSoup(r, "html.parser")

    rows = bsObj.table.find_all("tr")
    
    for row in rows[1:]:
        row_content = row.find_all("td")    
        _id = row_content[1].a.get("href").replace("./?id=","")
        players.append({'id':_id,'Position': row_content[0].text, 'Player_Name': row_content[1].text, 'Team_Name': row_content[2].text, 'Nationality': row_content[3].text, 'Height': row_content[4].text, 'Weight': row_content[5].text, 'Age': row_content[6].text, 'Condition': row_content[7].text, 'Overall_Rating': row_content[8].text})
print(len(players)) 

Obtienes al final una lista de json con los datos de los jugadores y su respectivo ID. Intente hacer el código lo más entendible posible, si tienes alguna duda no dudes en preguntar! yo encantado de poder ayudar

'id':'7511'
'Position':'RWF'
'Player_Name':'L. MESSI'
'Team_Name':'FC BARCELONA'
'Nationality':'ARGENTINA'
'Height':'170'
'Weight':'72'
'Age':'33'
'Condition':'A'
'Overall_Rating':'94'
4
  • Gracias por tu comentario @CalumRakk yo de python no se mucho, y lo que he podido hacer fue la parte de la base de datos. Lo que intento es que todo vaya directamente a la base de datos, todo los datos que se obtienen rellenarlos en una tabla llamada players y ahi colocar los valores en cada columna. Todo se obtiene por el page y el id de la pagina, no x id del jugador. pero entiendo tu respuesta y tratare de hacerlo así. Muchas gracias!
    – Joaqho C
    el 24 may. 2021 a las 23:11
  • 1
    Tienes razón. Se están obteniendo datos repetidos. Voy intentar ver como resolver eso
    – CalumRakk
    el 25 may. 2021 a las 2:29
  • 1
    @JoaqhoC ahora que tenia más tiempo decide reescribir el código. Hice varias pruebas y ninguna me dio resultados repetidos. La lógica sigue siento la misma, pero creo que con un código que más legible.
    – CalumRakk
    el 25 may. 2021 a las 3:13
  • Gracias @CalumnRakk agradezco tu ayuda. Si es mas que claro que se entiende, y eso es lo bueno. Voy a tratar de adaptarlo para subirlo a la DB y hacerlo con todas las paginas.
    – Joaqho C
    el 25 may. 2021 a las 4:37

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.