0
import requests
    import xlsxwriter
    from bs4 import BeautifulSoup
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.common.keys import Keys
    import time

    # Crear el archivo Excel y escribir los encabezados de las columnas
    workbook = xlsxwriter.Workbook('funcionarios_fuerzasarmadas.xlsx')
    worksheet = workbook.add_worksheet()
    worksheet.write('A1', 'Nombre y apellido')
    worksheet.write('B1', 'Cargo')
    worksheet.write('C1', 'Correo')

    driver = webdriver.Chrome(executable_path=r'C:\dchrome\chromedriver.exe')    

    driver.get("https://www.gob.pe/institucion/fap/funcionarios")
    
    # lista donde se guardan la url
    textos = []
    elementos = driver.find_elements(By.CLASS_NAME, "text-2xl")
    url = 'https://www.gob.pe/institucion/fap/funcionarios'
    html = requests.get(url).text
    s= BeautifulSoup(html, 'html.parser')
    # Encontrar el tag 'ul' de clase 'row mb-0'
    ul_tag = s.find('ul', class_='row mb-0')

    # Encontrar todos los tags 'a' dentro del tag 'ul'
    a_tags = ul_tag.find_all('a')

    # Crear un conjunto para almacenar las URLs
    ul = set()

   # Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul'
   for a in a_tags:
       ul.add('https://www.gob.pe' + a['href'])

   # Ordenar el conjunto 'ul' alfabéticamente
   ul = sorted(ul)

   links = s.find_all('a')

   urls = []
   for link in links:
       url = link.get('href')
       if url:
           urls.append("'" + url + "'")
   # for guarda en la lista
   for elemento in elementos:
       texto = elemento.text.replace('"', "'")
       textos.append(elemento.text)

   # es for recorre la lista de los funcionarios
   # Imprimir la lista de URLs
   for url2 in ul:
    
      row = 1
      for texto in textos:
        
        url_link = driver.find_element(by=By.LINK_TEXT, value=texto)
        url_link.click()
        time.sleep(1)
        # obtenemos la url de la pagina y lo parseamos
         
        response = requests.get(url2)
        soup = BeautifulSoup(response.content, 'html.parser')
        
        nombre = soup.find('h2', {'class': 'md:text-4xl mt-3'}).text.strip()
        cargo = soup.find('div',{'class':'mt-4'}).text.strip()
        correo = soup.find('span',{'class':'col-md-10 px-0 col-xs-10'}).text.strip()
    
        worksheet.write(row, 0, nombre)
        worksheet.write(row, 1, cargo)
        worksheet.write(row, 2, correo)
        
        url_link = driver.find_element(by=By.LINK_TEXT, value='Funcionarios')
        url_link.click()
        row += 1
    
    driver.quit()
    time.sleep(2)
    workbook.close()

1 respuesta 1

1

0 -> Si crea el Excel. Pero tienes que especificar la ruta absoluta: para mi caso basta con agregar esta linea:

workbook = xlsxwriter.Workbook('C:\\Users\\felipedelosh\\Documents\\Error\\funcionarios_fuerzasarmadas.xlsx')

En caso de que no modifiques la ruta queda en la carpeta personal. Te recomiendo utilizar el buscador de archivos de windows

1 -> Este es el vector textos: ['Alfonso Javier Artadi Saletti', 'Carlos Enrique Chávez Cateriano', 'José Rubio Travi', 'Rubén Samuel Gambarini Oñath', 'Mario Contreras León Carty', 'Luis Miguel Tueros Manarelli', 'Roder Marinson Bravo Valera', 'Gregorio César Mendiola Lomparte', 'Sobre el Estado Peruano', 'Redes Sociales']

"Los 2 ultimos elementos los considero extraños"

2 -> Veo que se queda en ciclos anexando varias veces la información repetida procedo a cambiar el codigo de la siguiente manera:

#FelipedelosH
import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# Crear el archivo Excel y escribir los encabezados de las columnas
workbook = xlsxwriter.Workbook('C:\\Users\\felipedelosh\\Documents\\Error\\funcionarios_fuerzasarmadas.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write('A1', 'Nombre y apellido')
worksheet.write('B1', 'Cargo')
worksheet.write('C1', 'Correo')

driver = webdriver.Chrome(executable_path=r'C:\dchrome\chromedriver.exe')    

driver.get("https://www.gob.pe/institucion/fap/funcionarios")

# lista donde se guardan la url
textos = []
elementos = driver.find_elements(By.CLASS_NAME, "text-2xl")
url = 'https://www.gob.pe/institucion/fap/funcionarios'
html = requests.get(url).text
s= BeautifulSoup(html, 'html.parser')
# Encontrar el tag 'ul' de clase 'row mb-0'
ul_tag = s.find('ul', class_='row mb-0')

# Encontrar todos los tags 'a' dentro del tag 'ul'
a_tags = ul_tag.find_all('a')

# Crear un conjunto para almacenar las URLs
ul = set()

# Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul'
for a in a_tags:
    ul.add('https://www.gob.pe' + a['href'])

# Ordenar el conjunto 'ul' alfabéticamente
ul = sorted(ul)

links = s.find_all('a')

urls = []
for link in links:
    url = link.get('href')
    if url:
        urls.append("'" + url + "'")
# for guarda en la lista
for elemento in elementos:
    texto = elemento.text.replace('"', "'")
    textos.append(elemento.text)

# es for recorre la lista de los funcionarios
# Imprimir la lista de URLs
textos = textos[0:-2]

# Para no repetir información de personas:
control_person = []
row = 1

for url2 in ul:
    for texto in textos:
        if texto not in control_person:
            print("Guardando la info de: ", texto)
            url_link = driver.find_element(by=By.LINK_TEXT, value=texto)
            url_link.click()
            time.sleep(1)

            # obtenemos la url de la pagina y lo parseamos
            my_current_url = driver.current_url
            print("Sacando datos de: ", my_current_url)
            response = requests.get(my_current_url)
            soup = BeautifulSoup(response.content, 'html.parser')
            
            nombre = soup.find('h2', {'class': 'md:text-4xl mt-3'}).text.strip()
            print("Nombre: ", nombre)
            cargo = soup.find('div',{'class':'mt-4'}).text.strip()
            print("Cargo:", cargo)
            correo = soup.find('span',{'class':'col-md-10 px-0 col-xs-10'}).text.strip()
            print("Correo: ", correo)

            worksheet.write(row, 0, nombre)
            worksheet.write(row, 1, cargo)
            worksheet.write(row, 2, correo)
            
            url_link = driver.find_element(by=By.LINK_TEXT, value='Funcionarios')
            url_link.click()
            row = row + 1
            # Update control
            control_person.append(texto)



driver.quit()
time.sleep(2)
workbook.close()

3 -> la declaración row tiene que ir afuera del for principal.

4 -> La variable soup nunca cambia... Hay que modificarla para la nueva URL

    my_current_url = driver.current_url
    print("Sacando datos de: ", my_current_url)
    response = requests.get(my_current_url)
    soup = BeautifulSoup(response.content, 'html.parser')

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.