import requests import xlsxwriter from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time
import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# Crear el archivo Excel y escribir los encabezados de las columnas
workbook = xlsxwriter.Workbook('funcionarios_fuerzasarmadas.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write('A1', 'Nombre y apellido')
worksheet.write('B1', 'Cargo')
worksheet.write('C1', 'Correo')
driver = webdriver.Chrome(executable_path=r'C:\dchrome\chromedriver.exe')
driver.get("https://www.gob.pe/institucion/fap/funcionarios")
# lista donde se guardan la url
textos = []
elementos = driver.find_elements(By.CLASS_NAME, "text-2xl")
url = 'https://www.gob.pe/institucion/fap/funcionarios'
html = requests.get(url).text
s= BeautifulSoup(html, 'html.parser')
# Encontrar el tag 'ul' de clase 'row mb-0'
ul_tag = s.find('ul', class_='row mb-0')
# Encontrar todos los tags 'a' dentro del tag 'ul'
a_tags = ul_tag.find_all('a')
# Crear un conjunto para almacenar las URLs
ul = set()
Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul' for a in a_tags: ul.add('https://www.gob.pe' + a['href'])
Ordenar el conjunto 'ul' alfabéticamente ul = sorted(ul)
links = s.find_all('a')
urls = [] for link in links: url = link.get('href') if url: urls.append("'" + url + "'") #for guarda en la lista for elemento in elementos: texto = elemento.text.replace('"', "'") textos.append(elemento.text)
es for recorre la lista de los funcionarios Imprimir la lista de URLs for url2 in ul:
# Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul'
for a in a_tags:
ul.add('https://www.gob.pe' + a['href'])
# Ordenar el conjunto 'ul' alfabéticamente
ul = sorted(ul)
links = s.find_all('a')
urls = []
for link in links:
url = link.get('href')
if url:
urls.append("'" + url + "'")
# for guarda en la lista
for elemento in elementos:
texto = elemento.text.replace('"', "'")
textos.append(elemento.text)
# es for recorre la lista de los funcionarios
# Imprimir la lista de URLs
for url2 in ul:
row = 1
for texto in textos:
url_link = driver.find_element(by=By.LINK_TEXT, value=texto)
url_link.click()
time.sleep(1)
# obtenemos la url de la pagina y lo parseamos
response = requests.get(url2)
soup = BeautifulSoup(response.content, 'html.parser')
nombre = soup.find('h2', {'class': 'md:text-4xl mt-3'}).text.strip()
cargo = soup.find('div',{'class':'mt-4'}).text.strip()
correo = soup.find('span',{'class':'col-md-10 px-0 col-xs-10'}).text.strip()
worksheet.write(row, 0, nombre)
worksheet.write(row, 1, cargo)
worksheet.write(row, 2, correo)
url_link = driver.find_element(by=By.LINK_TEXT, value='Funcionarios')
url_link.click()
row += 1
driver.quit()
time.sleep(2)
workbook.close()