import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# Crear el archivo Excel y escribir los encabezados de las columnas
workbook = xlsxwriter.Workbook('funcionarios_fuerzasarmadas.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write('A1', 'Nombre y apellido')
worksheet.write('B1', 'Cargo')
worksheet.write('C1', 'Correo')
driver = webdriver.Chrome(executable_path=r'C:\dchrome\chromedriver.exe')
driver.get("https://www.gob.pe/institucion/fap/funcionarios")
# lista donde se guardan la url
textos = []
elementos = driver.find_elements(By.CLASS_NAME, "text-2xl")
url = 'https://www.gob.pe/institucion/fap/funcionarios'
html = requests.get(url).text
s= BeautifulSoup(html, 'html.parser')
# Encontrar el tag 'ul' de clase 'row mb-0'
ul_tag = s.find('ul', class_='row mb-0')
# Encontrar todos los tags 'a' dentro del tag 'ul'
a_tags = ul_tag.find_all('a')
# Crear un conjunto para almacenar las URLs
ul = set()
# Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul'
for a in a_tags:
ul.add('https://www.gob.pe' + a['href'])
# Ordenar el conjunto 'ul' alfabéticamente
ul = sorted(ul)
links = s.find_all('a')
urls = []
for link in links:
url = link.get('href')
if url:
urls.append("'" + url + "'")
# for guarda en la lista
for elemento in elementos:
texto = elemento.text.replace('"', "'")
textos.append(elemento.text)
# es for recorre la lista de los funcionarios
# Imprimir la lista de URLs
for url2 in ul:
row = 1
for texto in textos:
url_link = driver.find_element(by=By.LINK_TEXT, value=texto)
url_link.click()
time.sleep(1)
# obtenemos la url de la pagina y lo parseamos
response = requests.get(url2)
soup = BeautifulSoup(response.content, 'html.parser')
nombre = soup.find('h2', {'class': 'md:text-4xl mt-3'}).text.strip()
cargo = soup.find('div',{'class':'mt-4'}).text.strip()
correo = soup.find('span',{'class':'col-md-10 px-0 col-xs-10'}).text.strip()
worksheet.write(row, 0, nombre)
worksheet.write(row, 1, cargo)
worksheet.write(row, 2, correo)
url_link = driver.find_element(by=By.LINK_TEXT, value='Funcionarios')
url_link.click()
row += 1
driver.quit()
time.sleep(2)
workbook.close()
1 respuesta
0 -> Si crea el Excel. Pero tienes que especificar la ruta absoluta: para mi caso basta con agregar esta linea:
workbook = xlsxwriter.Workbook('C:\\Users\\felipedelosh\\Documents\\Error\\funcionarios_fuerzasarmadas.xlsx')
En caso de que no modifiques la ruta queda en la carpeta personal. Te recomiendo utilizar el buscador de archivos de windows
1 -> Este es el vector textos: ['Alfonso Javier Artadi Saletti', 'Carlos Enrique Chávez Cateriano', 'José Rubio Travi', 'Rubén Samuel Gambarini Oñath', 'Mario Contreras León Carty', 'Luis Miguel Tueros Manarelli', 'Roder Marinson Bravo Valera', 'Gregorio César Mendiola Lomparte', 'Sobre el Estado Peruano', 'Redes Sociales']
"Los 2 ultimos elementos los considero extraños"
2 -> Veo que se queda en ciclos anexando varias veces la información repetida procedo a cambiar el codigo de la siguiente manera:
#FelipedelosH
import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# Crear el archivo Excel y escribir los encabezados de las columnas
workbook = xlsxwriter.Workbook('C:\\Users\\felipedelosh\\Documents\\Error\\funcionarios_fuerzasarmadas.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write('A1', 'Nombre y apellido')
worksheet.write('B1', 'Cargo')
worksheet.write('C1', 'Correo')
driver = webdriver.Chrome(executable_path=r'C:\dchrome\chromedriver.exe')
driver.get("https://www.gob.pe/institucion/fap/funcionarios")
# lista donde se guardan la url
textos = []
elementos = driver.find_elements(By.CLASS_NAME, "text-2xl")
url = 'https://www.gob.pe/institucion/fap/funcionarios'
html = requests.get(url).text
s= BeautifulSoup(html, 'html.parser')
# Encontrar el tag 'ul' de clase 'row mb-0'
ul_tag = s.find('ul', class_='row mb-0')
# Encontrar todos los tags 'a' dentro del tag 'ul'
a_tags = ul_tag.find_all('a')
# Crear un conjunto para almacenar las URLs
ul = set()
# Obtener las URLs de los tags 'a', agregar comillas simples y añadirlas al conjunto 'ul'
for a in a_tags:
ul.add('https://www.gob.pe' + a['href'])
# Ordenar el conjunto 'ul' alfabéticamente
ul = sorted(ul)
links = s.find_all('a')
urls = []
for link in links:
url = link.get('href')
if url:
urls.append("'" + url + "'")
# for guarda en la lista
for elemento in elementos:
texto = elemento.text.replace('"', "'")
textos.append(elemento.text)
# es for recorre la lista de los funcionarios
# Imprimir la lista de URLs
textos = textos[0:-2]
# Para no repetir información de personas:
control_person = []
row = 1
for url2 in ul:
for texto in textos:
if texto not in control_person:
print("Guardando la info de: ", texto)
url_link = driver.find_element(by=By.LINK_TEXT, value=texto)
url_link.click()
time.sleep(1)
# obtenemos la url de la pagina y lo parseamos
my_current_url = driver.current_url
print("Sacando datos de: ", my_current_url)
response = requests.get(my_current_url)
soup = BeautifulSoup(response.content, 'html.parser')
nombre = soup.find('h2', {'class': 'md:text-4xl mt-3'}).text.strip()
print("Nombre: ", nombre)
cargo = soup.find('div',{'class':'mt-4'}).text.strip()
print("Cargo:", cargo)
correo = soup.find('span',{'class':'col-md-10 px-0 col-xs-10'}).text.strip()
print("Correo: ", correo)
worksheet.write(row, 0, nombre)
worksheet.write(row, 1, cargo)
worksheet.write(row, 2, correo)
url_link = driver.find_element(by=By.LINK_TEXT, value='Funcionarios')
url_link.click()
row = row + 1
# Update control
control_person.append(texto)
driver.quit()
time.sleep(2)
workbook.close()
3 -> la declaración row tiene que ir afuera del for principal.
4 -> La variable soup nunca cambia... Hay que modificarla para la nueva URL
my_current_url = driver.current_url
print("Sacando datos de: ", my_current_url)
response = requests.get(my_current_url)
soup = BeautifulSoup(response.content, 'html.parser')