1

Estoy intentando descargar el código fuente de una página de gobierno (abierta al público). En ella se encuentran unos enlaces que requiero dentro de mi código. Para que los enlaces se hagan visibles dentro del sitio, es necesario marcar unas casillas, pues los enlaces están ocultos a primera vista. Al mostrarlos, sí es posible inspeccionar los elementos en el código fuente.

Al usar el código mostrado a continuación, me descarga el archivo en formato txt, pero la parte correspondiente a los enlaces no está dentro de mi archivo. ¿Cómo puedo descargar todo el código fuente, incluso las partes que están "ocultas" a primera vista?

import urllib.request
url = "https://www.cenace.gob.mx/SIM/VISTA/REPORTES/H_RepPreEnergiaSisMEM.aspx?N=27&opc=divCssPreEnergia&site=Precios%20de%20la%20energ%C3%ADa/Precios%20de%20Nodos%20Distribuidos/MDA/Mensuales&tipoArch=C&tipoUni=SIN&tipo=Mensuales&nombrenodop=Precios%20de%20Nodos%20Distribuidos.html"
file_name = "CENACEDescargas.txt"
urllib.request.urlretrieve(url, file_name)
3
  • Hola Carlos, ¿quieres todos los enlaces o solo algunos años/meses?
    – FJSevilla
    Commented el 5 jun. 2020 a las 19:30
  • @FJSevilla Los archivos que quiero descargar tienen dentro de su URL el identificador del archivo (mes, si es la primera o la segunda mitad del mes, año). Dentro de mi programa tengo un generador de estos segmentos dado el parámetro de búsqueda del usuario. Y debería de encontrar todos los que se introduzcan en el parámetro de búsqueda. Para ello me es necesario poder acceder a todos los enlaces y ya poder discriminar la información después. Commented el 5 jun. 2020 a las 21:21
  • No veo muy bien dónde están esas casillas que mencionas. Si es necesario interaccionar con la página, entonces es seguro que hay código javascript, lo que dificulta automatizar la descarga. Tienes que usar alguna solución como selenium o playwright, que automatizan la interacción con el navegador. Te recomiendo playwright. Tiene un asistente para crear el código python a medida que interaccionas con la página web. Commented el 28 oct. 2022 a las 23:25

1 respuesta 1

1

Puedes usar beutiful soup para obtener toda la informacion de la pagina web

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

Puedes leer de eso en la documentacion

Edicion

Puedes juntar request y beautifulsoup con el siguiente codigo

url='somepage.com'
resp=requests.get(url) 
if resp.status_code==200: 
    soup=BeautifulSoup(resp.text,'html.parser')   
    l=soup.find("element[div/li/ul]",{"modifier[class/id]","value"})
    for i in l.findAll("yourlinktags"):
         print(i)
else:
   print("Conexion rechazada")

De esta manera evitas guardar todo en txt y consumes todo desde python

Segunda edicion

Lo que puedes hacer es usar la libreria selenium de python y con ella simular el click, cabe aclarar que para ello debes analizar toda la pagina y ver cuales son los elementos que deseas clickear, te dejo aqui un codigo de ejemplo, sin embargo la logica mas completa deberas desarrollarla tu con base a tus necesidades

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("https://www.cenace.gob.mx/SIM/VISTA/REPORTES/H_RepPreEnergiaSisMEM.aspx?N=27&opc=divCssPreEnergia&site=Precios%20de%20la%20energ%C3%ADa/Precios%20de%20Nodos%20Distribuidos/MDA/Mensuales&tipoArch=C&tipoUni=SIN&tipo=Mensuales&nombrenodop=Precios%20de%20Nodos%20Distribuidos")
content = driver.find_elements_by_class_name('rtUnchecked')

for i in content:
    print(i.click())
    
4
  • El problema es que tiene partes que permanecen ocultas hasta que el usuario marque unas casillas manualmente. Me habían recomendado utilizar requests.post para marcar las casillas que muestran los objetos, pero no me ha funcionado hasta ahora. Commented el 15 jun. 2020 a las 19:41
  • Ya veo, sería bastante útil que compartas la URL de la página exacta para hacer pruebas Commented el 16 jun. 2020 a las 3:27
  • Esta es la dirección de la página. Hasta abajo hay una tabla en la que se deben de marcar casillas para que aparezcan los elementos a descargar, y es precisamente la tabla la que no aparece dentro del request. Un saludo y muchas gracias cenace.gob.mx/SIM/VISTA/REPORTES/… Commented el 17 jun. 2020 a las 17:10
  • Acabo de editar Commented el 18 jun. 2020 a las 4:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.