0

Me he encontrado con la desagradable imposibilidad de lograr acceder a un boton de desacarga en una pagina web a traves del bucador de elementos de webdriver de selenium. Esto es un punto escencial de la descarga de datos que estoy haciendo. El codigo html de la pagina es sencillisimo pero el desgraciado selenium no logra encontrar los id o tag o nada de la web por algun motivo. solicito aqui un genio de selenium driver que me sugiera un codigo que SI lo logre.

esta es la pagina de ejemplo http://www.munivalpo.cl/transparencia/archivos/2019/Enero/Balances/PASIVOS ENERO 2019.pdf

from selenium import webdriver as web
import time 
import pandas as pd
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
import os
import shutil 

carpeta = r"C:\Users\Marcelo\Desktop\programacion\python\Proyectos\selenium\proyectos\Pasivos Muni\Documentos Transparencia\All in"

archivos_csv = os.listdir(carpeta)

print("Iniciando")
for archivo in archivos_csv:
    direccion_archivo = os.path.join(carpeta,archivo)
    file = open( direccion_archivo, "r" )
    # print("Esto contiene el archivo", file.readlines())
    # print("\n\n")
    
    # Recorrer lineas del archivo csv para acceder al link
    links = []
    for linea in file.readlines():
        eso = linea.strip('\n').replace('"',""  ).split(";")[4]
        if (eso != '"Enlace a Documento"') and (eso != "Enlace a Documento"):
            # print( eso[9:-29]  )
            link_documento = eso[9:-28]
        
            pagina = r"{}".format(link_documento)
            # pagina = r"http://www.munivalpo.cl/transparencia/archivos/2019/Enero/Balances/PASIVOS ENERO 2019.pdf"
            path_chrome = r"C:\Users\Marcelo\Desktop\webdrivers\chromedriver.exe"
            Carpeta_proyecto = r"C:\Users\Marcelo\Desktop\programacion\python\Proyectos\selenium\proyectos\Pasivos Muni\Documentos Transparencia"  #direccion de la carpeta del proyecto

            chromeOptions = Options()   #Instanciar la clase opciones
            chromeOptions.add_experimental_option("prefs", {"download.default_directory": Carpeta_proyecto}) #Determinar destino de descarga


            buscador = web.Chrome( executable_path= path_chrome, chrome_options = chromeOptions)  #Ejecutar buscador y asignar configuracion
            buscador.implicitly_wait(1)   
            buscador.get( pagina)     #Acceder a la pagina de transparencia activa
            # print("Revisando documento",link_documento)
            
            time.sleep(5)
            
            barra = buscador.find_element_by_tag_name("viewer-toolbar")
            # boton = barra.find_element_by_id("end")
            print("esto es barra",barra)
            # print("esto es boton", boton)

            
            buscador.close()
    file.close
buscador.quit()
    
    
        

print("Se ha terminado")

El codigo que adjunto consiste en acceder a unas paginas web para descargar el documento de cada una. estos links se encuentran listados en un csv en la columna 4 y se hace un breve trabajo de limpieza. De todas formas eso es independiente. me interesa lograr alcanzar el boton de descarga de las paginas para hacerlo en masa

1
  • Podrías poner una muestra (no es necesario que sean datos reales) del archivo csv de donde obtienes los links por favor?
    – Dante S.
    Commented el 20 mar. 2022 a las 15:05

1 respuesta 1

0

Solución

La pagina que estás viendo en realidad es una forma especial que tiene Chrome para mostrar los archivos pdf. Eso significa que no necesitas selenium para apretar el boton de descarga. Con requests puedes obtener el contenido de la pagina, el cual será el archivo pdf.

import requests

link = "http://www.munivalpo.cl/transparencia/archivos/2019/Enero/Balances/PASIVOS ENERO 2019.pdf"

with open("prueba.pdf", "wb") as file:
    file.write(requests.get(link).content)

Bonus: Una mejor forma de leer csvs

Nunca es buena idea usar el método split en cada linea de un csv. Imagina que tienes un csv en el cual una de sus lineas es:

"a";10;"b;c"

split te lo separaría como:

['"a"', '10', '"b', 'c"']

Lo cual no creo que le haga nada bien a tu programa.

Por suerte, existe un modulo en la librería estandar que está hecho para leer archivos csv. Este modululo se llama csv

Aplicando todo lo anterior a tu código:

import requests
import csv
import os

carpeta = r"C:\Users\Marcelo\Desktop\programacion\python\Proyectos\selenium\proyectos\Pasivos Muni\Documentos Transparencia\All in"
archivos_csv = os.listdir(carpeta)

print("Iniciando")
for archivo in archivos_csv:
    direccion_archivo = os.path.join(carpeta,archivo)
    file = open( direccion_archivo, "r", newline='')

    filereader = csv.reader(file, delimiter=";")
    
    # Recorrer lineas del archivo csv para acceder al link
    links = []
    for linea in filereader:
        eso = linea[4]
        if(eso != "Enlace a Documento"):
            link_documento = eso[9:-28]
        
            pagina = r"{}".format(link_documento)

            with open("prueba.pdf", "wb") as file:
                file.write(requests.get(link).content)
            
    file.close()
    
print("Se ha terminado")
4
  • gracias por tu comentario. no conocia el modulo csv. lo del visor pdf web tampoco lo sabia. lo que no comprendo es como es posible que yo pueda visualizar el documento pdf completo! cuando en ningun momento lo he descargado y yo solo tengo un link, incluso estando offline me es posible visualizarlo cuando repito, nunca lo he descargado. ¿En donde puedo encontrar este documento en mi pc? tampoco conocia el modulo requests. intente con el codigo que me enviaste pero arroja error Commented el 21 mar. 2022 a las 7:11
  • este es el error requests.exceptions.SSLError: HTTPSConnectionPool(host='www.munivalpo.cl', port=443): Max retries exceeded with url: /transparencia/archivos/2021/Octubre/Balances/PASIVOS%20PDF.pdf (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)'))) Commented el 21 mar. 2022 a las 7:12
  • Primero que nada, eso que mencionas de poder verlo offline sin haberlo descargado es raro. En realidad no se mucho de como funcionan las paginas web, apenas se lo basico. Así que ni idea de por que. Cual de los dos codigos propuestos intentaste? Si fue el primero, que link usaste? Si fue el segundo, podrías darme una muestra del csv (no hace falta que sean datos reales, a excepción de los links) para hacer pruebas por favor?
    – Dante S.
    Commented el 21 mar. 2022 a las 12:23
  • use el mismo que adjunte en la pregunta inicial: munivalpo.cl/transparencia/archivos/2019/Enero/Balances/PASIVOS ENERO 2019.pdf quiero llorar :,c. nisiquiera a traves del xpath es capaz de encontrar nada de la web Commented el 24 mar. 2022 a las 3:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.