2

Hola que tal nuevamente,

Teniendo una url como la siguiente (pagina web dinamica) se refresca automaticamente cada 5 min:

url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=21'

Donde el ultimo valor es variable, es decir un numero entre 1 al 1000 algo así:

url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=21'
url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=28'
url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=44'
url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=53'
url = 'http://mi.dominio.net/Operaciones/Reportes?server=xxx.xxx.xxx.xx&pc=88'

Necesito recorrer esa url cada vez que la página se refresca, y guardar el resultado del Scraping en un archivo de texto .csv

El ultimo valor puedo guardarlo manualmente en un archivo de texto o .csv y que de ahí python tome los datos.

Pero, tengo problemas para guardar los datos he intentado con esto y me tira error:

archivo = open("datos.txt", “w”)
archivo.write(codigos)
archivo.close()

Y lo primero recorrer las url no se si es posible lograrlo y no se como hacerlo Por otra parte al ser una página dinámica quizás exista una opción mas eficiente de realizar el proceso capturar los JSON que actualizan la página?

Espero puedan ayudarme u orientarme por donde empezar a investigar.

Codigo:

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.desired_capabilities import 
DesiredCapabilities
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import pickle


desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["pageLoadStrategy"] = "none"
driver = 
webdriver.Chrome('/Users/JDani/Documents/chromedriver/chromedriver.exe')
wait = WebDriverWait(driver, 20)

url = 'http://mi.dominio.net/Operaciones/Reportes? 
server=xxx.xxx.xxx.xx&pc=21'
driver.get(url)

try:
wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 
"ValorCorte")))
except TimeoutException:
print('Nope')
else:
driver.execute_script("window.stop();")
content = driver.find_elements_by_class_name("ValorCorte")
codigos = [element.text for element in content]

print(codigos)

Saludos

DS

1 respuesta 1

1

Para crear una carpeta lo hago de la siguiente manera:

Si no existe la carpeta, la crea.

import os 
directorio = "C:/test"
try:
    os.stat(directorio)
except:
    os.mkdir(directorio)

crear un .txt y escribir

file = open(directorio+"/myText.txt", "w")
file.write("SCRAPER   |   ESTADO" + os.linesep)
file.write("---------------------"+ os.linesep)
file.close()

Abriendo y agregando datos

file = open(directorio+"/myText.txt", "a")
file.write("mas datos" + os.linesep)
file.write("aa"+ os.linesep)
file.close()

para guardar los datos primero lo paso a DataFrame. y luego lo guardo en un excel.

from pandas import ExcelWriter

import pandas as pd

df = pd.DataFrame(datos)
writer = ExcelWriter('C:/myexcel.xlsx')

df.to_excel(writer,'Hoja1')
writer.save()

Espero que te sirvan

9
  • He probado ambas funciones y me tiran error: '''df = pd.DataFrame(codigos) writer = ExcelWriter('C:/test/myexcel.xlsx')<--Aqui me tira error df.to_excel(writer,'Sheet1') writer.save()''' file = open(mipath+"/mytext.txt","w") file.write(codigos+os.linesep) <--- Aqui me tira el error file.close() Cual puede ser el problema? el 5 jun. 2019 a las 15:34
  • 1
    Prueba de esta manera ExcelWriter('./a.xlsx') . En el comentario agregue import pandas as pd. y en file.write() intenta poner str(codigos). Al poner ./ el .xlsx se guardará en la misma carpeta de tus scripts el 5 jun. 2019 a las 16:07
  • En Excel me arroja este error: writer = ExcelWriter('./a.xlsx') File "C:\Users\JDani\AppData\Roaming\Python\Python37\site-packages\pandas\io\excel.py", line 1204, in init from openpyxl.workbook import Workbook ModuleNotFoundError: No module named 'openpyxl' file.write(str(codigos)) Si funciono, una pregunta mas referente a esta ultima linea como puedo agregar mas datos en el mismo archivo? No sobre escribirlo. el 5 jun. 2019 a las 17:35
  • 1
    Al parecer no tienes instalado openpyxl . Para agregar más datos.. podes abrir el fichero con "a". Sino file.write("otra linea.." + os.linesep) el 5 jun. 2019 a las 17:45
  • 1
    file = open(directorio+"/myText.txt", "a") Si abres el fichero de esa manera, debería agregar registros, a = append . w = write el 5 jun. 2019 a las 18:32

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.