Estoy realizando un script en python que me permita realizar búsquedas en google y luego entrar en un enlace de resultado y repetir la acción de forma indefinida.
#!/usr/bin/env python -*- coding: utf-8 -*-
import time
import os
import random
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
HOME_DIRECTORY = os.environ.get('HOME')
options = webdriver.FirefoxOptions()
options.add_argument("--width=800");
options.add_argument("--height=640");
profile = webdriver.FirefoxProfile(HOME_DIRECTORY + "/.mozilla/firefox/fao18bjc.default")
options.binary_location = "/usr/bin/firefox"
browser = webdriver.Firefox(firefox_profile=profile,firefox_options=options)
print("Navegando a google...")
browser.get('https://www.google.co.ve')
try:
element = WebDriverWait(browser, 10).until(
EC.presence_of_element_located((By.ID, "hplogo"))
)
finally:
archivo = open("search.txt", "r")
def busqueda(palabra):
search = browser.find_element_by_name('q')
search.send_keys(palabra, Keys.ENTER)
print("Buscando... " + palabra)
time.sleep(20)
try:
element = WebDriverWait(browser, 30).until(
EC.presence_of_element_located((By.ID, "logo"))
)
finally:
links = browser.find_elements_by_xpath("//div[@class='g']//h3/a")
for link in links:
print(link.get_attribute("href"))
link = random.choice(links)
print("Navegando a " + link.get_attribute("href"))
link = browser.find_element_by_xpath("//a[starts-with(@href,'"+ link.get_attribute('href') + "')]")
link.click()
time.sleep(20)
print("Navegando a google...")
browser.get('https://www.google.co.ve')
for palabra in archivo.readlines():
busqueda(palabra)
browser.close()
En el primer segmento de código hago la importación de funciones y cofiguración de selenium. La parte principal es luego del primer try: | finally:
El código se ejecuta perfectamente en la primera búsqueda:
1 - Navega a google
2 - Rellena el input text del buscador con una palabra obtenida de un archivo de texto
3 - Crea un arreglo con todos los enlaces que arroja el resultado de la búsqueda y lo almacena en la variable "links"
4 - Selecciona un enlace de forma aleatoria con la función random.
5 - Hace click en el enlace seleccionado
6 - Vuelve a google para repetir el proceso. Cuando hace una nueva búsqueda en arreglo con enlaces dice estar vacio y el código se detiene mostrando el siguiente error:
Traceback (most recent call last):
File "test.py", line 69, in <module>
busqueda(palabra)
File "test.py", line 54, in busqueda
link = random.choice(links)
File "/usr/lib/python2.7/random.py", line 277, in choice
return seq[int(self.random() * len(seq))] # raises IndexError if seq is empty
IndexError: list index out of range
Alguien tiene idea de lo que podría estar pasando ? al principio creía que era por que todavía la página no se había cargado por completo y por ende no encontraba los enlaces, pero con la función "time" le fui añadiendo tiempo de espera y nada.