2

Estoy realizando un script en python que me permita realizar búsquedas en google y luego entrar en un enlace de resultado y repetir la acción de forma indefinida.


#!/usr/bin/env python -*- coding: utf-8 -*-

import time
import os
import random
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

HOME_DIRECTORY = os.environ.get('HOME')

options = webdriver.FirefoxOptions()

options.add_argument("--width=800");

options.add_argument("--height=640");

profile = webdriver.FirefoxProfile(HOME_DIRECTORY + "/.mozilla/firefox/fao18bjc.default")

options.binary_location = "/usr/bin/firefox"

browser = webdriver.Firefox(firefox_profile=profile,firefox_options=options)         

print("Navegando a google...")

browser.get('https://www.google.co.ve')

try:
    element = WebDriverWait(browser, 10).until(
        EC.presence_of_element_located((By.ID, "hplogo"))
    )
finally:

    archivo = open("search.txt", "r")

    def busqueda(palabra):
        search = browser.find_element_by_name('q')
        search.send_keys(palabra, Keys.ENTER)
        print("Buscando... " + palabra)
        time.sleep(20)
        try:
            element = WebDriverWait(browser, 30).until(
                EC.presence_of_element_located((By.ID, "logo"))
            )
        finally:
            links = browser.find_elements_by_xpath("//div[@class='g']//h3/a")
            for link in links:
                print(link.get_attribute("href"))
            link = random.choice(links)
            print("Navegando a " + link.get_attribute("href"))
            link = browser.find_element_by_xpath("//a[starts-with(@href,'"+ link.get_attribute('href') + "')]")
            link.click()
            time.sleep(20)      
            print("Navegando a google...")
            browser.get('https://www.google.co.ve')     

    for palabra in archivo.readlines():     
        busqueda(palabra)

    browser.close()

En el primer segmento de código hago la importación de funciones y cofiguración de selenium. La parte principal es luego del primer try: | finally:

El código se ejecuta perfectamente en la primera búsqueda:

1 - Navega a google

2 - Rellena el input text del buscador con una palabra obtenida de un archivo de texto

3 - Crea un arreglo con todos los enlaces que arroja el resultado de la búsqueda y lo almacena en la variable "links"

4 - Selecciona un enlace de forma aleatoria con la función random.

5 - Hace click en el enlace seleccionado

6 - Vuelve a google para repetir el proceso. Cuando hace una nueva búsqueda en arreglo con enlaces dice estar vacio y el código se detiene mostrando el siguiente error:

Traceback (most recent call last):
  File "test.py", line 69, in <module>
    busqueda(palabra)
  File "test.py", line 54, in busqueda
    link = random.choice(links)
  File "/usr/lib/python2.7/random.py", line 277, in choice
    return seq[int(self.random() * len(seq))]  # raises IndexError if seq is empty
IndexError: list index out of range

Alguien tiene idea de lo que podría estar pasando ? al principio creía que era por que todavía la página no se había cargado por completo y por ende no encontraba los enlaces, pero con la función "time" le fui añadiendo tiempo de espera y nada.

1

1 respuesta 1

0

Observando unos cuantos ejemplos de búsquedas parece como si el problema estuviera en tu ruta XPATH, los enlaces que están dentro de un h3 son los sombreados en rojo en la siguiente imagen:

introducir la descripción de la imagen aquí

los resultados 'normales' listados (en verde) tienen la estructura:

<div class="g">
    <div data-hveid=...>
        <div class="rc">
            <div class="r"><a href="link_que_buscamos"

Esto hace que en búsquedas dónde solo existen los segundos obtengas una lista de enlaces vacía y el consiguiente error de random al no tener nada dónde elegir.

Una solución simple podría ser cambiar el XPATH a algo así:

"//div[@class='r']/a[@href]"

Un ejemplo simplificado (eliminado los parámetros de configuración personales) de tu código sería:

import random
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC



def buscar(palabra, driver):
    print("Buscando", palabra)
    driver.get("https://www.google.co.ve/search?q=" + palabra)

    result_xpath = "//div[@class='r']/a[@href]"
    WebDriverWait(driver, 10).until(
        EC.visibility_of_element_located((By.XPATH, result_xpath)))

    results = driver.find_elements(By.XPATH, result_xpath)
    links = [result.get_attribute("href") for result in results]

    if links:
        for link in links:
            print(link)

        random_link = random.choice(links)
        print('Navegando a', random_link)
        driver.get(random_link)
        driver.implicitly_wait(30)
    else:
        print("No se encontraron resultados")


if __name__ == "__main__":
    browser = webdriver.Firefox()
    palabras = ("stackoverflow", "foo", "bar")

    for palabra in palabras:
        buscar(palabra, browser)

Una última observación, debes evitar usar readlines a no ser que requieras una lista con todas las líneas del fichero simultáneamente (para ordenarlas por ejemplo). En caso contrario, por eficiencia usa simplemente un ciclo for para iterar sobre el archivo línea a linea tratándolo como un generador.

Por otro lado, ni esta forma de obtener las líneas ni readlines eliminan los caracteres de fin de línea \n, \r, etc. Para eliminarlos puedes usar str.rstrip(). Por último, es siempre buena practica cerrar el archivo explícitamente y no dejar la tarea al GC, esto puedes hacerlo con el métododo close o mejor, usa with:

with open("search.txt", "r") as archivo:
    for palabra in archivo:     
        busqueda(palabra.rstrip(), browser)

Nota: si Google detecta actividades extrañas o se excede cierto número de búsquedas probablemente te terminará pidiéndote que pases un pequeño test de Turing para asegurarse de tu humanidad, A.K.A captcha :) o incluso llegando a bloquear la ip. Con lo que el script fallará...

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.