3

Estoy con scrapper script el cual tiene un método que recibe una lista de links (aprox 5000), ejecuta un loop y scrapea los datos de cada link:

def get_content_info(self, list_data):
    '''Get particular info of each movie'''
    print('Scrapeando ', len(list_data), ' movies.')
    driver = self.selenium_options()
    for data_movie in list_data:
        url = data_movie[0]
        image = data_movie[1]
        try:
            driver.get(url)
        except Exception:
            continue
        soup = BeautifulSoup(driver.page_source, "html.parser")
        content = {}
        content['id'] = md5(f'{url}'.encode('utf-8')).hexdigest()
        try:
            content['title'] = soup.find('h1', class_='headline-paused').get_text()
        except AttributeError:
            content['title'] = None
        content['url'] = url
        content['image'] = image
        content['type'] = 'movie'
        content['synopsis'] = self.get_synopsis(soup, url)
        try:
            content['duration'] = soup.find(
                'span', class_='u-separator js-runtimeConvert u-inlineFlexCenter').get_text()
        except AttributeError:
            content['duration'] = None

        self.build_payload(content)

La cuestión es que los primeros 30 links los visita correctamente y a partir de ahi empieza a correr cada vez más lento el script, a punto de dejar inutilizable la pc, hasta generar el siguiente error RAM ERROR

¿A qué puede deberse esto? Me parece muy raro ya que se instancia una sola vez el driver y luego va visitando en una misma ventana los links, aquí mis settings para selenium

def selenium_options(self):
    '''Selenium settings'''

    options = FirefoxOptions()
    options.add_argument('--headless')
    options.add_argument("start-maximized")
    options.add_argument("disable-infobars")
    options.add_argument("--disable-extensions")
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-application-cache')
    options.add_argument('--disable-gpu')
    options.add_argument("--disable-dev-shm-usage")
    driver = webdriver.Firefox(executable_path=r'...', options=options)

    return driver

Cualquier ayuda para optimizar este método se agradece.

1 respuesta 1

2

1. Significado del error

selenium.common.exceptions.WebDriverException: Message: out of memory

Este error te indica, que Selenium le está requiriendo al sistema operativo memoria RAM, y el sistema operativo le ha contestado "ya no me queda más memoria disponible". Es decir has utilizado toda la memoria RAM de tu ordenador.

2. Solución

En tu script, haces un driver.get("xxx") para crear un navegador que acceda a la web. Incluso con las opciones que pones como options.add_argument('--no-sandbox') y otras, aunque dicho navegador no lo veas, obviamente tiene que existir un navegador para acceder a la web y que renderice el contenido, es decir el objeto driver consume espacio en tu memoria.

La pregunta es, ¿Cuantos navegadores web puedes abrir en tu ordenador, hasta que este colapse?, cuantos más habrás, más lento empezará a ir, hasta que no quede nada de espacio y colapse.

La solución es una vez has usado el navegador (driver) es cerrarlo con driver.close(), es decir esta parte del código quedaría así:

for data_movie in list_data:
    driver = self.selenium_options() #Creamos un driver cada vez que visitamos una página
    url = data_movie[0]
    image = data_movie[1]
    try:
        driver.get(url)
    except Exception:
        continue
    soup = BeautifulSoup(driver.page_source, "html.parser")
    driver.close() #Cerramos el driver una vez tenemos la información
    content = {}

Bonus

Aunque tengas un mismo driver este objeto va guardando información de las páginas en las que ha estado, ya que es un navegador y los navegadores hacen eso.

Lo correcto es crear un driver para cada consulta que se quiera hacer y destruirlo una vez tengamos la información.

2
  • 1
    Muy clara tu respuesta, se podria realizar un conteo de hasta 30 links, y una vez que se llego se limpian los datos con un driver.quit() y se instancia nuevamente selenium? porque instanciando en cada for me tarda demasiado :/ Commented el 8 jul. 2021 a las 13:43
  • Sí claro, podrías hacer un batch con un doble bucle for por ejemplo, dividiendo el número de links totales entre 30. También puedes usar la librería multiprocessing, pero es algo más complicado, lo que hace es que ejecuta varias terminales de python a la vez y por tanto puedes visitar 5, 8, 10, 20...X páginas a la vez Commented el 9 jul. 2021 a las 8:03

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.