Estoy con scrapper script el cual tiene un método que recibe una lista de links (aprox 5000), ejecuta un loop y scrapea los datos de cada link:
def get_content_info(self, list_data):
'''Get particular info of each movie'''
print('Scrapeando ', len(list_data), ' movies.')
driver = self.selenium_options()
for data_movie in list_data:
url = data_movie[0]
image = data_movie[1]
try:
driver.get(url)
except Exception:
continue
soup = BeautifulSoup(driver.page_source, "html.parser")
content = {}
content['id'] = md5(f'{url}'.encode('utf-8')).hexdigest()
try:
content['title'] = soup.find('h1', class_='headline-paused').get_text()
except AttributeError:
content['title'] = None
content['url'] = url
content['image'] = image
content['type'] = 'movie'
content['synopsis'] = self.get_synopsis(soup, url)
try:
content['duration'] = soup.find(
'span', class_='u-separator js-runtimeConvert u-inlineFlexCenter').get_text()
except AttributeError:
content['duration'] = None
self.build_payload(content)
La cuestión es que los primeros 30 links los visita correctamente y a partir de ahi empieza a correr cada vez más lento el script, a punto de dejar inutilizable la pc, hasta generar el siguiente error
¿A qué puede deberse esto? Me parece muy raro ya que se instancia una sola vez el driver y luego va visitando en una misma ventana los links, aquí mis settings para selenium
def selenium_options(self):
'''Selenium settings'''
options = FirefoxOptions()
options.add_argument('--headless')
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
options.add_argument('--no-sandbox')
options.add_argument('--disable-application-cache')
options.add_argument('--disable-gpu')
options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Firefox(executable_path=r'...', options=options)
return driver
Cualquier ayuda para optimizar este método se agradece.