1

He estado tratando de ejecutar un proceso automatizado en un Jupyter Notebook (desde deepnote.com) todos los días, pero después de ejecutar la primera iteración de un bucle while y comenzar la siguiente iteración (en el bucle for dentro del bucle while), La máquina virtual colapsa lanzando el mensaje a continuación:

KernelInterrupted: Execution interrupted by the Jupyter kernel

Aquí está el código:

. . .

while y < 5:
    print(f'\u001b[45m Try No. {y} out of 5 \033[0m')

    #make the driver wait up to 10 seconds before doing anything.

    driver.implicitly_wait(10)

    #values for the example.
    #Declaring several variables for looping.
    #Let's start at the newest page.

    link = 'https...'
    driver.get(link)

    #Here we use an Xpath element to get the initial page

    initial_page = int(driver.find_element_by_xpath('Xpath').text)
    print(f'The initial page is the No. {initial_page}')   
    final_page = initial_page + 120
    
    pages = np.arange(initial_page, final_page+1, 1)
    minimun_value = 0.95
    maximum_value = 1.2
    
    #the variable to_place is set as a string value that must exist in the rows in order to be scraped.
    #if it doesn't exist it is ignored.
    to_place = 'A particular place'

    #the same comment stated above is applied to the variable POINTS.
    POINTS = 'POINTS'

    #let's set a final dataframe which will contain all the scraped data from the arange that
    #matches with the parameters set (minimun_value, maximum value, to_place, POINTS).
    df_final = pd.DataFrame()
    dataframe_final = pd.DataFrame()
    #set another final dataframe  for the 2ND PART OF THE PROCESS.
    initial_df = pd.DataFrame()

    #set a for loop for each page from the arange.
    for page in pages:
        #INITIAL SEARCH.
        #look for general data of the link.
        #amount of results and pages for the execution of the for loop, "page" variable is used within the {}. 
        url = 'https...page={}&p=1'.format(page)
        
        print(f'\u001b[42m Current page: {page} \033[0m '+'\u001b[42m Final page: '+str(final_page)+'\033[0m '+'\u001b[42m Page left: '+str(final_page-page)+'\033[0m '+'\u001b[45m Try No. '+str(y)+' out of '+str(5)+'\033[0m'+'\n')
        driver.get(url)
        #Here we order the scrapper to try finding the total number of subpages a particular page has if such page IS NOT empty.
        #if so, the scrapper will proceed to execute the rest of the procedure.
        try:
            subpages = driver.find_element_by_xpath('Xpath').text
            print(f'Reading the information about the number of subpages of this page ... {subpages}')
            subpages = int(re.search(r'\d{0,3}$', subpages).group())
            print(f'This page has {subpages} subpages in total')
                            
            df = pd.DataFrame()
            df2 = pd.DataFrame()
            
            print(df)
            print(df2)
            
            #FOR LOOP.
            #search at each subpage all the rows that contain the previous parameters set.
            #minimun_value, maximum value, to_place, POINTS.
            
            #set a sub-loop for each row from the table of each subpage of each page
            for subpage in range(1,subpages+1):
            
                url = 'https...page={}&p={}'.format(page,subpage)
                driver.get(url)
                identities_found = int(driver.find_element_by_xpath('Xpath').text.replace('A total of ','').replace(' identities found','').replace(',',''))
                identities_found_last = identities_found%50
                
                print(f'Página: {page} de {pages}') #AT THIS LINE CRASHED THE LAST TIME
                .
                .
                .
        #If the particular page is empty
        except:
            print(f'This page No. {page} IT'S EMPTY ¯\_₍⸍⸌̣ʷ̣̫⸍̣⸌₎_/¯, ¡NEXT! ')             
    .  
    .
    .

    y += 1

Inicialmente, pensé que el KernelInterrupted Error aparecía debido a la falta de memoria virtual que mi máquina virtual tenía en el momento de correr la segunda iteración ...

Pero después de varias pruebas, descubrí que mi programa no estaba disparando el consumo de RAM, dado que la RAM virtual disponible no estaba cambiando mucho durante todo el proceso, hasta que el kernel colapsó, puedo garantizar eso.

Así que ahora creo que tal vez la CPU virtual de mi máquina virtual es la que está causando el colapso del kernel, pero si ese fuese el caso, simplemente no entiendo por qué, esta es la primera vez que lidiéramos con tal situación. , este programa se ejecuta perfectamente en mi PC.

¿Hay algún científico de datos o ingeniero de aprendizaje automatizado por aquí que pueda ayudarme? Gracias de antemano.

1
  • no hay un log de errores con mayor descripción del error??? tambien puedes colocar el try catch fuera del while para que monitoreé todo l proceso: stackoverflow.com/a/4690655/4717133
    – user46896
    Commented el 12 oct. 2021 a las 14:43

1 respuesta 1

2

He encontrado la respuesta en el propio foro de la comunidad de Deepnote, simplemente las máquinas "Free Tier" de esta plataforma no garantizan un funcionamiento permamente (24h/7), independiente de cuáles sean los programas ejecutados en sus máquinas virtuales...

He encontrado la respuesta en el propio foro de la comunidad de Deepnote, simplemente las máquinas "Free Tier" de esta plataforma no garantizan un funcionamiento permamente (24h/7), independiente de cuáles sean los programas ejecutados en sus máquinas virtuales...

Es todo, no hay nada más que ver aquí.

1
  • Hecho. He actualizado el contexto
    – NoahVerner
    Commented el 13 oct. 2021 a las 2:46

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.