1

tengo un problema con un pequeño programa que estoy haciendo. Debo cargar un archivo .txt con unos nombres que serán usados para abrir un enlace y extraer el codigo fuente en un archivo .txt final. Ayer no me generaba problemas, pero supongo que esta mañana habré modificado algo y ahora surge un error de atributo que antes no estaba. Llevo horas tratando de repararlo. Aquí el código completo del programa:

El programa:

import urllib.request

archivo_txt = open('_criaturas.txt','r',encoding='utf-8-sig')

with archivo_txt as nombresDeCriaturas:
    listaDeCriaturas = [linea.strip() for linea in nombresDeCriaturas] 

longitudLista = len(listaDeCriaturas)
contador = 0
for nombreCriatura in listaDeCriaturas:
    nombreCriatura = nombreCriatura.replace(" ", "_") # Cambiar ' ' de cada linea por '_'
    url = 'https://www.tibiawiki.com.br/index.php?title='+str(nombreCriatura)+'&action=edit'
    opener = urllib.request.build_opener()
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 #Safari/537.36')]
    urllib.request.install_opener(opener)
    # Ruta donde se almacenarán los archivos
    # paginas descargadas/items/
    urllib = urllib.request.urlretrieve(url,'paginas descargadas/criaturas/'+str(nombreCriatura)+'.txt')

    contador = contador + 1
    print(':: Descargando pág. ' + str(contador) + ' de ' + str(longitudLista) + '\n:: ' + nombreCriatura + '.txt')
    print('-------------------------------------')
archivo_txt.close()
print('Todos los archivos fueron descargados correctamente')

Breve explicación:

Este programa carga un archivo llamado _criaturas.txt que contiene en su interior una serie de nombres:

3478
A Shielded Astral Glyph
A Weak Spot
Abyssador
Abyssal Calamary
Achad
Acid Blob
Acolyte of Darkness
Acolyte of the Cult
Adept of the Cult
Adult Goanna
Adventurer

Que al ser cargados por el programa estos son formateados y usados para ser concatenados con la url de la cual se pretende extraer el código fuente.

El problema:

El programa me lanza un AttributeError: 'tuple' object has no attribute 'request' en la línea 13, referenciando esta linea del código: opener = urllib.request.build_opener()

Lo más curioso es que el programa procesa sin problemas el primer elemento de la lista obtenida del _criaturas.txt, es decir, la primera página de todas (llamada ´3478´) y en vez de pasar a la segunda página, lanza el error:

==== RESTART: C:\Users\...\code.py ===
:: Descargando pág. 1 de 1489
:: 3478.txt
-------------------------------------
Traceback (most recent call last):
  File "C:\Users\Administrador\Desktop\scraping_python\HTML GETcode.py", line 13, in <module>
    opener = urllib.request.build_opener()
AttributeError: 'tuple' object has no attribute 'request'

Otro dato curioso es que si elimino de la lista la pagina llamada 3478 (que ya fue descargada), la siguiente a ésta se procesa igual de bien como la primera, y con la siguiente página lanza el error nuevamente... y así sucesivamente.

Ya no sé donde buscar el error, he exprimido la linea del problema pero no encuentro explicación alguna. De haber algún error con el nombre a buscar entonces no tendría porqué crear la primera página de la lista, tampoco debería crear la siguiente página si borro la primera de la lista. Básicamente el programa funciona sólo con el primer elemento de _criaturas.txt, y la idea es que itere sobre cada elemento. Como dato adicional _criaturas.txt está en UTF-8.

Ya no sé que mas hacer, si alguien me puede dar una mano revisando mi código, por favor. Muchas gracias desde ya!

1 respuesta 1

1

Ten mucho cuidado con los nombres de las variables, Python te deja sobrscribir o sombrear casi todo:

urllib = urllib.request.urlretrieve(url,'paginas descargadas/criaturas/'+str(nombreCriatura)+'.txt')

A partir de ésta línea urllib ya no es una referencia al módulos, ¿adivinas que es? Una tupla de la forma:

('paginas descargadas/criaturas/Abyssador.txt', <http.client.HTTPMessage object at 0x7f49fe60b6d0>)

ésto hace que en la siguiente iteración hagas algo como:

('paginas descargadas...', <http.client.HTTPMessage...>).request.build_opener()

y de ahí la excepción.

No necesitas siquiera capturar la salida en una variable el código podría quedar así:

import urllib.request


opener = urllib.request.build_opener()
opener.addheaders=[
    ('User-Agent', 
    ('Mozilla/5.0 (Windows NT 6.1; WOW64) '
     'AppleWebKit/537.36 (KHTML, like Gecko) '
     'Chrome/36.0.1941.0 #Safari/537.36'))]
urllib.request.install_opener(opener)

archivo_txt = open('_criaturas.txt', 'r', encoding='utf-8-sig')
with archivo_txt as criaturas:
    nombres_criaturas = [line.rstrip().replace(" ", "_") for line in criaturas]

numero_criaturas = len(nombres_criaturas)
for contador, nombre_criatura in enumerate(nombres_criaturas):
    url = ('https://www.tibiawiki.com.br/index.php?title='
           f'{nombre_criatura}&action=edit')

    print((f':: Descargando pág. {contador + 1} de {numero_criaturas} \n' 
           f':: {nombre_criatura}.txt\n{"-" * 37}'))

    # Ruta donde se almacenarán los archivos
    # paginas descargadas/items/
    urllib.request.urlretrieve(
        url, f'paginas descargadas/criaturas/{nombre_criatura}.txt'
        )
print('Todos los archivos fueron descargados correctamente')

He cambiado otras cosas:

  • Substituido la concatenación de cadenas por formateo que es más eficiente y posiblemente más legible.

  • He acortado las lineas (por convención no deben superar los 79 caracteres).

  • Movida la configuración de urllib fuera del ciclo, solo necesitas hacer eso una vez.

  • Substituido el contador por enumerate.

  • No necesitas llamar a close cuando usas with, precisamente esa es una de las cosa que te asegura with y el administrador de contexto, el archivo se cerrará en cuanto el bloque termine, aún con excepciones de por medio.

1
  • El programa corre perfecto y quedó muy limpio. Muchas gracias por tomarte el tiempo de corregirlo y además darle respuesta a mi rompedero de cabeza. ¿Se nota que soy nuevo en python? Me acabas de dejar tarea para estudiar, gracias por eso también. Saludos!
    – Nick Cam
    el 2 jun. 2020 a las 20:58

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.