0

Objetivo: Estoy tratando de mostrar una lista sobre los nombres específicos de la página web https://www.screwfix.com/c/tools/angle-grinders/cat830694.

Por ejemplo:

  1. Obtener Titan TTB281GRD del título del enlace en esta parte:

    <div id="product_box_14" class="lg-12 md-24 sm-24 cols">
      <div id="productID_93905" class="lii lii--j2 lii__offer">
    
        <div class="lii_head">
          <h3 class="lii__title">
            <a id="product_description_14" href="https://www.screwfix.com/p/titan-ttb281grd-750w-4-angle-grinder-230-240v/93905" descriptionproductid="93905" title='Titan TTB281GRD 750W 4½&#034;  Angle Grinder 230-240V'>
              Titan TTB281GRD 750W 4½&#034;  Angle Grinder 230-240V
            </a>
    
            <span id="product_quoteNo_14" quotenumberproductid="93905">
              (93905)
            </span>
          </h3>
        </div>
      </div>
    </div>
    
  2. y obtener Makita DGA456Z de esta parte análoga:

    <div id="product_box_1" class="lg-12 md-24 sm-24 cols">
      <div id="productID_2906R" class="lii lii--j2 lii__offer">
    
        <div class="lii_head">
          <h3 class="lii__title">
            <a id="product_description_1" href="https://www.screwfix.com/p/makita-dga456z-18v-li-ion-4-brushless-cordless-angle-grinder-bare/2906r" descriptionproductid="2906R" title='Makita DGA456Z 18V Li-Ion  4½&#034; Brushless Cordless Angle Grinder - Bare'>
              Makita DGA456Z 18V Li-Ion  4½&#034; Brushless Cordless Angle Grinder - Bare
            </a>
    
            <span id="product_quoteNo_1" quotenumberproductid="2906R">
              (2906R)
            </span>
          </h3>
        </div>
      </div>
    </div>
    

Descripción: Debería obtener los valores en la variable "título" (class = "lii_head" class = "lii__title" y luego dentro de la variable "title =")

Código: Mi programa descarga el HTML correctamente, y logro filtrar bien las partes que yo quiero sacar, pero a la hora de querer conseguir el "titulo" me devuelve lista vacía.

# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup
import requests

URL = "https://www.screwfix.com/c/tools/angle-grinders/cat830694"

# Realizamos la petición a la web
req = requests.get(URL)

# Comprobamos que la petición nos devuelve un Status Code = 200
status_code = req.status_code
if status_code == 200:

    # Pasamos el contenido HTML de la web a un objeto BeautifulSoup()
    html = BeautifulSoup(req.text, "html.parser")
    #print html

    # Obtenemos todos los divs donde están las entradas
    entradas = html.find_all('h3', {'class': 'lii__title'})
    #print entradas

    # Recorremos todas las entradas para extraer el título, autor y fecha
    for i, entrada in enumerate(entradas):

    print entrada
        # Con el método "getText()" no nos devuelve el HTML
        titulo = entrada.find_all('a', {'title'})

        # Imprimo el Título, Autor y Fecha de las entradas
        print  (i + 1, titulo)

else:
    print "Status Code %d" % status_code
5
  • BS es BeatifulSoup, correcto. El problema es que tengo que hacerlo con una expresión regular. Donde esta fallando? obviamente, imagino que en la expresion regular. Por que? Pues no lo se, porque no logro mostrar los resultados. Si en la expresion regular pongo titulo y no me saca los titulos, pues esta claro que algo falla en la expresion regular. Pregunto si alguien sabría como deberia ser la expresion regular, o que estoy poniendo mal, o si tengo que parsear el html de alguna manera, No creo que necesite más lineas de codigo que esas, puesto que es un pequeño script...
    – Pijolysss
    el 13 dic. 2017 a las 13:15
  • Realmente simplemente es buscar e imprimir, por tanto que más codigo voy a necesitar que ese? La clave es el scrapping. El como deberia ser mi expreg que al parecer lo hago mal, y no se como sacar exactamente las cadenas que me interesan. Y si recurro a esto, es porque obviamente no he conseguido sacarlo, no pretendo que nadie lo haga por mi, pero cualquier ayuda siempre se agradece. Y repito, no creo que sean necesarias mas lineas de codigo para lo que me interesa sacar, no es 1 linea de codigo, es el codigo necesario para resolver mi problema, la clave es la expreg
    – Pijolysss
    el 13 dic. 2017 a las 13:19
  • como dijo mariano, las paginas HTML no son regulares, y no deben parsearse nunca con expresiones regulares. Mira por favor blog.codinghorror.com/parsing-html-the-cthulhu-way
    – gbianchi
    el 13 dic. 2017 a las 17:18
  • He hecho algunos cambios al codigo, he probado con BS. Ya logro filtrar bien en el HTML las partes que yo quiero sacar, pero a la hora de querer conseguir el "titulo" me devuelve lista vacia.
    – Pijolysss
    el 14 dic. 2017 a las 20:46
  • 1
    He actualizado el codigo, a ver si se os ocurre algo! :)
    – Pijolysss
    el 14 dic. 2017 a las 20:48

1 respuesta 1

1

Ibas muy bien. Para obtener el atributo de un elemento (en este caso title en <a title="...">, se puede tratar a un elemento como un diccionario:

enlace = entrada.find('a')
titulo = enlace['title']

Sin embargo, conviene usar .get(), para evitar errores si un elemento no tiene ese atributo.

titulo = enlace.get('title')


Pero te muestro una forma más sencilla de acceder a los elementos que te interese en el HTML, usando selectores CSS. Esta es la forma más sencilla de hacer scrapping con BeautifulSoup.

En tu caso:

DIV class = "lii_head"
[con un hijo directo] H3 class = "lii__title"
[con un hijo directo] A

El método .select() acepta un selector CSS. Así nos ahorramos ir encadenando búsquedas.

html.select('div.lii_head > h3.lii__title > a')


Código:

from bs4 import BeautifulSoup
import requests

URL = "https://www.screwfix.com/c/tools/angle-grinders/cat830694"

# Solicitud web
req = requests.get(URL)

# Comprobamos que la petición nos devuelve un Status Code = 200
status_code = req.status_code
if status_code == 200:

    #Armamos el DOM con BeautifulSoup
    html = BeautifulSoup(req.text, "html.parser")

    #Selector CSS
    entradas = html.select('div.lii_head > h3.lii__title > a')
    for i, entrada in enumerate(entradas):
        #Obtenemos el atributo "title"
        titulo = entrada.get('title')
        print("%d == %s" % (i, titulo.encode('utf-8')))

else:
    print ("Status Code %d" % status_code)


Resultado:

0 == b'Makita DGA456Z 18V Li-Ion  4\xc2\xbd" Brushless Cordless Angle Grinder - Bare'
1 == b'DeWalt DCG412N 18V Li-Ion XR 5"  Angle Grinder - Bare'
2 == b'Bosch GWS 710 700W 4\xc2\xbd"  Angle Grinder 230V'
3 == b'DeWalt DWE4206-GB 1010W 4\xc2\xbd"  Angle Grinder 240V'

... etc. (son 20 líneas)

Demo:

https://pyfiddle.io/fiddle/73a0df0a-4f3e-485f-8bff-ee133688761b/?i=true

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.