1

Estoy trabajando en un ejercicio de Scrapping con Python, pero tengo el problema de que no me muestra nada al hacer find_all (aclaro que he probado con casi todas las clases e id del sitio) en cambio si pruebo con otros sitios si puedo obtener data...

Este es el código que tengo hasta el momento:

    sku = '1138891'
url_retail = f'https://www.lider.cl/catalogo/product/sku/{sku}'

retail_page = requests.get(url_retail)

soup = BeautifulSoup(retail_page.content, 'html.parser')

results = soup.find_all("div", {"class": "row"})
ase = soup.find_all("div", {"class": "col"})

print(ase)

Lo que me trae es lo siguiente (por lo que veo un array):

[<div class="col">Descripción</div>, <div class="col">Notebook Inspiron 15 3505 AMD Athlon/ Silver/ 3050U/ 4GB/ 256SSD/ Win10H/ 1Yr</div>, <div class="col">Producto</div>, <div class="col">Notebook</div>, <div class="col">Marca</div>, <div class="col">Dell</div>, <div class="col">Modelo</div>, <div class="col">RWK89</div>, <div class="col">Sistema Operativo</div>, <div class="col">Windows 10 Home/ 64bit/ Single Language Spanish</div>, <div class="col">Procesador</div>, <div class="col">AMD Athlon</div>, <div class="col">Modelo Procesador</div>, <div class="col">AMD Athlon™ Silver 3050U Mobile Processor with Radeon™ Graphics</div>, <div class="col">RAM</div>, <div class="col">4 GB</div>, <div class="col">Disco Duro</div>, <div class="col">256GB CL35 M.2 SSD</div>, <div class="col">Tarjeta de Video</div>, <div class="col">Integrated graphics with AMD</div>, <div class="col">Convertible</div>, <div class="col">No</div>, <div class="col">Tamaño Pantalla</div>, <div class="col">15.6"</div>, <div class="col">Tipo Pantalla</div>, <div class="col">HD</div>, <div class="col">Resolución Pantalla</div>, <div class="col">1366x768</div>, <div class="col">Cámara</div>, <div class="col">Sí</div>, <div class="col">Unidad Optica</div>, <div class="col">No</div>, <div class="col">HDMI</div>, <div class="col">Sí</div>, <div class="col">Bluetooth</div>, <div class="col">Sí</div>, <div class="col">Lector Multitarjeta</div>, <div class="col">No</div>, <div class="col">Parlantes Integrados</div>, <div class="col">Sí</div>, <div class="col">Batería</div>, <div class="col">3-Cell/ 42 WHr/ Integrated battery</div>, <div class="col">Alto</div>, <div class="col">18 mm</div>, <div class="col">Ancho</div>, <div class="col">364 mm</div>, <div class="col">Profundidad</div>, <div class="col">249 mm</div>, <div class="col">Peso</div>, <div class="col">&lt;1.74kg</div>, <div class="col">Razón Social del Proveedor</div>, <div class="col">Ingram Chile S.A</div>, <div class="col">Domicilio del Proveedor</div>, <div class="col">Av. Providencia 1760 - Piso 11</div>, <div class="col">País de origen</div>, <div class="col">China</div>, <div class="col">Garantía otorgada por el Fabricante</div>, <div class="col">12 Meses</div>]

Por ejemplo, si quiero traerme el Peso del producto (Peso, <1.74kg) ¿Cómo podria hacerlo? considerando que el html no trae ningun id ni clase por cada atributo.

Saludos a todos.

4
  • Algunos sitios implementan técnicas para evitar el scrapping
    – Christian
    Commented el 19 jul. 2021 a las 1:45
  • Me doy cuenta que el html que parsea al hacer la llamada a la url es completamente diferente al del sitio web, agregue el codigo que me trae Commented el 19 jul. 2021 a las 2:24
  • tu problema ha cambiado, ya no es que no te muestra la info, sino que no sabes como acceder a la info. Te recomiendo cambiar el titulo
    – Christian
    Commented el 19 jul. 2021 a las 3:05
  • Esa web está hecha con javascript. Accediendo con beautifulsoup es como si accedieras con un navegador sin javascript, por lo que ve una versión estática distinta a la que observas normalmente. Ambas versiones no tienen porqué coincidir (depende de lo que haya hecho el programador). Commented el 19 jul. 2021 a las 8:08

2 respuestas 2

0

Si tienes la información como en tu variable ase puedes utilizar patrones de texto para encontrar la información que quieres.

Por ejemplo para encontrar el peso en kilos, valdría simplemente esto:

import requests
from bs4 import BeautifulSoup

sku = '1138891'
url_retail = f'https://www.lider.cl/catalogo/product/sku/{sku}'

retail_page = requests.get(url_retail)

soup = BeautifulSoup(retail_page.content, 'html.parser')

results = soup.find_all("div", {"class": "row"})
ase = soup.find_all("div", {"class": "col"})


for div in ase:
    if "kg" in div.text:
        print(div)

Salida: <div class="col">&lt;1.74kg</div>

Simplemente comprobamos que kg se encuentra en el texto con el método .text()

Para comprobaciones más tediosas, siempre puedes usar expresiones regulares con el módulo re de Python, aquí su documentación oficial.

1
  • Gracias, una consulta mas, es posible aparte del peso obtener otros valores (alto, ancho)y almacenarlos en una variable para usarlos despues? pasa que cuando cambio el sku, el producto tiene esas caracteristicas en diferentes posiciones y cuando pinto el df ya no funciona Commented el 19 jul. 2021 a las 22:00
0

Esta pagina se genera dinamicamente(esto significa que el cliente a traves de JavaScript renderiza la pagina en base a un json que recibe como respuesta a una peticion al servidor) , para extraer la informacion que necesita tiene varias opciones:

  1. Realizar peticiones a la API y extraer la informacion de los Json que obtenga como respuesta. codigo:

    import requests
    from constants import headers
    
    id_product = '1138891'
    url = f'https://buysmart-bff-production.lider.cl/buysmart-bff/products/{id_product}?'
    
    params = {
        'appId': 'BuySmart',
        'ts': '1626875167313'
    }
    resp = requests.get(url=url, headers=headers, params=params)
    text = resp.json()
    dictionary = dict(text)
    product = {'description': dictionary['filters'][0]['Descripción'],'peso': dictionary['specifications'][24]['value']}
    

print(product)

  1. Utilizar una libreria de scrapeo que ejecute javascript (scrapy-splash). codigo:

    import scrapy from scrapy_splash.request import SplashRequest, SplashFormRequest

    class LiderSpider(scrapy.Spider): name = "test"

     def start_requests(self):
         splash_args = {"lua_source": """
                     --splash.response_body_enabled = true
                     splash.private_mode_enabled = false
                     splash:set_user_agent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36")
                     assert(splash:go("https://www.lider.cl/catalogo/product/sku/1138891"))
                     splash:wait(3)
                     return {html = splash:html()}
                     """}
         yield SplashRequest("https://www.lider.cl/catalogo/product/sku/1138891", endpoint='run', args=splash_args, callback=self.onSave)
    
     def onSave(self, response):
         technical_specifications = response.css('.MuiTableBody-root .MuiTableRow-root::text').get_all()
         product = {}
         for detail in technical_specifications:
             if 'Descripción' in detail:
                 product['descripcion'] = detail.replace('Descripción','')
             elif 'Peso' in detail:
                 product['Peso'] = detail.replace('Peso', '')
    

Nota: Configure su middlweare instale scrapy y scrapy-splash con pip y use docker para el server de splash

  1. Si el rendimiento es su ultima preocupacion tambien puede utilizar selenium.
1
  • 1
    Es un comentario válido, pero no es una respuesta. No identifica ni explica el error/falta del OP. Tampoco ofrece una solución con código que demuestre la forma correcta de resolver el problema. Recomendación: las respuestas van con código y probadas
    – Candid Moe
    Commented el 21 jul. 2021 a las 6:21

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.