0

estoy teniendo problemas a la hora de hacer un scraper porque siempre me termina duplicando los enlaces que encuentra, pero no encuentro una manera clara de solucionarlo.

Este es el codigo:

from bs4 import BeautifulSoup
import urllib.request
import pandas as pd
from collections import OrderedDict
#import numpy as np
#import requests

url = input("Url a scrapear: ")
pagina = urllib.request.urlopen(url).read().decode()
elementos = BeautifulSoup(pagina)
productos = elementos.find_all('div', class_='picture')
for div in productos:
    out_dicts = div.find('a')['href']
    #d = out_dicts
    #df = pd.DataFrame((d), columns=['url'], index=['pagina'])
    for out_dict in out_dicts:
        #item = out_dicts
        urlpagina = f'https://www.plasticosur.com{out_dicts}'
        #df = pd.DataFrame(urlpagina, index=['pagina'], columns=['url'])
        #df = df.drop_duplicates()
        #datos = urllib.request.urlopen(urlpagina).read().decode()
        #soup = BeautifulSoup(datos)
        #titulo = soup('div')
        #print(df.url.values[0])
        print(urlpagina)

Y esta es la página: https://www.plasticosur.com/hosteler%C3%ADa#/pageSize=36&viewMode=grid&orderBy=15&pageNumber=1

Las lineas comentadas solo importan luego de solucionar el problema de los duplicados, así que de momento eso no importa. ¿Alguna idea de como solucionar el problema? Porque ya he intentado de varias y ninguna muestra el enlace correctamente

4
  • Es posible que la página tenga en sí misma los enlaces duplicados (por ejemplo porque los use en el nombre de cada producto y en su imagen). Yo metería todos enlaces a una lista y usaría el tipo set() para eliminar duplicados
    – abulafia
    Commented el 17 feb. 2022 a las 19:24
  • Hola, ¿qué tal? Acabo de agregar la página que estoy tratando de scrapear para que puedas probar el scraper tu mismo. Ya intenten hacer eso que comentas pero muestra cada elemento del enlace (cada caracter) por separado y elimina los caracteres duplicados, pero la idea es que quede el enlace limpio. ¿Se te ocurre algo más? Commented el 17 feb. 2022 a las 19:31
  • 1
    Creo que ya te han dado varias respuestas que te deberían funcionar. El scraping de esa página no produce enlaces duplicados (lo acabo de comprobar), lo que ocurre es que tu bucle for out_dict in out_dicts: itera por cada letra del enlace, y para cada una de las letras crea un enlace que lleva a la misma URL. Como te han dicho, sobar el for.
    – abulafia
    Commented el 17 feb. 2022 a las 20:43
  • Con solo aceptar la respuesta basta para indicar que el problema fue solcionado
    – Christian
    Commented el 17 feb. 2022 a las 22:49

3 respuestas 3

0

lo que sucede es lo siguiente tienes una lista productos que contiene divs

[<div class="picture">
<a href="/utensilios-de-cocina-" title="Show products in category UTENSILIOS DE COCINA">
<img alt="Picture for category UTENSILIOS DE COCINA" src="https://www.plasticosur.com/images/thumbs/default-image_450.png" title="Show products in category UTENSILIOS DE COCINA"/>
</a>
</div>,...,]

luego recorres por cada div y consigues el href con .find('a')['href'] esto trae una cadena string de la siguiente forma

productos[0].find('a')['href'] == '/utensilios-de-cocina-'

entonces cuando usted hace el segundo for

for out_dict in out_dicts:

no esta iterando sobre una lista, esta iterando sobre un string. Como si hiciera

for letra in 'hola':
    print(letra)
>h
>o
>l
>a

Puede intentar envolver out_dicts en una lista [out_dicts] o puede confiar en que traera un elemento unico, desconozco si pueda usar find_all o algun otro metodo para que la respuesta sea una lista.

0

Si necesita solo para remover los duplicados de enlaces de productos:

links = set()
for div in productos:
    links.add(div.find('a')['href'])

for out_dict in links:
    ...
2
  • Hola, ¿qué tal? No funciono, sigue duplicando los links e incluso ahora muestra más información que no se necesita. ¿Alguna otra idea? Commented el 17 feb. 2022 a las 19:53
  • Vale, que resultado necesita El resultado de mi código (la lista links): {'/bola22212-globos-latex-confetti-plata-30cm-5u-', '/fies61524-vela-futbol-estrellas-numero-4', '/arce4001915-colador-acero-inoxidable-modelo-mango-24cm-c-asas-y-soporte', '/koop170425300-frutero-metal-23x17cm-cromado', '/arce4002243-bol-hondo-aleman-28cm-inox-mate', '/munc75912-taza-stdo-4-modelos', '/cafeteras-teteras-y-accesorios-', '/tognma557230055-vaso-230cc-madame-violeta', '/cubiertos-', '/fies61523-vela-futbol-estrellas-numero-3', '/sartenes-ollas-y-moldes-', '/tognma557230026-vaso-230cc-madame-azul'
    – Sergey L
    Commented el 17 feb. 2022 a las 20:30
0

Elimina este for

for out_dict in out_dicts:

El valor de out_dicts es el href del elemento <a>, por lo que estas es iterando sobre un string y no sobre los href

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.