estoy teniendo problemas a la hora de hacer un scraper porque siempre me termina duplicando los enlaces que encuentra, pero no encuentro una manera clara de solucionarlo.
Este es el codigo:
from bs4 import BeautifulSoup
import urllib.request
import pandas as pd
from collections import OrderedDict
#import numpy as np
#import requests
url = input("Url a scrapear: ")
pagina = urllib.request.urlopen(url).read().decode()
elementos = BeautifulSoup(pagina)
productos = elementos.find_all('div', class_='picture')
for div in productos:
out_dicts = div.find('a')['href']
#d = out_dicts
#df = pd.DataFrame((d), columns=['url'], index=['pagina'])
for out_dict in out_dicts:
#item = out_dicts
urlpagina = f'https://www.plasticosur.com{out_dicts}'
#df = pd.DataFrame(urlpagina, index=['pagina'], columns=['url'])
#df = df.drop_duplicates()
#datos = urllib.request.urlopen(urlpagina).read().decode()
#soup = BeautifulSoup(datos)
#titulo = soup('div')
#print(df.url.values[0])
print(urlpagina)
Y esta es la página: https://www.plasticosur.com/hosteler%C3%ADa#/pageSize=36&viewMode=grid&orderBy=15&pageNumber=1
Las lineas comentadas solo importan luego de solucionar el problema de los duplicados, así que de momento eso no importa. ¿Alguna idea de como solucionar el problema? Porque ya he intentado de varias y ninguna muestra el enlace correctamente
set()
para eliminar duplicadosfor out_dict in out_dicts:
itera por cada letra del enlace, y para cada una de las letras crea un enlace que lleva a la misma URL. Como te han dicho, sobar elfor
.