4
votos
Aceptado
¿como se le podría hacer web scraping a una parte de ésta pagina? ya que no posee api
Al ver el código fuente del sitio que mencionas se puede apreciar que para generar la tabla hacen una petición a una URL que devuelve los datos en formato CSV.
Te muestro como obtenerlo con ...
3
votos
Aceptado
Siempre obtengo el mismo registro dentro de una lista
Tu problema es que la expresión xpath() que usas dentro del bucle contiene una ruta absoluta. Es decir, aquí por ejemplo:
precio= articulo.xpath('//span[@class="price-tag-fraction"]//text()...
3
votos
¿como se le podría hacer web scraping a una parte de ésta pagina? ya que no posee api
Tu error es que estás ingresando la tabla completa al backend, y todo ese html se va perdiendo. Debes recuperar los datos como texto (strings), y no como html.
Te recomiendo ir dividiendo toda la ...
3
votos
python scrapy quitar los espacios en blanco de la respuesta
Claro que puedes usar strip, o también puedes hacerlo a nivel del Selector con xpath usando la función normalize-space:
game.xpath('normalize-space(.//h2[contains(@class, "product-name")]//a/text())')...
2
votos
Aceptado
Obtener el link de una imagen con Xpath
Primero, entrecomilla el nombre de las clases, por eso no obtienes coincidencias al usar la clase. En vez de:
'//img[@class=vc_gitem-zone-img]'
haz:
'//img[@class="vc_gitem-zone-img"]'
Después, no ...
1
voto
Aceptado
El contenido de mi Requests aparece vació
lo que sucede es que el contenido es traido por ajax.
puedes hacerlo haciendo una consulta directo al url que trae por ajax que esta en formato json:
import requests
from bs4 import BeautifulSoup
#...
1
voto
La biblioteca win32 no esta reconocida a pesar de haberla instalado
El nombre de la librería es pywin32. Deberías instalarla con pip install pywin32
Nota: en el caso concreto de la pregunta de @revolucion-for-monica existía un problema de dependencias en los ...
1
voto
No puedo hacer uso de scrapy.contrib.loader
El módulo contrib fue eliminado de scrapy hace varios años. En la versión 1.6 (actualmente estamos en las 2.2). Por lo que las funciones necesarias, se pueden encontrar en otros módulos, y se pueden ...
1
voto
Aceptado
java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient
Lo que sucede es que tienes importadas las librerías pero solo para compilar, debes asegurarte que todas las librerías estén en el Deployment Assembly, porque al desplegar en el servidor si no están ...
1
voto
Aceptado
¿Como extraer datos de una tabla con scraping en Ruby on Rails?
Creo que la más importante mejora que puedes hacer en tu código es usar nokogiri correctamente.
Al buscar //tr estás retornando e iterando por 14 etiquetas que encontró en tu HTML, lo cual es ...
1
voto
Aceptado
Problema con cron ¿Cómo hacer que encuentre el PATH correcto?
Si no encuentra scrapy pero si lo puedes usar en la terminal con normalidad... tienes un problemas con los paths. Te aconsejo pongas el path completo. Suponiendo que esté en /usr/bin/scrapy pon:
* * *...
1
voto
Aceptado
¿Cómo selecciono texto depues de una etiqueta en Scrapy?
Si en lugar de .extract_first() usas .extract() obtienes una lista cuyos elementos son los textos que haya dentro del elemento seleccionado por el selector css que hayas usado. Para quedarte con el ...
1
voto
Aceptado
Iterar sobre el selector actual con XPath y Scrapy
En estos casos de que quieras recorrer un selector deberías recordar que para que sea relativo no puedes empezar por /, tendrás que empezar por un punto.
Debería funcionar si cambias tu código por:
...
1
voto
Hacer click boton con Selenium
El problema realmente es que haces click en el div, no en el link que contiene. Puedes seleccionar el <div> por id como haces ahora y luego seleccionar el elemento <a> a partir de el, por ...
1
voto
Aceptado
scraping web horizontal y vertical con scrapy
Si, como dice @fredyfx, la página obtiene su información con peticiones POST (ejecutadas desde Javascript) eso implica que bajándote sin más el HTML, los elementos que estás buscando con expresiones ...
1
voto
Aceptado
Error scrapy no se reconoce
Además de tener instalado Scrapy via pip debes tener el directorio Scripts de tu instalación de Python en el PATH, donde por defecto se debería encontrar el ejecutable:
Primero comprueba la ruta ...
1
voto
Problema con enlaces relativos en Scrapy
Con lo que expones no está claro donde está el error ni muestras el error completo. Entiendo que el error debe estar en el método parse_url. A ver si lo siguiente te funciona:
try:
from urllib....
Only top scored, non community-wiki answers of a minimum length are eligible
Etiquetas relacionadas
scrapy × 70python × 52
scraping × 12
python-3.x × 10
javascript × 5
web × 5
python-2.7 × 4
beautifulsoup × 4
java × 3
python-requests × 3
xpath × 3
django × 2
csv × 2
pip × 2
php × 1
html × 1
mysql × 1
nodejs × 1
json × 1
r × 1
linux × 1
mysqli × 1
typescript × 1
excel × 1
date × 1