Preguntas con la etiqueta [scrapy]
Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.
70
preguntas
4
votos
2
respuestas
7k
vistas
Hacer click boton con Selenium
Hola soy nuevo con Selenium. Este es el código del boton donde deseo hacer click:
<a href="javascript:bp(26834)">Clic para ver</a>
Navego hasta la página indicada pero no se ...
2
votos
1
respuesta
548
vistas
Obtener el link de una imagen con Xpath
Os explico lo que estoy haciendo y lo que quiero hacer, estoy obteniendo la información de una página pero ésta carga las imágenes por javasccript, para conseguirlas hago un post al server para que me ...
2
votos
1
respuesta
867
vistas
scraping web horizontal y vertical con scrapy
soy nuevo en scraping y estoy haciendo un raspado horizontal y vertical con scrapy. al momento de ejecutar mi codigo me genera el archivo .csv pero vacio, sin la informacion raspada.
este es mi ...
2
votos
1
respuesta
234
vistas
Problema con enlaces relativos en Scrapy [cerrada]
Quiero levantar las noticias completas de los enlaces que aparecen en la portada de un sitio informativo. Pero los enlaces son relativos
El sitio es http://www.puntal.com.ar/v2/
Y los enlaces se ...
2
votos
0
respuestas
56
vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
1
voto
1
respuesta
32
vistas
Siempre obtengo el mismo registro dentro de una lista
Al intentar obtener todos los artículos de la pagina consultada solo obtengo el primer registro tantas veces artículos hayan en la URL consultada.
class MercadoSpider(scrapy.Spider):
name = '...
1
voto
1
respuesta
302
vistas
python scrapy quitar los espacios en blanco de la respuesta
Estoy intentando hacer un script con scrapy y no soy capaz de qué el método strip me quite los espacios en blanco...
debería ser un string pero es un objeto. ¿Alguna manera de hacerlo?
import scrapy
...
1
voto
1
respuesta
59
vistas
La biblioteca win32 no esta reconocida a pesar de haberla instalado
Intenté hacer un proyecto con in Scrapy scraper, que funcionó bien hasta ahora, desder cero. Pero esta vez me parece que necesito una librería win32api. Puede que lo haya instalado en mi entorno ...
1
voto
1
respuesta
108
vistas
Intento de webscrapping con scrapy fallido
Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece ...
1
voto
1
respuesta
145
vistas
¿Como extraer datos de una tabla con scraping en Ruby on Rails?
Pienso tomar un mooc de scraping con Ruby on Rails, para sacar el máximo provecho al curso estoy leyendo unos tutoriales como hacer scraping y adelantándome a las posibles tareas.
Creé en github una ...
1
voto
1
respuesta
202
vistas
Problema con cron ¿Cómo hacer que encuentre el PATH correcto?
Estoy intentando desplegar una araña Scrapy a través de crontab, y no consigo que funcione. He comprobado que cron funciona bien con algunos comandos Linux, todo funciona muy bien.
Cuando pongo el ...
1
voto
1
respuesta
296
vistas
¿Cómo selecciono texto depues de una etiqueta en Scrapy?
Tengo la siguiente estructura HTML:
<div> \n <span> text1 </span> text2 \n </div>
Y quiero seleccionar el text2:
reques.css("div::text").extract_first()
Pero esto me ...
1
voto
1
respuesta
241
vistas
Iterar sobre el selector actual con XPath y Scrapy
Estoy escrapeando una información pero estoy atorado en el bucle del for.
Primero, cuando recibo la respuesta, le creo un xpath "root" por así llamarlo. Este xpath root tiene uno y cada uno de los ...
1
voto
1
respuesta
2k
vistas
Error scrapy no se reconoce
Estoy intentando correr un spider según la biblioteca de "scrapy" y al ejecutar la orden.
scrapy runspider my_spider.py -o data.csv -t csv --set CLOSESPIDER_ITEMCOUNT=10
Me señaliza el siguiente ...
1
voto
0
respuestas
49
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
1
voto
0
respuestas
37
vistas
response follow no entra al siguiente metodo
estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
1
voto
0
respuestas
34
vistas
Scrapy ahora timesout con un sitio web que solía funcionar bien
Estoy usando scrapy para scrapear un sitio web: https://www.sephora.fr/marques/de-a-a-z/.
Hace un año funcionaba bien, pero ahora muestra un error:
El tiempo de espera del usuario causó un fallo de ...
1
voto
0
respuestas
25
vistas
¿ Por qué Scrapy exporta los los datos en una sola fila?
Espero que me puedan ayudar. Al ejecutar el código scrapy de más abajo, a través del comando
scrapy runspider ripley_end.py -o tablaripley.csv -t csv
los datos exportados, ya sea en json o csv quedan ...
1
voto
1
respuesta
105
vistas
Por qué mi araña creada en Scrapy con Python repite los datos
Como dice el título estoy haciendo una araña, es la primera vez que hago algo como esto. hasta ahora mi araña ya puede seguir los enlaces y traerse el texto. Es una araña sencilla.
Pero el problema ...
1
voto
1
respuesta
75
vistas
Scrapy en Python extraccion con xpaths
Estoy scrapeando texto de una pagina web con un spider en Python donde la salida es un .csv. Logré extraer lo que quiero para 1 solo campo, pero necesito agregar otro campo más al lado, el cual tenga ...
1
voto
0
respuestas
152
vistas
¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?
Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.
He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
1
voto
0
respuestas
42
vistas
Error en la codificación al scrapear sitio web
estoy obteniendo datos de un sitio web y me trae carácteres extraños.
Según su código está codificado en ISO-8859-1.
Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
1
voto
0
respuestas
45
vistas
Problema con CrawlSpider en Scrapy
Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código:
from scrapy.item import Field, Item
from ...
1
voto
1
respuesta
199
vistas
web scraping - python/Jupyter/scrapy
Estoy tratando de aprender web scraping trabajando sobre esta página para comenzar:
http://books.toscrape.com/catalogue/page-1.html
Tengo que obtener en un dataframe una lista de los libros en esta ...
1
voto
0
respuestas
95
vistas
scrapy splash login formdata input array name
No puedo hacer el login de un formulario por que el nombre de los inputs esta como array, ejemplo:
<input name="login[username]" value="" id="email" class="input-text required-entry validate-email"...
1
voto
1
respuesta
178
vistas
Formatear el resultado de response.css de scrapy spider
Cuando ejecuto mi spider el valor que deseo obtener los guardo en un diccionario, pero quiero también crear una carpeta con el nombre de uno de los resultados
def parse(self, response):
ml_item =...
1
voto
2
respuestas
199
vistas
Instalar Scrapy en Mac OS X error SSL pip
Buenas, actualmente estoy intentando instalas Scrapy en mi MacOS pero todo son problemas, lo primero que introduzco en terminal es:
pip install scrapy
Y me devuelve:
You are using pip version 7.0.1,...
1
voto
1
respuesta
232
vistas
¿Cómo hacer una busqueda recursiva en una pagina?
Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:
class ...
0
votos
2
respuestas
611
vistas
¿como se le podría hacer web scraping a una parte de ésta pagina? ya que no posee api
hay una pagina de la cual quiero usar la información en ella osea quiero hacer web scrapping ya que no encuentro su api. el link es airtmrates.com
ok me explico, quiero obtener el valor de las ...
0
votos
1
respuesta
249
vistas
No puedo hacer uso de scrapy.contrib.loader
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.contrib.loader import ItemLoader
Todas estas librerías me ...
0
votos
1
respuesta
164
vistas
java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient
He intentado de todo pero no obtengo resultados, estoy usando una API llamada HtmlUnit para sacar información de una pagina web sin embargo al momento de crear el WebClient, me salta el error en ...
0
votos
1
respuesta
193
vistas
El contenido de mi Requests aparece vació
estoy intentando realizar un scraper con python utilizando requests y beautifulsoup.
url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&...
0
votos
0
respuestas
6
vistas
Splash no puede renderizar esta web, hay algún método de solucionarlo?
Estaba realizando un programa de scraping para diferentes webs y me encontrado con una que no se ha podido extraer completamente. La web en cuestión es esta: https://www.viladomat.com/es-ES
El motor ...
0
votos
0
respuestas
37
vistas
Scrapy con Python en Visual Studio Code
Hola a toda la comunidad!!
Me estoy formando en Python (DAW + Web Scraping). Actualmente estoy intentando ejecutar mi código pero, el problema que "veo" es que el .csv sale en blanco.
El ...
0
votos
0
respuestas
16
vistas
scrapy referal va a otra url
tengo una spider que obtiene categorias de una url, el problema es que al intentar hacer crawl por alguna razon explora una url que no es la provista.
Este es el log:
2022-04-14 13:39:36 [scrapy.core....
0
votos
0
respuestas
11
vistas
Scrapy btener texto de una web o json
Estoy intentando scrappear un API que al ingresar a la url devuelve un texto
intente hacerlo así pero no hay caso
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls =...
0
votos
0
respuestas
32
vistas
¿Puede el código fuente revelado por scrapy ser diferente al de la página?
Non entiendo porqué, con scrapy, tengo un codigo fuente differente con el de la url https://www.nordstrom.com/browse/beauty/fragrance/perfume En efecto, aqui esta el output de scrapy:
(scr_env) C:\...
0
votos
0
respuestas
33
vistas
Scrapy Rules Python
Hola estoy intentando hacer web scrapping a una pagina, soy nuevo al usar Scrapy y no sé como aplicar las reglas correctamente, necesito el nombre....(los datos que tengo como Fields). https://...
0
votos
0
respuestas
25
vistas
How to work around the 403 error?
I've been trying to create my first spider with scrapy. I am trying to scrap this website
https://www.inmuebles24.com/departamentos-en-renta-en-acapulco-de-juarez.html
when attempting to run my script ...
0
votos
0
respuestas
25
vistas
Asignar el resultado de un response a una variable de clase con Scrapy
Tengo un problema asignando el resultado de un response a un atributo de clase. Mi código:
Scrapy Item:
class Item(scrapy.Item):
field = scrapy.Field()
Spider:
class spider(scrapy.Spider):
...
0
votos
0
respuestas
22
vistas
Scrapy no exporta datos en ningun formato
amigos tengo un script en python para realizar un scraping a tridadvisor, el mismo se ejecuta sin marcar error y me crea el archivo pero sin datos o sea en blanco. A que se deberá este error, alguien ...
0
votos
1
respuesta
79
vistas
Problemas al ejecutar mi código con Scrapy
Estoy sacando un curso de Web Scrapy, pero al momento de ejecutar mi codigo como lo indica con el siguiente comando:
scrapy runspider Extraccion_Scrapy.py -o video.csv -t csv
Me arroja el siguiente ...
0
votos
0
respuestas
21
vistas
Resultados de traducción No obtengo los elementos a través de la biblioteca scrapy
solo ingresa las URL indicadas por las reglas, pero no obtiene los elementos. ¿Qué estoy haciendo mal?
O será que la pagina tiene una carga dinamica y tendria que utilizar selenium(?)
class ...
0
votos
0
respuestas
20
vistas
Extracción de un solo enlace
me gustaría extraer el enlace del encabezado.
en la funcion parse, vereis una variable "enlace" que está vacia.
Quiero extraer el mismo enlace que es el h2.
Supongo que en vez de extraer el ...
0
votos
1
respuesta
75
vistas
Problemas con Scrapy Spider Web
Quisiera que me apoyen en organizar mi data en columnas y filas.
Y otro problema es que el resultado del scraping no reconoce las tildes
Este es mi codigo:
import scrapy
class ComputrabajoFechas(...
0
votos
0
respuestas
33
vistas
¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?
Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
0
votos
1
respuesta
68
vistas
Quiero extraer "Value" haciendo Web Scraping - Python
item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
0
votos
1
respuesta
39
vistas
Enviar datos sin quemar a SCRAPY
Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos.
Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
0
votos
1
respuesta
123
vistas
¿Por qué este XPath no devuelve nada?
Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido
Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML
<head>
<meta ...
0
votos
2
respuestas
158
vistas
Ajustar columnas .csv con Scrapy
Tengo un problema, Python por default cuando me genera el archivo .csv me pone toda la data en una sola columna separado por comas, en vez de cada dato en una columna distinta. Necesito que los items ...