Skip to main content

Preguntas con la etiqueta [scrapy]

Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.

Filtrar por
Ordenado por
Etiquetadas con
0 votos
0 respuestas
30 vistas

Python Scrapy - Guardar log en dos archivos log diferentes

tengo una duda la cual no logro comprender ¿Como puedo lograr loggear info en un archivo log en especifico. He creado una clase donde creo dos logs: uno para obtener la info en general otro para los ...
Avatar del usuario Edgar Gc
  • 957
0 votos
1 respuesta
63 vistas

Error al utilizar Scrapy para extraer info de Stack Overflow: ERROR: Error download <GET https://stackoverflow.com/questions/>

Estoy aprendiendo a utilizar Scrapy, pero hasta ahora no he podido realizar ninguna operación puesto que al momento de correrlo en la terminal, me arroja el mismo error sin importar qué cambios ...
Avatar del usuario DGT2038
  • 15
0 votos
1 respuesta
96 vistas

scrapy parametrizar el paso de reglas a la clase

Estoy desarrollando un proceso, que lee desde una base de datos, cierta informacion (que viene de otro sistema), y que contiene los parametros para realizar un proceso de webscraping sobre una URL en ...
Avatar del usuario Luis Gabriel Fabres
0 votos
0 respuestas
148 vistas

Web scraping con Scrapy, mi primer codigo

comunidad. estoy intentando extraer la informacion tecnica de cada uno de los vehiculos de esa pagina web, en un formato Json, pero al momento de ejecutar el codigo en consola, el resultado es el ...
Avatar del usuario Leonardo Moreno Segura
0 votos
1 respuesta
136 vistas

Scrapy, no puedo extraer los productos de una página. no está en response, cómo se puede solucionar?

Probé de muchas maneras y al final encuentro el error, pero no sé cuál es la solución. Quería obtener los productos de la página https://es.pcpartpicker.com/products/cpu/ resulta que en response no ...
Avatar del usuario Xiao
  • 1
1 voto
0 respuestas
40 vistas

WebScrapy Scrapy python, no insertar None/Null al csv

Hola buenos días comunidad, Elabore un webscrapy con scrapy, extrae los comentarios de un cierto hotel pero hay comentarios que no me trae el review solo el nombre pero se repite en cada salto de ...
Avatar del usuario Edgar Manuel Pérez Cob
0 votos
1 respuesta
358 vistas

Scrapy con Python en Visual Studio Code

Hola a toda la comunidad!! Me estoy formando en Python (DAW + Web Scraping). Actualmente estoy intentando ejecutar mi código pero, el problema que "veo" es que el .csv sale en blanco. El ...
Avatar del usuario Cristian
1 voto
0 respuestas
438 vistas

¿Cómo puedo capturar las href con BeautifulSoup?

estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href. import requests import bs4 import ...
Avatar del usuario Pedro
  • 11
1 voto
0 respuestas
61 vistas

response follow no entra al siguiente metodo

estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
Avatar del usuario Luis Contreras
1 voto
0 respuestas
127 vistas

Scrapy ahora timesout con un sitio web que solía funcionar bien

Estoy usando scrapy para scrapear un sitio web: https://www.sephora.fr/marques/de-a-a-z/. Hace un año funcionaba bien, pero ahora muestra un error: El tiempo de espera del usuario causó un fallo de ...
Avatar del usuario Revolucion for Monica
0 votos
0 respuestas
47 vistas

¿Puede el código fuente revelado por scrapy ser diferente al de la página?

Non entiendo porqué, con scrapy, tengo un codigo fuente differente con el de la url https://www.nordstrom.com/browse/beauty/fragrance/perfume En efecto, aqui esta el output de scrapy: (scr_env) C:\...
Avatar del usuario Revolucion for Monica
1 voto
0 respuestas
35 vistas

¿ Por qué Scrapy exporta los los datos en una sola fila?

Espero que me puedan ayudar. Al ejecutar el código scrapy de más abajo, a través del comando scrapy runspider ripley_end.py -o tablaripley.csv -t csv los datos exportados, ya sea en json o csv quedan ...
Avatar del usuario crrsvm
  • 11
0 votos
1 respuesta
375 vistas

Problemas al ejecutar mi código con Scrapy

Estoy sacando un curso de Web Scrapy, pero al momento de ejecutar mi codigo como lo indica con el siguiente comando: scrapy runspider Extraccion_Scrapy.py -o video.csv -t csv Me arroja el siguiente ...
Avatar del usuario Alfredo Castro
0 votos
0 respuestas
33 vistas

Extracción de un solo enlace

me gustaría extraer el enlace del encabezado. en la funcion parse, vereis una variable "enlace" que está vacia. Quiero extraer el mismo enlace que es el h2. Supongo que en vez de extraer el ...
Avatar del usuario We Underground
1 voto
1 respuesta
43 vistas

Siempre obtengo el mismo registro dentro de una lista

Al intentar obtener todos los artículos de la pagina consultada solo obtengo el primer registro tantas veces artículos hayan en la URL consultada. class MercadoSpider(scrapy.Spider): name = '...
Avatar del usuario Sebastian
1 voto
1 respuesta
426 vistas

La biblioteca win32 no esta reconocida a pesar de haberla instalado

Intenté hacer un proyecto con in Scrapy scraper, que funcionó bien hasta ahora, desder cero. Pero esta vez me parece que necesito una librería win32api. Puede que lo haya instalado en mi entorno ...
Avatar del usuario Revolucion for Monica
0 votos
1 respuesta
139 vistas

Problemas con Scrapy Spider Web

Quisiera que me apoyen en organizar mi data en columnas y filas. Y otro problema es que el resultado del scraping no reconoce las tildes Este es mi codigo: import scrapy class ComputrabajoFechas(...
Avatar del usuario Cristhian Salazar
1 voto
1 respuesta
193 vistas

Por qué mi araña creada en Scrapy con Python repite los datos

Como dice el título estoy haciendo una araña, es la primera vez que hago algo como esto. hasta ahora mi araña ya puede seguir los enlaces y traerse el texto. Es una araña sencilla. Pero el problema ...
Avatar del usuario Rommel89
  • 116
0 votos
0 respuestas
52 vistas

¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?

Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
Avatar del usuario Alexander Henry Obispo Buendia
0 votos
1 respuesta
163 vistas

Quiero extraer "Value" haciendo Web Scraping - Python

item.add_xpath('id','//*[@id="search"]/div/input') Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
Avatar del usuario Alexis Vera Lenis
0 votos
1 respuesta
347 vistas

No puedo hacer uso de scrapy.contrib.loader

from scrapy.item import Item, Field from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor from scrapy.contrib.loader import ItemLoader Todas estas librerías me ...
Avatar del usuario Alexis Vera Lenis
2 votos
0 respuestas
70 vistas

Columnas de csv al extraer

Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código: ''' from ...
Avatar del usuario Ember De Abreu
0 votos
1 respuesta
42 vistas

Enviar datos sin quemar a SCRAPY

Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos. Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
Avatar del usuario Cristian
0 votos
1 respuesta
217 vistas

¿Por qué este XPath no devuelve nada?

Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML <head> <meta ...
Avatar del usuario Maykel Contreras Camacho
1 voto
1 respuesta
136 vistas

Scrapy en Python extraccion con xpaths

Estoy scrapeando texto de una pagina web con un spider en Python donde la salida es un .csv. Logré extraer lo que quiero para 1 solo campo, pero necesito agregar otro campo más al lado, el cual tenga ...
Avatar del usuario Rodrigo Paz
0 votos
2 respuestas
202 vistas

Ajustar columnas .csv con Scrapy

Tengo un problema, Python por default cuando me genera el archivo .csv me pone toda la data en una sola columna separado por comas, en vez de cada dato en una columna distinta. Necesito que los items ...
Avatar del usuario Rodrigo Paz
0 votos
1 respuesta
391 vistas

Error al scrapear datos de Fotocasa con python

Intento scrapear los títulos de los locales comerciales de Valencia en Fotocasa y me devuelve el siguiente error. # Code follows: allowed_domain = "fotocasa.es" real_base_url = "https://www.fotocasa....
Avatar del usuario Rober
  • 1
0 votos
1 respuesta
288 vistas

Duda al obtener el valor de un atributo mediante Scrapy Crawl

soy principiante en esto de la programación y estoy ahora aprendiendo Python. Una de las utilidades es poder obtener datos de Webs mediante Scrapy. La cuestión es que he probado en distintas páginas y ...
Avatar del usuario Gringopel
0 votos
1 respuesta
263 vistas

Scrapy Splash no funciona correctamente al sacar items cargados con JS

estoy usando Scrapy con Scrapy Splash ya que algunas URL que necesito revisar cargan con JS sus componentes. Por ejemplo esta URL: producto o esta URL: producto 2 , de estas URL que son productos de ...
Avatar del usuario Nicols Esteban Morales Morales
1 voto
1 respuesta
138 vistas

Intento de webscrapping con scrapy fallido

Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece ...
Avatar del usuario MoisesT
  • 63
1 voto
0 respuestas
199 vistas

¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?

Esta es mi primera pregunta, así que trataré de formularla lo mejor posible. He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
Avatar del usuario Oswaldo Gómez Socorro
0 votos
1 respuesta
413 vistas

java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient

He intentado de todo pero no obtengo resultados, estoy usando una API llamada HtmlUnit para sacar información de una pagina web sin embargo al momento de crear el WebClient, me salta el error en ...
Avatar del usuario aldoAAA
0 votos
0 respuestas
1k vistas

¿Cómo raspar datos de mapas anidados en un mapa interactivo?

Tengouna página web con un mapa que contiene los distritos. Puedo hacer clic en los diferentes distritos de este mapa y me lleva a los precintos del distrito. De este mapa de los precintos de un ...
Avatar del usuario Revolucion for Monica
1 voto
0 respuestas
73 vistas

Error en la codificación al scrapear sitio web

estoy obteniendo datos de un sitio web y me trae carácteres extraños. Según su código está codificado en ISO-8859-1. Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
Avatar del usuario Jesús Salas
-1 votos
1 respuesta
204 vistas

Web scraping con una ERP almacenado en una URL

Tengo un proyecto entre manos, pero no se como iniciar dado que he estado pensado en dos lenguajes, Python y R. Actualmente todos los días descargo 10 tipos de reportes que están alojados en una ERP, ...
Avatar del usuario Carlos Esteban Vargas
1 voto
1 respuesta
238 vistas

¿Como extraer datos de una tabla con scraping en Ruby on Rails?

Pienso tomar un mooc de scraping con Ruby on Rails, para sacar el máximo provecho al curso estoy leyendo unos tutoriales como hacer scraping y adelantándome a las posibles tareas. Creé en github una ...
Avatar del usuario Developer
  • 834
1 voto
0 respuestas
66 vistas

Problema con CrawlSpider en Scrapy

Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código: from scrapy.item import Field, Item from ...
Avatar del usuario Orlando
  • 11
2 votos
1 respuesta
1k vistas

Obtener el link de una imagen con Xpath

Os explico lo que estoy haciendo y lo que quiero hacer, estoy obteniendo la información de una página pero ésta carga las imágenes por javasccript, para conseguirlas hago un post al server para que me ...
Avatar del usuario Hello There
0 votos
0 respuestas
56 vistas

Raspar multiples URLS

Estoy tratando de adaptar para poder hacer scraping a multiples urls desde python con selenium web driver y requests. Las urls a scrapear comienza así: http://mi.dominio.net/Report?server=xxx.xxx....
Avatar del usuario JDanielSolisV
0 votos
1 respuesta
322 vistas

El contenido de mi Requests aparece vació

estoy intentando realizar un scraper con python utilizando requests y beautifulsoup. url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&...
Avatar del usuario Emanuel Lemos
0 votos
2 respuestas
266 vistas

Tengo un problema con scraping web con python, al ordenar los datos en una hoja de excel

Tengo ya el codigo para raspar la pagina lo hace y me exporta en una hoja .txt o csv pero raspa absolutamente toda la pagina, como podria exportar en otro excel, pero q este de forma ordenada por ...
user avatar
0 votos
1 respuesta
45 vistas

User Agent navegador

Estoy intentando entrar con una araña scrapy en la pagina www.coches.net, no me deja y me han recomendado utilizar el agente usuario de google bot ¿Alguien puede decirme donde conseguir la ...
Avatar del usuario bobedano
0 votos
1 respuesta
2k vistas

[Web Scrapping][python] ¿Cómo puedo extraer la URL de cada pagina junto con los otros datos extraídos?

Estoy ensayando scrapy, un módulo de python para copiar info de paginas web. A través de Xpaths puedo seleccionar el contenido html que quiero conservar de cada pagina. Tengo 'spiders' que van link ...
Avatar del usuario ebarila
1 voto
1 respuesta
274 vistas

web scraping - python/Jupyter/scrapy

Estoy tratando de aprender web scraping trabajando sobre esta página para comenzar: http://books.toscrape.com/catalogue/page-1.html Tengo que obtener en un dataframe una lista de los libros en esta ...
Avatar del usuario Cris CDO
0 votos
1 respuesta
371 vistas

Scrapy extrae la url parcialmente

Mi araña Scrapy funciona en todo, pero la extracción de la url a través de xpath @href no extrae la url completa, siempre la falta la parte final de la url desde el signo "?......." que marca la ...
Avatar del usuario bobedano
0 votos
1 respuesta
185 vistas

Variable php no vacía no imprime valores

estoy haciendo scrap de una web y almacenándolos en una base de datos mysqli. Antes de guardarla las imprimo en pantalla para observar que se están capturando correctamente y todo marcha perfecto, ...
Avatar del usuario Mario Campos
1 voto
1 respuesta
424 vistas

python scrapy quitar los espacios en blanco de la respuesta

Estoy intentando hacer un script con scrapy y no soy capaz de qué el método strip me quite los espacios en blanco... debería ser un string pero es un objeto. ¿Alguna manera de hacerlo? import scrapy ...
Avatar del usuario user1551211
1 voto
1 respuesta
386 vistas

Problema con cron ¿Cómo hacer que encuentre el PATH correcto?

Estoy intentando desplegar una araña Scrapy a través de crontab, y no consigo que funcione. He comprobado que cron funciona bien con algunos comandos Linux, todo funciona muy bien. Cuando pongo el ...
Avatar del usuario bobedano
1 voto
1 respuesta
438 vistas

¿Cómo selecciono texto depues de una etiqueta en Scrapy?

Tengo la siguiente estructura HTML: <div> \n <span> text1 </span> text2 \n </div> Y quiero seleccionar el text2: reques.css("div::text").extract_first() Pero esto me ...
Avatar del usuario Lev Herrera
0 votos
1 respuesta
35 vistas

RaTengo duda al raspar este sitio

tengo pocos conocimientos con scrapy, aunque ya he podido raspar varias paginas, estoy tratando de raspar algunos retail de mi país, para facilitar las cosas a a la población a la hora de comparar los ...
Avatar del usuario Raul Moreno Segura