Preguntas con la etiqueta [scrapy]
Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.
68 preguntas
0
votos
0
respuestas
30
vistas
Python Scrapy - Guardar log en dos archivos log diferentes
tengo una duda la cual no logro comprender ¿Como puedo lograr loggear info en un archivo log en especifico.
He creado una clase donde creo dos logs:
uno para obtener la info en general
otro para los ...
0
votos
1
respuesta
63
vistas
Error al utilizar Scrapy para extraer info de Stack Overflow: ERROR: Error download <GET https://stackoverflow.com/questions/>
Estoy aprendiendo a utilizar Scrapy, pero hasta ahora no he podido realizar ninguna operación puesto que al momento de correrlo en la terminal, me arroja el mismo error sin importar qué cambios ...
0
votos
1
respuesta
96
vistas
scrapy parametrizar el paso de reglas a la clase
Estoy desarrollando un proceso, que lee desde una base de datos, cierta informacion (que viene de otro sistema), y que contiene los parametros para realizar un proceso de webscraping sobre una URL en ...
0
votos
0
respuestas
148
vistas
Web scraping con Scrapy, mi primer codigo
comunidad. estoy intentando extraer la informacion tecnica de cada uno de los vehiculos de esa pagina web, en un formato Json, pero al momento de ejecutar el codigo en consola, el resultado es el ...
0
votos
1
respuesta
136
vistas
Scrapy, no puedo extraer los productos de una página. no está en response, cómo se puede solucionar?
Probé de muchas maneras y al final encuentro el error, pero no sé cuál es la solución.
Quería obtener los productos de la página https://es.pcpartpicker.com/products/cpu/
resulta que en response no ...
1
voto
0
respuestas
40
vistas
WebScrapy Scrapy python, no insertar None/Null al csv
Hola buenos días comunidad,
Elabore un webscrapy con scrapy, extrae los comentarios de un cierto hotel pero hay comentarios que no me trae el review solo el nombre pero se repite en cada salto de ...
0
votos
1
respuesta
358
vistas
Scrapy con Python en Visual Studio Code
Hola a toda la comunidad!!
Me estoy formando en Python (DAW + Web Scraping). Actualmente estoy intentando ejecutar mi código pero, el problema que "veo" es que el .csv sale en blanco.
El ...
1
voto
0
respuestas
438
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
1
voto
0
respuestas
61
vistas
response follow no entra al siguiente metodo
estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
1
voto
0
respuestas
127
vistas
Scrapy ahora timesout con un sitio web que solía funcionar bien
Estoy usando scrapy para scrapear un sitio web: https://www.sephora.fr/marques/de-a-a-z/.
Hace un año funcionaba bien, pero ahora muestra un error:
El tiempo de espera del usuario causó un fallo de ...
0
votos
0
respuestas
47
vistas
¿Puede el código fuente revelado por scrapy ser diferente al de la página?
Non entiendo porqué, con scrapy, tengo un codigo fuente differente con el de la url https://www.nordstrom.com/browse/beauty/fragrance/perfume En efecto, aqui esta el output de scrapy:
(scr_env) C:\...
1
voto
0
respuestas
35
vistas
¿ Por qué Scrapy exporta los los datos en una sola fila?
Espero que me puedan ayudar. Al ejecutar el código scrapy de más abajo, a través del comando
scrapy runspider ripley_end.py -o tablaripley.csv -t csv
los datos exportados, ya sea en json o csv quedan ...
0
votos
1
respuesta
375
vistas
Problemas al ejecutar mi código con Scrapy
Estoy sacando un curso de Web Scrapy, pero al momento de ejecutar mi codigo como lo indica con el siguiente comando:
scrapy runspider Extraccion_Scrapy.py -o video.csv -t csv
Me arroja el siguiente ...
0
votos
0
respuestas
33
vistas
Extracción de un solo enlace
me gustaría extraer el enlace del encabezado.
en la funcion parse, vereis una variable "enlace" que está vacia.
Quiero extraer el mismo enlace que es el h2.
Supongo que en vez de extraer el ...
1
voto
1
respuesta
43
vistas
Siempre obtengo el mismo registro dentro de una lista
Al intentar obtener todos los artículos de la pagina consultada solo obtengo el primer registro tantas veces artículos hayan en la URL consultada.
class MercadoSpider(scrapy.Spider):
name = '...
1
voto
1
respuesta
426
vistas
La biblioteca win32 no esta reconocida a pesar de haberla instalado
Intenté hacer un proyecto con in Scrapy scraper, que funcionó bien hasta ahora, desder cero. Pero esta vez me parece que necesito una librería win32api. Puede que lo haya instalado en mi entorno ...
0
votos
1
respuesta
139
vistas
Problemas con Scrapy Spider Web
Quisiera que me apoyen en organizar mi data en columnas y filas.
Y otro problema es que el resultado del scraping no reconoce las tildes
Este es mi codigo:
import scrapy
class ComputrabajoFechas(...
1
voto
1
respuesta
193
vistas
Por qué mi araña creada en Scrapy con Python repite los datos
Como dice el título estoy haciendo una araña, es la primera vez que hago algo como esto. hasta ahora mi araña ya puede seguir los enlaces y traerse el texto. Es una araña sencilla.
Pero el problema ...
0
votos
0
respuestas
52
vistas
¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?
Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
0
votos
1
respuesta
163
vistas
Quiero extraer "Value" haciendo Web Scraping - Python
item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
0
votos
1
respuesta
347
vistas
No puedo hacer uso de scrapy.contrib.loader
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.contrib.loader import ItemLoader
Todas estas librerías me ...
2
votos
0
respuestas
70
vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
0
votos
1
respuesta
42
vistas
Enviar datos sin quemar a SCRAPY
Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos.
Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
0
votos
1
respuesta
217
vistas
¿Por qué este XPath no devuelve nada?
Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido
Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML
<head>
<meta ...
1
voto
1
respuesta
136
vistas
Scrapy en Python extraccion con xpaths
Estoy scrapeando texto de una pagina web con un spider en Python donde la salida es un .csv. Logré extraer lo que quiero para 1 solo campo, pero necesito agregar otro campo más al lado, el cual tenga ...
0
votos
2
respuestas
202
vistas
Ajustar columnas .csv con Scrapy
Tengo un problema, Python por default cuando me genera el archivo .csv me pone toda la data en una sola columna separado por comas, en vez de cada dato en una columna distinta. Necesito que los items ...
0
votos
1
respuesta
391
vistas
Error al scrapear datos de Fotocasa con python
Intento scrapear los títulos de los locales comerciales de Valencia en Fotocasa y me devuelve el siguiente error.
# Code follows:
allowed_domain = "fotocasa.es"
real_base_url = "https://www.fotocasa....
0
votos
1
respuesta
288
vistas
Duda al obtener el valor de un atributo mediante Scrapy Crawl
soy principiante en esto de la programación y estoy ahora aprendiendo Python. Una de las utilidades es poder obtener datos de Webs mediante Scrapy. La cuestión es que he probado en distintas páginas y ...
0
votos
1
respuesta
263
vistas
Scrapy Splash no funciona correctamente al sacar items cargados con JS
estoy usando Scrapy con Scrapy Splash ya que algunas URL que necesito revisar cargan con JS sus componentes. Por ejemplo esta URL: producto o esta URL: producto 2 , de estas URL que son productos de ...
1
voto
1
respuesta
138
vistas
Intento de webscrapping con scrapy fallido
Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece ...
1
voto
0
respuestas
199
vistas
¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?
Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.
He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
0
votos
1
respuesta
413
vistas
java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient
He intentado de todo pero no obtengo resultados, estoy usando una API llamada HtmlUnit para sacar información de una pagina web sin embargo al momento de crear el WebClient, me salta el error en ...
0
votos
0
respuestas
1k
vistas
¿Cómo raspar datos de mapas anidados en un mapa interactivo?
Tengouna página web con un mapa que contiene los distritos. Puedo hacer clic en los diferentes distritos de este mapa y me lleva a los precintos del distrito. De este mapa de los precintos de un ...
1
voto
0
respuestas
73
vistas
Error en la codificación al scrapear sitio web
estoy obteniendo datos de un sitio web y me trae carácteres extraños.
Según su código está codificado en ISO-8859-1.
Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
-1
votos
1
respuesta
204
vistas
Web scraping con una ERP almacenado en una URL
Tengo un proyecto entre manos, pero no se como iniciar dado que he estado pensado en dos lenguajes, Python y R.
Actualmente todos los días descargo 10 tipos de reportes que están alojados en una ERP, ...
1
voto
1
respuesta
238
vistas
¿Como extraer datos de una tabla con scraping en Ruby on Rails?
Pienso tomar un mooc de scraping con Ruby on Rails, para sacar el máximo provecho al curso estoy leyendo unos tutoriales como hacer scraping y adelantándome a las posibles tareas.
Creé en github una ...
1
voto
0
respuestas
66
vistas
Problema con CrawlSpider en Scrapy
Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código:
from scrapy.item import Field, Item
from ...
2
votos
1
respuesta
1k
vistas
Obtener el link de una imagen con Xpath
Os explico lo que estoy haciendo y lo que quiero hacer, estoy obteniendo la información de una página pero ésta carga las imágenes por javasccript, para conseguirlas hago un post al server para que me ...
0
votos
0
respuestas
56
vistas
Raspar multiples URLS
Estoy tratando de adaptar para poder hacer scraping a multiples urls desde python con selenium web driver y requests.
Las urls a scrapear comienza así:
http://mi.dominio.net/Report?server=xxx.xxx....
0
votos
1
respuesta
322
vistas
El contenido de mi Requests aparece vació
estoy intentando realizar un scraper con python utilizando requests y beautifulsoup.
url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&...
0
votos
2
respuestas
266
vistas
Tengo un problema con scraping web con python, al ordenar los datos en una hoja de excel
Tengo ya el codigo para raspar la pagina lo hace y me exporta en una hoja .txt o csv pero raspa absolutamente toda la pagina, como podria exportar en otro excel, pero q este de forma ordenada por ...
0
votos
1
respuesta
45
vistas
User Agent navegador
Estoy intentando entrar con una araña scrapy en la pagina www.coches.net, no me deja y me han recomendado utilizar el agente usuario de google bot ¿Alguien puede decirme donde conseguir la ...
0
votos
1
respuesta
2k
vistas
[Web Scrapping][python] ¿Cómo puedo extraer la URL de cada pagina junto con los otros datos extraídos?
Estoy ensayando scrapy, un módulo de python para copiar info de paginas web.
A través de Xpaths puedo seleccionar el contenido html que quiero conservar de cada pagina. Tengo 'spiders' que van link ...
1
voto
1
respuesta
274
vistas
web scraping - python/Jupyter/scrapy
Estoy tratando de aprender web scraping trabajando sobre esta página para comenzar:
http://books.toscrape.com/catalogue/page-1.html
Tengo que obtener en un dataframe una lista de los libros en esta ...
0
votos
1
respuesta
371
vistas
Scrapy extrae la url parcialmente
Mi araña Scrapy funciona en todo, pero la extracción de la url a través de xpath @href no extrae la url completa, siempre la falta la parte final de la url desde el signo "?......." que marca la ...
0
votos
1
respuesta
185
vistas
Variable php no vacía no imprime valores
estoy haciendo scrap de una web y almacenándolos en una base de datos mysqli.
Antes de guardarla las imprimo en pantalla para observar que se están capturando correctamente y todo marcha perfecto, ...
1
voto
1
respuesta
424
vistas
python scrapy quitar los espacios en blanco de la respuesta
Estoy intentando hacer un script con scrapy y no soy capaz de qué el método strip me quite los espacios en blanco...
debería ser un string pero es un objeto. ¿Alguna manera de hacerlo?
import scrapy
...
1
voto
1
respuesta
386
vistas
Problema con cron ¿Cómo hacer que encuentre el PATH correcto?
Estoy intentando desplegar una araña Scrapy a través de crontab, y no consigo que funcione. He comprobado que cron funciona bien con algunos comandos Linux, todo funciona muy bien.
Cuando pongo el ...
1
voto
1
respuesta
438
vistas
¿Cómo selecciono texto depues de una etiqueta en Scrapy?
Tengo la siguiente estructura HTML:
<div> \n <span> text1 </span> text2 \n </div>
Y quiero seleccionar el text2:
reques.css("div::text").extract_first()
Pero esto me ...
0
votos
1
respuesta
35
vistas
RaTengo duda al raspar este sitio
tengo pocos conocimientos con scrapy, aunque ya he podido raspar varias paginas, estoy tratando de raspar algunos retail de mi país, para facilitar las cosas a a la población a la hora de comparar los ...