Preguntas con la etiqueta [scrapy]
Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.
61
preguntas
1
voto
1respuesta
33 vistas
La biblioteca win32 no esta reconocida a pesar de haberla instalado
Intenté hacer un proyecto con in Scrapy scraper, que funcionó bien hasta ahora, desder cero. Pero esta vez me parece que necesito una librería win32api. Puede que lo haya instalado en mi entorno ...
0
votos
0respuestas
8 vistas
Es posible funcionar un scraper en el Cloud cuando hay errores de timeout?
Intento utilisar ScrapingHub para ejecutar mi Scrapy Scraper sobre esta url. Sin embargo, libera errores:
Time (UTC) Level Message
22: 2020-12-03 15:27:25 ERROR [scrapy.downloadermiddlewares....
0
votos
0respuestas
19 vistas
Obtener la información necesaria para realizar una llamada a un API desde una página web que la llama
Me gustaria extraer los elementos de los ratings de la siguiente pagina web:
Sé que los datos provienen de una llamada a la API:
Actualización
Después de mirar otros elementos de la página en las ...
0
votos
0respuestas
12 vistas
Llamadas anidadas con Scrapy
Quiero raspar la página web de los productos de diferentes marcas en una página web que enumera todas las marcas que me interesan. Así que básicamente hice un scraper Scrapy con un analizador para ...
0
votos
0respuestas
8 vistas
¿Cómo guardar los enlaces que generan 403 errores con Scrapy?
Tengo un Scrapy scraper que y me gustaría registrar los urls que me devuelve una 403:
>>>scrapy crawl myscraper -o results.jl
...
2020-11-11 02:38:08 [scrapy.spidermiddlewares.httperror] INFO:...
0
votos
0respuestas
50 vistas
Scraping web a un <script type=“text/javascript”> con python y selenium
Buenas que tal estoy empezando a trabajar con python y selenium en el tema de scraping web, hasta el momento todo me funciona bien pero me quede en un punto en el que requiero sacar información que se ...
0
votos
0respuestas
24 vistas
Problemas con Scrapy Spider Web
Quisiera que me apoyen en organizar mi data en columnas y filas.
Y otro problema es que el resultado del scraping no reconoce las tildes
Este es mi codigo:
import scrapy
class ComputrabajoFechas(...
1
voto
1respuesta
45 vistas
Por qué mi araña creada en Scrapy con Python repite los datos
Como dice el título estoy haciendo una araña, es la primera vez que hago algo como esto. hasta ahora mi araña ya puede seguir los enlaces y traerse el texto. Es una araña sencilla.
Pero el problema ...
0
votos
0respuestas
23 vistas
¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?
Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
0
votos
0respuestas
52 vistas
Web Scraping con Python guardar información en una lista haciendo raspado a varias páginas
Estoy intentando guardar la información en una lista concatenando el resultado pero al parecer cuando hace la consulta la hace 5 veces (porque son 5 páginas) y se resetean las variables a mi entender.
...
0
votos
1respuesta
27 vistas
Quiero extraer “Value” haciendo Web Scraping - Python
item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
1
voto
1respuesta
43 vistas
No puedo hacer uso de scrapy.contrib.loader
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.contrib.loader import ItemLoader
Todas estas librerías me ...
0
votos
0respuestas
80 vistas
Web Scraping con python problemas al guardar en formato csv
Estoy raspando una pagina de amazon la seccion de electronica televisores. Tengo un problema a la hora de convertir a csv no lo hace bien, los valores no se acomodan en cada fila si no que me salen en ...
2
votos
0respuestas
38 vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
0
votos
1respuesta
30 vistas
Enviar datos sin quemar a SCRAPY
Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos.
Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
0
votos
1respuesta
61 vistas
¿Por qué este XPath no devuelve nada?
Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido
Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML
<head>
<meta ...
1
voto
1respuesta
41 vistas
Scrapy en Python extraccion con xpaths
Estoy scrapeando texto de una pagina web con un spider en Python donde la salida es un .csv. Logré extraer lo que quiero para 1 solo campo, pero necesito agregar otro campo más al lado, el cual tenga ...
0
votos
2respuestas
88 vistas
Ajustar columnas .csv con Scrapy
Tengo un problema, Python por default cuando me genera el archivo .csv me pone toda la data en una sola columna separado por comas, en vez de cada dato en una columna distinta. Necesito que los items ...
0
votos
1respuesta
73 vistas
Error al scrapear datos de Fotocasa con python
Intento scrapear los títulos de los locales comerciales de Valencia en Fotocasa y me devuelve el siguiente error.
# Code follows:
allowed_domain = "fotocasa.es"
real_base_url = "https://www.fotocasa....
0
votos
1respuesta
61 vistas
Duda al obtener el valor de un atributo mediante Scrapy Crawl
soy principiante en esto de la programación y estoy ahora aprendiendo Python. Una de las utilidades es poder obtener datos de Webs mediante Scrapy. La cuestión es que he probado en distintas páginas y ...
0
votos
0respuestas
43 vistas
cuando trato de extraer informacion de una pagina con scrapy, me da un archivo completamente vacio
quiero extraer informacion de un sitio web, la araña abre e inmediatamente se cierra y no me extrae nada.
este es el codigo de la araña:
import scrapy
from scrapy.spiders import CrawlSpider, Rule
...
0
votos
1respuesta
62 vistas
Scrapy Splash no funciona correctamente al sacar items cargados con JS
estoy usando Scrapy con Scrapy Splash ya que algunas URL que necesito revisar cargan con JS sus componentes. Por ejemplo esta URL: producto o esta URL: producto 2 , de estas URL que son productos de ...
1
voto
1respuesta
64 vistas
Intento de webscrapping con scrapy fallido
Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece ...
1
voto
0respuestas
129 vistas
¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?
Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.
He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
0
votos
1respuesta
121 vistas
java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient
He intentado de todo pero no obtengo resultados, estoy usando una API llamada HtmlUnit para sacar información de una pagina web sin embargo al momento de crear el WebClient, me salta el error en ...
0
votos
0respuestas
476 vistas
¿Cómo raspar datos de mapas anidados en un mapa interactivo?
Tengouna página web con un mapa que contiene los distritos. Puedo hacer clic en los diferentes distritos de este mapa y me lleva a los precintos del distrito. De este mapa de los precintos de un ...
1
voto
0respuestas
31 vistas
Error en la codificación al scrapear sitio web
estoy obteniendo datos de un sitio web y me trae carácteres extraños.
Según su código está codificado en ISO-8859-1.
Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
-1
votos
1respuesta
96 vistas
Web scraping con una ERP almacenado en una URL
Tengo un proyecto entre manos, pero no se como iniciar dado que he estado pensado en dos lenguajes, Python y R.
Actualmente todos los días descargo 10 tipos de reportes que están alojados en una ERP, ...
1
voto
1respuesta
76 vistas
¿Como extraer datos de una tabla con scraping en Ruby on Rails?
Pienso tomar un mooc de scraping con Ruby on Rails, para sacar el máximo provecho al curso estoy leyendo unos tutoriales como hacer scraping y adelantándome a las posibles tareas.
Creé en github una ...
1
voto
0respuestas
26 vistas
Problema con CrawlSpider en Scrapy
Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código:
from scrapy.item import Field, Item
from ...
2
votos
1respuesta
164 vistas
Obtener el link de una imagen con Xpath
Os explico lo que estoy haciendo y lo que quiero hacer, estoy obteniendo la información de una página pero ésta carga las imágenes por javasccript, para conseguirlas hago un post al server para que me ...
0
votos
0respuestas
33 vistas
Raspar multiples URLS
Estoy tratando de adaptar para poder hacer scraping a multiples urls desde python con selenium web driver y requests.
Las urls a scrapear comienza así:
http://mi.dominio.net/Report?server=xxx.xxx....
0
votos
1respuesta
105 vistas
El contenido de mi Requests aparece vació
estoy intentando realizar un scraper con python utilizando requests y beautifulsoup.
url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&...
0
votos
2respuestas
94 vistas
Tengo un problema con scraping web con python, al ordenar los datos en una hoja de excel
Tengo ya el codigo para raspar la pagina lo hace y me exporta en una hoja .txt o csv pero raspa absolutamente toda la pagina, como podria exportar en otro excel, pero q este de forma ordenada por ...
0
votos
1respuesta
22 vistas
User Agent navegador
Estoy intentando entrar con una araña scrapy en la pagina www.coches.net, no me deja y me han recomendado utilizar el agente usuario de google bot ¿Alguien puede decirme donde conseguir la ...
0
votos
1respuesta
557 vistas
[Web Scrapping][python] ¿Cómo puedo extraer la URL de cada pagina junto con los otros datos extraídos?
Estoy ensayando scrapy, un módulo de python para copiar info de paginas web.
A través de Xpaths puedo seleccionar el contenido html que quiero conservar de cada pagina. Tengo 'spiders' que van link ...
1
voto
1respuesta
140 vistas
web scraping - python/Jupyter/scrapy
Estoy tratando de aprender web scraping trabajando sobre esta página para comenzar:
http://books.toscrape.com/catalogue/page-1.html
Tengo que obtener en un dataframe una lista de los libros en esta ...
0
votos
1respuesta
156 vistas
Scrapy extrae la url parcialmente
Mi araña Scrapy funciona en todo, pero la extracción de la url a través de xpath @href no extrae la url completa, siempre la falta la parte final de la url desde el signo "?......." que marca la ...
0
votos
1respuesta
47 vistas
Variable php no vacía no imprime valores
estoy haciendo scrap de una web y almacenándolos en una base de datos mysqli.
Antes de guardarla las imprimo en pantalla para observar que se están capturando correctamente y todo marcha perfecto, ...
1
voto
1respuesta
172 vistas
python scrapy quitar los espacios en blanco de la respuesta
Estoy intentando hacer un script con scrapy y no soy capaz de qué el método strip me quite los espacios en blanco...
debería ser un string pero es un objeto. ¿Alguna manera de hacerlo?
import scrapy
...
1
voto
1respuesta
122 vistas
Problema con cron ¿Cómo hacer que encuentre el PATH correcto?
Estoy intentando desplegar una araña Scrapy a través de crontab, y no consigo que funcione. He comprobado que cron funciona bien con algunos comandos Linux, todo funciona muy bien.
Cuando pongo el ...
1
voto
1respuesta
168 vistas
¿Cómo selecciono texto depues de una etiqueta en Scrapy?
Tengo la siguiente estructura HTML:
<div> \n <span> text1 </span> text2 \n </div>
Y quiero seleccionar el text2:
reques.css("div::text").extract_first()
Pero esto me ...
0
votos
1respuesta
20 vistas
RaTengo duda al raspar este sitio
tengo pocos conocimientos con scrapy, aunque ya he podido raspar varias paginas, estoy tratando de raspar algunos retail de mi país, para facilitar las cosas a a la población a la hora de comparar los ...
-1
votos
1respuesta
64 vistas
Scrapy no encuentra mi spider
Tengo problemas con Scrapy, por alguna razon cuando corro el proyecto no encuentra mi spider, pero por mas que mire el código no encuentro el porque. Ya había usado un código similar en otra version ...
0
votos
0respuestas
21 vistas
Base de Datos y SpiderCrawl
Tengo una base de datos en Stata (Sé que es complicado usar Stata y Python, pero no hay problema pues puedo exportar la base de datos a Excel)
Ahora bien, esta base de datos tiene Nombre, Apellido, ...
0
votos
1respuesta
228 vistas
Necesito tomar datos de una pagina con scrapy y exportarlos a mysql
Buen día.
Necesito tomar datos de la tabla de la pagina http://lanacion.com.ar/econimia/divisas y debo hacerlo con scrapy, buscando información por internet, encontré que no sería la mejor opción ...
0
votos
0respuestas
53 vistas
Obtener el contenido de una URL en javascript a través de java
Lo que quiero es obtener el contenido de una URL con javascript a través de java. De forma que pueda recuperar el valor a través de mi variable en java pero ejecutando el código javascript:
page....
0
votos
2respuestas
349 vistas
¿como se le podría hacer web scraping a una parte de ésta pagina? ya que no posee api
hay una pagina de la cual quiero usar la información en ella osea quiero hacer web scrapping ya que no encuentro su api. el link es airtmrates.com
ok me explico, quiero obtener el valor de las ...
1
voto
1respuesta
169 vistas
Iterar sobre el selector actual con XPath y Scrapy
Estoy escrapeando una información pero estoy atorado en el bucle del for.
Primero, cuando recibo la respuesta, le creo un xpath "root" por así llamarlo. Este xpath root tiene uno y cada uno de los ...
0
votos
1respuesta
34 vistas
htmlunit.html.HtmlSelect añadir un HtmlOption
Estoy tratando de hacer logging a una web mediante java y quiero seleccionar un valor de una lista HtmlSelect pero en la web los HtmlOption de ese HtmlSelect se inyectan por javascript.
Lo que quiero ...