Preguntas con la etiqueta [scrapy]
Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.
43
preguntas con respuestas sin votos o no aceptadas
2
votos
0
respuestas
56
vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
1
voto
0
respuestas
49
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
1
voto
0
respuestas
37
vistas
response follow no entra al siguiente metodo
estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
1
voto
0
respuestas
34
vistas
Scrapy ahora timesout con un sitio web que solía funcionar bien
Estoy usando scrapy para scrapear un sitio web: https://www.sephora.fr/marques/de-a-a-z/.
Hace un año funcionaba bien, pero ahora muestra un error:
El tiempo de espera del usuario causó un fallo de ...
1
voto
0
respuestas
25
vistas
¿ Por qué Scrapy exporta los los datos en una sola fila?
Espero que me puedan ayudar. Al ejecutar el código scrapy de más abajo, a través del comando
scrapy runspider ripley_end.py -o tablaripley.csv -t csv
los datos exportados, ya sea en json o csv quedan ...
1
voto
0
respuestas
152
vistas
¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?
Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.
He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
1
voto
0
respuestas
42
vistas
Error en la codificación al scrapear sitio web
estoy obteniendo datos de un sitio web y me trae carácteres extraños.
Según su código está codificado en ISO-8859-1.
Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
1
voto
0
respuestas
45
vistas
Problema con CrawlSpider en Scrapy
Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código:
from scrapy.item import Field, Item
from ...
1
voto
0
respuestas
95
vistas
scrapy splash login formdata input array name
No puedo hacer el login de un formulario por que el nombre de los inputs esta como array, ejemplo:
<input name="login[username]" value="" id="email" class="input-text required-entry validate-email"...
1
voto
2
respuestas
198
vistas
Instalar Scrapy en Mac OS X error SSL pip
Buenas, actualmente estoy intentando instalas Scrapy en mi MacOS pero todo son problemas, lo primero que introduzco en terminal es:
pip install scrapy
Y me devuelve:
You are using pip version 7.0.1,...
1
voto
1
respuesta
232
vistas
¿Cómo hacer una busqueda recursiva en una pagina?
Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:
class ...
0
votos
0
respuestas
6
vistas
Splash no puede renderizar esta web, hay algún método de solucionarlo?
Estaba realizando un programa de scraping para diferentes webs y me encontrado con una que no se ha podido extraer completamente. La web en cuestión es esta: https://www.viladomat.com/es-ES
El motor ...
0
votos
0
respuestas
37
vistas
Scrapy con Python en Visual Studio Code
Hola a toda la comunidad!!
Me estoy formando en Python (DAW + Web Scraping). Actualmente estoy intentando ejecutar mi código pero, el problema que "veo" es que el .csv sale en blanco.
El ...
0
votos
0
respuestas
16
vistas
scrapy referal va a otra url
tengo una spider que obtiene categorias de una url, el problema es que al intentar hacer crawl por alguna razon explora una url que no es la provista.
Este es el log:
2022-04-14 13:39:36 [scrapy.core....
0
votos
0
respuestas
11
vistas
Scrapy btener texto de una web o json
Estoy intentando scrappear un API que al ingresar a la url devuelve un texto
intente hacerlo así pero no hay caso
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls =...
0
votos
0
respuestas
32
vistas
¿Puede el código fuente revelado por scrapy ser diferente al de la página?
Non entiendo porqué, con scrapy, tengo un codigo fuente differente con el de la url https://www.nordstrom.com/browse/beauty/fragrance/perfume En efecto, aqui esta el output de scrapy:
(scr_env) C:\...
0
votos
0
respuestas
33
vistas
Scrapy Rules Python
Hola estoy intentando hacer web scrapping a una pagina, soy nuevo al usar Scrapy y no sé como aplicar las reglas correctamente, necesito el nombre....(los datos que tengo como Fields). https://...
0
votos
0
respuestas
25
vistas
How to work around the 403 error?
I've been trying to create my first spider with scrapy. I am trying to scrap this website
https://www.inmuebles24.com/departamentos-en-renta-en-acapulco-de-juarez.html
when attempting to run my script ...
0
votos
0
respuestas
25
vistas
Asignar el resultado de un response a una variable de clase con Scrapy
Tengo un problema asignando el resultado de un response a un atributo de clase. Mi código:
Scrapy Item:
class Item(scrapy.Item):
field = scrapy.Field()
Spider:
class spider(scrapy.Spider):
...
0
votos
0
respuestas
22
vistas
Scrapy no exporta datos en ningun formato
amigos tengo un script en python para realizar un scraping a tridadvisor, el mismo se ejecuta sin marcar error y me crea el archivo pero sin datos o sea en blanco. A que se deberá este error, alguien ...
0
votos
0
respuestas
21
vistas
Resultados de traducción No obtengo los elementos a través de la biblioteca scrapy
solo ingresa las URL indicadas por las reglas, pero no obtiene los elementos. ¿Qué estoy haciendo mal?
O será que la pagina tiene una carga dinamica y tendria que utilizar selenium(?)
class ...
0
votos
0
respuestas
20
vistas
Extracción de un solo enlace
me gustaría extraer el enlace del encabezado.
en la funcion parse, vereis una variable "enlace" que está vacia.
Quiero extraer el mismo enlace que es el h2.
Supongo que en vez de extraer el ...
0
votos
1
respuesta
75
vistas
Problemas con Scrapy Spider Web
Quisiera que me apoyen en organizar mi data en columnas y filas.
Y otro problema es que el resultado del scraping no reconoce las tildes
Este es mi codigo:
import scrapy
class ComputrabajoFechas(...
0
votos
0
respuestas
32
vistas
¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?
Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
0
votos
1
respuesta
68
vistas
Quiero extraer "Value" haciendo Web Scraping - Python
item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
0
votos
1
respuesta
39
vistas
Enviar datos sin quemar a SCRAPY
Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos.
Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
0
votos
1
respuesta
123
vistas
¿Por qué este XPath no devuelve nada?
Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido
Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML
<head>
<meta ...
0
votos
1
respuesta
215
vistas
Error al scrapear datos de Fotocasa con python
Intento scrapear los títulos de los locales comerciales de Valencia en Fotocasa y me devuelve el siguiente error.
# Code follows:
allowed_domain = "fotocasa.es"
real_base_url = "https://www.fotocasa....
0
votos
1
respuesta
135
vistas
Duda al obtener el valor de un atributo mediante Scrapy Crawl
soy principiante en esto de la programación y estoy ahora aprendiendo Python. Una de las utilidades es poder obtener datos de Webs mediante Scrapy. La cuestión es que he probado en distintas páginas y ...
0
votos
1
respuesta
154
vistas
Scrapy Splash no funciona correctamente al sacar items cargados con JS
estoy usando Scrapy con Scrapy Splash ya que algunas URL que necesito revisar cargan con JS sus componentes. Por ejemplo esta URL: producto o esta URL: producto 2 , de estas URL que son productos de ...
0
votos
0
respuestas
960
vistas
¿Cómo raspar datos de mapas anidados en un mapa interactivo?
Tengouna página web con un mapa que contiene los distritos. Puedo hacer clic en los diferentes distritos de este mapa y me lleva a los precintos del distrito. De este mapa de los precintos de un ...
0
votos
0
respuestas
42
vistas
Raspar multiples URLS
Estoy tratando de adaptar para poder hacer scraping a multiples urls desde python con selenium web driver y requests.
Las urls a scrapear comienza así:
http://mi.dominio.net/Report?server=xxx.xxx....
0
votos
2
respuestas
166
vistas
Tengo un problema con scraping web con python, al ordenar los datos en una hoja de excel
Tengo ya el codigo para raspar la pagina lo hace y me exporta en una hoja .txt o csv pero raspa absolutamente toda la pagina, como podria exportar en otro excel, pero q este de forma ordenada por ...
0
votos
1
respuesta
31
vistas
User Agent navegador
Estoy intentando entrar con una araña scrapy en la pagina www.coches.net, no me deja y me han recomendado utilizar el agente usuario de google bot ¿Alguien puede decirme donde conseguir la ...
0
votos
1
respuesta
281
vistas
Scrapy extrae la url parcialmente
Mi araña Scrapy funciona en todo, pero la extracción de la url a través de xpath @href no extrae la url completa, siempre la falta la parte final de la url desde el signo "?......." que marca la ...
0
votos
1
respuesta
94
vistas
Variable php no vacía no imprime valores
estoy haciendo scrap de una web y almacenándolos en una base de datos mysqli.
Antes de guardarla las imprimo en pantalla para observar que se están capturando correctamente y todo marcha perfecto, ...
0
votos
1
respuesta
27
vistas
RaTengo duda al raspar este sitio
tengo pocos conocimientos con scrapy, aunque ya he podido raspar varias paginas, estoy tratando de raspar algunos retail de mi país, para facilitar las cosas a a la población a la hora de comparar los ...
0
votos
0
respuestas
22
vistas
Base de Datos y SpiderCrawl
Tengo una base de datos en Stata (Sé que es complicado usar Stata y Python, pero no hay problema pues puedo exportar la base de datos a Excel)
Ahora bien, esta base de datos tiene Nombre, Apellido, ...
0
votos
1
respuesta
338
vistas
Necesito tomar datos de una pagina con scrapy y exportarlos a mysql
Buen día.
Necesito tomar datos de la tabla de la pagina http://lanacion.com.ar/econimia/divisas y debo hacerlo con scrapy, buscando información por internet, encontré que no sería la mejor opción ...
0
votos
0
respuestas
70
vistas
Obtener el contenido de una URL en javascript a través de java
Lo que quiero es obtener el contenido de una URL con javascript a través de java. De forma que pueda recuperar el valor a través de mi variable en java pero ejecutando el código javascript:
page....
0
votos
1
respuesta
42
vistas
htmlunit.html.HtmlSelect añadir un HtmlOption
Estoy tratando de hacer logging a una web mediante java y quiero seleccionar un valor de una lista HtmlSelect pero en la web los HtmlOption de ese HtmlSelect se inyectan por javascript.
Lo que quiero ...
0
votos
2
respuestas
641
vistas
Python: Error al instalar Scrapy [Versión 3.xx]
Estoy trabajando con python en un entorno virtual independiente para no generar conflictos con otros proyectos y no puedo instalar la librería de Scrapy.
Versión de python : 3.6.4
S.O : ...
-1
votos
1
respuesta
111
vistas
Scrapy no encuentra mi spider
Tengo problemas con Scrapy, por alguna razon cuando corro el proyecto no encuentra mi spider, pero por mas que mire el código no encuentro el porque. Ya había usado un código similar en otra version ...