8
votos
Aceptado
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
No siempre hace falta hacer scraping :-)
YouTube tiene una API de búsqueda. Si te registras como desarrollador (lo cual es gratuito) obtienes una API_KEY con la que puedes realizar búsquedas y otras ...
6
votos
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
Tienes que usar Selenium, sé que no es la respuesta que querías, pero espero después de la explicación convencerte de que es lo correcto.
Por qué no puedo usar BeautifulSoup
En el scraping, al igual ...
4
votos
Aceptado
base64 en google imagenes, web scraping
En google imágenes la URL de los thumbnails está en data-src, no en src.
Si modificas tu código para que bs4 seleccione los elementos que tengan ese atributo y luego lo asignas a la variable te ...
4
votos
Aceptado
Obtener fecha de los días viernes con python
El razonamiento sería el siguiente:
Me paro en la fecha actual (hoy), y pido el día de la semana al que corresponde (con el lunes = 0 y domingo = 6)
Busco la fecha del viernes correspondiente a la ...
4
votos
Aceptado
C# Regex, no reconoce el patrón a pesar de ser correcto
La razón por la que falla la expresión regular es porque . selecciona cualquier caracter excepto el salto de línea.
En regex101 funciona porque lo estás probando mal. Nota que tienes escrito \n ...
3
votos
Aceptado
¿Como compilar provecto de Maven con todas sus dependencias?
He clonado tu proyecto, checa el código ( https://github.com/mdxmtz/Notificador_eventos_JOBO.git) .
Lo que hice fue agregar un plugin en maven para incluir el archivo exe, espero esto te ayude.
Lo ...
3
votos
Aceptado
Selenium Driver Python is not clickable at point
Una posible solución puede ser :
Hacer scroll hacía abajo, click en el boton de "cargar más resultados" y repetir la simulación siempre que aparezca el boton. Entonces podemos crear un algoritmo que ...
3
votos
Aceptado
Web Scraping haciendo uso de Simple HTML DOM
Si $element contiene esto:
Compra: <b>24.0199</b> <br>Venta: <b>24.1880</b>
Puedes usar strip_tags() para eliminar las etiquetas HTML, eliminar las palabras y dejar solo ...
3
votos
Aceptado
Scraping para descargar archivo con Selenium y Python
Tu ruta xpath parece incorrecta, prueba lo siguiente:
driver.get('https://www.dane.gov.co/index.php/estadisticas-por-tema/industria/encuesta-mensual-manufacturera-con-enfoque-territorial-emmet')
...
3
votos
Aceptado
No puedo Extraer Datos ocultos de una web con BeautifulSoup y python
Ten en cuenta que modulo requests no renderiza Javascript, asi que necesitas una alternativa.
La forma más facil de renderizar javascript es usando un navegador.
Puedes usar selenium u otro, pero el ...
2
votos
Aceptado
Obtener href de un div en Selenium con Python
Si lo que quiere es obtener los href y los titulos. Una posibilidad podría ser de la siguiente manera:
browser.find_element_by_class_name('movie-card').find_element_by_class_name('mc-info-container')....
2
votos
Sintaxis inválida en script Python (web scraping)
Lo que sucede es que con esta parte del código:
import sys
!{sys.executable} -m pip install beautifulsoup4
Estás intentando instalar el paquete beautifulsoup4. La verdad no tengo idea en que ...
2
votos
Aceptado
Python Scraping problema con nombres de PDF
El ::before que se muestra en el inspector de código de navegador, no implica que ese texto forme parte del elemento. Es una forma que el navegador tiene de mostrarte si ha habido un texto añadido por ...
2
votos
Aceptado
BeautifulSoup Condicional Python, Web Scraping
Lo mismo que Enrique, seria mejor usar un:
if("sub-espanol" in btnSig.get("href").split('/')[4]):
2
votos
BeautifulSoup Condicional Python, Web Scraping
Recuerda que Python distingue las mayúsculas de las minúsculas, entonces por ejemplo area, Area, AREA, aRea, son 4 identificadores distintos. También comentar que, el último ejemplo, aRea no es ...
2
votos
Aceptado
Python: ¿Cómo Scrapeo datos JSON de una pagina que se actualiza con AJAX?
En scraping no hay un ninguna guía para obtener la información que necesitas. Tienes que investigar hasta dar con ella.
Y para eso hay que perder tiempo analizando el código html que devuelve el ...
2
votos
Aceptado
Obtener preguntas y respuestas de los formularios de Google con Selenium
En cada formulario hay una variable javascript que contiene todas las preguntas y las respuestas asociadas. Beautifulsoup parece ser una mejor opción que Selenium para este caso. Es más fácil obtener ...
2
votos
Aceptado
Ingresar datos a una pagina mediante un script de python, web scraping?
En principio, a no ser que puedas saltarte la iteración con la página de alguna forma, por ejemplo emulando las peticiones que hace el cliente cuando se envía la información, necesitarás algo más que ...
2
votos
base64 en google imagenes, web scraping
La respuesta que te ha dado César es la que te permitirá acceder a las imágenes que deseas. Esta respuesta mía es sólo una mera curiosidad.
¿Qué es lo que viene en el campo src?
Se trata de una cadena ...
2
votos
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
Se que quieres que todo se haga por BS4, pero con Selenium te sale en 3 líneas de código además puedes usar BS4 junto con Selenium, el siguiente scrpit te funciona solo para el primer resultado de la ...
2
votos
Recorrer todas las opciones de un combobox para Web Scrapping
Podria ver de usar Options
var combobox = driver.FindElement(By.Name("icto"));
IList<IWebElement> ictoOptions= combobox.Options;
foreach (IWebElement option in ictoOptions)
{
}
Pero tambien ...
2
votos
Aceptado
¿Cómo iterar sobre los elementos de varias listas con un mismo ciclo for?
Para iterar los elementos de varias listas a la vez en un mismo for puedes
usar la funcion zip. Lo que hace es juntar cada lista en un mismo "iterable"
que produce tuplas con los elementos ...
2
votos
Aceptado
WordCloud a traves de Scraping en python
Casi lo tienes, solo te faltan dos cosas! Vamos a ir por partes:
Unir dos listas por indice
Para esto tienes la función de Python zip(), esta función crea un iterador a partir de dos iterables que ha ...
2
votos
Web Scraping usando Goutte | Laravel 8
lo intenté y fui capaz de hacerlo. Quizás haya una forma mejor pero esto funciona.
class ScraperCurrencyController extends Controller
{
public function currency(){
$client = new Client();
...
2
votos
Selenium loop consume demasiada RAM
1. Significado del error
selenium.common.exceptions.WebDriverException: Message: out of memory
Este error te indica, que Selenium le está requiriendo al sistema operativo memoria RAM, y el sistema ...
2
votos
Aceptado
Web Scraping a Amazon
PROBLEMA
Tal como te comenté en el chat de la comunidad, tu problema está en la forma en que utilizas la librería cheerio en la versión que tienes instalada (1.0.0-rc.10).
Tienes esto:
const $ = ...
2
votos
Aceptado
¿Cómo puedo extraer la primera y ultima posición de una palabra dentro de una cadena con javascript?
Ya tienes una excelente respuesta dada por @Marc. Mi respuesta usa un enfoque diferente, tal como digo en mi comentario
Se trata de usar el método split() sobre la cadena que contiene tus palabras, y ...
2
votos
Aceptado
Como desarmo listas dentro de otras listas?
Una forma sencilla sería recorrer la lista e ir quitando los caracteres que no nos interesa. Una forma puede ser así:
lista = [['[$573.81]'], ['[$124.52'], ['[$284.86]'], ['[$393.96]'], ['[]']]
for ...
2
votos
Aceptado
¿Cómo puedo liberar los recursos de la CPU para este bucle for en el Jupyter Notebook?
He encontrado la respuesta en el propio foro de la comunidad de Deepnote, simplemente las máquinas "Free Tier" de esta plataforma no garantizan un funcionamiento permamente (24h/7), ...
2
votos
Aceptado
¿Hacer que XPATH devuelva listas de listas? [ [ ] , [ ] , [ ] ]
En realidad, hay varias versiones de XPath, 1.0 del año 1999, 2.0 de 2007 o 2008, y 3.0 de 2014 (creo) y la versión actual, 3.1 del año 2017.
Además, XPath mismo no tiene el concepto de listas, en ...
Only top scored, non community-wiki answers of a minimum length are eligible
Etiquetas relacionadas
scraping × 209python × 136
beautifulsoup × 45
selenium × 39
python-3.x × 22
web × 22
selenium-webdriver × 20
javascript × 17
php × 13
html × 13
scrapy × 9
nodejs × 8
r × 8
excel × 8
python-requests × 8
puppeteer × 7
c# × 6
pandas × 6
xpath × 6
vba × 5
google-hoja-de-cálculo × 4
table × 4
java × 3
json × 3
api × 3