2

Quiero obtener el texto de esta página web y los siguientes textos al hacer clic en el botón "Oui" o "No", que estará en el mismo lugar, y almacenarlos como un archivo json :

introducir la descripción de la imagen aquí

Intento con Python

from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

# driver = webdriver.Chrome(ChromeDriverManager().install())

driver = webdriver.Chrome(executable_path=r"C:\Programs\chromedriver.exe")
driver.get('http://google.com/')
# driver = webdriver.Chrome(r"C:\Programs\chromedriver")

questions=[] #List to store questions the survey
driver.get("http://www.leparisien.fr/elections/municipales/municipales-a-paris-notre-simulateur-pour-savoir-quel-candidat-vous-correspond-le-mieux-05-03-2020-8273238.php")

content = driver.page_source
soup = BeautifulSoup(content, features="lxml")
for a in soup.findAll('div',href=True, attrs={'id':'root'}):
    question = a.find('div', attrs={'style': 'text-align: left; padding-right: 20px; padding-left: 20px; height: 50px; position: relative; margin-left: 18px; font-size: 20px;'})
    print(question.text)
    questions.append(question.text)
    print("question: ",question)

Pero me devuelve:

(scr_env) C:\Users\antoi\Documents\Programming\Scraping\Python>python3 text_scraper.py

DevTools listening on ws://127.0.0.1:63980/devtools/browser/106c67f8-af8a-4230-8ec9-d7eb13fb8110
[30396:6884:0520/120628.687:ERROR:browser_switcher_service.cc(238)] XXX Init()

Intento con javascript

'use strict';

const puppeteer = require('puppeteer');

(async function main() {
  try {
    const browser = await puppeteer.launch();
    const [page] = await browser.pages();

    await page.goto('http://www.leparisien.fr/elections/municipales/municipales-a-paris-notre-simulateur-pour-savoir-quel-candidat-vous-correspond-le-mieux-05-03-2020-8273238.php');

    const pollFrame = page.frames().find(
      frame => frame.url() === 'https://livemixr-assets.s3-eu-west-1.amazonaws.com/quel-candidat/index.html'
    );

    // getting first question
    const data = await pollFrame.evaluate(
      () => document.querySelector('html > body > div > div > div > div > div:nth-child(5) > h4').innerText
    );

    console.log(data);

    // clicking on an answer
    await page.$x('/html/body/div/div/div[1]/div/div[5]/div/div/label[1]')
    const elements = await page.$x('/html/body/div/div/div[1]/div/div[5]/div/div/label[1]')
    await elements[0].click()

    // getting second question
    const data2 = await pollFrame.evaluate(
      () => document.querySelector('html > body > div > div > div > div > div:nth-child(5) > h4').innerText
    );

    console.log(data2);


    await browser.close();
  } catch (err) {
    console.error(err);
  }
})();

Pero solo me devuelve el primero:

C:\Users\antoi\Documents\Programming\Scraping>node scraper.js
Faut-il accélérer l’automatisation du métro ?
TypeError: Cannot read property 'click' of undefined
    at main (C:\Users\antoi\Documents\Programming\Scraping\scraper.js:24:23)
    at processTicksAndRejections (internal/process/task_queues.js:94:5)

Entonces, ¿cómo extraer texto desde un carousel?

2
  • Navegando por la pagina veo que esa pregunta está dentro de un iframe diferente al principal. Y no veo en tu codigo un cambio de frame. Tendrias que cambiar a ese frame responder la pregunta tomar el texto que necesites y volver al frame principal.
    – j.barrio
    Commented el 20 may. 2020 a las 13:14
  • @j.barrio Gracias para tu comentario. Sí, pero ¿cómo se responde a la pregunta y itera para tomar el texto? Commented el 20 may. 2020 a las 14:04

1 respuesta 1

2

Puedes conseguirlo todo con Selenium emulando la interacción de un usuario real y capturando el texto.

No tengo muy claro la salida en forma de JSON que esperas, pero puedes obtener un json con la siguiente estructura:

{"Transports": {
    "Pregunta 1": [
         "Respuesta A",
         "Respuesta B"], 
     "Pregunta 2": [
     ...]
  ...}
}

Los pasos serían:

  • Aceptar el popup de cokiees si aparece, en cumpliminento de GDPR, and the ePrivacy Directive.

  • Localizar el iframe con el carrusel y movernos a él.

  • Iterar hasta la última pregunta.

  • En cada iteracición obtner el txto del ámbito de la pregunta, la pregunta. Localizamos todos los radiobuttons con las respuestas e iteramos sobre ellos para obtener el texto de cada uno.


from collections import defaultdict
import json

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import ElementClickInterceptedException

driver = webdriver.Firefox()
location = "http://www.leparisien.fr/elections/municipales/municipales-a-paris-notre-simulateur-pour-savoir-quel-candidat-vous-correspond-le-mieux-05-03-2020-8273238.php"
driver.get(location)

# Aceptar popup de cookies si aparece
try:
    eu_cookies_acept = WebDriverWait(driver, 5).until(
        EC.element_to_be_clickable(
            (By.ID,
              "didomi-notice-agree-button")
            )
        ).click()
except:
    pass

iframe = driver.find_element_by_css_selector(".element > iframe:nth-child(1)")
driver.execute_script("return arguments[0].scrollIntoView();", iframe)
driver.switch_to.frame(iframe)


datos = defaultdict(lambda: defaultdict(list))

ultima_pregunta = None
while True:
    ambito = driver.find_element_by_css_selector(
        "div.ant-row:nth-child(4) > h4:nth-child(1)"
        ).text
    pregunta = driver.find_element_by_css_selector(
        "div.ant-row:nth-child(5) > h4:nth-child(1)"
        ).text
    opciones = driver.find_elements_by_class_name(
        "ant-radio-button-wrapper"
        )
    if ultima_pregunta == pregunta:
        break
    ultima_pregunta = pregunta
    for opcion in opciones:
        datos[ambito][pregunta].append(opcion.text)
    opcion.click()
driver.quit()

json_data = json.dumps(datos, insent=4, ensure_ascii=False)

Salida:

>>> print(json_data)
{
    "Transports": {
        "Faut-il accélérer l’automatisation du métro ?": [
            "Oui",
            "Non"
        ],
        "Faut-il faire payer le stationnement des deux-roues ?": [
            "Oui",
            "Non"
        ],
        "Faut-il interdire les bus de tourisme dans la capitale ?": [
            "Oui",
            "Non"
        ],
        "Faut-il piétonniser les quatre arrondissements centraux de la capitale ?": [
            "Oui",
            "Non"
        ],
        "Faut-il réduire le nombre de places de stationnement en surface ?": [
            "Oui",
            "Non"
        ],
        "Faut-il rendre le Vélib' gratuit ?": [
            "Oui",
            "Non"
        ],
        "Faut-il renforcer la vidéoverbalisation ?": [
            "Oui",
            "Non"
        ],
        "Faut-il rouvrir à la circulation les voies sur berges ?": [
            "Oui",
            "Non"
        ],
        "Faut-il interdire les trottinettes électriques ? (free floating)": [
            "Oui",
            "Non"
        ],
        "Le périphérique doit-il...": [
            "... être supprimé",
            "... comprendre une voie pour bus et covoiturage",
            "... être préservé"
        ],
        "Les transports doivent-ils être rendus gratuits...": [
            "... uniquement pour les seniors",
            "... pour les mineurs et les seniors",
            "... pour tout le monde",
            "Non, ils doivent rester payants"
        ]
    },
    "Sports et Loisirs": {
        "Faut-il demander l'annulation des Jeux olympiques ?": [
            "Oui",
            "Non"
        ],
        "Faut-il mettre fin à la pratique du tirage au sort pour le conservatoire ?": [
            "Oui",
            "Non"
        ]
    },
    "Sécurité": {
        "Faut-il augmenter le nombre de caméras de vidéo-surveillance dans la rue ?": [
            "Oui",
            "Non"
        ],
        "Faut-il créér une police municipale ?": [
            "Oui",
            "Non"
        ],
        "Le future police municipale doit-elle être armée ?": [
            "Oui",
            "Non"
        ]
    },
    "Propreté": {
        "Faut-il augmenter le montant des amendes (jets de mégots, urine, dépôt d'ordures...) ?": [
            "Oui",
            "Non"
        ],
        "Faut-il privatiser le ramassage des déchets ?": [
            "Oui",
            "Non"
        ]
    },
    "Logement": {
        "À Paris, la société Airbnb doit-elle être ...": [
            "... plus règlementée",
            "... plus contrôlée",
            "... interdite"
        ],
        "Faut-il baisser le nombre de nuitées autorisées à la location sur Airbnb (120 jours actuellement) ?": [
            "Oui",
            "Non"
        ],
        "Faut-il maintenir l'encadrement des loyers?": [
            "Oui",
            "Non"
        ],
        "En priorité, l'accès au logement social doit-il être attribué ...": [
            "... aux classes moyennes",
            "... aux travailleurs sociaux",
            "... aux travailleurs pauvres"
        ],
        "Faut-il accroître le nombre de logements sociaux ?": [
            "Oui",
            "Non"
        ]
    },
    "Finances": {
        "En matière de finances, faut-il ...": [
            "... réduire la dette de la ville",
            "... continuer à recourir à l'emprunt",
            "... augmenter les impôts locaux (pour tous ou pour les plus riches seulement)"
        ]
    },
    "Environnement": {
        "Faut-il interdire les animaux sauvages dans les cirques ?": [
            "Oui",
            "Non"
        ],
        "Faut-il proposer une alternative végétarienne tous les jours dans les cantines ?": [
            "Oui",
            "Non"
        ],
        "Faut-il piétonniser les abords des écoles ?": [
            "Oui",
            "Non"
        ],
        "Quelle est la priorité pour améliorer l'environnement ?": [
            "Planter des milliers d'arbres",
            "Filtrer les particules dans l'air des écoles",
            "Interdire l'accès au Crit'air 3 et plus"
        ]
    },
    "Education": {
        "En cas de grèves, faut-il un service minimum pour les crèches et les écoles ?": [
            "Oui",
            "Non"
        ],
        "Faut-il revenir à la semaine de 4 jours dans les écoles ?": [
            "Oui",
            "Non"
        ],
        "Les tarifs des cantines scolaires doivent-ils ... ?": [
            "... être baissés",
            "... être rendus gratuits",
            "... être maintenus"
        ]
    },
    "Commerce": {
        "Faut-il étendre le travail du dimanche ?": [
            "Oui",
            "Non"
        ]
    }
}

En mi caso uso Firefox (GeckoDriver), el error que tienes en tu caso con ChromeDriver parece ser un bug del propio driver de Chrome:

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.