2

Tengo una hoja de cálculo de Google con enlaces a cuestionarios. Quería saber cómo obtener las preguntas de cada uno de los cuestionarios.

introducir la descripción de la imagen aquí

Mi intento

Llogré acceder a la pagina utilisando Chrome y no FireFox

from collections import defaultdict
import json

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import ElementClickInterceptedException

driver = webdriver.Chrome(executable_path=r"C:\Programs\chromedriver.exe")
location = "https://docs.google.com/spreadsheets/d/1iLqEFRaHPYxpJKU05VXt3HUCQ2OQUAg8FfWlyFbvaXc/edit?usp=sharing"

driver.get(location)

Mi intento con la respuesta de FJSevilla

Conseguí instalar los drivers de Firefox, alcanzar los binarios y configurar las opciones pero tengo un problema con ellos. Parece que no son reconocidos por webdriver.FirefoxProfile().

import csv
import glob
import pathlib
import random
import shutil
import sys
import time


from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common import keys

from selenium.webdriver.firefox.firefox_binary import FirefoxBinary

location = "url of your spreadsheet" # GIVE YOUR SPREADSHEET HERE

# We created a "temporary" directory in the script's parent directory
file_dir = pathlib.Path(__file__).absolute().parent / "temp_files"
shutil.rmtree(file_dir.as_posix(), ignore_errors=True)
file_dir.mkdir(parents=True, exist_ok=True)

# We allow the browser to download csv files without asking
options = webdriver.FirefoxProfile()
options.set_preference(
    "browser.helperApps.neverAsk.saveToDisk",
    "text/csv"
    )
options.set_preference("browser.download.folderList", 2)
options.set_preference("browser.helperApps.alwaysAsk.force", False)
options.set_preference("browser.download.manager.showWhenStarting", False)
options.set_preference("browser.download.dir", file_dir.as_posix())

binary = FirefoxBinary('C:\Program Files\Mozilla Firefox\firefox.exe')
driver = webdriver.Firefox(executable_path = 'C:\Programs\geckodriver', firefox_binary= binary, firefox_options = options)

En efecto, obtengo el siguiente error:

(scr_env) C:\Users\antoi\Documents\Programming\Scraping\Python>python3 questions_scraper_original.py
questions_scraper_original.py:36: DeprecationWarning: use options instead of firefox_options
  driver = webdriver.Firefox(executable_path = 'C:\Programs\geckodriver', firefox_binary= binary, firefox_options = options)
Traceback (most recent call last):
  File "questions_scraper_original.py", line 36, in <module>
    driver = webdriver.Firefox(executable_path = 'C:\Programs\geckodriver', firefox_binary= binary, firefox_options = options)
  File "C:\Users\antoi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.7_qbz5n2kfra8p0\LocalCache\local-packages\Python37\site-packages\selenium\webdriver\firefox\webdriver.py", line 137, in __init__
    if options.binary is not None:
AttributeError: 'FirefoxProfile' object has no attribute 'binary'

2 respuestas 2

3
+200

El problema se divide en dos partes:

Obtener los enlaces de los formularios la hoja de cálculo de Google

La forma más simple y la que Google sin duda prefiere es usar la propia API que ofrece Google, lo podemos hacer con gspread por ejemplo.

Dicho ésto, dado que la pregunta se enfoca en el scraping y Selenium, voy a intentar dar una solución en base a ellos, aunque con algo de trampa.

Digo "trampa" porque en éste caso en vez de plantear un scraping de la propia página de Google Docs en si para obtener los enlaces, se me ocurre lo siguiente:

  • Usamos Selenium para abrir la hoja de cálculo de Google.
  • Hacemos click en Archivo -> Descargar -> Valores separado por comas

et voilà!, tenemos un csv con el contenido de la hoja muy sencillo de parsear con Python par obtener los links. Obviamente perdemos cosas como los estilos y demás, pero en éste caso esos es irrelevante.

Lo que sigue es obtener los links del csv y ponernos a procesar cada enlace.

Importante: es imprescindible que mientras ésta parte del scraping tiene lugar no interfiramos con la ventana del Driver si no la tenemos oculta, al haber operaciones de "hovering" de por medio, el simple hecho de estar interactuando con el puntero sobre la ventana desarma todo.

Obtener los datos de cada formulario

En cuanto a cómo obtener las preguntas y respuestas, previamente había respondido a ello en ésta pregunta:

Simplemente deberemos iterar sobre los enlaces a los formularios y proceder como se explica en la respuesta.

No obstante, hay algunos cambios en la forma de hacer el scraping en los formularios, con respecto a la solución anterior:

  • En éste caso tenemos algunos formularios en las que hay que seleccionar una respuesta en todos los casos o escribir una en un textarea (campos obligatorios). Eso no se contemplaba en la respuesta anterior, por lo que hay que solventarlo haciendo click aleatorio en los radiobutons y escribiendo texto en los textarea oportunos.

  • He modificado la forma de detectar cuando un formulario se ha terminado, antes simplemente se enviaba, pero dentro de lo cuestionable éticamente del scraping (aunque Google viva de ello XD), enviar un formulario rellenado por una máquina aleatoriamente me parece menos ético aún. He optado por detectar la presencia de un botón con texto "Enviar" para saber cuándo estamos ante la última página del formulario, el problema es que si nuestro idioma no es el Español, el texto del botón cambiará, por lo que hay que modificar esa parte del código de forma acorde, en el código final mostrado abajo:

Linea 136.
        if btn.text == "Enviar":

Todo junto

import csv
import glob
import pathlib
import random
import shutil
import sys
import time


from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common import keys


location = "https://docs.google.com/spreadsheets/d/1iLqEFRaHPYxpJKU05VXt3HUCQ2OQUAg8FfWlyFbvaXc/edit?usp=sharing"

# Creamos directorio "temporal" en directorio padre del script
file_dir = pathlib.Path(__file__).absolute().parent / "temp_files"
shutil.rmtree(file_dir.as_posix(), ignore_errors=True)
file_dir.mkdir(parents=True, exist_ok=True)

# Permitimos que el navegador descaargue archivos csv sin preguntar
options = webdriver.FirefoxProfile()
options.set_preference(
    "browser.helperApps.neverAsk.saveToDisk",
    "text/csv"
    )
options.set_preference("browser.download.folderList", 2)
options.set_preference("browser.helperApps.alwaysAsk.force", False)
options.set_preference("browser.download.manager.showWhenStarting", False)
options.set_preference("browser.download.dir", file_dir.as_posix()) 

driver = webdriver.Firefox(options)


driver.get(location)
menu_archivo = driver.find_element_by_id("docs-file-menu")
menu_archivo.click()
submenu_descargar = driver.find_element_by_css_selector(
    "#\:2z > div:nth-child(1) > span:nth-child(1)"
    )
action = ActionChains(driver)
action.move_to_element(submenu_descargar)
action.perform()
action.send_keys(keys.Keys.DOWN)
action.perform()

submenus = driver.find_elements_by_class_name('goog-menuitem')
for submenu in submenus:
    try:
        label = submenu.find_element_by_class_name("goog-menuitem-label")
        aria = label.get_attribute("aria-label")
        if ".csv" in aria:
            action = ActionChains(driver)
            action.move_to_element(submenu)
            action.perform()
            action.send_keys(keys.Keys.ENTER)
            action.perform()
            break
    except Exception:
        pass
else:
    print("Descarga de csv no disponible")
    shutil.rmtree(file_dir.as_posix(), ignore_errors=True)
    sys.exit(1)


for _ in range(60):
    files = glob.glob((file_dir / "*.csv").as_posix())
    if files:
        csv_path = files[0]
        break
    time.sleep(1)

with open(csv_path) as file:
    reader = csv.reader(file)
    form_links = [
        col for row in reader for col in row
            if col.startswith("https://docs.google.com/forms")
            ]

if not form_links:
    print("No se encontraron formularios")
    shutil.rmtree(file_dir.as_posix(), ignore_errors=True)
    sys.exit(2)


data = {}
for form_link in form_links:
    driver.get(form_link)
    title = driver.find_element_by_class_name(
        "freebirdFormviewerViewHeaderTitleRow"
        ).text
    data[title] = {}

    fin = False
    while not fin:
        containers = driver.find_elements_by_class_name(
            "freebirdFormviewerViewNumberedItemContainer"
            )
        btns = driver.find_elements_by_css_selector(".appsMaterialWizButtonEl")
        for container in containers:
            try:
                question = container.find_element_by_class_name(
                    "freebirdFormviewerViewItemsItemItemTitle"
                    )
            except NoSuchElementException:
                continue
            try:
                radiobtn_cont = container.find_elements_by_class_name(
                    "freebirdFormviewerViewItemsRadioOptionContainer"
                    )
            except NoSuchElementException:
                pass
            else:
                responses = container.find_elements_by_class_name(
                    "docssharedWizToggleLabeledLabelText"
                )
                data[title][question.text] = [
                        response.text for response in responses
                        ]
                rdbtns = container.find_elements_by_class_name(
                    "appsMaterialWizToggleRadiogroupRadioButtonContainer"
                    )
                if rdbtns:
                    random.choice(rdbtns).click()
                    continue
                try:
                    text = container.find_element_by_xpath("//textarea")
                except NoSuchElementException:
                    pass
                else:
                    text.send_keys("No sabría decir")
        for btn in btns:
            if btn.text == "Enviar":
                fin = True
                break
        else:
            btns[-1].click()

driver.quit()
shutil.rmtree(file_dir.as_posix(), ignore_errors=True)

print(data)

Resultado

{
    "Air Travel": {
        "How often did you fly before the Covid-19 epidemic?": [
            "Once per year",
            "Between two and five times per year",
            "More than five times per year"
        ],
        "What did you dislike the most about Pre-Covid 19 air travel?": [
            "Long waits at security",
            "Layovers",
            "Entertainment on flight",
            "Cramped seating on the flight",
            "Otro:"
        ],
        "Did you feel safe flying before the Covid-19 pandemic?": [
            "Yes",
            "No"
        ],
        "How long will you wait before flying again, after Covid-19?": [
            "30 Days",
            "30 - 90 Days",
            "90 - 180 Days",
            "More than 180 Days"
        ],
        "Will you fly for pleasure or only when absolutely necessary?": [
            "Pleasure",
            "Only When Absolutely Necessary"
        ],
        "Would a flight with a guaranteed empty seat between you and the person sitting next to you make you more comfortable?": [
            "Yes",
            "No"
        ],
        "What can we do to make you feel as safe as possible while flying with us?": [],
        "Will you be more interested in the cheapest flight or the airline that offers the highest level of protection from disease?": [
            "Cheapest Flight",
            "Level of Protection From Disease",
            "Mix of Both"
        ],
        "Would you take advantage of a new class of seating that offered improved social distancing during the flight as well as complimentary personal protection equipment?": [
            "Yes",
            "No"
        ],
        "Which of these options would you like to see the most of your next flight?": [
            "The latest movies",
            "Free hand sanitizer and wipes",
            "Free meal for longer flight or free drinks on shorter ones",
            "Scheduled check-in time so you can avoid waiting in a large crowd",
            "Otro:"
        ]
    },
    "Travel willingness": {
        "Would you be comfortable travelling within country by airplane? *": [
            "Very uncomfortable",
            "Moderate uncomfortable",
            "Slightly uncomfortable",
            "Neutral",
            "Slightly comfortable",
            "Moderate comfortable",
            "Very comfortable"
        ],
        "Would you be comfortable travelling internationally by airplane? *": [
            "Very uncomfortable",
            "Moderate uncomfortable",
            "Slightly uncomfortable",
            "Neutral",
            "Slightly comfortable",
            "Moderate comfortable",
            "Very comfortable"
        ],
        "Would you be comfortable travelling due to business by airplane? *": [
            "Very uncomfortable",
            "Moderate uncomfortable",
            "Slightly uncomfortable",
            "Neutral",
            "Slightly comfortable",
            "Moderate comfortable",
            "Very comfortable"
        ],
        "Would you be comfortable travelling for leisure by airplane? *": [
            "Very uncomfortable",
            "Moderate uncomfortable",
            "Slightly uncomfortable",
            "Neutral",
            "Slightly comfortable",
            "Moderate comfortable",
            "Very comfortable"
        ],
        "How do you expect the flight ticket price to be changed compared to pre Covid-19 times? *": [
            "Much expensive than before",
            "More expensive than before",
            "Slightly more expensive than before",
            "Same as before",
            "Slightly cheaper than before",
            "Moderate cheaper than before",
            "Much cheaper than before"
        ],
        "If wearing mask is required on airplane, would it make you want to travel by airplane less? *": [
            "Yes",
            "No",
            "Maybe"
        ],
        "Would you expect your body temperature to be taken at the airport? *": [
            "Yes",
            "No",
            "Maybe"
        ],
        "Are you ok with body temperature being taken a couple of times during the flight? *": [
            "Yes",
            "No",
            "Maybe"
        ],
        "Would you expect the flight attendants to hand out hand sanitizers on the flight? *": [
            "Yes",
            "No",
            "Maybe"
        ],
        "What are somethings that airline companies can do to make you feel safer and more comfortable to travel? *": []
    },
    "Untitled form": {
        "Have you traveled with Airline XYZ pre-pandemic?": [
            "Yes",
            "No"
        ],
        "If you have traveled with Airline XYZ pre-pandemic, did you choose low-cost or exclusive flight options?": [
            "low-cost",
            "exclusive",
            "neither"
        ],
        "If you chose low-cost or exclusive flight options, what were your reasons for doing so?": [],
        "Have you traveled with Airline XYZ post-pandemic?": [
            "Yes",
            "No"
        ],
        "If you have traveled with Airline XYZ post-pandemic, are you more or less likely to choose a low-cost option?": [
            "much less likely",
            "less likely",
            "no change",
            "more likely",
            "much more likely"
        ],
        "If you have traveled with Airline XYZ post-pandemic, are you more or less likely to choose an exclusive option?": [
            "much less likely",
            "less likely",
            "no change",
            "more likely",
            "much more likely"
        ],
        "\"I have lost a primary source of income due to COVID-19.\" How true is this for you?": [
            "Not true at all",
            "Mostly untrue",
            "Somewhat true",
            "Mostly true",
            "True"
        ],
        "\"I will be reducing travel to protect myself from COVID-19.\" How true is this for you?": [
            "Not true at all",
            "Mostly untrue",
            "Somewhat true",
            "Mostly true",
            "True"
        ],
        "What role do you believe private business should play regarding the COVID-19 pandemic?": [
            "No role at all",
            "Some role",
            "Large role",
            "Unsure"
        ],
        "To what extent do you believe that Airline XYZ is catering to it's customers during this crisis?": [
            "No extent at all",
            "Mostly no extent",
            "Some extent",
            "A great extent",
            "Unsure"
        ],
        "What offerings, if any, would you be interested in during this crisis?": [
            "more low-cost flights",
            "more exclusive flights",
            "discount on exclusive flights",
            "discount on low-cost flights",
            "Otro:"
        ],
        "What channels would you be interested in hearing future updates about Airline XYZ from?": [
            "Facebook",
            "Twitter",
            "Email",
            "Text",
            "Instagram",
            "Snapchat",
            "Tumblr",
            "Youtube",
            "TikTok"
        ]
    }
}

El código es seguro optimizable en varios puntos, uno de ellos es la obtención del submenú del csv, otro la mencionada forma de detectar el fin del formulario. Así mismo, solo está testeado con la hoja de ésta pregunta y sus formularios, seguramente necesitaría más testeo para detectar posibles problemas no tenidos en cuenta.

5
  • Muchas gracias FJ! Sin embargo, todavía tengo este error relacionado con mi driver: WebDriverException: Message: 'geckodriver' executable needs to be in PATH. Sin embargo, descargué el geckodriver y lo añadí a mi PATH a mano. el 28 may. 2020 a las 13:37
  • Hola, ¿has probado a hacer tal como haces con Chrome: driver = webdriver.Firefox(executable_path="ruta/a/geckodriver.exe') ? En SO hay una pregunta con buenas respuestas sobre éste problema que (si no la has visto ya) te puede ayudar: stackoverflow.com/q/40208051/7131499. Debería funcionar también en Chrome, solo hay que modificar las opciones para la descarga automática del fichero: stackoverflow.com/q/46937319/7131499, no obstante no uso Chrome con Selenium por lo que no puedo confirmarlo ahora mismo, intentaré probar de todas formas en cuanto pueda.
    – FJSevilla
    el 28 may. 2020 a las 13:55
  • Sí, lo leí y pensé que hice lo correcto, pero sigo teniendo el mismo error de PATH. el 28 may. 2020 a las 14:06
  • Debes añadir la ruta a la variable Path, al final de lo que hay, añade ; si no lo tiene y agrega la ruta que contiene el driver colocando ; al final también. Mira journaldev.com/26462/…, es para Java, pero el tema del Path es lo mismo. Además debes tener Firefox instalado y actualizado y la última versión del driver descargada en la carpeta agregada al Path.
    – FJSevilla
    el 28 may. 2020 a las 14:14
  • Oh, sí, en efecto. Creo que lo hice, pero cuando trato de declarar al conductor tengo algunos problemas. Tuve que añadir el archivo binario de Firefox y me da: AttributeError: 'FirefoxProfile' object has no attribute 'binary' el 28 may. 2020 a las 17:34
0

Selenium

No he usado Selenium así que no comentaré sobre las particularidades sobre cómo lo estás usando.

Hojas de Cálculo de Google

La forma más práctica de acceder a los datos de una hoja de cálculo de Google es mediante Google Apps Script porque basta con tener un navegador de Internet moderno soportado (las versiones recientes de Chrome, Firefox, Edge y Safari) y una cuenta de Google, pero si deseas usar otra plataforma lo apropiado sería usar OAuth para para poder acceder a la hoja de cálculo de Google mediante la API de Google Sheets particularmente si se trata de acceder de forma frecuente.

Lo primero será obtener los valores lo cual usualmente devuelve un Array bidimensional donde la primera dimensión (externa) son filas y las segunda dimensión (interna) son los valores de una fila determinada en el orden de las columnas. Luego para iterar puedes usar cualquier bucle de JavaScript o métodos de Array.prototype como forEach, map entre otros, incluso is usas el runtime predeterminado (Chrome V8) puedes usar tipos de datos y métodos introducidos en ECMAScript 6 como el tipo de datos Map.

Cabe destacar que Google Apps Script tiene un API por medio de la cual puedes llamar el Forms Service (se menciona más abajo) desde otras plataformas.

Formularios de Google

En cuanto a las identificaciones de las preguntas, desconozco el algoritmo que usa Google para asignar las identificaciones pero sí se que el código fuente de la vista para responder las preguntas se genera de forma automática, creo que se usa Google Closure, por lo que de un momento a otro dicho código puede cambiar, sin embargo los identificadores de las preguntas no cambian pero hay que destacar que hay dos identificadores.

Nuevamente lo más sencillo sería usar Google Apps Script en particular porque no existe una API pública para los formularios de Google, sólo el "Forms Service" de Google Apps Script. Mediante este puedes obtener el URL de prellenado mediante en el cual aparecen los ids de las preguntas en el orden en el que estas se encuentran en el formulario así como los ids de los "items" (preguntas, secciones, videos, imágenes, etc.) así como otras propiedades como el título de la pregunta, el tipo de pregunta entre otros. Estos ids de los items son los que se usan en Google Apps Script para seleccionar una pregunta por su id.

Para acceder a un formulario de Google con Google Apps Script deberás ser el propietario del formulario o tener acceso de editor. La forma más común es usar los id de los formularios (los puedes obtener del URL para editar un formulario) pero también puedes usar el URL para editar el formulario.

Referencias

3
  • Gracias por la respuesta y por tus ideas de javascript. Pero no me ayuda mucho. Esta pregunta está etiquetada con Python y Selenium el 27 may. 2020 a las 14:15
  • 1
    Las etiquetas son un medio para facilitar el encontrar las preguntas a los seguidores de las mismas. Te recomiendo editar el párrafo inicial de tu pregunta y agregar algo para indicar que se trata de un asunto de "web scrapping".
    – Rubén
    el 27 may. 2020 a las 14:19
  • Por cierto, edité mi respuesta para mencionar la API de Google Apps Script.
    – Rubén
    el 27 may. 2020 a las 14:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.