1

estoy intendo extraer una URL de un pagina web, utilizando BeautifulSoup y python, y hasta hora solo he podido extraer el que contiene la URL, pero no puedo filtrar mas de ese punto, para solo ver la URL, este es mi codigo:

import requests 
import urllib.request
from bs4 import BeautifulSoup

url = 'https://www.paginaweb/discover/detail?titleNo=165516&articleNo=20'
r = requests.get(url)
html_content = r.text
soup = BeautifulSoup(html_content,"html.parser")
print(soup.find_all('script'))

con una salida como esta:

[<script async="" src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>, <script async="" src="https://www.googletagmanager.com/gtag/js?id=UA-122461178-1"></script>, <script>
      window.dataLayer = window.dataLayer || [];
      function gtag(){dataLayer.push(arguments);}
      gtag('js', new Date());

      gtag('config', 'UA-122461178-1');
    </script>, <script>
  /*<![CDATA[*/
  var lcs = {

        TID: '165516',



        ArID:'4',




        AtID:"na",



        UID:"na",


        DID:'pc'


  };
/*]]>*/
</script>, <script>
    /*<![CDATA[*/
    var cmnData = {
        titleNo: 165516,
        articleNo: 4,
        api: {
            articleCmtWrite: 'https://www.paginaweb.com/api/comments/write',
            articleCmtListView: 'https://www.paginaweb.com/api/comments/get',
            articleCmtReport: 'https://www.paginaweb.com/comment/report?commentNo=',
            delArticleCmtList: 'https://www.paginaweb.com/api/comments/delete',
            addGood: 'https://www.paginaweb.com/api/comments/good',
            fun: 'https://www.paginaweb.com/api/articleGood'
        },
        status: {
            comment: '',
            fun: 0
        },
        user: {

        },
        comicData: [

            'https://images.paginaweb.com/legacy/article/1/3/b/13biajhd9e47N7.JPEG/dims/optimize?expiration=1576283957&token=fa2cbe19fbac47143e77cf107a64d77ca3e0a2b8d0d7f3b6e522043bccabd786', 

        ]
    };
    /*]]>*/
</script>, <script src="https://resources.paginaweb.com/js/articleDetailApp/app.1.0.0.min.js"></script>]

Y esta seria la URL que me gustaria extraer, casi en el final del codigo:

comicData: [

                'https://images.paginaweb.com/legacy/article/1/3/b/13biajhd9e47N7.JPEG/dims/optimize?expiration=1576283957&token=fa2cbe19fbac47143e77cf107a64d77ca3e0a2b8d0d7f3b6e522043bccabd786',

Alguna idea o guia para poder hacerlo?, que consten que soy muy nuevo en python y casi todo el codigo son trozos de otros scrips.

2 respuestas 2

3

Se me ocurrió una idea, pero me he encontrado con algunos problemas técnicos (quizás consecuencia de modificaciones que hayas hecho en el código) para ponerla en práctica. Al final tengo una solución que es bastante general, pero no sé si será suficientemente robusta. Depende un poco de que el código sea exactamente como el que has mostrado.

La idea es:

  1. Iterar por la lista de "script" que te ha encontrado BeautifulSopu
  2. Para cada "script" buscar dentro un fragmento que comience por "var cmnData" y termine por "};"

    • Ese fragmento es casi JSON, pero no del todo. Le fallan algunas cosas, como que los nombres de claves no van entre comillas (ej: titleNo, articleNo), que los valores asociados usan comillas simples en vez de dobles y que dentro de algunas listas el último elemento lleva una coma al final, cosa que en JSON no está permitida.

      No sé si estas "características especiales" estaban realmente en el código que recibes como respuesta, o las has introducido tú sin querer como parte de los retoques que has hecho para ocultar la URL de origen.

    • Se procesan las líneas encontradas en el paso 2 para que sean código válido Python, lo que consiste en poner comillas alrededor de las claves.

  3. Al finalizar lo anterior tendremos en una cadena todo el código que inicializa cmnData y de modo que esa cadena sea código python válido. Haciendo eval() sobre esa cadena, obtenemos un diccionario Python.
  4. Una vez se tiene el diccionario es trivial, pues lo que buscas estará en la clave ["comicData"] de ese diccionario, que es una lista. Y en concreto en el elemento [0] de esa lista.

Es decir, básicamente sería lo siguiente:

import re

# Esta es la función que recibe un script como parámetro (cadena)
# y devuelve en otra cadena sólo el diccionario de datos, si lo encontró,
# listo para que se pueda hacer `eval()` sobre él
def extrae_metadata(script):
  metadata = []
  dentro = False
  for linea in script.split("\n"):
    if linea.strip().startswith("var cmnData"):
      dentro = True
    if dentro:
      metadata.append(linea)
    if linea.strip().startswith("};"):
      dentro = False
  if metadata:
    # Convertirlo en JSON válido para lo cual
    #  1. Se encierra entre llaves
    #  2. Se ponen las claves entre comillas y se cambian las comillas simples por dobles
    metadata[0] = "{"
    metadata[-1] = "}"
    metadata = [ re.sub("^(\s+)(\w+):", r'\1"\2":', linea).replace("'", '"') for linea in metadata ]
    return "\n".join(metadata)
  else:
    return None


# Este sería el "programa principal":
json_data = None
for script in scripts:
  metadata = extrae_metadata(script)
  if metadata:
    json_data = eval(metadata)
    break   # Encontrado!


# Una vez agotado el bucle anterior, accedemos a la clave deseada
if json_data:
   print(json_data["comicData"][0])
1
  • La respues de @starmiya me funciona bien, gracias de verdad por tu respuesta, aunque no he sido capaz de implementar tu codigo por mi propio desconocimiento.
    – dfpmola
    Commented el 14 dic. 2019 a las 13:18
2

Además de la forma que mostró @abulafia, podemos usar regex directamente sobre el texto del script. Como lo que buscamos tiene la forma (sin nuevas lineas)

comicData: [  'https://laurlquequiero.com', ]

Podemos hacer:

import re

def buscar_url(soup):
    for script in soup.find_all("script"):
        if "comicData" in script.text:
            match = re.search(r"comicData:\s*\[\s*'([^']+)'",
                              script.text.replace("\n", ""))

            if match:
                return match.group(1)

    return ""

El regex acierta cuando:

comicData:                   # encuentra comicData:
          \s*                # seguido de cero o más espacios
             \[              # seguido de un corchete
               \s*           # seguido de cero o más espacios
                  '          # seguido de un una comilla
                   (         # empieza un grupo de captura
                    [^']+    # captura cualquier caracter que no sea una comilla
                         )   # termina el grupo de captura
                          '  # seguido de una comilla

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.