0

Estoy realizando un scrapeo con screaming frog en una web de la cuál tengo que extraer su contenido para mudarla a Wordpress. Por lo tanto, de cada nota, extraigo el titulo, subtitulo, imagen principal, etc. Logro ésto sin problemas, pero dentro del contenido intento eliminar unos elementos html que no me sirven. Supongamos la estructura es la siguiente

<contenido-que-necesito>
   <h1>Titulo</h1>
   <h2>Subtitulo</h2>
   <p>Extracto pequeño de contenido que necesito</p>
   <div>
      <p>Otro contenido que necesito 1</p>
      <p>Otro contenido que necesito 2</p>
      <div>
         <p>Otro contenido que necesito 3</p>
         <div class="no">ÉSTO NO LO NECESITO</div>
      </div>
   </div>
</contenido-que-necesito>

Entonces, cuando scrapeo el contenido que necesito me devuelve (en el ejemplo), un div que está al nivel del 90% de todo el contenido que me sirve. Por otro lado, un nivel más adentro hay contenido que me sirve, pero el resto no.

Mi selector contenido-que-necesito/*/*[not(@class="no")] me devolvería unicamente el contenido del último nodo, es decir del nodo más interno.

<p>otro contenido que necesito 3</p>

Mi pregunta: Hay alguna forma de scrapear contenido recorriendo diferentes niveles? De manera que en cada nivel indico lo que no quiero, y así me devuelva los datos que SI, de cada nivel.

Espero sea clara mi consulta, intento dar un ejemplo sencillo a modo de no romper la privacidad de quien pide ésta tarea. Gracias

1 respuesta 1

0

El problema en tu expresión es que es demasiado específica o, dicho de otra manera, demasiado estricta en la jerarquía.

contenido-que-necesito/*/*[not(@class="no")]

Esta expresión solamente seleccionará los elementos "nietos" (hijos de hijos del nodo , /*/*) que cumplan la condición del predicado.

Para recuperar una lista de toda la descendencia de <contenido-que-necesito> debes recurrir a la ruta //* con una expresión así:

$x('contenido-que-necesito//*[not(contains(@class, "no"))]')

He hecho las siguientes pruebas sobre esta misma página de Stack Overflow que contiene tu pregunta y donde tenemos un gran número de elementos <div> que contienen a su vez muchos otros elementos, algunos de los cuales incluyen la clase "spacer" mientras que la mayoría, no. Estos son los resultados que creo se explican por sí solos:

$x("//div//*");
// salida: 757 elementos

$x("//div//*[not(contains(@class, 'spacer'))]");
// salida: 744 elementos

$x("//div//*[contains(@class, 'spacer')]");
// salida: 13 elementos

Expresiones XPath para web-scraping

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.