Estoy realizando un scrapeo con screaming frog en una web de la cuál tengo que extraer su contenido para mudarla a Wordpress. Por lo tanto, de cada nota, extraigo el titulo, subtitulo, imagen principal, etc. Logro ésto sin problemas, pero dentro del contenido intento eliminar unos elementos html que no me sirven. Supongamos la estructura es la siguiente
<contenido-que-necesito>
<h1>Titulo</h1>
<h2>Subtitulo</h2>
<p>Extracto pequeño de contenido que necesito</p>
<div>
<p>Otro contenido que necesito 1</p>
<p>Otro contenido que necesito 2</p>
<div>
<p>Otro contenido que necesito 3</p>
<div class="no">ÉSTO NO LO NECESITO</div>
</div>
</div>
</contenido-que-necesito>
Entonces, cuando scrapeo el contenido que necesito me devuelve (en el ejemplo), un div que está al nivel del 90% de todo el contenido que me sirve. Por otro lado, un nivel más adentro hay contenido que me sirve, pero el resto no.
Mi selector contenido-que-necesito/*/*[not(@class="no")] me devolvería unicamente el contenido del último nodo, es decir del nodo más interno.
<p>otro contenido que necesito 3</p>
Mi pregunta: Hay alguna forma de scrapear contenido recorriendo diferentes niveles? De manera que en cada nivel indico lo que no quiero, y así me devuelva los datos que SI, de cada nivel.
Espero sea clara mi consulta, intento dar un ejemplo sencillo a modo de no romper la privacidad de quien pide ésta tarea. Gracias