Estoy haciendo un scraper; para ello, cargo la página a examinar dentro de un <iframe>
y accedo a su document
para buscar el elemento que me interesa (estoy usando Electron
que me permite saltarme ciertos elementos de seguridad).
El asunto es que esa página crea una ventana modal de forma dinámica. Si uso un explorador normal, puedo ver que existe un elemento <input>
con un id
en concreto. Y siempre con el mismo id
, no es generado aleatoriamente.
Sin embargo, en mi código, no consigo localizar dicho <input>
en el documento a espiar.
En la primera versión de mi código:
class Scraper {
constructor( id ) {
this._iframe = document.getElementById( id );
}
async get( ref ) {
await this.loadBaseUrl( Config.url );
const extern = this._iframe.contentWindow.document;
const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
const button = extern.getElementById( "ctl00_Contenido_btnDatos" );
input.value = ref;
button.click( );
}
async loadBaseUrl( url ) {
const self = this;
return new Promise( function( resolve, reject ) {
self._iframe.src = Config.url;
self._iframe.onload = function( ev ) {
resolve( );
};
self._iframe.onerror = function( ev ) {
reject( ev );
}
} );
}
}
No hay forma, al llamar a Scraper.get( )
, las variables input
y button
siempre valen null
(pese a que, como dije, si existen los elementos con esos id
en la página).
Entonces caí en la cuenta de que el formulario es dinámico; así que añadí un tiempo de espera antes de buscar los elementos (pausé 5 segundos; la página real tarda bastante menos en mostrar la ventana; no tarda ni 1 segundo):
async function sleep( ms ) {
return new Promise( function( resolve ) {
setTimeout( resolve, ms );
} );
}
...
async get( ref ) {
await this.loadBaseUrl( Config.url );
await sleep( 5000 );
const extern = this._iframe.contentWindow.document;
const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
const button = extern.getElementById( "ctl00_Contenido_btnDatos" );
input.value = ref;
button.click( );
}
El resultado fue el mismo: input
y button
, ambos, tienen el valor null
.
Nota: La página que estoy intenta escrapear es de un organismo estatal: el buscador oficial del Catastro en España
- ¿ Qué estoy haciendo mal ?
- ¿ Como lo soluciono ?