Skip to main content
se añadieron 10 caracteres en el cuerpo
Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68
class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        const win = await this.loadBaseUrl( Config.url );
        const doc = win.document;

        Scraper.setReference( win, ref );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( self._iframe.contentWindow );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    }

    static setReference( win, text ) {
        const doc = win.document;

        const input = doc.getElementById( "ctl00$Contenido$txtRC2" );
        const button = doc.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = text;
        button.click( );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
async get( ref ) {
    const win = await this.loadBaseUrl( Config.url );
    const doc = win.document;

    await sleep( 5000 );

    Scraper.setReference( win, ref );
}
class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        const win = await this.loadBaseUrl( Config.url );
        const doc = win.document;

        Scraper.setReference( win );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( self._iframe.contentWindow );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    }

    static setReference( win, text ) {
        const doc = win.document;

        const input = doc.getElementById( "ctl00$Contenido$txtRC2" );
        const button = doc.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = text;
        button.click( );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
async get( ref ) {
    const win = await this.loadBaseUrl( Config.url );
    const doc = win.document;

    await sleep( 5000 );

    Scraper.setReference( win );
}
class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        const win = await this.loadBaseUrl( Config.url );
        const doc = win.document;

        Scraper.setReference( win, ref );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( self._iframe.contentWindow );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    }

    static setReference( win, text ) {
        const doc = win.document;

        const input = doc.getElementById( "ctl00$Contenido$txtRC2" );
        const button = doc.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = text;
        button.click( );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
async get( ref ) {
    const win = await this.loadBaseUrl( Config.url );
    const doc = win.document;

    await sleep( 5000 );

    Scraper.setReference( win, ref );
}
se añadieron 228 caracteres en el cuerpo
Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68

El asunto es que esa página crea una ventana modal de forma dinámica. SiTanto desde el propio Electron como si uso un explorador normal, puedo ver que existe un elemento <input> con un id en concreto. Y siempre con el mismo id, no es generado aleatoriamente.

Sin embargo, en mi código, no consigo localizar dicho <input> en el documento a espiar. Esta captura es lo que veo en las DevTools del propio Electron (el <iframe> ocupa toda la ventana). Claramente, existe un botón con el id que busco:

introducir la descripción de la imagen aquí

En la primera versión de mi código:

class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        const win = await this.loadBaseUrl( Config.url );
        const externdoc = this._iframe.contentWindowwin.document;
        const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
        const button = externScraper.getElementByIdsetReference( "ctl00_Contenido_btnDatos" );

        input.value = ref;
        button.click(win );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( self._iframe.contentWindow );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    } 

    static setReference( win, text ) {
        const doc = win.document;

        const input = doc.getElementById( "ctl00$Contenido$txtRC2" );
        const button = doc.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = text;
        button.click( );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
 
async get( ref ) {
    const win = await this.loadBaseUrl( Config.url );
    await sleep( 5000 );
    const externdoc = this._iframe.contentWindowwin.document;

    const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
    const button =await extern.getElementByIdsleep( "ctl00_Contenido_btnDatos"5000 );
 
    input.value = ref;
    buttonScraper.clicksetReference( win );
}

El resultado fue el mismo: input y button, ambos, tienen el valor null.

He descartado que sea problema de la advertencia sobre cookies. Tanto en Electron como en un navegador normal, aun sin aceptar ni rechazar las cookies, la página tiene un comportamiento funcional: rellenando el <input>, se realiza la búsqueda.

El asunto es que esa página crea una ventana modal de forma dinámica. Si uso un explorador normal, puedo ver que existe un elemento <input> con un id en concreto. Y siempre con el mismo id, no es generado aleatoriamente.

Sin embargo, en mi código, no consigo localizar dicho <input> en el documento a espiar.

En la primera versión de mi código:

class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        await this.loadBaseUrl( Config.url );
        const extern = this._iframe.contentWindow.document;
        const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
        const button = extern.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = ref;
        button.click( );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
 
async get( ref ) {
    await this.loadBaseUrl( Config.url );
    await sleep( 5000 );
    const extern = this._iframe.contentWindow.document;

    const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
    const button = extern.getElementById( "ctl00_Contenido_btnDatos" );
 
    input.value = ref;
    button.click( );
}

El resultado fue el mismo: input y button, ambos, tienen el valor null.

El asunto es que esa página crea una ventana modal de forma dinámica. Tanto desde el propio Electron como si uso un explorador normal, puedo ver que existe un elemento <input> con un id en concreto. Y siempre con el mismo id, no es generado aleatoriamente.

Sin embargo, en mi código, no consigo localizar dicho <input> en el documento a espiar. Esta captura es lo que veo en las DevTools del propio Electron (el <iframe> ocupa toda la ventana). Claramente, existe un botón con el id que busco:

introducir la descripción de la imagen aquí

En la primera versión de mi código:

class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        const win = await this.loadBaseUrl( Config.url );
        const doc = win.document;

        Scraper.setReference( win );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( self._iframe.contentWindow );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    } 

    static setReference( win, text ) {
        const doc = win.document;

        const input = doc.getElementById( "ctl00$Contenido$txtRC2" );
        const button = doc.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = text;
        button.click( );
    }
}
async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...
async get( ref ) {
    const win = await this.loadBaseUrl( Config.url );
    const doc = win.document;

    await sleep( 5000 );

    Scraper.setReference( win );
}

El resultado fue el mismo: input y button, ambos, tienen el valor null.

He descartado que sea problema de la advertencia sobre cookies. Tanto en Electron como en un navegador normal, aun sin aceptar ni rechazar las cookies, la página tiene un comportamiento funcional: rellenando el <input>, se realiza la búsqueda.

Publicación recuperada por Trauma
Publicación eliminada por Trauma
Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68

Obtener un elemento creado dinamicamente dentro de un <iframe>

Estoy haciendo un scraper; para ello, cargo la página a examinar dentro de un <iframe> y accedo a su document para buscar el elemento que me interesa (estoy usando Electron que me permite saltarme ciertos elementos de seguridad).

El asunto es que esa página crea una ventana modal de forma dinámica. Si uso un explorador normal, puedo ver que existe un elemento <input> con un id en concreto. Y siempre con el mismo id, no es generado aleatoriamente.

Sin embargo, en mi código, no consigo localizar dicho <input> en el documento a espiar.

En la primera versión de mi código:

class Scraper {
    constructor( id ) {
        this._iframe = document.getElementById( id );
    }

    async get( ref ) {
        await this.loadBaseUrl( Config.url );
        const extern = this._iframe.contentWindow.document;
        const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
        const button = extern.getElementById( "ctl00_Contenido_btnDatos" );

        input.value = ref;
        button.click( );
    }

    async loadBaseUrl( url ) {
        const self = this;

        return new Promise( function( resolve, reject ) {
            self._iframe.src = Config.url;
            self._iframe.onload = function( ev ) {
                resolve( );
            };
            self._iframe.onerror = function( ev ) {
                reject( ev );
            }
        } );
    }
}

No hay forma, al llamar a Scraper.get( ), las variables input y button siempre valen null (pese a que, como dije, si existen los elementos con esos id en la página).

Entonces caí en la cuenta de que el formulario es dinámico; así que añadí un tiempo de espera antes de buscar los elementos (pausé 5 segundos; la página real tarda bastante menos en mostrar la ventana; no tarda ni 1 segundo):

async function sleep( ms ) {
    return new Promise( function( resolve ) {
        setTimeout( resolve, ms );
    } );
}

...

async get( ref ) {
    await this.loadBaseUrl( Config.url );
    await sleep( 5000 );
    const extern = this._iframe.contentWindow.document;

    const input = extern.getElementById( "ctl00$Contenido$txtRC2" );
    const button = extern.getElementById( "ctl00_Contenido_btnDatos" );

    input.value = ref;
    button.click( );
}

El resultado fue el mismo: input y button, ambos, tienen el valor null.

Nota: La página que estoy intenta escrapear es de un organismo estatal: el buscador oficial del Catastro en España

  • ¿ Qué estoy haciendo mal ?
  • ¿ Como lo soluciono ?