0

Actualmente tengo un proyecto en consola donde requiero hacer web scrapping de un sitio web dinamico y actualmente estoy tomando la info de ese sitio web de la siguiente forma:

Funcion para obtener el html del sitio web

static async Task ObtenerHtml (Calculo objeto)
{
    var html = await GetHtml(objeto);
    var data = ParseHtmlUsingHtmlAgilityPack(html);
}

Funcion para Obtener el html con la url especifica

private  async static Task<string> GetHtml(Calculo objeto)
{
    var client = new HttpClient();
    string tipoInmu = objeto.TipoInmueble.Equals("D")? "s-departamentos-en-venta" : "s-venta-inmuebles";
    string tipoID = objeto.TipoInmueble.Equals("D") ? "xxxxxxxx" : "xxxxxxxxxxxxx";
    string url = "https://www.xxxxxxxxx.com.mx/" + tipoInmu + "/" + objeto.ZonaBusqueda + "/" + tipoID + "?pr=" + objeto.ValorCasa + "," + (objeto.ValorCasa + (objeto.ValorCasa * .30)) + "";
    string urlFull = await client.GetStringAsync(url);
    return urlFull;
}

funcion donde se obtienen los nodos. (el problema esta aqui ya que cuando trato de obtener los nodos siempre me salen los mismos y deberian de ser nodos diferentes no igual, entre 25 y 30 nodos y si sale ese conteo pero con la misma info en todos los nodos.)

private static List<(string RepositoryName, string Description, string url,string reca,string m2)> ParseHtmlUsingHtmlAgilityPack(string html)
{
    try
    {
        var htmlDoc = new HtmlDocument();
        htmlDoc.LoadHtml(html);

        var repositories =
            htmlDoc
                .DocumentNode
                .SelectNodes("//body[@class='SearchPageV2']/div//div[@id='tileRedesign']/div");

        List<(string RepositoryName, string Description, string url, string reca, string m2)> data = new();

        foreach (var repo in repositories)
        {

            var precio = repo.SelectSingleNode("//span/span//span[@class='ad-price']").InnerText;
              var ubicacion = repo.SelectSingleNode("//div[@class='tile-location one-liner']").InnerText.Replace(" ", "");
              var url = repo.SelectSingleNode("//div[@class='tile-desc one-liner']/a").Attributes["href"].Value.Replace(" ", "");
              var recamaras= repo.SelectSingleNode("//div[@class='additional-attributes-container']/div//div[@class='chiplets-inline-block re-bedroom']").InnerText.Replace(" ", "");
              var m2 = repo.SelectSingleNode("//div[@class='additional-attributes-container']/div//div[@class='chiplets-inline-block surface-area']").InnerText.Replace(" ", "");
            data.Add((precio, ubicacion, "https://www.vivanuncios.com.mx/" + url,recamaras,m2));
        }

        return data;
    }
    catch(Exception e)
    {
        return new List<(string RepositoryName, string Description, string url, string reca, string m2)>();
    }
   
}

1 respuesta 1

0

Tus expresiones en, por ejemplo, var precio = repo.SelectSingleNode("//span/span//span[@class='ad-price']").InnerText; deberían empezar con ., por ejemplo, var precio = repo.SelectSingleNode(".//span/span//span[@class='ad-price']").InnerText;, para buscar dentro del nodo de contexto repo y no dentro del documento completo que contiene repo.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.