0

Ya tengo mi código trabajando para extraer toda la información que necesito de una URL, pero quiero "automatizar" el proceso.

Este es el código con el que extraigo todo lo que necesito de UNA URL con simple HTML dom:

    <?php 

    require 'libs/simple_html_dom/simple_html_dom.php';

    $html = new simple_html_dom();

    $html->load_file('http://url1.com/producto1.html');


    $names = $html->find('h1');
    $manufacturers = $html->find('h2');

       echo $manufacturer->innertext;
       echo '<br>';


       echo $name->innertext;
       echo '<br>';

 ?>

Este sería el aspecto del archivo CSV, todas las URLS serían diferentes..

introducir la descripción de la imagen aquí

También sé cómo analizar varios enlaces al mismo tiempo, pero eso sirve cuando tienes 1-3 enlaces, no más ya que si no es una locura. Ahora necesito analizar casi 30-50 enlaces de cada archivo csv.

Tengo algunos archivos csv con todos los enlaces que necesito para scrapear, ¿cómo puedo extraer con mi script existente desde un archivo csv (o una lista de url o algo así)?

9
  • Muéstranos una ejemplo del csv, porque a priori, SIMPLE DOM no parece la solución más adecuada.
    – Muriano
    Commented el 25 oct. 2017 a las 7:50
  • He vuelto a editar mi pregunta. Como digo, no se como INTENTARLO, ya que no veo nada sobre esto por ningún sitio. Lo que necesito es una manera para crear un loop o algo en esa lista de enlaces. Si no puede ser en un csv, pues de otra manera.
    – A. Sanchez
    Commented el 25 oct. 2017 a las 7:56
  • A ver, pasito a pasito. Ya tenemos el csv. Ahora para intentarlo has de investigar como abrir y leer archivos, hacer un split del archivo (ya que parece que solo contiene URL's) por el delimitador que tengas y eso te creará un array de urls .. luego haces un bucle para que por cada una haga lo que muestra tu codigo de arriba ...
    – lois6b
    Commented el 25 oct. 2017 a las 7:58
  • Gracias! Por fin algo de luz! Voy a probar...
    – A. Sanchez
    Commented el 25 oct. 2017 a las 7:59
  • 1
    Lo necesito para ayudarte. Y necesito "el código" porque el pantallazo no lo puedo copiar y pegar en mi editor para hacer pruebas, y como entenderás, no lo voy a copiar a mano.
    – Muriano
    Commented el 25 oct. 2017 a las 8:12

1 respuesta 1

1

Suponiendo que tu csv tenga esta forma:

url1.com/producto1.html
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html 
url1.com/producto1.html

Entonces, podrías:

<?php

    require 'libs/simple_html_dom/simple_html_dom.php';



    function scrapUrl($url) 
    {

        $html = new simple_html_dom();

        $html->load_file($url);


        $names = $html->find('h1');
        $manufacturers = $html->find('h2');

        echo $manufacturer->innertext;
        echo '<br>';


       echo $name->innertext;
       echo '<br>';

    }

    $rutaCSV = 'urls.csv'; // Poner aquí la ruta correcta.

    $csv = array_map('str_getcsv', file($rutaCSV));

    print_r($csv); // Verás que es un array donde cada elemento es array con una de las url.

    foreach ($csv as $linea) {

        $url = $linea[0];
        scrapUrl($url);

    }

Este código es fácilemente optimizable, sirve únicamente a efectos de indicar cómo deberías tratar el fichero csv

2
  • Wow! Gracias @Muriano .. Me salta este error -> Notice: Trying to get property of non-object para $name y $manufacturer Y no estoy muy seguro de si está cojiendo la url 1 de mi csv para scrapear. Gracias!!!
    – A. Sanchez
    Commented el 25 oct. 2017 a las 8:49
  • 1
    Tendrás que hacer las comprobaciones oportunas, por ejemplo, haz un ´echo $url;´ dentro de scrapUrl para comprobar que la url es correcta. O comprobar que existen realmente elementos h1 y h2 en el código fuente obtenido.
    – Muriano
    Commented el 25 oct. 2017 a las 8:56

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.