-1

tengo un problema con un script que no soy capaz de hacer.

Hace mucho tiempo que no toco PHP (demasiado en realidad) y necesito hacer un script que recorra una serie de URL's, recoja unos datos de una tabla y los guarde en un documento.

El funcionamiento, básicamente, es:

Empieza el bucle, entra en la url https://www.ejemplo.com/000001/, carga los datos que esta contiene, recoge información de una tabla determinada (con id #tablaEjemplo), la pasa a una array (supongo), de este array selecciono otros datos (nombre, dirección y mail) y esta información la guarda en un fichero externo (txt/csv).

Una vez hecho esto pasa a la siguiente dirección https://www.ejemplo.com/000001/ y hace lo mismo... y así hasta un número determinado de veces.

El fichero resultante sería algo así como:

https://www.ejemplo.com/000001

Nombre

Direccion

Mail

https://www.ejemplo.com/000002

Nombre

Direccion

Mail

etc

<?php
  //Script recorre X URL (000001-000100), recoge determinados datos (nombre, direcion, mail) y los guarda en un archivo
  $userAgent = 'Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0';
  $valores = [];

  for ($idempresa = 000001; $idempresa < 000100; $idempresa++): //Bucle for para recorrer X paginas de una URL (891721-899999)
      $url = "https://www.ejemplo.com/".$idempresa."/";
      echo $url;
      //$url2 = $url." #tablaEjemplo > tbody > tr > td"; //URL con los parametros añadidos


  //function get_content_with_curl($html) //Definimos la función cURL
  //{
      $ch = curl_init(); //Inicia cURL
      $archivo = fopen("./datos.txt", "a") or die("ERROR: No ha sido posible abrir el archivo. Revisa su nombre y sus permisos."); //Abrimos el archivo
      curl_setopt($ch, CURLOPT_URL, "$url"); //Configura cURL con la URL deseada
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //Configura cURL para devolver el resultado como cadena
      curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //Configura cURL para que no verifique el certificado
      curl_setopt($ch, CURLOPT_USERAGENT, $userAgent); //Configura el user-agent
      $info = curl_exec($ch); //Establece una sesión cURL y asigna la información a la variable $info
      curl_close($ch); //Cierra cURL

      //Recorremos el array y vamos guardando en un txt cada unos de los valores
      foreach ($valores as $datos) {
          fwrite($archivo, PHP_EOL ."$datos"); //Escribimos en el archivo los diferentes valores que se recogieron de la url
      }
      fclose($archivo); //Cerramos el archivo para evitar errores
  //}

  //Llamada a la función
  //Convierte la información de la URL en cadena
  //$html = get_content_with_curl($url);

  //Se imprime lo que obtuvimos en esa variable
  //echo $html;

      var_dump($info); //Devuelve la información

  endfor; //Cerramos bucle for para evitar problemas

Esto es todo lo que yo fui capaz de sacar, además de muchos pedazos de código que no sirven para nada y un buen dolor de cabeza.

Espero haberme explicado bien, si alguien me puede ayudar tendrá mi eterna gratitud!

1 respuesta 1

0

No se cual es el error que te tira pero puedo notar que a la hora de crear el link con el $idEmpresa tienes una / de mas antes del id, deberia ser

$url = "https://www.ejemplo.com/".$idempresa."/";

5
  • Gracias por responder tan rápido, la / de más fue un descuido al transcribir el código. El problema no es que me devuelva o no algún error... el problema real es que no tengo ni idea de lo que estoy haciendo. No se convertir ese trozo de código con cURL y poco más en el objetivo.
    – Inwahir
    el 29 may. 2019 a las 17:58
  • para eso no te puedo ayudar mucho, todas las veces que necesite hacer web scrapping las hice con node.js y puppeteer el 29 may. 2019 a las 18:04
  • Gracias, es la primera vez que hago algo de webscrapping/crawlers. Puedes mostrarme algo parecido a lo que necesito con node.js y puppeteer? Tal vez así me oriente mejor
    – Inwahir
    el 29 may. 2019 a las 19:22
  • youtu.be/8BorxvBF8Js este video me sirvio mucho la primera vez el 29 may. 2019 a las 19:43
  • Gracias! Me pongo con ello ahora mismo! A ver si saco adelante esto :)
    – Inwahir
    el 29 may. 2019 a las 20:32

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.