1

He estado investigando por la web que con wget se puede clonar una página perfectamente.

El caso es que he probado muchísimas opciones del comando wget pero ninguna me da resultado.

La página que quiero clonar es de un curso que estoy realizando que usa moodle. Dicha página utiliza unas credenciales para poder acceder al curso.

Bien, he probado hasta copiar las cookies y luego usarlas para poder descargar todo el contenido que tengo disponible y repasarlo a placer... La cosa es que no me funciona nada u.u

Me gustaría aprender cómo podría copiar la página y, posteriormente cuando terminen de colgar las últimas unidades de trabajo (temas de una asignatura) pueda actualizar la copia que he descargado.

Antes de crear este hilo he intentado encontrar uno parecido pero no lo he encontrado.

2 respuestas 2

0

Para bajar una pagina con wget puedes utilizar el siguiente comando:

wget https://www.paginadeprueba.com

Algunos sitios piden verificación de identidad del navegador para aplicar diversas restricciones. Puedes utilizar esto:

wget  -r -p -U Mozilla https://www.paginadeprueba.com

O para que el dueño de la pagina no se de cuenta de que le estan clonando la pagina web:

wget --wait=20 --limit-rate=20K -r -p -U Mozilla https://www.paginadeprueba.com

Espero que te sirva de ayuda. Saludos!

1
  • Hola Mario Guiber, gracias por responder. He probado lo que me has dicho, pero no ha copiado ninguna página, lo que ha copiado es la página principal en la que hay que identificarse para entrar al curso, nada más, ¿Sabrías decirme el por qué? ¿El comando no tendría que entrar con mis credenciales y descargar todo el contenido que tengo disponible en mi perfil? Gracias y un cordial saludo!
    – AnHell91
    el 29 abr. 2018 a las 17:02
0

para copiar todo el contenido de una web puedes utilizar el siguiente comando. De la forma en que lo estás haciendo, sólo estás descargando un recurso concreto (por recurso me refiero al contenido de una url).

wget \
     --recursive \
     --no-clobber \
     --page-requisites \
     --html-extension \
     --convert-links \
     --restrict-file-names=windows \
     --domains website.org \
     --no-parent \
     www.sitioweb.com

La explicación es un poco la siguiente:

  • --recursive: descarga todo el sitio web.
  • --domains www.sitioweb.com: no sigas enlaces fuera de www.sitioweb.com.
  • --no-parent: no seguir enlaces fuera del directorio que se le especifique.
  • --page-requisites: gobtener todos los elementos que componen la página (imágenes, CSS, etc.).
  • --html-extension: guarda archivos con la extensión.html.
  • --convert-links: convierte enlaces para que funcionen localmente, fuera de línea.
  • --restrict-file-names=windows: modifica los nombres de archivo para que también funcionen en Windows.
  • --no-clobber: No sobreescribir ningún archivo existente (se usa en caso de que la descarga se interrumpa y se reanude).

En este enlace de Stackoverflow en inglés, te aparece alguna otra opción interesante para utilizar con wget. Creo que se entienden bien aunque sean en inglés.

Un saludo!

PD: de todos modos hay aspectos, como el acceso, que no funcionará, dado que para conectar el sitio utiliza una llamada a una API remota que conecta con la base de datos de usuarios. Tienes que tener en cuenta estas cosas. Copiar toda una web no es cosa de un comando. Por toda la web me refiero no sólo al aspecto visual, sino a toda la lógica funcionamiento interno.

2
  • Buenas Hugo L.M Al final guardé las cookies en un archivo de texto para posteriormente utilizarla. La línea de comandos que utilicé fue la siguiente: wget --load-cookie cookies.txt -m -F -p -np -k -erobots=off -U mozilla --limit-rate=50K --wait=2 --html-extension paginaweb Las líneas anteriores han funcionado, aunque ha querido copiar toda la página entera y no lo que yo quería que copiara. Lo que quiero copiar son las unidades de los módulos que curso. Con lo que me surge la pregunta, ¿Se puede descargar el contenido que uno quiera de la página web? De ser así, ¿Cómo sería? Saludo
    – AnHell91
    el 30 abr. 2018 a las 11:50
  • Sí claro, si en lugar de indicar la url base, por ejemplo cursos.com pones cursos.com/micurso, se descargará exclusivamente el contenido del directorio si le indicas: "--no-parent: no seguir enlaces fuera del directorio que se le especifique." Suerte a ver si consigues lo que pretendes.
    – Hugo L.M
    el 30 abr. 2018 a las 11:54

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.