4

¿Es posible eliminar archivos duplicados con un script en la terminal?

Tengo varios archivos pdf que están duplicados en varios directorios del home; había pensando en hacer un script con find para buscarlos, con diff para compararlos y así eliminar el duplicado. No obstante soy novato con esto de la terminal y no consigo la forma de integrar esto

No sé si utilizar un bucle para esto, o como lo haría. No coloco ningún codigo de ejemplo porque de verdad no tengo idea de por dónde comenzar.

ilustro un poco mejor con esto:

supóngase que tengo estos pdf en las siguientes carpetas:

$ ls home/Descargas/
estadistica.pdf 
matematicas.pdf
examen_2.pdf

y tengo tambien el primero y el último pdf en esta carpeta, duplicados:

$ ls home/Documentos/
estadistica.pdf
examen_2.pdf
notas.pdf

¿Cómo haría para eliminar el duplicado y no borrar todo los pdf? intenté con el siguiente comando en una carpeta y la limpie por completo:

find -name "*.pdf" -exec rm {} \;
11
  • 1
    En el presente ejemplo los duplicados son los archivos: “estadistica.pdf, examen_2.pdf”, debido que tiene el mismo nombre (pero en distintas rutas), mi consulta Es que tu condición de saber si son duplicados es a partir del nombre del archivo... o también te basas en el contenido del archivo. el 13 sep. 2019 a las 22:06
  • 1
    En ambos casos, tanto por el nombre, como por el contenido, ya que hay algunos archivos que tienen el mismo contenido pero difieren en algunos caracteres en el nombre. No obstante la mayoría son iguales tanto por nombre, como por el contenido
    – orcaval
    el 13 sep. 2019 a las 22:12
  • 1
    Por otro lado también tengo otra duda, como parámetro de tu script le envías una lista de los nombres de los posibles archivos duplicados (en el presente ejemplo sería: “estadista.pdf, examen_2.pdf”) o lo que quieres hacer con tu script es navegar por las rutas que tú indiques para determinar las rutas absolutas de los archivos duplicado y luego eliminarlo.. el 13 sep. 2019 a las 22:16
  • 1
    Y mi tercera pregunta, es que criterio tienes tú para decidir que archivo permanece y cuáles eliminas, por ejemplo: “Eliminar todos los archivos duplicados de “home/descargas” y NO ELIMINAR los archivos de la carpeta “home/documentos” “ el 13 sep. 2019 a las 22:21
  • No habría forma de enviar una lista con los archivos duplicados, son muchos, más de 800, todos ellos de pdf. Gracias por la aclaración, se me olvidó poner esto en la pregunta. Pienso determinar si un archivo es duplicado o no mediante el comando diff. Leí que arroja un número entre 0, 1 y 2 según lo que encuentre, es decir, si logro capturar lo que diff arroje con #? podría determinar cuales son duplicados y cuales no, creo que implicaría comparar cada archivo contra todos.
    – orcaval
    el 13 sep. 2019 a las 22:23

2 respuestas 2

3

Primero, te recomiendo no hacerlo con un script, sino con un programa hecho por ello. Una opción buena es el fslint:

fslint is a toolset to find various problems with filesystems, including duplicate files and problematic filenames etc.

Individual command line tools are available in addition to the GUI and to access them, one can change to, or add to $PATH the /usr/share/fslint/fslint directory on a standard install. Each of these commands in that directory have a --help option which further details its parameters.

   findup - find DUPlicate files

Osea, fslint es una herramienta que entre otras cosas, encuentre ficheros duplicados. En sistemas basados en Debian (Debian, Ubuntu, Mint etc) lo puedes instalar con

sudo apt install fslint

Si no puedes o no quieres instalar nada, puedes hacer un script simple que compara los md5sums de los ficheros pdf:

find / -type f -name '*pdf' -exec md5sum {} \; > md5sums
gawk '{print $1}' md5sums | sort | uniq -d > dupes
while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes 

Esto de dará una salida como este (en este ejemplo los nombres de los ficheros duplicados son los mismos, pero funciona igual con nombres diferentes):

$ while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes 
---
 /usr/src/linux-headers-3.2.0-3-common/include/linux/if_bonding.h
 /usr/src/linux-headers-3.2.0-4-common/include/linux/if_bonding.h
---
/usr/src/linux-headers-3.2.0-3-common/include/linux/route.h
/usr/src/linux-headers-3.2.0-4-common/include/linux/route.h
---
/usr/src/linux-headers-3.2.0-3-common/include/drm/Kbuild
/usr/src/linux-headers-3.2.0-4-common/include/drm/Kbuild
---

Ahora, para eliminar los duplicados y guardar solo uno, puedes hacer algo como:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' 

Esto te va a imprimir una lista de comandos rm que borraran todos los duplicados menos el primero. Si te parece bien, puedes volver a ejecutarlo y pasarlo por sh para que se ejecuten:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' |
sh

Pero cuidado:

  • ¡Esto no funcionará correctamente si tus ficheros puedan tener \n en su nombre!
  • Esto guardará cualquier fichero se encuentra primero.

¡En serio, fslint es mucho mejor!

3
  • 2
    Antes de que nadie me acusa de plagio, si este respuesta fue 100% copiada de aquí, pero ella es mia también!
    – terdon
    el 14 sep. 2019 a las 17:40
  • 1
    @orcaval seguro que lo copiaste tal como esta? El error me hace pensar que no. Si sigues con problemas, dame un toque en el chat (escribe @terdon) mañana y lo miraremos. Ya es muy tarde aquí y no lo puedo mirar ahora.
    – terdon
    el 15 sep. 2019 a las 0:34
  • Listo, ya solucioné el problema de los archivos duplicados, con la segunda opción, la del script. Logré descargar el programa fslint, pero en el caso de no tener permiso para operar sobre archivos ajenos, del root, que están en mi home, no trabaja; esos archivos los logré eliminar con el script, accedí como root, copié y pegué el script y todo funcionó bien. Muchas gracias. logré liberar 4 Gb de espacio en el disco.
    – orcaval
    el 16 sep. 2019 a las 19:51
0

En el caso de rm no lo puedes usar directo. Tienes que usar xargs. Depende de la plataforma que estés usando pero podrías hacer algo así:

ls -ltr Documentos | awk '{print $9}' | xargs echo rm

Si ves que la lista que arroja echo es correcta, entonces remueves el echo y eliminas el archivo con rm.

Personalmente recomiendo que uses pipes y lo imprimas, porque me ha tocado que borro archivos sin querer.

1
  • 2
    uy parsear ls es bastante sensible. ¿Y si un nombre de fichero tiene espacios?
    – fedorqui
    el 14 sep. 2019 a las 15:40

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.