Skip to main content
se añadieron 830 caracteres en el cuerpo
Origen Enlace
terdon
  • 1.3k
  • 7
  • 12

PeroAhora, para eliminar los duplicados y guardar solo uno, puedes hacer algo como:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' 

Esto te va a imprimir una lista de comandos rm que borraran todos los duplicados menos el primero. Si te parece bien, puedes volver a ejecutarlo y pasarlo por sh para que se ejecuten:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' |
sh

Pero cuidado:

  • ¡Esto no funcionará correctamente si tus ficheros puedan tener \n en su nombre!
  • Esto guardará cualquier fichero se encuentra primero.

¡En serio, fslint sera muchísimo mas rápido.es mucho mejor!

Pero el fslint sera muchísimo mas rápido.

Ahora, para eliminar los duplicados y guardar solo uno, puedes hacer algo como:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' 

Esto te va a imprimir una lista de comandos rm que borraran todos los duplicados menos el primero. Si te parece bien, puedes volver a ejecutarlo y pasarlo por sh para que se ejecuten:

while read d; do 
    echo "---"; grep $d md5sums | cut -d ' ' -f 2-; 
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' |
sh

Pero cuidado:

  • ¡Esto no funcionará correctamente si tus ficheros puedan tener \n en su nombre!
  • Esto guardará cualquier fichero se encuentra primero.

¡En serio, fslint es mucho mejor!

Origen Enlace
terdon
  • 1.3k
  • 7
  • 12

Primero, te recomiendo no hacerlo con un script, sino con un programa hecho por ello. Una opción buena es el fslint:

fslint is a toolset to find various problems with filesystems, including duplicate files and problematic filenames etc.

Individual command line tools are available in addition to the GUI and to access them, one can change to, or add to $PATH the /usr/share/fslint/fslint directory on a standard install. Each of these commands in that directory have a --help option which further details its parameters.

   findup - find DUPlicate files

Osea, fslint es una herramienta que entre otras cosas, encuentre ficheros duplicados. En sistemas basados en Debian (Debian, Ubuntu, Mint etc) lo puedes instalar con

sudo apt install fslint

Si no puedes o no quieres instalar nada, puedes hacer un script simple que compara los md5sums de los ficheros pdf:

find / -type f -name '*pdf' -exec md5sum {} \; > md5sums
gawk '{print $1}' md5sums | sort | uniq -d > dupes
while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes 

Esto de dará una salida como este (en este ejemplo los nombres de los ficheros duplicados son los mismos, pero funciona igual con nombres diferentes):

$ while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes 
---
 /usr/src/linux-headers-3.2.0-3-common/include/linux/if_bonding.h
 /usr/src/linux-headers-3.2.0-4-common/include/linux/if_bonding.h
---
/usr/src/linux-headers-3.2.0-3-common/include/linux/route.h
/usr/src/linux-headers-3.2.0-4-common/include/linux/route.h
---
/usr/src/linux-headers-3.2.0-3-common/include/drm/Kbuild
/usr/src/linux-headers-3.2.0-4-common/include/drm/Kbuild
---

Pero el fslint sera muchísimo mas rápido.