Primero, te recomiendo no hacerlo con un script, sino con un programa hecho por ello. Una opción buena es el fslint
:
fslint is a toolset to find various problems with filesystems,
including duplicate files and problematic filenames
etc.
Individual command line tools are available in addition to the GUI and to access them, one can change to, or add to
$PATH the /usr/share/fslint/fslint directory on a standard install. Each of these commands in that directory have a
--help option which further details its parameters.
findup - find DUPlicate files
Osea, fslint
es una herramienta que entre otras cosas, encuentre ficheros duplicados. En sistemas basados en Debian (Debian, Ubuntu, Mint etc) lo puedes instalar con
sudo apt install fslint
Si no puedes o no quieres instalar nada, puedes hacer un script simple que compara los md5sums de los ficheros pdf:
find / -type f -name '*pdf' -exec md5sum {} \; > md5sums
gawk '{print $1}' md5sums | sort | uniq -d > dupes
while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes
Esto de dará una salida como este (en este ejemplo los nombres de los ficheros duplicados son los mismos, pero funciona igual con nombres diferentes):
$ while read d; do echo "---"; grep $d md5sums | cut -d ' ' -f 2-; done < dupes
---
/usr/src/linux-headers-3.2.0-3-common/include/linux/if_bonding.h
/usr/src/linux-headers-3.2.0-4-common/include/linux/if_bonding.h
---
/usr/src/linux-headers-3.2.0-3-common/include/linux/route.h
/usr/src/linux-headers-3.2.0-4-common/include/linux/route.h
---
/usr/src/linux-headers-3.2.0-3-common/include/drm/Kbuild
/usr/src/linux-headers-3.2.0-4-common/include/drm/Kbuild
---
Ahora, para eliminar los duplicados y guardar solo uno, puedes hacer algo como:
while read d; do
echo "---"; grep $d md5sums | cut -d ' ' -f 2-;
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}'
Esto te va a imprimir una lista de comandos rm
que borraran todos los duplicados menos el primero. Si te parece bien, puedes volver a ejecutarlo y pasarlo por sh
para que se ejecuten:
while read d; do
echo "---"; grep $d md5sums | cut -d ' ' -f 2-;
done < dupes | sed 's/^ //' |
awk '{if(/---/){a=0; next} if(a==0){printf "rm \"%s\"\n", $0} a++}' |
sh
Pero cuidado:
- ¡Esto no funcionará correctamente si tus ficheros puedan tener
\n
en su nombre!
- Esto guardará cualquier fichero se encuentra primero.
¡En serio, fslint
es mucho mejor!