puedes hacerlo asi:
#!/bin/bash
#carpeta y archivo de concatenaciones
DIRECTORY="./html/"
OUTPUT="./output.txt"
IGNORE="PDF|pdf|exe|EXE"
#archivo de estado
FILES="./files.txt"
#hacemos un for en base a los archivos en la carpeta
for i in $(/bin/ls $DIRECTORY | grep -Ev $IGNORE);
do
# validamos que sea un archivo y sea legible
if [[ -r DIRECTORY/$i ]]; then # puede ser cambiado -r por -f solo para que valide que es un archivo
#validamos que el archivo de resultados exista!
if [[ ! -f $FILES ]]; then
# si no existe se le concatena el primer resultado y se le agrega a la lista
echo "[+] el archivo $i se va a concatenar a $OUTPUT";
echo $i >> $FILES;
cat $i >> $OUTPUT;
fi
# validamos si los archivos en carpeta existan en el documento de archivos listados
# si no existe lo agregamos
if [[ $(cat $FILES | grep $i | grep -v "grep" ) == "" ]]; then
echo "[+] el archivo $i se va a concatenar a $OUTPUT";
# agregamos el nuevo archivo a nuestra lista
echo DIRECTORY/$i >> $FILES
# agregamos el nuevo contendido al archivo de salida
cat DIRECTORY/$i >> $OUTPUT
fi
else
echo "[-] El archivo $i no se puede leer"
fi
done