puedes hacerlo asi:

    #!/bin/bash
    
    #carpeta y archivo de concatenaciones
    DIRECTORY="./html/"
    OUTPUT="./output.txt"
    IGNORE="PDF|pdf|exe|EXE"
    
    #archivo de estado
    FILES="./files.txt"
    
    #hacemos un for en base a los archivos en la carpeta
    for i in $(/bin/ls $DIRECTORY | grep -Ev $IGNORE);
    do
     # validamos que sea un archivo y sea legible
     if [[ -r DIRECTORY/$i ]]; then # puede ser cambiado -r por -f solo para que valide que es un archivo
     	#validamos que el archivo exista!
     	 if [[ ! -f $FILES ]]; then
     		# si no existe se le concatena el primer resultado y se le agrega a la lista
     		 echo $i >> $FILES;
     		 cat $i >> $OUTPUT;
     	 fi
        # validamos si los archivos en carpeta existan en el documento de archivos listados
      	# si no existe lo agregamos
    	 if [[ $(cat $FILES | grep $i | grep -v "grep" )  == "" ]]; then
    	 	echo "[+] el archivo $i se va a concatenar a $OUTPUT";
    	 	# agregamos el nuevo archivo a nuestra lista
    	 	echo DIRECTORY/$i >> $FILES
    	 	# agregamos el nuevo contendido al archivo de salida
    	 	cat DIRECTORY/$i >> $OUTPUT
    	 fi
     else
     	echo "[-] El archivo $i no se puede leer"
     fi
    done