var OriginalesQueNoExistenEnDestino = fi_originFolderFiles.Select(f => f.Name).Except(fi_destinyFolderFiles.Select(f2 => f2.Name)).ToList();
Podrias intentar esto, obtienes mediante el operador de conjunto (Except) los ficheros originales que no existen en el destino, haciendo la comparacion por el nombre de los ficheros, al final se devolvera una linea con los ficheros de origen que no existen en el destino.
De esta forma te ahorras escribir el foreach y la condicion, Except representa una resta de conjuntos C=A-B, en C se guardaran los elementos que estan en A pero que no existen en B, A-B no necesariamente tiene que ser igual a B-A.
Atendiendo a lo nuevo que planteas en tu comentario prueba esto:
var OriginalesQueNoExistenEnDestino = (from f in fi_originFolderFiles
where fi_destinyFolderFiles.
Count(f2 => f2.Name == f.Name) == 0
select f).ToList();
De esta forma recorres todos los ficheros originales y preguntas si el nombre de este coincide con el nombre de los ficheros de destino y cuenta la cantidad de coincidencias que hay, en caso de ser 0 quiere decir que ese fichero de la ruta original no esta en el destino, por ultimo se devuelve una lista de elementos de tipo FileInfo