Intenta utilizando File(fileContents, contentType, fileContents)
especificando el nombre del archivo como ultimo parametro:
[Route("~/Facturas/Download")]
[HttpPost][HttpGet]
public async ActionResult DownloadFileAsyncDownloadFile(int? id)
{
string FilePath = Server.MapPath(@"~\Content\EmpresaX\No_3453452342_Factura-453-2WA.pdf");
WebClient User = new WebClient();
Byte[] FileBuffer = User.DownloadData(FilePath);
if (FileBuffer != null)
{
return File(FileBuffer, "application/pdf", "nombre-archivo-pdf.pdf");
}
return Content("El archivo no fue encontrado", "text/plain");
}