Intenta utilizando  [`File(fileContents, contentType, fileContents)`][1] especificando el nombre del archivo como ultimo parametro:

    [Route("~/Facturas/Download")]
    [HttpPost]
    public async ActionResult DownloadFileAsync(int? id)
    {
    
            string FilePath = Server.MapPath(@"~\Content\EmpresaX\No_3453452342_Factura-453-2WA.pdf");
            WebClient User = new WebClient();
            Byte[] FileBuffer = User.DownloadData(FilePath);
            if (FileBuffer != null)
            {
                return File(FileBuffer, "application/pdf", "nombre-archivo-pdf.pdf");
            }
    
    
           return Content("El archivo no fue  encontrado", "text/plain");
    }

  [1]: https://docs.microsoft.com/en-us/dotnet/api/system.web.mvc.controller.file?view=aspnet-mvc-5.2#System_Web_Mvc_Controller_File_System_Byte___System_String_System_String_