Que tal Sebastian pensaba hacer varios comentarios a tu codigo pero mejor te agrego un ejemplo de firmado de documento (use la hora de comida para hacer esta prueba asi que esta algo desordenado y como veras algunos nombres de variables se pueden mejorar)

creas una clase publica RSA_Helper:

  

     public class RSA_helper
        {
           public static X509Certificate2 GetX509Certificate(string certPath,string password)
            {
                 X509Certificate2  certificado= new X509Certificate2();
                certificado.Import(ReadFile(certPath),password, X509KeyStorageFlags.Exportable);
    
                return certificado;
            }
            internal static byte[] ReadFile(string fileName)
            {
                FileStream f = new FileStream(fileName, FileMode.Open, FileAccess.Read);
                int size = (int)f.Length;
                byte[] data = new byte[size];
                size = f.Read(data, 0, size);
                f.Close();
                return data;
            }
    
        }

en la clase Program agregue dos metodos una de Firmado

     private static void FirmarDocumento(string pathXmlDocument,string pathCert,string passCert, string pathXmlSignet)
            {
    
    
                XmlDocument documentXml = new XmlDocument();
                documentXml.Load(pathXmlDocument);
    
                SignedXml firmado = new SignedXml(documentXml);
    
                var cert = RSA_helper.GetX509Certificate(pathCert, passCert);
                firmado.SigningKey = (RSA)cert.PrivateKey;
                firmado.SignedInfo.SignatureMethod = "http://www.w3.org/2000/09/xmldsig#rsa-sha1";
    
                //digest info agregada en la seccion firma
                Reference reference = new Reference();
                reference.AddTransform(new XmlDsigEnvelopedSignatureTransform());
                reference.AddTransform(new XmlDsigExcC14NTransform());
                reference.Uri = "";
                firmado.AddReference(reference);
    
                reference.DigestMethod = "http://www.w3.org/2000/09/xmldsig#sha1";
    
                firmado.AddReference(reference);
    
                // info para la llave publica 
                KeyInfo keyInfo = new KeyInfo();
                keyInfo.AddClause(new KeyInfoX509Data(cert));
                firmado.KeyInfo = keyInfo;
    
    
                firmado.ComputeSignature();
    
                XmlElement xmlDigitalSignature = firmado.GetXml();
                documentXml.DocumentElement.AppendChild(documentXml.ImportNode(xmlDigitalSignature, true));
                //guardando salida.
                documentXml.Save(pathXmlSignet);
            }


en la parte de Verificacion de firma:

       private static bool  VerificarFirma(string pathXmlSigned,string pathCert,string passCert)
            {
                var cert = RSA_helper.GetX509Certificate(pathCert, passCert);
               var key= (RSA)cert.PrivateKey;
                XmlDocument documentXml = new XmlDocument();
                documentXml.Load(pathXmlSigned);
    
                SignedXml signedXml = new SignedXml(documentXml);
    
                XmlNodeList nodeList = documentXml.GetElementsByTagName("Signature");
    
                signedXml.LoadXml((XmlElement)nodeList[0]);
    
              return   signedXml.CheckSignature(key);
            }



en el metodo Main

      static void Main(string[] args)
            {
                //parametros
                string pathXmlDocument = @".\CreditCardInfo.xml";
                string pathXmlSignedDocument= @".\CreditCardInfoSigned.xml";
                string pathCertificate = @".\zarateCert.pfx";
                string certPassword = "zarateTest";
    
                FirmarDocumento(pathXmlDocument, pathCertificate, certPassword, pathXmlSignedDocument);
    
    
               var esValido=    VerificarFirma(pathXmlSignedDocument, pathCertificate, certPassword);
    
            }

es todo realice varias pruebas  y todo bien.

Nota1: Para cuando tengas tu certificado asegurate que tengas tambien la llave privada (pfx), agrego comandos para generacion de certificados de prueba:

    makecert.exe -r -n “CN=zarateCert” -pe -sv zarateCert.pvk -a sha1 -len 2048 -b 01/01/2015 -e 01/01/2030 -cy authority zarateCert.cer
    
    pvk2pfx -pvk zarateCert.pvk -spc zarateCert.cer -pfx zarateCert.pfx -po Secreto01