1

Quisiera hacer tests unitarios de una función con diferentes entradas y salidas esperadas.

Mi función es irrelevante por lo que en su lugar usaré una función de ejemplo que cuenta palabras inglesas con la siguiente implementación cadidata:

int countEnglishWords( const std::string& text )
{
  return 5;
};

Lo siguiente serían los datos de test. El final de los datos de test se marcan con un elemento con la palabra "END".

struct TestData {
  std::string text;
  int englishWords;
};

struct TestData data[] = // Marcar final con "END"
{
  { "The car is very fast", 5 },
  { "El coche es muy rapido", 0 },
  { "The rain in Spain stays mainly in the plain", 9},
  { "XXXXX OOOOO TTTT", 0},
  { "Yes Si No No", 3},
  { "I have a cheerful live", 5},
  { "END", 0}
};

Podría fácilmente escribir 6 casos de test y obtendría el resultado que quiero. Pero esto no es mantenible, dado que futuros tests añadidos no serían testados, requería de nuevos testcases, que serían principalmente código de relleno (boilerplate). Por lo que he escrito un solo caso de test que recorren en un bucle todos los datos de test tal que así :

#include <cppunit/ui/text/TestRunner.h>
#include <cppunit/extensions/HelperMacros.h>

class cppUnit_test: public CppUnit::TestFixture
{
private:
   CPPUNIT_TEST_SUITE (cppUnit_test);
   CPPUNIT_TEST(myTest);
   CPPUNIT_TEST_SUITE_END();

public:
   void myTest();
};

void cppUnit_test::myTest()
{
  TestData* p = data;
  while ( p->text != "END")
  {
    std::stringstream ss;
    ss << "Text=\"" << p->text << "\" Counted=" << 
       countEnglishWords(p->text) << " Expected=" << p->englishWords;
    CPPUNIT_ASSERT_MESSAGE( ss.str().c_str(), 
                countEnglishWords(p->text) == p->englishWords );
    ++p;
  }
}

int main()
{
   CPPUNIT_TEST_SUITE_REGISTRATION (cppUnit_test);
   CppUnit::Test *suite =
         CppUnit::TestFactoryRegistry::getRegistry().makeTest();
   CppUnit::TextUi::TestRunner runner;
   runner.addTest(suite);
   runner.run();
   return 0;
}

El problema es que el código anterior ejecuta el primer test bien y también detecta el error en el segundo test pero se para después del segundo test. El informe que genera es :

!!!FAILURES!!!
Test Results:
Run: 1 Failures: 1 Errors: 0

Pero el resultado que querría es :

!!!FAILURES!!!
Test Results:
Run: 6 Failures: 4 Errors: 0

1
  • en phpunit eso se resuelve con los dataprovider (funciones que devuelven un listado de casos sobre el test correspondiente). No se si existe algo parecido en Cpp... quizas se llame de otra manera?
    – Jakala
    Commented el 2 jun. 2017 a las 8:54

1 respuesta 1

1

Los tests, ya sea CppUnit, GTest o cualquier otro suelen tener expresiones tipo CPPUNIT_ASSERT (cppunit) o ASSERT_TRUE (gtest) para evaluar determinados resultados (lo que se quiere probar en el test).

En cualquier caso la dinámica es la misma... si alguna comprobación falla el test se da como no superado y no se siguen realizando nuevas comprobaciones.

En cierto modo este comportamiento no es extraño... si metes una funcionalidad en un test es para garantizar que todos los chequeos que componen el test son satisfactorios... además podría ser peligroso seguir ejecutando el test:

void cppUnit_test::myTest()
{
  TestData* p = data;
  CPPUNIT_ASSERT(p != nullptr);

  while ( p->text != "END")
  {
    // ...
  }
}

Supongamos que falla el chequeo porque el puntero es nulo... ¿tiene sentido que continue la ejecución y que el programa de testing finalice por intentar acceder a p en el while?

Si quieres una evaluación por cada cadena tendrás que programar un test independiente para cada una.

Otra posibilidad sería evaluar las comprobaciones sin usar las macros del test:

void cppUnit_test::myTest()
{
  TestData* p = data;

  int ok = 0;
  int total = 0;
  while ( p->text != "END")
  {
    std::stringstream ss;
    ss << "Text=\"" << p->text << "\" Counted=" << 
       countEnglishWords(p->text) << " Expected=" << p->englishWords;
    if(countEnglishWords(p->text) == p->englishWords )
      ok++;

    ++p;
    ++total;
  }

  CPPUNIT_ASSERT(ok==total);
}

Pero claro, entonces no tienes información sobre qué mensajes no han pasado la validación

4
  • Si p valiese NULL lo que estaría mal sería el código del test unitario y no el código de la función a testear countEnglishWords. En este caso en concreto si falla el ASSERT que comprueba si la cuenta de palabras es correcta sí tiene sentido continuar comprobando más cadenas de palabras. Commented el 2 jun. 2017 a las 9:02
  • Era un ejemplo ilustrativo, a lo que voy es que cualquier assert, ya sea de testing o normal mata la aplicación cuando no se cumple la condición a evaluar. En el caso de los tests no se mata toda la aplicación sino que simplemente se marca el test como no pasado y se pasa al siguiente
    – eferion
    Commented el 2 jun. 2017 a las 9:05
  • Pues entonces el problema es que estoy haciendo assert cuando debiera hacer otra cosa. Donde otra cosa es comprobar si una expresión es verdadera o falsa, si es verdadera que el cppUnit lo anote como test exitoso y si es falsa lo anote como test fallido. Y en ambos casos continue haciendo otra cosa con el resto. Y luego reporte todos esos resultados. La pregunta es si existe o se puede hacer esa otra cosa. Lo que has escrito tras editar se parece bastante a esa otra cosa Commented el 2 jun. 2017 a las 9:16
  • Lamentablemente cppunit no dispone de utilidades para ir anotando mensajes... quizás deberías mirar algun sistema de testing un poco más potente. Por ejemplo GTest tiene un sistema de logs que puedes utilizar para ir anotando los chequeos incorrectos sin pasar por un assert hasta el final
    – eferion
    Commented el 2 jun. 2017 a las 9:17

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.