Una solución muy sencilla y rápida es simplemente comprobar el elemento como tal que intentas validar, sin comparadores, actualmente estás haciendo una comparación contra el "objeto" completo, no contra en valor de "a":
var arr = {"campo1":{"a":"b"},"campo2":{"a":"c"},"campo3":{"a":"d"},"campo4":{"a":"e"},"campo5":{"a":""},"campo6":{}};
for (a in arr)
{
if (arr[a].a)
{
console.log('a en', a, 'no está vacío')
}
}
Seguramente hay soluciones más completas, pero esta funciona en la mayoría de casos.