La diferencia entre el conjunto de grupos que tienen asociado al menos una prueba y el conjunto de grupos que tienen la prueba especificada, da como resultado el conjunto de grupos que no tienen esa prueba en lo absoluto.
grupos_no_estan_en_la_prueba = Grupos_pruebas.objects.values('grupos').difference(grupos_estan_en_la_prueba.values('grupos'))
Teniendo en cuenta otras posibles soluciones planteadas, otra forma sería:
grupos_no_estan_en_la_prueba = Grupos.objects.exclude(id__in=grupos_estan_en_la_prueba.values('grupos'))