Analizando tu codigo puedo concluir que quieres des-habilitar el botón "guardar" cuando nota1 y nota2 tengan la clase "has-error" de otro modo habilitar dicho botón, sin embargo no veo en que punto le colocas la clase "has-error" y es por eso que el botón nunca se des-habilita, te dejo un código de ejemplo optimizando tu código y corrigiendo algunos errores:
$("table tbody").append("<tr class='text-center'><td>1</td><td>pedro perez</td><td><input type='text' size='3' class='form-control primera-nota' minlength = '2' maxlength = '3'/></td><td><input type='text' size='3' class='form-control segunda-nota' minlength = '2' maxlength = '3'/></td><td><span class='nota-final'></span></td><td><button type='button' class='btn btn-primary guardar'><span class='fui-check'>Guardar</span></button></td><td></td></tr>");
$(document).on('change', 'input[type=text].primera-nota', function () {
$tr=$(this).closest('tr');
$button=$tr.find('button[type=button].guardar');
$nota1=$(this);
if ($nota1.hasClass('has-error')) {
nota1 = 0;
$button.attr("disabled", true);
} else {
nota1 = $nota1.val();
$button.attr("disabled", false);
}
$nota2 = $tr.find('input[type=text].segunda-nota');
if ($nota2.hasClass('has-error')) {
nota2 = 0;
$button.attr("disabled", true);
} else {
nota2 = $nota2.val();
$button.attr("disabled", false);
}
if (nota1 == '')
nota1 = 0;
if (nota2 == '')
nota2 = 0;
total = (nota1 * 60) / 100;
total += (nota2 * 40) / 100;
$tr.find('span.nota-final').text(parseInt(total * 20 / 100));
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<table>
<thead>
<tr>
<th>Cedula</th>
<th>Nombre y Apellido</th>
<th>Primera Nota</th>
<th>Segunda Nota</th>
<th>Nota Final</th>
<th>Guardar</th>
<th></th>
</tr>
</thead>
<tbody>
</tbody>
</table>