Analizando tu codigo puedo concluir que quieres des-habilitar el botón "**guardar**" cuando **nota1** y **nota2** tengan la clase "**has-error**" de otro modo habilitar dicho botón, sin embargo no veo en que punto le colocas la clase "**has-error**" y es por eso que el botón nunca se des-habilita, te dejo un código de ejemplo optimizando tu código y corrigiendo algunos errores: 

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $("table tbody").append("<tr class='text-center'><td>1</td><td>pedro perez</td><td><input type='text' size='3' class='form-control primera-nota' minlength = '2' maxlength = '3'/></td><td><input type='text' size='3' class='form-control segunda-nota' minlength = '2' maxlength = '3'/></td><td><span class='nota-final'></span></td><td><button type='button' class='btn btn-primary guardar'><span class='fui-check'>Guardar</span></button></td><td></td></tr>");

    $("table tbody input[type=text]").on('change',  function () {
     $tr=$(this).closest('tr');
     $button=$tr.find('button[type=button].guardar');

     $nota1=$tr.find('input[type=text].primera-nota');
     nota1=($nota1.hasClass('has-error')) ? 0 : $nota1.val();

     $nota2=$tr.find('input[type=text].segunda-nota');
     nota2=($nota2.hasClass('has-error')) ? 0 : $nota2.val();

     if ($nota1.hasClass('has-error') || $nota2.hasClass('has-error')) {
      $button.attr("disabled", true);
     } else {
      $button.attr("disabled", false);
     }
     if (nota1 == '')
      nota1 = 0;

     if (nota2 == '')
      nota2 = 0;

     total  = (nota1 * 60) / 100;
     total += (nota2 * 40) / 100;
     $tr.find('span.nota-final').text(parseInt(total * 20 / 100));
    });

<!-- language: lang-html -->

    <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
    <table>
     <thead>
      <tr>
       <th>Cedula</th>
       <th>Nombre y Apellido</th>
       <th>Primera Nota</th>
       <th>Segunda Nota</th>
       <th>Nota Final</th>
       <th>Guardar</th>
       <th></th>
      </tr>
     </thead>
     <tbody>
     </tbody>
    </table>

<!-- end snippet -->