Prueba con esta, debiera dar con el resultado:

     SELECT m.nombremateria
     FROM materias m
     INNER JOIN alumnosmaterias am on am.idmateria=m.idmateria
     WHERE am.estadomateria NOT IN ('aprobado','regularizado')