Prueba con esta, debiera dar con el resultado:
SELECT m.nombremateria
FROM materias m
INNER JOIN alumnosmaterias am on am.idmateria=m.idmateria
WHERE am.estadomateria NOT IN ('aprobado','regularizado')
Prueba con esta, debiera dar con el resultado:
SELECT m.nombremateria
FROM materias m
INNER JOIN alumnosmaterias am on am.idmateria=m.idmateria
WHERE am.estadomateria NOT IN ('aprobado','regularizado')