Aquí hay varias cosas que tratar, pero el principal problema por el que no te funciona, está aquí:
for letter in phrase:
if letter == vowels: <- aquí
phrase = phrase.replace(vowels, "") <- y aquí
print(phrase)
El bucle for es un bloque de código que se ejecuta una vez por cada elemento de un iterable (una lista o una tupla). En este caso, se ejecuta entero, por cada letter dentro de phrase.
El condicional if, compara vowels, que es una lista de carácteres, y letter es un carácter, por lo que la igualdad no se cumple y no se ejecuta el bloque if.
Y aunque se puede ir carácter a carácter, guardarlos en una lista y convertir esa lista en un string, creo que es bastante más fácil de la siguiente forma:
for letter in vowels:
phrase = phrase.replace(letter, "")
print(phrase)
Ahora el bucle lo que hace es, coger cada letra de la lista vowels, mirar si está dentro de phrase, sustituirla por nada (eliminarla) y guardar el resultado en la variable phrase.
PS: El print lo he puesto fuera del bucle para que vieras el resultado, si quieres ver el resultado de cada ejecución del bucle, ponlo dentro.