Andres
Tu problema es que pasas el string del número con punto '.' y no con coma ',', tus funciones de conversión están ok, pero debes reemplazar el punto por coma antes.
SELECT
TO_NUMBER (
REPLACE('5.33','.',',')
) AS NUMERO1,
CAST(
REPLACE('5.33','.',',')
AS NUMBER)
AS NUMERO2