CREO QUE ASI DEBERIA SER EL PROCEDIMIENTO AUNQUE NO LE FALTABA CASI ANDA DE LO QUE TENIAS SOLO LE AGREGUE LOS PARENTESIS EN LAS CONDICIONALESAsí debería ser el procedimiento, aunque no le cambie mucho de lo que habías realizado:
CREATE OR REPLACE FUNCTION VALIDARDNI(NU_DOCUMENTO VARCHAR2) RETURN VARCHAR2 IS
DNI VARCHAR2(100);
V_ERROR NUMBER;
BEGIN
----Validar documento puede ser nulo
IF ((LENGTH(LTRIM(TRIM(NU_DOCUMENTO))) = '') or (NU_DOCUMENTO IS NULL)) THEN
V_ERROR := -1;
ELSE
----Validar tamaño del Documento
IF ((LENGTH(LTRIM(RTRIM(NU_DOCUMENTO)))>=8) AND (LENGTH(LTRIM(RTRIM(NU_DOCUMENTO)))<='11')) THEN
V_ERROR := 1;
ELSE
V_ERROR := -1;
END IF;
END IF;
RETURN V_ERROR;
END;