Siempre va a coger los paréntesis por que son parte de su sintaxis, se usan para generar grupos, pero nada que no se pueda procesar con python.
La forma más sencilla de hacer esto es usando un or
en regex |
:
(\((\d{3})\))|[\d]{3}\.[\d]{2}
La expresion va a campturar el contenido del paréntesis (incluido los paréntesis) o un bloque de números de 3 dígitos y 2 decimales. Va a funcionar siempre y cuando tengas los mismos strings.
Probando con python en la consola:
>>> r = '(\((\d{3})\))|[\d]{3}\.[\d]{2}'
>>> t1 = '99.95 was(138)'
>>> t2 = '160.56'
>>> p = re.compile(r)
>>> p.search(t1).group().replace('(', '').replace(')', '')
'138'
>>> p.search(t2).group().replace('(', '').replace(')', '')
'160.56'
Puedes probar las expresiones aquí.
Tambien se puede lograr lo que buscas usando condicionales, y serviría para otras cadenas similares, pero si esas son tus dos únicas cadenas esto va a servir.