Para calcular la raíz cuadrada puedes importa la librería math
import math
math.sqrt(25) # 5.0
Esta forma es muy común en varios lenguajes
Por otro lado existe el operador potencia **
y dado que la raíz cuadrada es lo mismo que elevar a 1/2
(o 0.5), también resulta hacer:
25 ** (1/2) #5.0
Por último, debes recordar que todo número elevado al cuadrado es positivo por lo que tu if
en la práctica no está validando los negativos
cateto1 = int(input("Introduce valor cateto a: "))
cateto1**=2
cateto2 = int(input("Introduce valor cateto b: "))
cateto2**=2
hipo = cateto1 + cateto2
if (cateto1 <= 0 or cateto2 <= 0): # Esta condición solo se cumple cuando ambos catetos son cero, NO estas validando los números negativos
print("ERROOOOR")
else:
print(hipo)
La validación debes realizar antes de elevar al cuadrado
cateto1 = int(input("Introduce valor cateto a: "))
cateto2 = int(input("Introduce valor cateto b: "))
if (cateto1 <= 0 or cateto2 <= 0):
print("ERROOOOR")
else:
cateto1**=2
cateto2**=2
hipo = (cateto1 + cateto2) ** 0.5
print(hipo)