El comportamiento es indefinido "por definición" (valga la contradicción). Es decir, el estándar C no especifica qué debe retornar una función en la que te has olvidado de poner un return.
Sin embargo en la práctica casi todos los compiladores usan el convenio de usar el valor de un cierto registro como "recipiente" para el valor retornado. En las arquitecturas intel el registro en cuestión suele ser EAX.
En ensamblador la instrucción RET
no tiene forma de especificar qué valor retornar, simplemente significa "retorna de la función" o dicho de otro modo "vuelve al punto desde el que fuiste llamada". Los compiladores C antes de ese RET ponen instrucciones que dejan en un registro (típicamente EAX como he dicho) el valor que se pretende retornar. El punto desde el que la función fue llamada recupera el valor que hay en EAX al que considera el valor retornado por la función.
Es decir, en una especie de pseudo ensamblador la cosa sería así desde el programa que llama:
meter parámetros en la pila
hacer CALL a la función
tomar lo que hay en EAX y usarlo como valor retornado
A su vez dentro de la función, en el punto de retorno, habrá algo como:
mover a EAX el valor a retornar
RET
Si olvidas retornar algo, faltará la línea que mueve a EAX el valor apropiado, y simplemente habrá un RET
al final de la función.
Dicho de otro modo, el valor retornado será lo que sea que EAX contenga en ese momento. Por tanto, de forma general, será un valor impredecible porque la función pudo estar usando EAX para cualquier cosa.
Sin embargo en este caso...
En este caso ocurre que en el else
hay una llamada recursiva a prueba()
, por lo que se va entrando una y otra vez en esa función hasta alcanzar el caso n=0
y en ese caso sí que hay un return 1
de modo que en ese momento se hace:
MOV EAX, 1
RET
y ya que el punto al que se retorna es el final de la función, y olvidaste retornar otra cosa, desde allí simplemente habrá un RET
, pero EAX todavía contiene 1. Así, todas las llamadas recursivas que habías hecho se van "deshaciendo" una tras otra a base de RET
por alcanzarse el final de la función, y cuando el último RET
haya sido ejecutado se volverá al programa principal y EAX todavía contiene 1, por lo que ese es el valor que se considera retornado por la función.