Quiero comprobar que puedo obtener los mismos valores de inicialización (para los pesos), en este caso, usando Glorot Normal al definir el mismo valor de seed. Reinicio la seed antes de cada inicialización, y esperaba obtener los mismos resultados al usar la misma seed, pero he encontrado que están muy cerca uno del otro, pero no son los mismos. ¿Por qué sucede esto? ¿Keras define de una manera diferente la seed? Aquí está el código:
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import random as python_random
import tensorflow.keras as keras
from tensorflow.keras import initializers
import os
import random
import scipy.stats as stats
Defino una función para reiniciar todas las posibles seeds al mismo valor:
def set_seed():
seed_value = 57
os.environ['PYTHONHASHSEED']=str(seed_value)
random.seed(seed_value)
np.random.seed(seed_value)
tf.random.set_seed(seed_value)
python_random.seed(seed_value)
Para el inicializador Glorot (Xavier) initializer necesitamos el número de neuronas input y output:
fan_in = 200 # Number of input units(nerons)
fan_out = 300 # Number of output units(nerons)
Inicialización "manual" según Glorot Uniform
primero quiero calcular manualmente los weights para inicializar una red neurona según la definición del inicializador GlorotNormal:
set_seed()
mu = 0
sigma = min(1,2/(fan_in+fan_out)) # Glorot std formula
# constant from scipy.stats.truncnorm.std(a=-2, b=2, loc=0., scale=1.)
sigma = np.sqrt(sigma)/.87962566103423978
lower, upper = mu-2*sigma, mu+2*sigma
X = stats.truncnorm(
(lower - mu) / sigma, (upper - mu) / sigma, loc=mu, scale=sigma)
W1_numpy = X.rvs(fan_in*fan_out).astype(np.float32)
Inicialización de keras según Glorot Uniform
set_seed()
initializer = tf.keras.initializers.GlorotNormal(seed=seed_value)
W1_Keras = initializer(shape=(fan_in,fan_out)).numpy().flatten()
Comparación de resultados
Debería ser cero, pero parece que utilizan diferenes seeds. Los resultados son similares pero no los mismos...
Diff = np.linalg.norm(W1_Keras-W1_numpy)
print(Diff)
Resultado:
22.002615
Ploteando los histogramas parecen similares... Pero no son iguales.
fig, axs = plt.subplots(nrows=1, ncols=2,figsize=(12, 6),sharex=True,sharey=True)
axs[0].set_title('GlorotNormal_Numpy')
axs[0].hist(W1_numpy.flatten(),bins=1000)
axs[1].set_title('GlorotNormal_Keras')
axs[1].hist(W1_Keras,bins=1000)
plt.show()
print('min and max of W1_Keras:', np.min(W1_Keras),',', np.max(W1_Keras))
print('min and max of W1_Numpy:', np.min(W1_numpy),',', np.max(W1_numpy))
print('\n std of W1_Keras :', np.std(W1_Keras))
print( ' std of W1_Numpy :', np.std(W1_numpy))
Resultados numéricos:
min and max of W1_Keras: -0.14377408 , 0.14379585
min and max of W1_Numpy: -0.14378355 , 0.14379542
std of W1_Keras : 0.06323099
std of W1_Numpy : 0.06357462