8

Estoy empezando a estudiar e investigar un poco por mi cuenta sobre inteligencia artificial, así que para practicar me encontré con esta librería de javascript para trabajar con redes neuronales, según leo en su documentación, si entreno una red, ella va a poder decidir por si misma un resultado entre ciertas opciones dadas, mi pregunta es la siguiente, si le enseño a la red que la entrada es un arreglo de cuatro unos ([1,1,1,1]) y que la salida esperada es un uno [1]

¿por qué nunca me da un resultado exacto cómo lo tendría que ser: ( [ 1 ] )?

Entiendo también que esto depende del número y la cantidad de entrenamientos que se le den a la red, pero ya probé con el máximo de iteraciones posibles según las opciones del objeto:

net.train(data, {
    errorThresh: 0.005,  // error threshold to reach
    iterations: 20000,   // maximum training iterations
    log: true,           // console.log() progress periodically
    logPeriod: 10,       // number of iterations between logging
    learningRate: 0.3    // learning rate
})

var log = console.log.bind(console)
var net = new brain.NeuralNetwork();

var data = [{
  input: [1, 1, 1, 1],
  output: [1]
}]

net.train(data, {
  errorThresh: 0.005, // error threshold to reach
  iterations: 5, // maximum training iterations
  log: true, // console.log() progress periodically
  logPeriod: 10, // number of iterations between logging
  learningRate: 0.3 // learning rate
})

var output = net.run([1, 1, 1, 1]); // casi siempre es mayor a [0.9...]

log(output);
<script src="https://cdn.rawgit.com/harthur/brain/gh-pages/brain-0.6.3.min.js"></script>

2
  • 2
    Espero que no me la cierren por ser quizá demasiado amplia :c
    – Jorius
    el 27 abr. 2017 a las 21:18
  • Depende del desarrollador, hay funciones para regular/ajustar los pesos sinápticos en el proceso a fin de ajustar el resultado esperado. No suele ser tan simple como darle datos y que acierte. Hay que realizar los entrenamientos con distintas configuraciones y distintos ajustes en los pesos hasta encontrar el resultado esperado.
    – OscarR
    el 28 abr. 2017 a las 7:43

1 respuesta 1

7

Versión resumida

No existe un método general para saber de antemano si una red neuronal puede representar la distribución de entradas y salidas correctamente. Debido a esto el algoritmo de aprendizaje solo intenta minimizar el error de salida hasta que se pueda considerar suficientemente pequeño.

¿Cómo funciona la red neuronal y algoritmo de aprendizaje? -> Ver Explicación paso a paso

¿Porqué es posible que red neuronal no pueda representar la distribución de entradas y salidas correctamente? -> Ver explicación geométrica.


Explicación paso a paso

Esta red neuronal esta funcionando de la siguiente forma:

  1. Empieza con una red neuronal. Por defecto esta red neuronal tendrá tres capas:

    a. Una capa de entrada, cuyo tamaño es el de la primera entrada que pasas para entrenar. En tu caso será de cuatro neuronas.

    b. Una capa oculta. Que será el valor mayor entre tres neuronas y la mitad de neuronas de la capa de entrada (Ver fuente). En tu caso la mitad de la capa de entrada serían dos neuronas, por ser menos de tres, la capa oculta será de tres neuronas. Nota: es posible especificar más de una capa oculta.

    c. Una capa de salida, cuyo tamaño es el de la primera salida que pasas para entrenar.

    Cada neurona estará conectada a cada neurona de la capa siguiente con pesos al azar. También hay valores de prejuicios (bias) que serán al azar.

  2. Luego se van a hacer ciclos de entrenamiento. En cada ciclo se le presenta a la red neuronal los valores de entrada. Los pasaos para calcular la salida son como sigue:

    a. Guarda los valores de entrada en la capa de entrada:

        Entrada   Capa de
                  Entrada
        +- -+
        | 1 |   ->  (I1)  
        | 1 |   ->  (I2)
        | 1 |   ->  (I3)
        | 1 |   ->  (I4)
        +- -+
    

    b. Calcula para la capa oculta el valor para cada neurona. Esto se hace iterando sobre la lista de neuronas de la capa anterior, y calcular la suma de multiplicar el valor de la neurona por el peso de la conexión (que como dije antes al principio es un valor al azar)※, sumar al resultado el valor de prejuicio, y aplicar la función de activación.

    ※: Lo cual es equivalente a un producto punto entre el vector de valores y el de pesos.

    Paso a paso, para cada neurona:

    1. Calcula el producto los valores de la capa anterior y los pesos de conexión a la neurona actual:

      Capa de   Pesos de   Producto
      Entrada   Conexión
      
      (I1)  --> (*p1) --> (I1*p1)
      (I2)  --> (*p2) --> (I2*p2)
      (I3)  --> (*p3) --> (I3*p3)
      (I4)  --> (*p4) --> (i4*p4)
      
    2. Calcula la suma de esos productos:

      Capa de   Pesos de   Producto              Total
      Entrada   Conexión
      
      (I1)  --> (*p1) --> (I1*p1) -> (I1*p1 + I2*p2 + I3*p3 + I4*p4)
      (I2)  --> (*p2) --> (I2*p2) ->----------/       /       /
      (I3)  --> (*p3) --> (I3*p3) ->-----------------/       /
      (I4)  --> (*p4) --> (i4*p4) ->------------------------/
      

      Nota: Recuerda que esto se hace para cada neurona de la capa.

    3. Suma el prejuicio (bias):

      Capa de   Pesos de   Producto            Total + prejuicio
      Entrada   Conexión
      
      (I1)  -> (*p1) --> (I1*p1) -> (I1*p1 + I2*p2 + I3*p3 + I4*p4 + bias)
      (I2)  -> (*p2) --> (I2*p2) ->----------/       /       /
      (I3)  -> (*p3) --> (I3*p3) ->-----------------/       /
      (I4)  -> (*p4) --> (i4*p4) ->------------------------/
      
    4. Aplica la función de activación:

      Capa de   Pesos de   Producto            Valor de la neurona
      Entrada   Conexión
      
      (I1)  -> (*p1) -> (I1*p1) -> f(I1*p1 + I2*p2 + I3*p3 + I4*p4 + bias)
      (I2)  -> (*p2) -> (I2*p2) ->-----------/       /      /
      (I3)  -> (*p3) -> (I3*p3) ->------------------/      /
      (I4)  -> (*p4) -> (I4*p4) ->------------------------/
      

      Esto te da el valor de la neurona. Este valor es el que será utilizado como entrada para la capa siguiente.

      Para esta librería la función de activación es:

      f(x) = 1/(1 + e^-x)
      

      (Ver Fuente).

      Esta es una gráfica de la función:

      Grafica de f(x) = 1/(1 + e^-x)

      Como se puede observar, la función cruza la vertical en 0.5. Además podemos determinar que el limite de la función cuando la entrada tiende a infinito es 1, y cuando tiende a infinito negativo el limite es 0. Estas características hacen de esta una buena función de activación.

    c. Repetir el paso anterior para cada capa oculta, y para la capa de salida.

    d. Ahora empezamos el proceso de Propagación hacia atrás. El objetivo es utilizar el error de la salida para ajustar los pesos (que antes teníamos al azar) para minimizar el error.

    Tomar los valores de la capa de salida y compararlos con la salida esperada. Se calcula la diferencia (error) y el valor de la regla delta para cada neurona. La regla delta es delta = error * output * (1 - output) (Ver Fuente).

    e. Para cada neurona de la capa oculta tomamos los valores delta de la capa siguiente, los multiplicamos por el peso de la conexión, y los sumamos para obtener el error de la neurona:

                 Error de la              Producto   Pesos de   Delta de la
                 neurona                             Conexión  capa siguiente
    
        (d1*p1 + d2*p2 + d3*p3 + d4*p4) <- (d1*p1) <--- (*p1) <----- (d1)
           \       \        \-----------<- (d2*p2) <--- (*p2) <----- (d2)
            \       \-------------------<- (d3*p3) <--- (*p3) <----- (d3)
             \--------------------------<- (d4*p4) <--- (*p4) <----- (d4)
    

    Debido a que utilizamos los pesos, tendremos un valor de error mayor para neuronas que tuvieron una mayor influencia en el resultado.

    f. Calcular el delta de la neurona en función del error:

                 Delta de               Producto   Pesos de   Delta de la
                 la neurona                        Conexión  capa siguiente
    
        g(d1*p1 + d2*p2 + d3*p3 + d4*p4) <- (d1*p1) <--- (*p1) <---- (d1)
           \       \        \------------<- (d2*p2) <--- (*p2) <---- (d2)
            \       \--------------------<- (d3*p3) <--- (*p3) <---- (d3)
             \---------------------------<- (d4*p4) <--- (*p4) <---- (d4)
    

    g. Calcular el de cambio para neurona a partir del delta (Ver Fuente). Y modificar el peso de la neurona por este valor.

    De nuevo, debido a que utilizamos los pesos, estaremos modificando en mayor medida las neuronas que tuvieron mayor influencia en el resultado.

    h. Repetir para cada cada capa oculta hasta llegar a la capa de entrada.

El resultado es que tras el cambio la red neuronal devolverá un valor que se acerca más al valor esperado. Que tanto más se aproxima depende de los parámetros learningRate y momentum. Sin embargo nunca llegan a devolver el valor esperado, solo se aproximan.

Hay que tener en cuenta que el número de ciclos que se realizan está limitado por iterations. Además el proceso de aprendizaje se detiene cuando error sea menor que errorThresh, lo que significa que el proceso comúnmente se detendrá antes que el error sea 0.

De hecho, la red neuronal no puede capturar todas las posibles distribuciones de entrada... esto es más fácil de entender con una explicación geométrica.


Explicación geométrica

Como hemos dicho antes, cuando calculamos la suma de los productos de los pesos y los valores de una capa, estamos haciendo un producto punto.

Esto hace que calcular el resultado de una capa tenga un equivalente geométrico. Este equivalente es un Hiperplano en N dimensiones, donde N = numero de entradas, que divide el espacio en dos. Todos los valores en un lado resultan en activación de las neuronas y los que están en el otro no.

Nota: en realidad es un gradiente de activación debido a que usamos una función de activación continua y no discreta. Pero hablar de hiperplanos ya es complicarlo bastante... así que voy a tratar la versión simple primero, y luego vuelvo a este punto.

Para entender el concepto mejor diremos que N = 2. Así que consideramos una red neuronal donde hay dos neuronas de entrada solamente. Si hacemos una gráfica donde el valor de una neurona es la horizontal y la de la otra es la vertical, podemos representar cada posible combinación de valores de entrada como un punto.

Por ejemplo, el valor de entrada (5, 2):

  I2

  |
  |
2-|    x
  |
  +----------- I1
       |
       5

Nota: aprovecho para recordarte que los valores no tienen que ser positivos.

Ahora podemos entender los valores de entrada como vectores. Y hacer producto punto con ellos tiene un sentido geométrico.

Ahora, recuerdas la función de activación? La función de activación tiende a 1 en los positivos y a 0 en los negativos. Cuando el producto punto es 0, cuando es positivo y cuando es negativo?

Bueno, veamos cuando el producto punto es positivo o negativo.

Sabemos que el producto punto cumple la siguiente equivalencia:

 X·Y=|X||Y|*cos(theta)

Así que será 0 en dos casos:

  1. El caso trivial cuando uno o ambos vectores tienen magnitud `0.
  2. Cuando el angulo entre los vectores es tal que cos(theta) = 0. Esto ocurre cuando los vectores son perpendiculares.

Además será positivo cuando el angulo entre los vectores tienda a 0 (ambos vectores van más o menos en la misma dirección) y negativo en caso contrario (ambos vectores van más o menos en dirección contraria).

Esto se puede observar en la gráfica de la función cos que es positiva entorno a 0, desde -PI/2 hasta PI/2.

Esto significa que dado un vector w. Todos los vectores que van en dirección similar darán un resultado positivo. Y todos los que van en dirección opuesta darán un resultado negativo. Existirá una linea que pasa por el origen donde el resultado es 0:

Ejemplo separación área positiva y negativa

Todos los vectores de entrada en el área positiva son los dan un resultado positivo al calcular el producto punto con el vector w. De forma similar, todos los que están en el área negativa resultan en un valor negativo.

Si además agregamos el valor bias, podemos correr esa linea:

Ejemplo separación área positiva y negativa teniendo en cuenta bias

Todos los vectores de entrada en el área positiva son los dan un resultado positivo al calcular la suma de bias y el producto punto con el vector w. De forma similar, todos los que están en el área negativa resultan en un valor negativo.

De esta forma, un escalar (bias) y un vector (w) pueden dividir el espacio en dos. Esta es una definición valida para una linea en 2D, un plano en 3D, y un hyperplano en ND, donde hiperplano es una figura de N-1 dimensiones que divide el espacio en dos (y tiene curvatura 0, aunque eso no nos interesa para entender redes neuronales).

Teniendo en cuenta que la función de activación no es discreta, sino continua, el resultado de la función de activación sería algo así:

Resultado de la función de activación

El color representa el valor de la función de activación. Con los tonos rojos siendo valores que tienden a 1, los tonos azules valores que tienden a -1. La franja blanca en el medio son los valores que se aproximan a 0.

Esto corresponde al resultado de una sola neurona, con los pesos de conexión representados por el vector w. El resultado de hacer esta operación con todas las neuronas será la entrada para la capa siguiente de la red neuronal.

Ahora que entendemos las neuronas como divisiones del espacio, es posible imaginar como para cada neurona de salida existe una región (definida por la combinación de divisiones dadas por las capas anteriores) en la cual los valores de entrada dan una salida positiva.


Recuerda que al trabajar en 2D es equivalente a trabajar con solo dos neuronas. Al tener más neuronas de entrada realizar gráficos para demostración es más complicado, si es que es posible, pero los principios geométricos son los mismos.

Así que puedes imaginar que tres neuronas corresponden a un espacio 3D, y que cada neurona de la siguiente capa divide ese espacio 3D en dos utilizando un plano inclinado. Luego para la capa de salida existirá una región del espacio 3D definida por estos planos para la cual la salida es positiva. Lo equivalente aplica para 4D, 5D, etc.


El proceso de aprendizaje corresponde a buscar y ajustar las regiones en proporción a su influencia en el resultado. Sin embargo, que tan compleja puede ser esta estructura depende del tamaño de la red neuronal.

Por ejemplo, una red con dos neuronas de entrada, y una sola neurona en la capa siguiente solo distinguirá dos grupos de entradas. Si los valores de entrada están distribuidos de forma tal que no se pueden separar con una recta, entonces esa sola neurona no es suficiente. Será necesario agregar tantas neuronas como lineas se necesiten para separar los grupos de valores.


Te recomiendo que pruebes Sharky Neural Network que permite entrenar redes neuronales con dos neuronas de entrada, mostrando las regiones del plano que corresponden a cada valor de salida durante el proceso de aprendizaje.

Ejemplo de red neuronal que no puede separar los datos debido a que no tiene suficientes neuronas:

Ejemplo red neuronal clasificando mal datos de entrada

Nota: en la imagen puedes ver que hay dos neuronas de salida. Las regiones amarilla y azul corresponden a las regiones de activación positiva para la primera y segunda neurona de salida respectivamente. La imagen solo muestra el color de la que de un mayor resultado.

Te recomiendo este vídeo de demostración de Sharky Neural Network:

Two Spirals Problem - classification with Sharky Neural Network (SNN)

Two Spirals Problem - classification with Sharky Neural Network (SNN) (Ver Vídeo)


Debido a esto, no hay garantía que sea posible llegar a un estado tal en que la red neuronal dada pueda responder correctamente a la entrada (Es posible que los datos de entrada sean muy complejos para el tamaño de la red neuronal. No hay una forma simple de saber de antemano). Por esta razón, el algoritmo de aprendizaje no pretende llegar a un resultado exacto, sino minimizar el error, y se detiene cuando el error sea suficientemente pequeño (menor que errorThresh) o se hayan hecho demasiados ciclos sin lograr eso (más que iterations) y así evitar que algoritmo se quede en un bucle infinito.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.