neural network learning rules perceptron hebbian learning
Este tutorial detallado sobre las reglas de aprendizaje de redes neuronales explica el algoritmo de aprendizaje de Hebbian y el de perceptrón con ejemplos:
En nuestro tutorial anterior discutimos sobre Red neuronal artificial que es una arquitectura de una gran cantidad de elementos interconectados llamados neuronas.
Estas neuronas procesan la entrada recibida para dar la salida deseada. Los nodos o neuronas están vinculados por entradas, pesos de conexión y funciones de activación.
La principal característica de una red neuronal es su capacidad para aprender. Las redes neuronales se entrenan con ejemplos conocidos. Una vez que la red se entrena, se puede utilizar para resolver los valores desconocidos del problema.
=> Lea la serie completa de capacitación en aprendizaje automático
La red neuronal aprende a través de varios esquemas de aprendizaje que se clasifican como aprendizaje supervisado o no supervisado.
En los algoritmos de aprendizaje supervisado, la red conoce los valores objetivo. Intenta reducir el error entre la salida deseada (objetivo) y la salida real para un rendimiento óptimo. En los algoritmos de aprendizaje no supervisados, los valores objetivo son desconocidos y la red aprende por sí misma identificando los patrones ocultos en la entrada formando grupos, etc.
Una ANN consta de 3 partes, es decir, entrada, capa oculta y capa de salida. Hay una sola capa de entrada y una capa de salida, mientras que puede que no haya una capa oculta o una o más capas ocultas que puedan estar presentes en la red. Con base en esta estructura, la RNA se clasifica en redes de una sola capa, multicapa, de alimentación directa o recurrentes.
Lo que vas a aprender:
- Terminología importante de ANN
- Comparación de las reglas de aprendizaje de redes neuronales
- Conclusión
Terminología importante de ANN
Antes de clasificar las diversas reglas de aprendizaje en ANN, comprendamos algunas terminologías importantes relacionadas con ANN.
# 1) Pesos: En una RNA, cada neurona está conectada a las otras neuronas a través de enlaces de conexión. Estos enlaces tienen un peso. El peso tiene información sobre la señal de entrada a la neurona. Los pesos y la señal de entrada se utilizan para obtener una salida. Los pesos se pueden denotar en forma de matriz que también se denomina matriz de conexión.
Cada neurona está conectada a todas las demás neuronas de la siguiente capa a través de pesos de conexión. Por lo tanto, si hay 'n' nodos y cada nodo tiene 'm' pesos, entonces la matriz de pesos será:
W1 representa el vector de peso a partir del nodo 1. W11 representa el vector de peso del 1S tnodo de la capa anterior a la 1S tnodo de la siguiente capa. De manera similar, wij representa el vector de peso desde el elemento de procesamiento 'i-ésimo' (neurona) hasta el elemento de procesamiento 'j-ésimo' de la siguiente capa.
# 2) Sesgo : El sesgo se agrega a la red agregando un elemento de entrada x (b) = 1 en el vector de entrada. El sesgo también tiene un peso denotado por w (b).
El sesgo juega un papel importante en el cálculo de la salida de la neurona. El sesgo puede ser positivo o negativo. Un sesgo positivo aumenta el peso de entrada neto mientras que el sesgo negativo reduce la entrada neta.
# 3) Umbral: Se utiliza un valor umbral en la función de activación. La entrada neta se compara con el umbral para obtener la salida. En NN, la función de activación se define en función del valor umbral y se calcula la salida.
El valor umbral es:
# 4) Tasa de aprendizaje : ¿Se denota por alfa ?. La tasa de aprendizaje varía de 0 a 1. Se utiliza para ajustar el peso durante el proceso de aprendizaje de NN.
# 5) Factor de momento : Se agrega para una convergencia de resultados más rápida. El factor de impulso se agrega al peso y generalmente se usa en redes de retropropagación.
Comparación de las reglas de aprendizaje de redes neuronales
| Métodos de aprendizaje -> | Descenso de gradiente | Hebbian | Competitivo | Estocástico | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| ÉPOCA 2 | |||||||||||
| Tipo de Arquitectura || | |||||||||||
| Feedforward de una sola capa | ADALINE Hopfield Perceptrón | De asociación Memoria Hopfield | Vector lineal Cuantificación | ||||||||
| Avance de múltiples capas | cascada Correlación Alimentación multicapa Hacia adelante Sesgo radial Función | Neocognitron | |||||||||
| Recurrente | Neural recurrente La red | Auto bidireccional De asociación Memoria Estado del cerebro en una caja Hopfield | Adaptado Teoría de la resonancia | Boltzmann Máquina Cauchy Máquina | |||||||
A continuación se muestra la clasificación de varios tipos de aprendizaje de ANN.
Clasificación de algoritmos de aprendizaje supervisado
- Descenso de gradiente
- Estocástico
# 1) Aprendizaje de descenso de gradientes
En este tipo de aprendizaje, la reducción de errores se realiza con la ayuda de pesos y la función de activación de la red. La función de activación debe ser diferenciable.
El ajuste de pesos depende del gradiente de error E en este aprendizaje. La regla de retropropagación es un ejemplo de este tipo de aprendizaje. Por tanto, el ajuste de peso se define como
# 2) Aprendizaje estocástico
En este aprendizaje, las ponderaciones se ajustan de forma probabilística.
Clasificación de algoritmos de aprendizaje no supervisados
- Hebbian
- Competitivo
# 1) Aprendizaje hebbiano
Este aprendizaje fue propuesto por Hebb en 1949. Se basa en el ajuste correlativo de pesos. Los pares de patrones de entrada y salida están asociados con una matriz de ponderaciones, W.
La transposición de la salida se toma para el ajuste de peso.
# 2) Aprendizaje competitivo
Es un ganador se lleva toda la estrategia. En este tipo de aprendizaje, cuando se envía un patrón de entrada a la red, todas las neuronas de la capa compiten y solo las neuronas ganadoras tienen ajustes de peso.
Neurona de Mc Culloch-Pitts
También conocida como M-P Neuron, esta es la red neuronal más antigua que se descubrió en 1943. En este modelo, las neuronas están conectadas por pesos de conexión y la función de activación se usa en binario. El umbral se utiliza para determinar si la neurona se activará o no.
La función de la neurona M-P es:
Algoritmo de aprendizaje de Hebbian
Red Hebb fue establecido por Donald Hebb en 1949. De acuerdo con la regla de Hebb, los pesos aumentan proporcionalmente al producto de entrada y salida. Significa que en una red Hebb, si dos neuronas están interconectadas, los pesos asociados con estas neuronas pueden aumentar mediante cambios en la brecha sináptica.
Esta red es adecuada para datos bipolares. La regla de aprendizaje hebbiana se aplica generalmente a las puertas lógicas.
Los pesos se actualizan como:
W (nuevo) = w (antiguo) + x * y
Algoritmo de entrenamiento para la regla de aprendizaje de Hebbian
Los pasos de entrenamiento del algoritmo son los siguientes:
- Inicialmente, los pesos se establecen en cero, es decir, w = 0 para todas las entradas i = 1 an y n es el número total de neuronas de entrada.
- Sea s la salida. La función de activación de las entradas se configura generalmente como una función de identidad.
- La función de activación para la salida también se establece en y = t.
- Los ajustes de peso y el sesgo se ajustan a:
- Los pasos 2 a 4 se repiten para cada vector de entrada y salida.
Ejemplo de regla de aprendizaje hebbiana
Implementemos la función AND lógica con entradas bipolares usando Hebbian Learning
X1 y X2 son entradas, b es el sesgo tomado como 1, el valor objetivo es la salida de la operación lógica Y sobre las entradas.
| Aporte | Aporte | Inclinación | Objetivo |
|---|---|---|---|
| X1 | X2 | b | y |
| 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 |
| -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 |
#1) Inicialmente, los pesos se establecen en cero y el sesgo también se establece en cero.
W1 = w2 = b = 0
#2) El primer vector de entrada se toma como (x1 x2 b) = (1 1 1) y el valor objetivo es 1.
Los nuevos pesos serán:
#3) Los pesos anteriores son los nuevos pesos finales. Cuando se pasa la segunda entrada, estos se convierten en los pesos iniciales.
#4) Tome la segunda entrada = (1 -1 1). El objetivo es -1.
#5) Del mismo modo, se calculan las demás entradas y pesos.
La siguiente tabla muestra todas las entradas:
| Entradas | Inclinación | Salida de destino | Cambios de peso | Cambios de sesgo | Nuevos pesos | ||||
|---|---|---|---|---|---|---|---|---|---|
| X1 | X2 | b | y | ? w1 | ? w2 | ?b | W1 | W2 | b |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 | -1 | 1 | -1 | 0 | 2 | 0 |
| -1 | 1 | 1 | -1 | 1 | -1 | -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | 1 | 1 | -1 | 2 | 2 | -2 |
Red Hebb para función AND
Algoritmo de aprendizaje de perceptron
Las redes Perceptron son redes de alimentación directa de una sola capa. También se denominan redes de perceptrón único. El perceptrón consta de una capa de entrada, una capa oculta y una capa de salida.
La capa de entrada está conectada a la capa oculta a través de pesos que pueden ser inhibitorios o excitadores o cero (-1, +1 o 0). La función de activación utilizada es una función de paso binario para la capa de entrada y la capa oculta.
La salida es
Y= f (y)
La función de activación es:
La actualización del peso tiene lugar entre la capa oculta y la capa de salida para que coincida con la salida de destino. El error se calcula en función de la salida real y la salida deseada.
Si la salida coincide con el objetivo, no se realiza ninguna actualización de peso. Los pesos se establecen inicialmente en 0 o 1 y se ajustan sucesivamente hasta que se encuentra una solución óptima.
Los pesos en la red se pueden establecer en cualquier valor inicialmente. El aprendizaje de Perceptron convergerá en el vector de peso que proporciona una salida correcta para todos los patrones de entrenamiento de entrada y este aprendizaje ocurre en un número finito de pasos.
La regla de Perceptron se puede utilizar tanto para entradas binarias como bipolares.
Regla de aprendizaje para el perceptrón de salida única
#1) Sea “n” vectores de entrada de entrenamiento y x (n) y t (n) están asociados con los valores objetivo.
#2) Inicialice los pesos y el sesgo. Póngalos a cero para facilitar el cálculo.
#3) Deje que la tasa de aprendizaje sea 1.
#4) La capa de entrada tiene una función de activación de identidad, por lo que x (i) = s (i).
#5) Para calcular la salida de la red:
#6) La función de activación se aplica sobre la entrada neta para obtener una salida.
#7) Ahora, basándose en la salida, compare el valor objetivo deseado (t) y la salida real.
#8) Continúe la iteración hasta que no haya ningún cambio de peso. Deténgase una vez que se logre esta condición.
Regla de aprendizaje para perceptrón de salida múltiple
#1) Sea “n” vectores de entrada de entrenamiento y x (n) y t (n) están asociados con los valores objetivo.
#2) Inicialice los pesos y el sesgo. Póngalos a cero para facilitar el cálculo.
matriz de clasificación de burbujas de c ++
#3) Deje que la tasa de aprendizaje sea 1.
#4) La capa de entrada tiene una función de activación de identidad, por lo que x (i) = s (i).
#5) Para calcular la salida de cada vector de salida de j = 1 am, la entrada neta es:
#6) La función de activación se aplica sobre la entrada neta para obtener una salida.
#7) Ahora, según la salida, compare el valor objetivo deseado (t) y la salida real y realice ajustes de peso.
w es el vector de peso de los enlaces de conexión entre la i-ésima neurona de entrada y la j-ésima neurona de salida y t es la salida de destino para la unidad de salida j.
#8) Continúe la iteración hasta que no haya ningún cambio de peso. Deténgase una vez que se logre esta condición.
Ejemplo de regla de aprendizaje de Perceptron
Implementación de la función AND mediante una red Perceptron para entradas y salidas bipolares.
El patrón de entrada será x1, x2 y sesgo b. Deje que los pesos iniciales sean 0 y el sesgo sea 0. El umbral se establece en cero y la tasa de aprendizaje es 1.
Y puerta
| X1 | X2 | Objetivo |
|---|---|---|
| 1 | 1 | 1 |
| 1 | -1 | -1 |
| -1 | 1 | -1 |
| -1 | -1 | -1 |
#1) X1 = 1, X2 = 1 y salida de destino = 1
W1 = w2 = wb = 0 y x1 = x2 = b = 1, t = 1
Entrada neta = y = b + x1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0
Como el umbral es cero, por lo tanto:
De aquí obtenemos, salida = 0. Ahora verifique si salida (y) = objetivo (t).
y = 0 pero t = 1, lo que significa que no son iguales, por lo que se lleva a cabo la actualización del peso.
Los nuevos pesos son 1, 1 y 1 después de que se presenta el primer vector de entrada.
#2) X1 = 1 X2 = -1, b = 1 y objetivo = -1, W1 = 1, W2 = 2, Wb = 1
Entrada neta = y = b + x1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
La salida neta para input = 1 será 1 de:
Por lo tanto, nuevamente, el objetivo = -1 no coincide con la salida real = 1. Se llevan a cabo actualizaciones de peso.
Ahora los nuevos pesos son w1 = 0 w2 = 2 y wb = 0
De manera similar, al continuar con el siguiente conjunto de entradas, obtenemos la siguiente tabla:
| Aporte | Inclinación | Objetivo | Entrada neta | Salida calculada | Cambios de peso | Nuevos pesos | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| X1 | X2 | b | t | yin | Y | ? w1 | ? w2 | ?b | W1 | W2 | wb |
| ÉPOCA 1 | |||||||||||
| 1 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 | 1 | 1 | -1 | 1 | -1 | 0 | 2 | 0 |
| -1 | 1 | 1 | -1 | 2 | 1 | 1 | -1 | -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | -1 |
| 1 | -1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| -1 | 1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
Los EPOCHS son el ciclo de patrones de entrada que se alimentan al sistema hasta que no se requiere un cambio de peso y la iteración se detiene.
Algoritmo de aprendizaje de Widrow Hoff
También conocido como Regla delta , sigue la regla de descenso del gradiente para la regresión lineal.
Actualiza los pesos de conexión con la diferencia entre el objetivo y el valor de salida. Es el algoritmo de aprendizaje de mínimos cuadrados medios que se incluye en la categoría del algoritmo de aprendizaje supervisado.
Esta regla es seguida por ADALINE (Adaptive Linear Neural Networks) y MADALINE. A diferencia de Perceptron, las iteraciones de las redes Adaline no se detienen, pero convergen al reducir el mínimo error cuadrático medio. MADALINE es una red de más de un ADALINE.
El motivo de la regla de aprendizaje delta es minimizar el error entre la salida y el vector objetivo.
Los pesos en las redes ADALINE se actualizan mediante:
Error cuadrático medio mínimo = (t- yen)2, ADALINE converge cuando se alcanza el mínimo error cuadrático medio.
Conclusión
En este tutorial, hemos discutido los dos algoritmos, es decir, la regla de aprendizaje de Hebbian y la regla de aprendizaje del perceptrón. La regla de Hebbian se basa en la regla de que el vector de peso aumenta proporcionalmente a la señal de entrada y aprendizaje, es decir, la salida. Los pesos se incrementan sumando el producto de la entrada y la salida al peso anterior.
W (nuevo) = w (antiguo) + x * y
La aplicación de las reglas de Hebb radica en problemas de asociación, clasificación y categorización de patrones.
La regla de aprendizaje de Perceptron se puede aplicar a la red de clases de salida única y múltiple. El objetivo de la red de perceptrones es clasificar el patrón de entrada en una clase de miembro en particular. Las neuronas de entrada y la neurona de salida están conectadas a través de enlaces que tienen pesos.
Los pesos se ajustan para hacer coincidir la salida real con el valor objetivo. La tasa de aprendizaje se establece de 0 a 1 y determina la escalabilidad de los pesos.
Los pesos se actualizan según:
Además de estas reglas de aprendizaje, los algoritmos de aprendizaje automático aprenden a través de muchos otros métodos, es decir, supervisado, no supervisado, refuerzo. Algunos de los otros algoritmos ML comunes son Back Propagation, ART, Kohonen Self Organizing Maps, etc.
¡Esperamos que haya disfrutado de todos los tutoriales de esta serie de aprendizaje automático!
=> Visite aquí para ver la serie exclusiva de aprendizaje automático
Lectura recomendada
- Una guía completa para la red neuronal artificial en el aprendizaje automático
- Tipos de aprendizaje automático: aprendizaje supervisado versus aprendizaje no supervisado
- Minería de datos Vs Aprendizaje automático Vs Inteligencia artificial Vs Aprendizaje profundo
- Pruebas de seguridad de red y las mejores herramientas de seguridad de red
- Las 11 herramientas de software de aprendizaje automático más populares en 2021
- Tutorial de aprendizaje automático: introducción al aprendizaje automático y sus aplicaciones
- 15 mejores herramientas de escaneo de red (escáner de red e IP) de 2021
- Las 30 mejores herramientas de prueba de red (herramientas de diagnóstico del rendimiento de la red)