Objetivo: descubrir patrones o características significativas en los datos de entrada.

• Un sistema auto-organizado es capaz de configurar su estructura y su dinámica sin intervención de una instancia externa de supervisión, es decir, no requiere interacción con el medio.
• Veremos dos sub-paradigmas:
  • Hebbiano
  • Competitivo
• El sistema tendrá entonces capacidad de extraer información a partir de operaciones de abstracción o generalización.
  • Esta economía en cuanto a la necesidad de supervisión debe compensarse recurriendo a grandes masas de datos, y se espera que tenga la habilidad de explorarlos en redundancia, la cual es condición necesaria para la utilización de este tipo de métodos.
• El orden global es un emergente de múltiples interacciones locales (no se entiende qué se quiso transmitir con esto, pero alude a mapas auto-organizados).

Aprendizaje Hebbiano

• Estructura similar a perceptrón simple

• Diferencias

  • Salida lineal
  • La red no aprende de sus errores con pares entrada-salida

• Asumimos que, dada una muestra lo suficientemente representativa y uniforme de una distribución de probabilidades (que asumimos que existe) la red es capaz de abstraer propiedades estadísticas de dicha distribución.

• Para lograr este objetivo la entrenamos “hebbianamente”: buscando que las sinápsis tiendan a reforzarse en proporción a la activación simultánea de la neurona pre-sináptica (entrada) y la post-sináptica (salida). (???)

• Si el entrenamiento es exitoso el sistema será capaz de, dada una entrada que no haya sido vista anteriormente, indicar qué grado de correspondencia tiene con la distribución original, evaluando su ortogonalidad con los pesos aprendidos calculando el producto interno.

• Acá nos encontramos con el primer problema: al entrenar de este modo (aprendizaje plano) la matriz de pesos $w$ crecerá de forma no acotada, resultando en un sistema inestable.

  $$ \tag{1}\Delta w_i = \eta~y~x_i $$

  • Para corroborar esto pueden analizarse los autovalores y autovectores de la matriz de covarianza de la distribución $P$.
  • ¿Cómo solucionamos esto? Normalizando
    • Podríamos normalizar los pesos después de cada paso de aprendizaje si normalizáramos también las entradas. Esto funciona, pero no es muy conexionista de tu parte.
    • La segunda opción es, como veremos a continuación, la regla de Oja.

Regla de Oja

$$ \tag{2} w_i(n+1) = w_i(n) + \eta ~y(n) ~\big(x_i(n) - y(n)~w_i(n)\big) $$

• Oja propone una regla de aprendizaje hebbiana modificada que produce un proceso equivalente a una normalización.
  • El comportamiento es el mismo a primer orden, es decir, desarrollando la serie $w(n + 1) = w(n) + \Delta w(n)$ al rededor de $\eta$ para $\eta$ pequeño y descartando los términos no lineales, se obtiene el mismo resultado.