Mapas de Kohonen

• Podemos definir al modelo de Kohonen como una estructura de grilla, donde los nodos representan a las neuronas, y tienden, vía aprendizaje, a ordenarse de acuerdo con las características relevantes de la distribución de los datos.

• Menos neurobiológicamente inspirado → si bien las ideas de autoorganización en que se basa tienen un fuerte anclaje en evidencias biológicas, es patente que su concepción y diseño final responden en gran medida a necesidades prácticas.

• Garantiza convergencia a un mapa de salida ordenado que replica en forma de grilla la topología de la distribución de los datos de entrada

  • “preservar la topología” → dos elementos muy cercanos activarán la misma unidad ganadora, o a lo sumo activarán unidades muy cercanas. Es decir, nodos o unidades vecinas en la grilla poseen pesos aferentes similares.

• Función de transferencia

  $$ O_i = f(\xi, w_i) ~~ \text{con } w_i = (w_{i1}, .., w_i{n}) \in \R $$

  $w_i$ son los pesos de la unidad $i$

  $f$ es proporcional al grado de similaridad entre $\xi$ y $w_i$

  La unidad ganadora será la que maximice $f$ y a la que se le actualizarán los pesos en esta iteración (usualmente también se actualizarán los pesos de su vecindario).

• Principio de Adaptación: detectar la unidad cuyos parámetros sean meas parecidos a la entrada $\xi$

  • De éste sale la regla de entrenamiento basada en los siguientes tres postulados:
    • se establece una topología y sólo se cambian los parámetros de la unidad ganadora y de sus vecinas
    • el cambio es en dirección de incrementar la similaridad entre $w_i$ y $\xi$
    • la magnitud del cambio debe garantizar la estabilidad asintótica
  • Como consecuencia se establece el Teorema de Kohonen:
    • La función de densidad de probabilidades de $w_i$ tenderá a aproximar la densidad de $P(\xi)$

• La inovación más importante de los mapas de Kohonen respecto a sus modelos antecesores es la noción de actualizar los pesos de las unidades vecinas a la unidad ganadora

• Regla de Kohonen

  $$ W_i(t+1) = W_i(t) + \alpha(t)~\big(\xi(t) - w_i(t)\big) ~~\text{si } i \in N_c $$

  • $c$ es la unidad ganadora, $N_c$ es su vecindario
  • $\alpha(t) = \eta~\lambda(i, c)$ → cumple el rol de learning rate y suele ir disminuyendo con el tiempo
    • teóricamente $\eta \sim t^{-\mu}$ con $0 < \mu \leq 1$ es lo mejor
    • $\lambda = 1 \iff i = c$ y decrece con la distancia entre $i$ y $c$

• Teorema de Kohonen (2): con probabilidad 1 los $w_i$ se ordenan en forma ascendente o descendente cuando $t \to \infty$ si $\alpha \to 0$ con la suficiente lentitud.