Perceptrón Multicapa

Comparación con Perceptrón Simple

Untitled

Las entradas son las mismas $\xi$
Las salidas son las mismas $\Omicron$
La estructura es indefinidamente más compleja: se agrega un número arbitrario de capas intermedias u ocultas → su entrada y salida no son visibles desde el exterior
Cada capa $M$ tendrá a su vez un número arbitrario de neuronas $k_j$
Modelo feed-forward y fully-connected
Los pesos $W$ llevan, a parte de en los subíndices las neuronas que conectan, entre paréntesis a qué capa pertenece la neurona pre-sináptica de esa conexión

Perceptrón Simple ($M = 1$)	Perceptrón Multicapa ($M \geq 2$)
Fácil de entrenar	Más difícil de entrenar (durante mucho tiempo no se supo cómo)
Soluciona familia de problemas restringida (problemas linealmente separables ó linealmente independientes)	Capacidad para representar funciones multidimensionales se expande cualitativamente. Puede representar cualquier función booleana y continua en general

Convergencia: Teorema de Funahashi

Enunciado:

Sean

$\phi(x)$ una función continua, no constante, acotada y monótona creciente
$K$ un subconjunto compacto de $\R^n$
$f: K \to \R$ continua

Dado un $\epsilon \in \R$, $\epsilon > 0$ arbitrario, existen

$N$ entero y
constantes reales $C_i$, $\theta_i$, $W_{ij}$ con $1 \leq i \leq N$ y $1 \leq j \leq n$

tales que

$$ \tilde{f}(x_1, ..., x_n) = \sum_{i = 1}^N C_i\cdot \phi\Bigg(\sum_{j = 1}^n W_{ij} \cdot x_j - \theta_i\Bigg) $$

satisface

$$ \max_{x \in K} |f(x_1, ..., x_n) - \tilde{f}(x_1, ..., x_n)| < \epsilon $$

Interpretación:

Dado el problema de aproximar mediante un perceptrón multicapa una función de $\R^n \to \R$ definida sobre un dominio $K$ compacto, y contando con una función $\phi$ que cumplirá el rol de una función sigmoidea; no importa el nivel de precisión $\epsilon$ que elijamos, siempre existirán valores $W_{ij}$ (pesos), $\theta$ (umbrales) y $N \in \R$ que combinados en una función aproximante $\bar{f}$ garanticen que la diferencia entre el valor original y el de la aproximante en cualquier punto del dominio $K$ es menor a $\epsilon$.

Al mirar $\bar f$ con cuidado, podemos ver que no es otra cosa que un perceptrón multicapa con una capa intermedia con activación sigmoidea y activaciones lineales ($c_i$) en la capa de salida.

Observaciones:

Este resultado se generaliza fácilmente a cualquier dimensión de salida (es decir, $f : \R^n \to \R^m$)
También tiene validez sustituyendo la norma del máximo por cualquier norma $L_p$
El hecho de que a la capa de salida se le aplique una función lineal y no sigmoidea permite que la función original $f$ pueda asumir valores arbitrarios
La condición esencial para garantizar la capacidad universal de representación que postula el teorema es que las activaciones intermedias sí sean sigmoideas