Capa de LSTM¶
Para generar la capa de LSTM como un nodo en nuestra gráfica computacional, definiremos dos pasos: el forward y el backward. Asimismo, definiremos todos los pesos de las matrices de la LSTM. Recordemos que la LSTM cuenta con tres puertas $i, o$ y $f$, además genera un candidato $\hat{c}$, donde cada una de estas puertas requiere de una matriz de pesos para los estados anteriores (recurrencias), una matriz de pesos para la entradas, y un bias. Es decir, requerimos 8 matrices de pesos y 4 bias. Estos se inicializan aleatoriamente.
Forward¶
En el paso forward, se calculan los valores de salida de la red, para esto, se estiman primero las tres compuertas principales del LSTM:
$$i_t = \sigma(U^ix^{(t)} + V^ih^{(t-1)} + b^i)$$$$o_t = \sigma(U^ox^{(t)} + V^oh^{(t-1)} + b^o)$$$$f_t = \sigma(U^fx^{(t)} + V^fh^{(t-1)} + b^f)$$Asimismo, se define el candidato a sombra de la forma:
$$\hat{c}_t = \tanh(U^cx^{(t)} + V^ch^{(t-1)} + b^c)$$La sombra (la información que se mandará al siguiente estado) se define a partir de estas compuertas de la siguiente forma:
$$c_t = f_t \odot c_{t-1} + i_t \odot \hat{c}_t$$Es justamente aquí donde radica el paso central de las LSTM, pues se procesan los estados anteriores multiplicando por la compuerta $f_t$ que se encargará de filtrar aquellas cosas que sean relevantes para el estado actual. Asimismo, la información actual, almacenada en $\hat{c}_t$ se multiplicará con la compuerta $i_t$ que se enfocará en "escribir" la información relevante para el estado.
Finalmente, en la celda de salida para este estado se aplicará la función de tangente hiperbólica para escalar los valores en $c_t$ y se "leerá" por medio de la compuerta $o_t$. Tenemos entonces:
$$h_t = o_t \odot \tanh(c_t)$$
Backward¶
El backward es quizá el paso más pesado en una LSTM. En este paso, se deben estimar las derivadas de la capa para actualizar los pesos por medio de un optimizador basado en descenso por gradiente. En las redes recurrentes, recordemos que las función de riesgo (u objetivo) considera la suma sobre los diferentes tiempos:
$$R(\theta) = \sum_t \sum_y L_t(f_y(x)^{(t)}, y^{(t)})$$Derivar sobre los pesos de la capa LSTM implicará, primero, entrar por medio de la retro-propagación, a esta capa. Para derivar sobre cada uno de los pesos de LSTM, tenemos que considerar el orden en que se ejecutan; es decir, debemos fijarnos en cómo se ejecuta la gráfica computacional.
En primer lugar, estaremos almacenando una variable que acumule las derivadas en los estados superiores de las recurrencias. Esta variable será de la forma:
$$d_{st} = \sum_t \sum_y \frac{\partial L_t}{\partial h_t} o_t(1-tanh(c_t)^2)$$Donde el término $\sum_y \frac{\partial L_t}{\partial h_t}$ son las derivadas en las capas superiores en el tiempo $t$.
Podemos ver que los pesos que están más arriba en esta gráfica son los que corresponden a la compuerta $o_t$, pues ésta es la que se encuentra en la salida de la capa; entonces, podemos empezar derivando sobre los pesos en esta capa:
$$\frac{\partial R(\theta)}{\partial V_i^o} = \sum_y \frac{\partial L_t}{\partial h_t} o_t (1-o_t) \odot \tanh(c_t) h_i^{t-1}$$El término $\frac{\partial L_t}{\partial h_t}$ es justamente la derivada en la capa superior. Por lo que sólo tenemos que fijarnos en la última parte. Como $o_t$ es la función sigmoide, su derivada es $o_t(1-o_t)$ el otro término se toma como constante. En el caso de derivar sobre $U^{(o)}$, sólo cambia el último término por $x^{(t)}$.
La siguiente operación que ejecuta la capa LSTM es el cálculo de $c_t$ en donde entran en juego las compuertas restantes. Aquí podemos derivar las compuertas en cualquier orden, y cada una de ellas tendrá una apariencia similar. Tomemos los siguientes casos:
- Candidato $\hat{c}_t$: $$\frac{\partial R(\theta}{\partial V^c_i} = d_{st}\odot i_t \odot(1-\hat{c}_t^2) h_i^{(t-1} $$
- Compuerta escritura $i_t$: $$\frac{\partial R(\theta}{\partial V^i_i} = d_{st}\odot i_t(1-i_t) \hat{c} h_i^{(t-1} $$
- Compuerta olvido $f_t$: $$\frac{\partial R(\theta}{\partial V^f_i} = d_{st}\odot f_t(1-f_t) c_{t-1} h_i^{(t-1} $$
Para los casos de las matrices $U^f, U^i, U^c$ las derivadas sólo cmabian en el último término por el vector de entrada $x^{(t)}$. En los bias, este mismo término cambia por un valor 1. Por tanto, estos términos se guardarán como variables para usarse en la derivación de los términos.
En nuestra implementación, en lugar de acumular la derivada a través de los tiempos, actualizamos los pesos en cada tiempo $t$.