Entrenamiento con backpropagation¶
El entrenamiento es la parte más compleja. En el entrenamiento debemos optimizar los pesos con base a una función de riesgo que, en este caso, será la entropía cruzada:
$$R = -\sum_i \delta_{y,i} \ln f_i(x)$$
donde $f_i(x)$ es la $i$-ésima neurona de salida de la red y $\delta_{y,i}$ se define como:
$$\delta_{y,i} = \begin{cases} 1 & \text{si } y=i \\
0 & \text{en otro caso} \end{cases}$$
El algoritmo de backpropagation se determina de la siguiente forma:
Donde, para este caso particular, la variable de salida depende de la entropía cruzada y la activación Softmax, por lo que es:
$$d_{out}(j) = \frac{\partial R(\theta)}{\partial f_j} \frac{\partial f_j}{\partial a^{(out)}} = f_j - \delta_{y,j}$$
Para las capas ocultas, como usamos activación de tangente hiperbólica, las variables de backpropagation son de la forma:
$$d_{k}(j) = \big(1-(h^{(k)})^2\big) \sum_q W^{(k+1)}_{j,q} d_{k+1}(q)$$
Se debe crear un método train que calcule estas variables y actualice los pesos por cada capa. el esbozo de este método se presenta a continuación:
def train(self, x_train,y_train, lr=0.01,epochs=100):
for t in range(epochs):
for x,y in train_data:
#FORWARD
...
#BACKWARD
#Variable en la salida
d_out = # Derivada de riesgo por derivada de activación en salida
self.w_output -= lr*np.outer(d_out, h[-1])
#Variables en las capas ocultas
d = # Guarda las variables en cada capa oculta
for k in range(0, number_of_hidden_layers)[::-1]: #Recorre las capas en sentido inverso
#Se calculan las variables y se actualizan los pesos
...
#Backprop en la capa de entrada
d_in = # Variable para capa de entrada
self.w_in -= lr*np.outer(d_in, x)
self.b_in -= lr*d_in
