MecanismosAtencion

Notebooks sobre atención y Transfomers

Los siguientes notebooks corresponden al curso de Mecanismos de atención en Transformers, cuyas versiones en html se pueden encontrar en este enlace.

  1. Atención en RNNs
  2. Auto-atención
  3. Embeddings y codificación posicional
  4. Normalización
  5. Cabezas de atención
  6. Auto-atención enmascarada
  7. Atención dispersa
  8. Optimizador Noam
  9. Transformador

El script con los móulos utilizados en los notebooks se puede encontar aquí.