Saltar al contenido
← Catálogo
AvanzadoTransformersPapersAtenciónNLPPyTorch

Attention Is All You Need

El paper que reescribió la IA, línea por línea

Desarmamos el paper de 2017 que introdujo el Transformer: de por qué las RNN se volvieron un cuello de botella hasta cada decisión de diseño de la arquitectura. Ecuaciones, intuición geométrica, código en PyTorch y visualizaciones interactivas para que entiendas no solo qué hace cada pieza, sino por qué está ahí.

Empezar curso →10 lecciones · 3 h 17 min de lectura activa

Temario

  1. Módulo 1 · El problema

    1. Antes del Transformer: el cuello de botella de la recurrenciaPor qué las RNN y seq2seq dominaban la traducción automática, qué resolvió la atención de Bahdanau y por qué eso no alcanzaba.18′

  2. Módulo 2 · El mecanismo de atención

    1. Scaled dot-product attention: Q, K, V y el misterioso √d_kDerivamos la operación central del Transformer, entendemos queries, keys y values como una búsqueda difusa y demostramos por qué hay que dividir por √d_k.22′
    2. Multi-head attention: muchas miradas en paraleloPor qué el Transformer divide la atención en varias cabezas, cómo se manejan las formas de los tensores y qué aprenden las cabezas en la práctica.20′
    3. Positional encoding: devolverle el orden a las palabrasPor qué la atención es ciega al orden, cómo funcionan las codificaciones sinusoidales, su propiedad de posición relativa y cómo evolucionaron hacia RoPE y ALiBi.20′

  3. Módulo 3 · La arquitectura completa

    1. La arquitectura completa: encoder, decoder y máscarasEnsamblamos el Transformer: bloques encoder y decoder, conexiones residuales con LayerNorm, la red feed-forward por posición y la máscara causal, con una implementación completa en PyTorch.25′
    2. Feed-forward, residuales y LayerNormEl resto del bloque: la red de cada token, la suma que no reemplaza y la normalización, antes o después18′
    3. Entrenamiento, resultados y legadoLa receta de entrenamiento del paper (warmup, label smoothing, BPE), los resultados en WMT 2014 y cómo el Transformer dio origen a BERT, GPT, ViT y a la carrera contra el costo cuadrático.22′
    4. Resultados y ablacionesQué es BLEU, calculado a mano; las tablas 2 y 3 del paper; y tres ablaciones repetidas en chico16′

  4. Módulo 4 · Hasta hoy

    1. Del transformer de 2017 a GemmaSolo decoder, RMSNorm antes y después, RoPE, GQA y la FFN con compuerta, en Gemma 2 2B de verdad18′
    2. Implementarlo enteroUn transformer encoder-decoder desde cero, con todas las piezas de la serie, entrenado para ordenar18′

Al terminar podrás

  • Explicar por qué la recurrencia limita el paralelismo y el flujo de información en secuencias largas
  • Derivar la atención de producto punto escalada y justificar el factor 1/√d_k con un argumento de varianza
  • Implementar multi-head attention en PyTorch razonando sobre formas de tensores y costo computacional
  • Entender las codificaciones posicionales sinusoidales y su conexión con RoPE y ALiBi
  • Construir un bloque encoder/decoder completo con máscaras causales, residuales y LayerNorm
  • Analizar la receta de entrenamiento del paper y ubicar su legado: BERT, GPT, ViT y la búsqueda de atención sub-cuadrática