Saltar al contenido
← Catálogo
Intermediotransformersgptpytorchtokenizacionatencionllm

Transformers desde cero

Construye un GPT pequeño en PyTorch, línea por línea

Un curso práctico donde implementas cada pieza de un modelo de lenguaje tipo GPT: tokenizador BPE, embeddings, atención causal, bloques Transformer, entrenamiento y generación. Al final tienes un mini-GPT que entrena en tu laptop y entiendes por qué cada decisión de diseño está ahí.

Empezar curso →6 lecciones · 2 h 18 min de lectura activa

Temario

  1. Módulo 1 · Del texto a los vectores

    1. Tokenización: de texto a enteros con BPEImplementas Byte Pair Encoding desde cero y entiendes por qué casi todos los LLM modernos tokenizan en subpalabras.20′
    2. Embeddings: enteros que se vuelven geometríaConviertes ids de tokens en vectores, les sumas información de posición y compartes pesos entre la entrada y la salida del modelo.18′

  2. Módulo 2 · La arquitectura

    1. Self-attention causal, multi-cabezaImplementas la atención causal con máscara, la divides en cabezas y verificas con un test que el modelo no puede espiar el futuro.25′
    2. El bloque Transformer y la clase GPT completaCombinas atención, MLP, LayerNorm y conexiones residuales en un bloque pre-LN y ensamblas un GPT completo que ya produce logits y loss.25′

  3. Módulo 3 · Entrenar y generar

    1. Entrenar el modelo: datos, loss, AdamW y schedulesEscribes el loop de entrenamiento completo, eliges optimizador y schedule de learning rate, y aprendes a leer curvas de loss para detectar problemas.25′
    2. Generación: decoding, sampling y KV cacheConviertes logits en texto con greedy, temperatura, top-k y top-p, y aceleras la inferencia guardando keys y values en un KV cache.25′

Al terminar podrás

  • Implementar un tokenizador BPE desde cero y explicar sus trade-offs frente a tokenizar por caracteres o palabras
  • Escribir un módulo de self-attention causal multi-cabeza con máscara y verificar que no filtra información del futuro
  • Ensamblar una clase GPT completa (embeddings, bloques pre-LN, weight tying) y razonar sobre el residual stream
  • Entrenar el modelo con AdamW, warmup y cosine decay, y diagnosticar curvas de loss y overfitting
  • Generar texto con greedy, temperatura, top-k y top-p, y acelerar la inferencia con un KV cache