Saltar al contenido
← Catálogo
IntermedioMatemáticaÁlgebra linealPyTorch

Álgebra lineal para LLMs

La matemática detrás de cada fórmula de un LLM

Todos los conceptos matemáticos detrás de las fórmulas de un LLM: vectores, matrices, normas, proyecciones, SVD, softmax, probabilidad, gradientes y optimización. Cada uno con su dibujo y su línea de PyTorch.

Empezar curso →10 lecciones · 2 h 48 min de lectura activa

Temario

  1. Módulo 1 · Vectores y matrices

    1. Vectores y producto puntoSimilitud, ángulo y por qué una probe es un producto punto17′
    2. Matrices: fila por columnaFormas, una matriz como función, y buscar una fila17′
    3. Transpuesta, producto exterior y rangoPor qué BA tiene rango bajo y qué edita ROME17′
    4. Normas y normalizaciónL0, L1, L2, LayerNorm y RMSNorm17′

  2. Módulo 2 · Descomposiciones

    1. Proyecciones y bases ortogonalesI − r̂r̂ᵀ, ablación direccional y superposición17′
    2. Autovalores, SVD y rango bajoDirecciones que no giran, valores singulares y por qué LoRA alcanza16′

  3. Módulo 3 · Probabilidad y cálculo

    1. Exponencial, logaritmo y softmaxLogits a probabilidades, log-sum-exp sin overflow y temperatura16′
    2. Probabilidad: esperanza, entropía y KLPromedios pesados, sorpresa, entropía cruzada y la divergencia de Kullback-Leibler18′
    3. Gradientes y la regla de la cadenaDerivadas, Jacobianos y backprop, con números que se pueden seguir16′
    4. OptimizaciónDescenso por gradiente, Adam, y el multiplicador de Lagrange detrás de π17′