Saltar al contenido
← Catálogo
ExpertoArquitecturasPapersEficiencia

Mixture of Experts

Más parámetros, mismo cómputo por token

Routing, balanceo de carga y capacidad de expertos: de Switch Transformer a los MoE modernos.

Empezar curso →10 lecciones · 2 h 38 min de lectura activa

Temario

  1. Módulo 1 · La idea

    1. Muchos parámetros, poco cómputoCómputo condicional: parámetros totales contra parámetros activos por token16′
    2. El routerLogits, softmax, top-k y renormalizar: y por qué el gradiente solo llega a los elegidos17′
    3. Una capa MoE desde ceroDispatch y combine en PyTorch: agrupar tokens por experto, una llamada por experto, devolver en orden14′

  2. Módulo 2 · Balanceo y estabilidad

    1. El router que colapsaSin presión, el router manda todo a pocos expertos. La pérdida de balanceo de Switch, número por número16′
    2. Capacidad y tokens descartadosCada experto procesa a lo sumo C tokens: capacity factor, overflow y la conexión residual15′
    3. Switch y la estabilidadUn solo experto por token, el router en float32 y la router z-loss17′

  3. Módulo 3 · MoE modernos

    1. Expertos finos y compartidosPartir cada experto en pedazos, sumar uno que siempre trabaja, y medir si ayuda15′
    2. Balancear sin pérdida auxiliarUn sesgo por experto que solo sirve para elegir: el balanceo de DeepSeek-V315′
    3. Qué aprende cada expertoAbrir el router de Granite y mirar a quién manda cada token16′
    4. El costo de verdadMemoria, batch, all-to-all entre placas y upcycling de un modelo denso17′