二三事

依 MoE 演进时间线，以文献综述的形式梳理 MoE 算法的理论发展。限于篇幅，本文在 DeepSeekMoE 处结束。

从 RNN、BPTT 到 Attention 与 Transformer 的数学原理，系统分析梯度传播、Self-Attention、因果掩码与 KV Cache 等机制的理论逻辑。

推导并实践 BP 算法。类似 Pytorch 中的定义实现一个 MLP，该 MLP 支持通过计算图进行自动微分与反向传播，并对自动微分机制给出微积分推导证明。