二三事

依 MoE 演进时间线，以文献综述的形式梳理大模型 MoE 算法的理论发展。

从 RNN、BPTT 到 Attention 与 Transformer 的数学原理，系统分析梯度传播、Self-Attention、因果掩码与 KV Cache 等机制的理论逻辑。

推导并实践 BP 算法。类似 Pytorch 中的定义实现一个 MLP，该 MLP 支持通过计算图进行自动微分与反向传播，并对自动微分机制给出微积分推导证明。

在泛函分析与测度论的高观点上，重新讨论五种方差缩减技术：控制变量、对偶变量、分层抽样、Rao-Blackwellization 与重要性采样。

线性代数 / 高等代数中的矩阵相关基础理论。

2025 回忆录

游戏《世界计划：缤纷舞台！》（《初音未来：缤纷舞台！》）用户资产数据抓包的详细流程。

攒点抽象文案，可复制食用……