二三事

关键词：偏好优化、强化学习 (RL)、Bradley-Terry 模型、RLHF、策略梯度、Actor-Critic、TRPO、PPO、DPO。