¶强化学习基础

对于大语言模型(LLM)，在强化学习的语言中，状态是token序列的每个前缀，动作是新的token：

是一个长度为$T$的token序列，其中初始状态$s_0$是prompt。 我们假设：

• prompt的分布为 $s_0\sim {\rho }_0(\cdot )$，${\rho }_0$与LLM无关，因为它是由人类选择的。
• 新token的分布为 $a_t\sim {\pi }_{\theta }(\cdot |s_{t-1})$，其中${\pi }_{\theta }$是LLM，通常是一个多头多层的Transformer神经网络。
• 前缀和新token之间的状态转移关系是 $s_t\sim \rho (\cdot |s_{t-1},a_t)$。目前，由于$a_t$是下一个token，所以这个关系是确定性的$s_t=(s_{t-1},a_t)$。

¶优化目标

其中 $r(y|x)=\frac{1}{T}{\sum }_{t=1}^{T}r(y_t|x,y_{<t})$ 是响应序列中每个token的平均奖励，并且

这是策略模型和参考模型之间下一个token分布的平均KL散度。

• 四模型架构
  • 策略模型 ${\pi }_{\theta }(y|x)$ (参与训练)，一个LLM；
  • 参考模型 ${\pi }_{\text{ref}}(y|x)$ (冻结)，一个LLM；
  • 价值模型 $v_{\mu }(y|x)$ (参与训练)，一个LLM + 线性头；
  • 奖励模型 $r(y|x)$ (冻结)，一个LLM + 线性头。

¶算法

设$T$是响应序列中的token数量。对于LLM，状态由token序列前缀定义 $s_t=[x,y_{<t}]$，动作由下一个token定义 $a_t=y_t$。

1. 合并奖励和KL惩罚：

2. 策略梯度：

其中 $A_t:=A^{{\pi }_{\theta }}(a_t,s_t)=Q^{{\pi }_{\theta }}(a_t,s_t)-V^{{\pi }_{\theta }}(s_t)$ 是优势函数。我们将使用神经网络 $v_{\mu }(s)$ 来估计价值函数 $V^{{\pi }_{\theta }}(s)$。

3. 估计策略梯度：通过蒙特卡罗采样估计梯度（注意我们不能直接获得优势函数$A_t$）。

4. 通过token级别采样估计KL散度：

5. 使用广义优势估计（GAE）估计优势函数$A_t$： 引入参数$\gamma \in (0,1)$，通过降低长期奖励的权重来减少方差，但代价是引入偏差。优势函数的估计有两种直接的方法，但他们各有利弊：

   • TD残差（低方差但高偏差）：

• 累积（低偏差但高方差）：

考虑多步TD残差：

GAE使用$\lambda$-指数加权的无限多步TD残差，这样可以平衡方差与偏差的tradeoff：

其中 ${\delta }_t=r(a_t|s_t)+\gamma v_{\mu }(s_{t+1})-v_{\mu }(s_t)$。对于有限时域$T$，取 ${\hat{A}}_t={\sum }_{k=0}^{T-t-1}(\gamma \lambda {)}^k{\delta }_{t+k}$。$\gamma$和$\lambda$在原始论文中都是方差减小参数。

6. 最大化优势（Actor损失）：

   【这里好像有误！PPO似乎也犯了用无偏估计的梯度来做梯度的无偏估计的错误！】

   我们想要更新的是分布中的参数，但却只能拿到从这个分布抽出来的样本，所以需要使用重要性采样技巧，利用一个proposal分布来估计target分布的期望，PPO中的proposal分布选取为 $y\sim {\pi }_{{\theta }_{\text{old}}}(\cdot |x)$（外循环中的上一次迭代）。

更新分布参数的另一种方法是使用对数变换 ${\nabla }_{\theta }{E}_{{\pi }_{\theta }}[f]=E_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }\cdot f]$，但这可能导致高方差。然而，对于微调过的LLM，方差可能不会那么大。

7. 最小化价值函数近似误差（Critic损失）：

其中 $R_t(x^i,y^i)={\hat{A}}_t(x^i,y^i)+v_{{\mu }_{\text{old}}}([x^i,y_{<t}^i])$ 是回报。 注意，回报中涉及的所有值都是由旧批次计算的，而策略使用当前批次。我们不使用当前批次中的值，因为它可能导致优势消失 （价值模型过拟合到当前批次上，导致更新时的优势值很小）。在实践中，我们在策略更新之前还会对价值函数先进行几步预热更新。

8. 最终损失：