1. 论文贡献

该论文提出了一个基于DQN的推荐框架，用于解决以下3个问题：

1. 当前的推荐系统很难动态地推荐新闻
   新闻的动态性表现在两个方面：（1）新闻的时效性强，新闻内容很容易过时；（2）用户对不同新闻的兴趣会随着时间的推移而不断变化。
2. 当前的强化方法利用的用户反馈信息不足
   大多数方法只将新闻是否被点击，或者用户对新闻的评分作为用户反馈，这是不够的。
3. 当前的推荐系统总是向用户推荐类似的项目
   如果推荐系统总是推送相同的东西，会导致用户的兴趣下降，因此需要提高推荐多样性。

解决方法是：

1. 采用DQN的强化方法，可以综合考虑当前的奖励和未来的奖励；
2. 将用户与应用程序的交互频率作为一种用户的主动反馈；
3. 采用了DBGD(Dueling Bandit Gradient Descent)探索策略，用于随机选择浏览项附近的其他项目，既提升了推荐的多样性，同时这种探索策略可以避免推荐完全不相关的项目（例如，$ϵ$贪婪策略可能会推荐出完全不相关的项目），从而保持更好的推荐准确性。

2. 模型架构

小更新只用用户点击数据对主网络和目标网络进行更新；
大更新同时用用户点击数据和用户活跃度对主网络进行更新。

2.1. 特征构造

论文构造了以下四个特征用于预测用户是否会点击一个特定的新闻：

1. 新闻特征
   新闻标题、供稿人、排名、实体名称、分类类别、主题类别，以及过去1小时、6小时、24小时、1周和1年的点击计数。
2. 用户特征
   用户分别在1小时、6小时、24小时、1周和1年内点击过的新闻及其特征。
3. 用户-新闻交互特征
   用户与某条新闻之间的交互记录。
4. 上下文特征
   用户获取新闻时的背景信息，包括时间、日期和新闻的新鲜度（请求新闻时间和新闻发布时间之间的差值）。

这些特征将作为状态 $s$ 被输入DQN进行训练，但在本论文中，Q函数被设计为V函数（价值函数）与A函数（优势函数）的组合：

如图所示，用户特征和上下文特征被输入V函数，用户特征、上下文特征、用户-新闻交互特征和新闻特征被输入A函数。

优势函数 $A(s,a)$ 表示在状态 $s$ 下，某动作 $a$ 做出后的价值相对于平均价值$V(s)$而言的差值：$$A(s,a)=Q(s,a)-V(s)$$$$Q(s,a)=A(s,a)+V(s)$$把$Q$值分为价值函数$V$和优势函数$A$来训练有助于提高策略的学习效率，更容易地发现那个动作 $a$ 更好。

2.2. 深度强化学习模型

奖励公式定义为：$$y_{s,a}=Q(s,a)=r_{immediate}+\gamma r_{future}$$其中，状态 $s$ 是上下文特征和用户特征 ；动作 $a$ 是用户-新闻交互特征和新闻特征 ；$r_{immediate}$ 表示当前状态时的立即奖励（用户是否点击此新闻）；$r_{future}$ 表示对未来奖励的预测；$\gamma$ 是折扣因子。

以上公式在DQN中表示为：$$y_{s,a,t}=r_{a,t+1}+\gamma Q(s_{a,t+1},\underset{a^{\prime }}{\mathrm{argmax}}Q(s_{a,t+1},a^{\prime };{\mathsf{W}}_t);{\mathsf{W}}_t^{\prime })$$其中，$r_{a,t+1}$表示采取动作 $a$ 后获得的立即奖励，$t+1$是因为奖励总是延迟一个时间步的；${\mathsf{W}}_t$和${\mathsf{W}}_t^{\prime }$分别的DQN的主网络和目标网络(探索网络)的参数；$a^{\prime }$是DQN估计的在状态$s_{a,t+1}$时的动作；在一定次数的迭代后，${\mathsf{W}}_t^{\prime }$将被更新到${\mathsf{W}}_t$

2.3. 用户的主动反馈

论文将用户与应用程序交互的频率作为用户的主动反馈信息，与用户是否点击某些推荐项一起作为用户反馈信息。

论文使用生存模型来建模用户的主动反馈。生存分析用于估计用户的返回时间，假设 $t$ 是当前时间， $T$ 是下一次用户返回的时间，那么衰减率可以被定义为： λ ( t ) = lim ⁡ d t → 0 P r { t ⩽ T < t + d t ∣ T ⩾ t } d t \lambda(t)=\lim_{\mathsf{d}t\to 0}\frac{Pr\{t\leqslant T < t+\mathsf{d}t\quad|\quad T\geqslant t\}}{\mathsf{d}t} λ(t)=dt→0lim​dtPr{ t⩽T<t+dt∣T⩾t}​该公式表示当返回时间与当前时间的差值 $T-t$ 越大时，衰减率越大；当$T-t$ 越小时，衰减率越小，即用户返回的概率越大。为了简化问题，论文设定 $\lambda (t)$为一个固定的参数${\lambda }_0$，也就是每个用户的衰减率被定义为恒定值。

那么，$t$ 时间后用户的活跃度可以定义为：$$S(0)=0.5$$$$S(t)=e^{-{\int }_0^t\lambda (x)\mathsf{d}x}⩽1$$

则用户活跃度从当前点降为0所用的时间 $T_0$ （即用户存活期）可以表示为：$$T_0={\int }_0^{\infty }S(t)\mathsf{d}t$$

每当应用程序检测到用户的返回时，就将这个用户的活跃度加上一个特定值：$S(t)=S(t)+S_a$。

论文将上述的几个参数分别设定为：${\lambda }_0=1.2\times 10^{-5}$每秒；$S_a=0.32$；$T_0=24$小时。这样的设置可以实现当用户每天访问应用程序一次时，活跃度保持不变：$$S_0{e}^{-{\lambda }_0{T}_0}+S_a=S_0$$以 $S_0=0.5$ 为例：$$0.5e^{-1.2\times 10^{-5}\times 12\times 60\times 60}+0.32\approx 0.5$$

如图所示，该特定用户的用户活跃度在时间0时从$S_0=0.5$开始衰减。在时间戳 $t_1$ 时，用户返回，此时用户活跃度$+S_a$。然后，$t_1$后用户活跃度继续衰减。由于论文设定活跃度最大为1，所以该用户在 $t_4$ 到 $t_9$ 期间的用户活跃度被截断为1。

结合用户点击反馈和用户活跃度反馈，立即回报就被定义为：$$r_{immediate}=r_{totle}=r_{click}+\beta r_{active}$$其中，$\beta$ 是权重参数。

2.4. 探索策略

论文采用了DBGD(Dueling Bandit Gradient Descent)探索策略。该策略通过向主网络的参数添加噪声数据来构造新的网络参数，并把该参数作为探索网络的参数，然后利用探索网络生成推荐项，与主网络生成的推荐项合并成推荐列表，推送给用户。如下图所示：

模型更新公式表示为：$$\Delta \mathsf{W}=\alpha \cdot \text{text}(-1,1)\cdot \mathsf{W}$$$$\tilde{W}=\mathsf{W}+\Delta \mathsf{W}$$$${\mathsf{W}}^{\prime }=\mathsf{W}+\eta \tilde{W}$$根据用户点击的推荐项属于 $\mathsf{W}$ 和 $\tilde{W}$ 的比例来调整 $\eta$ 值，然后在进行下一次推荐之前将参数 ${\mathsf{W}}^{\prime }$ 更新到主网络。