阿里妈妈2018的DIN & DIEN

### 深度兴趣演化网络（DIEN）模型概述 深度兴趣演化网络（Deep Interest Evolution Network, DIEN）是一种专门用于提升点击率（CTR）预测性能的深度学习模型。该模型的核心在于捕捉用户的动态兴趣变化并对其进行建模，从而更精准地预测用户的行为倾向。 #### 1. **DIEN 的背景与动机** 在推荐系统领域，传统的 CTR 预测方法通常基于静态特征表示，无法有效应对用户兴趣随时间演化的复杂性。DIEN 提出了两个关键模块——**兴趣提取层（Interest Extractor Layer）** 和 **兴趣演化层（Interest Evolving Layer）** 来解决这一问题[^2]。这些模块能够更好地捕获用户的历史行为序列中的短期和长期兴趣，并通过 GRU 结构进一步增强对目标项目的关注。 --- #### 2. **DIEN 架构详解** ##### （1）输入层 DIEN 的输入主要由两部分组成： - 用户历史行为序列 $ \{h_1, h_2, ..., h_n\} $ 表示用户过去的交互记录。 - 当前候选物品 $ x_t $ 是待评估的目标商品或广告。 ##### （2）兴趣提取层 兴趣提取层利用带有时序关系的兴趣抽取器来生成用户兴趣向量集合。具体来说，此阶段采用了一个改进版的 GRU 单元，称为 **AUGRU（Attention-based Update Gate Recurrent Unit）**，它可以自适应调整隐藏状态更新的程度，使得模型更加专注于那些与当前目标高度相关的兴趣点[^4]。 ##### （3）兴趣演化层 为了模拟用户兴趣的变化轨迹，DIEN 设计了兴趣演化层。在此过程中引入了一种特殊的注意机制，即 **辅助损失函数驱动的注意力计算方式**，这不仅提高了模型对于重要事件的关注能力，还减少了无关噪声带来的干扰影响[^5]。 最终输出经过全连接神经网络映射至概率空间完成二分类任务。 --- ### Python 实现代码片段 以下是基于 TensorFlow/Keras 的简化版本实现： ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Embedding, Concatenate, Dropout from tensorflow.keras.models import Model from tensorflow.keras.regularizers import l2 def AUGRU(units): """定义 Attention-based Update Gate Recurrent Unit""" def __call__(self, inputs, states, attention_score=None): xt = inputs ht_minus_1 = states[0] zt = tf.sigmoid(tf.matmul(xt, self.Wz) + tf.matmul(ht_minus_1, self.Uz)) rt = tf.sigmoid(tf.matmul(xt, self.Wr) + tf.matmul(ht_minus_1, self.Ur)) candidate_ht = tf.tanh( tf.matmul(xt, self.Wh) + tf.multiply(rt, tf.matmul(ht_minus_1, self.Uh)) * attention_score[:, None] ) ht = (1 - zt) * ht_minus_1 + zt * candidate_ht return ht, [ht] class DIEN(Model): def __init__(self, num_users, num_items, embedding_dim=64, hidden_units=128): super(DIEN, self).__init__() self.user_embedding = Embedding(num_users, embedding_dim) self.item_embedding = Embedding(num_items, embedding_dim) self.gru_layer = tf.keras.layers.GRU(hidden_units, return_sequences=True) self.augru_layer = AUGRU(hidden_units) self.dense_output = Dense(1, activation='sigmoid') def call(self, inputs): user_ids, item_seq, target_item = inputs # 嵌入操作 seq_embeddings = self.item_embedding(item_seq) target_emb = self.item_embedding(target_item) # 兴趣提取层 gru_out = self.gru_layer(seq_embeddings) # 计算注意力分数 att_scores = tf.nn.softmax(tf.reduce_sum(gru_out * target_emb[:,None,:], axis=-1), axis=1) # 利用 AUGRU 更新状态 augru_outputs = [] state = tf.zeros_like(gru_out[:,0]) for t in range(gru_out.shape[1]): output, state = self.augru_layer(gru_out[:,t:t+1], initial_state=[state], attention_score=att_scores[:,t]) augru_outputs.append(output) final_interests = tf.concat(augru_outputs, axis=1) # 输出层 concat_input = Concatenate()([final_interests[:,-1], target_emb]) logits = self.dense_output(concat_input) return logits ``` 上述代码展示了如何构建一个基础框架下的 DIEN 模型结构，其中包含了 AUGRU 层的设计思路以及整体流程逻辑[^3]。 --- ###