概率逻辑模型中的迁移学习

### 概率逻辑模型中的迁移学习 #### 1. 概率逻辑程序学习基础 概率逻辑程序学习中，带有注释析取的逻辑程序（LPADs）允许在程序规则头部使用析取来表达概率性的多重选择。LPAD逻辑片段基于三种符号：常量、变量和谓词。 - 常量：是领域中特定对象的名称，用 c（可能带有下标）或小写字母开头的单词表示。 - 变量：在领域对象上取值，用 x、y、z 或带下标表示。 - 谓词：表示对象之间的关系或特征，用 P 或大写字母开头的单词表示。 原子的形式为 P(t1, ..., tn)，若每个 ti 都是常量，则为基原子。概率原子是 (a, p) 的形式，其中 a 是原子，p 是概率度（0 ≤ p ≤ 1），表示原子 a 以概率 p 为真。文字是原子或其否定。 LPAD 规则的形式为：(a1 : p1); · · · ; (am : pm) ← b1, ..., bn，其中 (a1 : p1), ..., (am : pm) 是概率原子，b1, ..., bn 是文字，‘;’ 表示析取。其语义由分布语义定义，每个世界通过从 LPAD 规则的基形式头部选择一个原子来建立，头部原子 (ai, pi) 的概率 pi 通过累积其模型将 ai 评估为真的世界的概率来计算。 LPAD 的参数学习由 EMBLEM 执行，它在 BDD 上执行期望最大化（EM）算法。典型输入包括一组基原子、一组 LPAD 规则和一组目标谓词。对于每个目标谓词，EMBLEM 创建一个 BDD 对其解释进行编码，并开始 EM 循环，直到示例的对数似然达到局部最大值。 对于概率逻辑程序的结构学习，学习者需要构建逻辑程序并确定相关参数。例如，SLIPCOVER 学习 LPAD 程序的步骤如下： 1. 从析取规则空间中搜索有前景的规则。 2. 根据数据的似然（LL）寻找良好的细化。 3. 对最佳目标析取程序执行 EMBLEM。 SLIPCOVER 能够学习包括非基程序在内的一般 LPADs。 #### 2. T - LPAD 算法概述 T - LPAD 是一种通过跨领域迁移知识来学习 LPAD 规则的新方法。假设有两个应用领域：源领域和目标领域。源领域相对理解较好，有一组关系数据和一组先前获得的 LPAD 规则；目标领域只有一组关系数据，没有规则。迁移学习任务是为目标领域的给定谓词构建一组与目标领域（训练）数据兼容的 LPAD 规则。 T - LPAD 算法的步骤如下： 1. 为每个领域构建谓词描述（PD），它包含谓词元数、谓词参数及其类型的信息，也可表示为矩阵（PD 矩阵）。 2. 根据源领域和目标领域的两个 PD 矩阵，为每个目标谓词 P 确定一组与给定目标谓词结构相似的源谓词 S(P)。 3. 通过用与源谓词结构相似的目标谓词替换源领域 LPAD 规则中的每个源谓词，为目标领域构建一组 LPAD 规则。 以学术领域（Academic）和电影领域（Movie）为例： - 学术领域 PD：advisedby(person, person), professor(person), student(person), publication(person, title), position(person, +pos) - 电影领域 PD：workunder(person, person), actor(person), movie(title, person), director(person) 学术领域有规则 professor(x) : 0.2 ← publication(x, y)，我们要为电影领域学习关于 director 的规则。 #### 3. PD 图和相似度矩阵 为了提取源领域和目标领域谓词之间的相似度，使用 PD 图和相似度矩阵。 - **PD 图定义**：给定领域 D，其 PD 图 GD 定义如下： 1. GD 的顶点要么是谓词 P/m（m 表示元数），要么是类型 T 或 +T（+ 表示常量类型）。 2. 如果谓词 P 的第 k 个参数是类型 T，则有一条从顶点 P/m 到顶点 T 的有向边，标记为 #k。 - **RDF 编码**：PD 图可以方便地表示为 RDF 三元组，包含三种类型： 1. 谓词 - 类型三元组 (P, #k, T)，表示谓词 P 的第 k 个参数具有类型 T。 2. 谓词三元组 (P, n, predicate)，编码顶点 P 表示元数为 n 的谓词。 3. 类型三元组 (T, cons/var, type)，编码顶点 T 表示常量或变量类型。 通过适应 RDF 匹配器 GMO 提取图匹配矩阵 GM，它将每对谓词映射到一个实数。但 GM 仅基于结构相似性，不能反映图中的不同标签，因此需要进行细化。 计算标签矩阵 LM 来捕获由于不同标签导致的相似度，通过适应的字符串匹配方法比较标签。将 GM 和 LM 线性组合，参数为 β，得到细化矩阵 RM： RM = β ∗ LM + (1 - β)GM RM 可以分为 RMt 和 RMp，分别表示类型和谓词之间的相似度。为了得到最终的相似度矩阵 SM，根据谓词的参数类型进一步细化 RMp： SM(P, Q) = (1 - α) ∗ RMp(P, Q) + α ∗ 1/m ∗ ∑n maxi,j (RMt(TPi,