机器学习项目mlcourse.ai中的关联规则学习：Python与R实战指南

机器学习项目mlcourse.ai中的关联规则学习：Python与R实战指南

关联规则学习基础：从啤酒与尿布说起

关联规则学习(Association Rules Learning, ARL)是数据挖掘领域中一种简单但实用的方法，用于发现数据集中的关联关系。这种方法最早由Piatesky-Shapiro在1991年提出，随后Agrawal等人在1993-1994年进一步发展完善。

经典案例：啤酒与尿布的关联

最著名的关联规则案例来自1992年Teradata咨询团队对Osco Drug超市120万笔交易的分析。他们发现一个反直觉的强关联规则："在下午5-7点，啤酒和尿布经常被一起购买"。虽然最初管理层不相信这个发现，但后来发现这反映了年轻父亲的行为模式——下班后被妻子派去买尿布时，顺便给自己买啤酒。

关联规则的核心概念

数据表示形式

关联规则分析的数据通常表示为：

• 事务(Transaction)：如购物小票
• 项集(Itemset)：事务中的商品集合
• 项(Item)：单个商品

数据可以表示为稀疏矩阵，其中1表示购买，0表示未购买。例如：

| 事务ID | 啤酒 | 尿布 | 可乐 | |--------|------|------|------| | 1 | 1 | 1 | 1 | | 2 | 0 | 1 | 0 | | 3 | 1 | 0 | 1 |

关键指标

支持度(Support)

支持度表示项集在所有事务中出现的频率：

$$supp(X) = \frac{\text{包含X的事务数}}{\text{总事务数}}$$

例如，啤酒和尿布同时出现的支持度为2/5=40%。

置信度(Confidence)

置信度表示规则的可信程度：

$$conf(X→Y) = \frac{supp(X \cup Y)}{supp(X)}$$

这类似于条件概率P(Y|X)。啤酒→尿布的置信度为(2/5)/(3/5)=67%。

提升度(Lift)

提升度衡量项之间的依赖程度：

$$lift(X→Y) = \frac{supp(X \cup Y)}{supp(X) \times supp(Y)}$$

提升度>1表示正相关。啤酒和尿布的提升度为1.11，表示这个组合比随机购买强11%。

确信度(Conviction)

确信度衡量规则的错误频率：

$$conv(X→Y) = \frac{1-supp(Y)}{1-conf(X→Y)}$$

值越大表示规则越强。啤酒和尿布的确信度为1.81。

关联规则算法

暴力搜索算法

暴力搜索是最简单但效率最低的方法：

1. 生成所有可能的项集组合
2. 计算每个组合的支持度
3. 筛选满足最小支持度的项集

复杂度为O(2^|I|)，仅适用于小规模数据。例如34个商品就需要128GB内存。

Apriori算法

Apriori算法利用"频繁项集的子集也必须是频繁的"这一先验性质，通过逐层搜索来高效发现频繁项集。

算法步骤：

1. 扫描数据库，找出所有频繁1-项集
2. 使用频繁k-项集生成候选(k+1)-项集
3. 剪枝：删除包含非频繁k-子集的候选
4. 重复直到不能生成更大的频繁项集

Apriori通过减少候选集数量显著提高了效率，是关联规则挖掘的经典算法。

实际应用建议

1. 数据预处理：将交易数据转换为适合分析的格式（如稀疏矩阵）
2. 参数调优：合理设置最小支持度和置信度阈值
3. 结果解释：不仅关注统计指标，还要结合实际业务理解规则含义
4. 算法选择：根据数据规模选择合适算法，大数据可考虑FP-Growth等更高效方法

关联规则学习虽然概念简单，但在零售、推荐系统、医疗诊断等领域都有广泛应用。理解其核心原理并掌握实现方法，可以帮助我们从数据中发现有价值的关联模式。