scala:关联规则

本文介绍了如何使用Scala编程语言实现两种经典的关联规则挖掘算法:FP-Growth和Apriori。通过代码示例展示了这两种算法的具体实现过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

FP-Growth算法用代码实现:

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.fpm.FPGrowth
object FP {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("FP") //设定名称
    val sc = new SparkContext(conf)                                 //创建环境变量实例
    val data_path = "D:\\a\\b\\c\\abc.txt"
    val data = sc.textFile(data_path)
    val examples = data.map(_.split(" "))
    val minSupport = 0.2
    val model = new FPGrowth().setMinSupport(minSupport).run(examples) //打印结果
    println(s"Number of frequent itemsets: ${model.freqItemsets.count()}")
    //输出满足最小置信度的关联规则及置信度
    model.generateAssociationRules(0.8).collect().foreach
    {
      rule =>
        println("[" + rule.antecedent.mkString(",")
          + "=>"
          + rule.consequent.mkString(",") + "]," + rule.confidence)
    }
 
    //输出所有的频繁项
    model.freqItemsets.collect().foreach {
      itemset =>
        println(itemset.items.mkString("[", ",", "]") + ", " + itemset.freq)
    }
  }
}

Apriori算法用代码实现:

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.fpm.AssociationRules
import org.apache.spark.mllib.fpm.FPGrowth.FreqItemset
 
object AssociationRule{
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("ap")
    val sc = new SparkContext(conf)
 
    val freqItemsets = sc.parallelize(Seq(
      new FreqItemset(Array("a"), 15L),
      new FreqItemset(Array("b"), 35L),
      new FreqItemset(Array("a", "b"), 12L)
    ))
 
    val ar = new AssociationRules().setMinConfidence(0.8)
    val results = ar.run(freqItemsets)
 
    results.collect().foreach {
      rule =>
        println("[" + rule.antecedent.mkString(",")
        + "=>"
        + rule.consequent.mkString(",") + "]," + rule.confidence)
    }
  }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值