Mahout分类之决策树PartialBuilder应用使用

本文介绍如何使用Mahout 0.9版本与Hadoop 2.3.0进行决策树的构建与应用,包括数据准备、描述文件生成、训练建树、分类预测等步骤,并提供具体操作命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

mahout版本:0.9

hadoop版本:2.3.0

基于决策树步骤如下:

1.基于已有数据形成描述文件

2.训练建树

3.分类预测

数据集:

http://nsl.cs.unb.ca/NSL-KDD/

下载KDDTrain+.TXT和KDDTest+.TXT

具体的应用步骤:

1.上传数据到hdfs上:

hadoop put  *.TXT /user/test/df/input/

2.描述文件生成:

hadoop jar  your.jar org.apache.mahout.driver.MahoutDriver org.apache.mahout.classifier.df.tools.Describe -p /user/test/input/KDDTrain+.TXT -f /user/test/input/data.info  -d N 3 C 2 N C 4 N C 8 N 2 C 19 N L N

3.训练建树:

hadoop jar  your.jar org.apache.mahout.driver.MahoutDriver org.apache.mahout.classifier.df.mapreduce.BuildForest \
            --data /user/test/input/KDDTrain+.TXT \
	    --dataset /user/test/input/data.info  \
	    --partial \
	    --nbtrees  200 \
	    --output /user/test//output/  \
	     --no-complete \

 

4.分类预测:

hadoop jar  your.jar org.apache.mahout.driver.MahoutDriver org.apache.mahout.classifier.df.mapreduce.TestForest \
           --input /user/test/input/KDDTest+.TXT \
	   --dataset /user/test/input/data.info \
	   --model /user/test/output/forest.seq \
	   --analyze \
	   --mapreduce \
	   --output /user/test/predictions/ \

 

5.可以查看打印出决策树:

hadoop jar  your.jar org.apache.mahout.driver.MahoutDriver org.apache.mahout.classifier.df.tools.ForestVisualizer  \ 
	   --dataset /user/test/input/data.info \
	   --model /user/test/output/forest.seq \

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值