spark从hdfs上读取文件运行wordcount

陈兴振

于 2013-09-11 14:31:33 发布

阅读量6.1w

点赞数 8

CC 4.0 BY-SA版权

分类专栏： spark

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/chenxingzhen001/article/details/11563097

spark 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一个基于Hadoop与Spark集群环境的搭建过程，并通过具体实例演示了如何使用Spark进行WordCount任务的执行流程。首先配置了Hadoop集群，包括namenode、SecondaryNameNode和datanode等组件；接着设置了Spark Master和Worker节点。随后，通过上传文件至HDFS，并在Spark shell中执行一系列操作完成了WordCount任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.配置环境说明

hadoop配置节点：sg202(namenode SecondaryNameNode) sg206(datanode) sg207(datanode) sg208(datanode)

spark配置节点：sg201(Master) sg211(Worker)

2.从hdfs上读取文件并运行wordcount

a. 登录hadoop的主节点sg202 将要进行wordcount的文件上传到hdfs上

[root@sg202 hadoop-1.0.4]# hadoop fs -put /home/hadoop-1.0.4/README.txt  input

b. 登录spark的Master节点(sg201)进入sparkshell

[root@sg201 spark-0.7.3]# MASTER=spark://172.16.48.201:7077 ./spark-shell

c. 运行wordcount

scala> val file=sc.textFile("hdfs://172.16.48.202:9000/user/root/input/README.txt")

scala> val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

scala> count.collect()

评论 3

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。