
mapreduce
冽夫
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
WordCount.java
import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.In...原创 2020-02-26 20:48:28 · 710 阅读 · 0 评论 -
在win中用MapReduce处理HBase出错:XXX.jar is not a valid DFS filename
原因:Hadoop文件系统检查路径时没有区分是本地windows系统还是Hadoop集群文件系统 解决: 只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true) 参考:https://www.iteye.com/blog/zy19982004-2029740 还有一个神仙解答:https://blog.csdn...转载 2019-12-12 22:34:55 · 417 阅读 · 0 评论 -
centOS7.3__eclipse在hadoop集群平台上的安装配置
首先centOS需要一个桌面环境,才能用远程桌面对eclipse进行开发使用。 [hadoop@master ~]$ sudoyum groupinstall "GNOME Desktop" "Graphical Administration Tools" 下面这个命令好像可以看你装的桌面有哪些。 [hadoop@node1 system]$ yum grouplist 这里的远程桌面工...原创 2019-04-28 20:54:00 · 438 阅读 · 0 评论 -
hadoop 2.7.3 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.3.jar
https://www.cnblogs.com/zhangchao0515/p/7099002.html转载 2019-04-28 20:56:08 · 411 阅读 · 0 评论 -
解析Hadoop新一代MapReduce框架Yarn
更快、更强——解析Hadoop新一代MapReduce框架Yarn-CSDN.NET http://www.csdn.net/article/2014-02-10/2818355 Yarn架构 Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。有一个全局的ResourceManager(RM)和每个Application有一...转载 2019-06-09 15:55:38 · 317 阅读 · 0 评论