
hadoop
时间的快慢
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop执行mapreduce过程reduce不执行原因
1.如果你的map过程中没有context.write()是不执行reduce过程的; 2.如果你的map过程中context.write()的map后的的部分数据出现问题,不符合reduce接受的数据也会不执行reduce 比如说你的日志文件中有一个空行是不符合reduce的接受数据reduce不执行;原创 2016-09-23 17:03:33 · 7406 阅读 · 0 评论 -
java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer
这个问题一般都是pom文件的jar包依赖不对,pom文件依赖如下我的hadoop用的是hadoop2.6的 org.apache.hadoop hadoop-common 2.7.1 org.apache.hadoop hadoop-hdfs 2.6.0原创 2016-09-29 15:35:36 · 3896 阅读 · 0 评论 -
java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProvider
这个问题一般都是pom文件的jar包依赖包没有依赖common org.apache.hadoop hadoop-common 2.7.1原创 2016-09-29 15:39:21 · 9923 阅读 · 3 评论 -
hadoop输入路径读取文件的正则通配符
1. * 代表0到多个字符 2. ? 代表单一字符 3. [ ab ] 代表字符类型,匹配{a,b}中的一个字符 4 [ ^ab ] 代表不是{a,b}中的原创 2016-11-11 14:12:03 · 10077 阅读 · 1 评论