- 博客(5)
- 收藏
- 关注
RSS订阅原创 java.lang.Exception: java.io.IOException: Illegal partition for 180 180 360 (5)
【代码】java.lang.Exception: java.io.IOException: Illegal partition for 180 180 360 (5)
2022-11-17 11:20:38
410
1
原创 FileInputFormat切片源码解析
d）开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt 256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）（4）提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数。g）InputSplit只记录了切片的元数据信息，比如起始位置、长度以及所在的节点列表等。（2）开始遍历处理（规划切片）目录下的每一个文件。
2022-11-14 16:25:41
145
原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法
在测试WordCount时出现以上异常，将hadoop下载路径上bin目录里的hadoop.dll文件拷贝到C:/Windows/System32下即可。
2022-11-02 16:38:45
566
原创 hdfs dfs -appendToFile error 问题解决
hadoop 解压路径下 / etc/ hadoop / hdfs-stie.xml。在客户端的代码里面加入： 如果是客户端 java代码 可以添加如下内容。停止服务 重新启动服务 重新追加 可以成功。添加 对应的配置属性。
2022-10-30 10:04:01
685
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人