超级会员免费看
本文详述了如何使用Hadoop 3.x进行HDFS的读写性能测试。通过`TestDFSIO`工具，以10个128M文件为例，探讨了不同测试算法下的平均速度计算，并分析了测试文件数量的选择原则。在写性能测试中，遇到内存不足的问题，调整配置后，测试结果显示速度接近理论极限。对于读性能，由于本地读取不走网络，速度远超写入。文章最后讨论了网络限制对性能的影响。
首先我们去测试HDFS的写性能,可以看到,我们向HDFS集群写入10个128M的文件
去测试
然后我们看,这里我们用到的是这个tests.jar这个命令的jar包来进行测试的,可以看到他会把多个文件,
通过多个maptask,进行上传,上传的过程中,他会记录,上传文件的大小以及,上传文件的时间,这样,就能得出
这个上传的速度了,大小 除以 时间对吧.
然后平均速度,这里有两种算法,一种是:
每个maptask记录,文件的大小,上传时间,然后会总到reducetask,
然后,这里reducetask会把所有的文件的大小,除以总的时间这样算出一个平均速度.
然后还有一种是:就是每个maptask的平均速度 去除以 所有的的maptask的个数...这样得出的一个平均速度
原则上这两种算法的结果应该是差不多,如果相差的多的话,可能是其中的某台服务器的性能,跟别的服务器差别挺大.
订阅专栏 解锁全文
扫一扫
522
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
