20、Hadoop数据移动：WebHDFS、HttpFS、NFS挂载与DistCp工具详解

Hadoop数据移动：WebHDFS、HttpFS、NFS挂载与DistCp工具详解

1. WebHDFS与HttpFS的区别

WebHDFS和HttpFS的主要区别在于客户端对所有数据节点的可访问性。
- WebHDFS ：若客户端能够访问所有数据节点，WebHDFS是合适的选择。因为读写文件时，客户端会直接与数据节点进行数据传输。
- HttpFS ：如果客户端位于防火墙之后，可能无法访问所有数据节点，此时HttpFS更适用。在这种情况下，服务器会与数据节点通信，客户端只需与单个HttpFS服务器通信。

建议优先选择WebHDFS，因为客户端直接与数据节点通信具有内在优势，能轻松扩展跨多个主机的并发客户端数量，避免所有数据通过HttpFS服务器传输导致的网络瓶颈。特别是当客户端运行在数据节点上时，WebHDFS能利用数据本地性优势，直接从本地文件系统流式传输本地托管的HDFS数据块，而非通过网络传输。

2. 使用NFS挂载Hadoop

将HDFS作为常规挂载点挂载到文件系统，能更方便地处理Hadoop数据，可使用现有的脚本、工具和编程语言与HDFS中的数据进行交互。

2.1 问题与解决方案

• 问题 ：希望将HDFS视为常规Linux文件系统，并使用标准Linux工具与HDFS进行交互。
• 解决方案 ：使用Hadoop的NFS实现来访问HDFS中的数据。

2.2 操作步骤