hadoop使用手册

全面教你在Linux上使用hadoop 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 单个起 ：/opt/hadoop-1.0.3/bin/hadoop-daemon.sh start datanode /opt/hadoop-1.0.3/bin/hadoop-daemon.sh start tasktracker 关闭HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 查看MapReduce程序进程 【Hadoop使用手册】是针对在Linux环境下操作Hadoop集群的详细指南，旨在帮助用户理解和掌握如何启动、关闭Hadoop服务以及进行基本的文件管理和MapReduce任务操作。 ### Hadoop启动与关闭 启动Hadoop集群主要包括以下步骤： 1. **进入HADOOP_HOME目录**：这是Hadoop安装路径，通常在`/opt/hadoop-版本号`。 2. **启动全部服务**：执行`sh bin/start-all.sh`，这将启动NameNode、DataNode、Secondary NameNode、JobTracker和TaskTracker等所有服务。 3. **单独启动服务**：若需单独启动DataNode或TaskTracker，可执行`bin/hadoop-daemon.sh start datanode`或`bin/hadoop-daemon.sh start tasktracker`。 关闭Hadoop集群同样有对应的步骤： 1. **返回HADOOP_HOME目录**。 2. **停止全部服务**：运行`sh bin/stop-all.sh`，这将停止所有Hadoop服务。 3. **检查MapReduce进程**：要查看MapReduce程序进程，可以访问`http://主机IP:50030/jobtracker.jsp`页面，或者通过命令`./hadoop job -list`列出所有任务。如果需要终止特定任务，可以使用`./hadoop job -kill job_id`命令。 ### 文件操作 Hadoop使用分布式文件系统HDFS，其操作方式类似于本地文件系统，但支持跨节点的分布式存储。以下是一些基本操作： 1. **查看文件列表**：使用`bin/hadoop fs -ls`命令列出指定目录的文件，如查看`/user/admin/aaron`下的文件。 2. **递归查看文件**：通过`bin/hadoop fs -lsr`命令，可以查看目录及其子目录下的所有文件。 3. **创建目录**：利用`bin/hadoop fs -mkdir`创建新的HDFS目录，如`/user/admin/aaron/newDir`。 4. **删除文件**：使用`bin/hadoop fs -rm`删除单个文件，如`/user/admin/aaron/needDelete`。 5. **删除目录及内容**：用`bin/hadoop fs -rmr`命令删除目录及其所有内容，例如`/user/admin/aaron`。 6. **上传文件**：通过`bin/hadoop fs -put`将本地文件上传到HDFS，如将`/home/admin/newFile`上传至`/user/admin/aaron/`。 7. **下载文件**：使用`bin/hadoop fs -get`将HDFS中的文件下载到本地，例如下载`/user/admin/aaron/newFile`至`/home/admin/newFile`。 8. **查看文件内容**：通过`bin/hadoop fs -cat`命令查看HDFS文件内容，如查看`/user/admin/aaron/newFile`的内容。 ### MapReduce Job操作 MapReduce是Hadoop处理大数据的核心组件，它允许用户编写并行处理任务的Java程序。以下是一些关键操作： 1. **提交MapReduce Job**：使用`bin/hadoop jar`命令提交一个包含MapReduce Job的JAR包，例如`bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]`，其中`jobMainClass`是主类，`jobArgs`是Job参数。 2. **杀死Job**：如果需要终止正在运行的MapReduce Job，使用`./hadoop job -kill job_id`命令，其中`job_id`是需要停止的任务ID。 了解并熟练掌握这些基本操作，将有助于在Hadoop环境中进行数据处理和分析工作。对于更复杂的应用场景，如数据导入导出、容错处理、资源调度等，还需要深入学习Hadoop的相关概念和技术。