如何重新编译hadoop源码

最新推荐文章于 2020-06-26 05:14:18 发布

afqe60272

最新推荐文章于 2020-06-26 05:14:18 发布

阅读量182

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：http://www.cnblogs.com/lightsun/p/7064195.html

本文详细介绍了如何从源码编译Hadoop 2.7.2版本，包括下载源码、安装protobuf、使用maven进行编译以及验证替换是否成功的步骤。对于希望深入了解Hadoop编译过程的读者，本文提供了实用的操作指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 下载hadoop源码(以2.7.2为例子)

https://github.com/apache/hadoop/tree/branch-2.7.2/hadoop-yarn-project/hadoop-yarn

2. 安装protobuf

下载release的repo： https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
执行以下命令

$ cd /usr/local/src/
$ tar xvf v2.5.0.tar.gz
$ cd protobuf-2.5.0
$ ./autogen.sh
$ ./configure --prefix=/usr
$ make
$ make install
$ protoc --version

Install protobuf for java

$ cd java
$ mvn install
$ mvn package

3. 使用maven编译代码
maven clean package -DskipTests
maven install -DskipTests

编译完成后，把相应的包放在hadoop share文件中

4. 查看替换是否成功

从日志中查看是否替换成功（如：查看logs中nodemanager日志来确认，nodemanager jar包替换是否成功）

转载于:https://www.cnblogs.com/lightsun/p/7064195.html