大数据开发(1)——前期集群环境搭建

最近在学习大数据开发，因此想记录一下从零开始的，完整的一套大数据开发流程。

这里我用的是VMware12，centos7。

1.准备
在开始前，我们先检查环境，以下五项服务处于启动状态。

查看VMnet1和VMnet8网卡是否启用
在我们配置VMnet8网卡时，一般默认的是自动获得IP地址，但这样下次登录时他可能会改变，我这里为了方便选择自己手动配置。参数如下。

2.创建虚拟机
接着创建三台虚拟机，分别命名为hadoop300,301,302。（虚拟机的创建相信都很熟悉了，我这里是创建hadoop300后复制了两份hadoop300虚拟机，改文件名为hadoop301和302）

3.修改网卡配置文件
然后开始修改IP，这里把hadoop300的虚拟机ip改为130，hadoop301的虚拟机改为131，hadoop302的虚拟机ip改为132
为了方便，可以选择Xshell，SRT,NxShell这类软件连接虚拟机（我这里使用的是NxShell）
下图为hadoop300的网卡文件信息，其中
BOOTPROTO参数改为static
加入IPADDR,GATEWAY,NETMASK,DNS

4.测试网络
配置后重启网卡，并测试网络是否连通。（hadoop301和hadoop302操作类似，只是把ip改为131和132）
利用systemctl restart network命令使修改的ip生效
接着通过ping baidu.com测试网络是否连通

5.修改主机名，修改映射
因为我的hadoop301和hadoop302是通过复制hadoop300得来，此时虽然我修改了文件名但打开虚拟机时，里面的主机名还是hadoop300，因此虽然修改了hadoop301和302的IP，但此时他们的主机名仍然是hadoop300，所以我们需要修改主机名。
利用vim /etc/hostname命令，把文件名为hadoop301的主机名改为hadoop301，hadoop302类似

在我们之后的开发过程中，需要用到IP时，因为IP不好记，所以我们可以进行一个映射
vim /etc/hosts

接着我们在Windows主机上修改映射C:\Windows\System32\drivers\etc\HOSTS

6.关闭防火墙和selinux
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
vi /etc/selinux/config
另SELINUX=disabled，其他的进行注释

7.配置免密登录。
我们平常在一台虚拟机上用ssh登录其他虚拟机时需要输入密码，但在大数据应用中可能需要频繁登录，因此输入密码就会显得麻烦，所以这里可以设置免密登录。
同时生成密匙
ssh-keygen -t rsa
同时将第一台公钥发送到其他机器
ssh-copy-id hadoop300
ssh-copy-id hadoop301
ssh-copy-id hadoop302
其他两台机器执行相同操作

8.时间同步
因为此时三台虚拟机的时间不同，因此在后期的一些数据处理中可能会出现问题，所以这里需要同步一下时间
安装
yum install -y ntp
启动定时任务
crontab -e
随后输入 表示一分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com
接着查看时间date
发现时间已经同步，但使用date命令时会发现有邮件提示，因此可以关闭邮件提醒
关闭邮件提醒
echo “unset MAILCHECK” >> /etc/profile
source /etc/profile

9.安装JDK
查看是否存在JDK，如果以及有那么就删除了
rpm -qa | grep java
创建安装目录
mkdir -p /export/softwares #软件包存放目录
mkdir -p /export/servers #安装目录
上传jdk到/export/softwares路径下去，并解压。
tar -zxvf jdk-8u141-linux-x64.tar.gz -C …/servers/

接着配置环境变量
vim /etc/profile
添加内容
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAV{A}_{H}OME/bin:$PATH
立即生效
source /etc/profile
用javac查看已经生效

10.安装mysql

1. 检查centeros 7.0以上 想装mysql 需要先要卸载mariadb
   rpm -qa | grep mariadb 查看已安装的mariadb
2. 卸载mariadb
   rpm -e --nodeps installedName 卸载
3. 下载mysql
   wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
   如果不能识别wget命令需要先
   yum -y install wget
4. 安装mysql
   rpm -ivh mysql-community-release-el7-5.noarch.rpm
   yum install mysql-community-server
5. 启动服务
   systemctl start mysqld.service
6. 进入mysql修改登录密码
   mysql -uroot -p此时是没有密码的
   set password for ‘root’@‘localhost’ =password(‘123456’);修改密码为123456
7. 进入mysql的客户端然后进行授权
   grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
   grant all privileges on . to ‘root’@‘hadoop200’ identified by ‘123456’ with grant option;
   刷新flush privileges;