Hive实战：网址去重

一、实战概述

二、提出任务

• 使用Hive框架，实现网址去重
  三个包含了网址的文本文件（ips01.txt、ips02.txt、ips03.txt）
• ips01.txt

192.168.1.1
172.16.0.1
10.0.0.1
192.168.1.2
192.168.1.3
172.16.0.2
10.0.0.2
192.168.1.1
172.16.0.1
10.0.0.3

• ips02.txt

192.168.1.4
172.16.0.3
10.0.0.4
192.168.1.5
192.168.2.1
172.16.0.4
10.0.1.1
192.168.1.1
172.16.0.1 
10.0.0.1 

• ips03.txt

192.168.1.6
172.16.1.1
10.0.2.1
192.168.1.7
192.168.3.1
172.16.0.5
10.0.0.5
192.168.1.1
172.16.0.1
10.0.0.3

三、完成任务

（一）准备数据

1、在虚拟机上创建文本文件

• 在master虚拟机上创建包含了网址的文本文件（ips01.txt、ips02.txt、ips03.txt）
  

2、启