What?
Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。
就是个工具用于用于大数据分析
Why?
如果没有pig组件,我们会用Java写MapReducer程序,进行大数据分析,可是如果我不会写Java,我怎么进行数据分析了呢,因此Pig组件的出现就是为了解决这一个问题。
How??
如何使用呢?????
1.安装
1)上传组件压缩包 2)解压 3)配置环境变量
2.启动运行
pig -x local 本地模式
pig -x mapreduce MapReudecer模式
3.启动后会进入Grunt Shell 命令行编辑 在这里可以编辑 Pig Latin语句
4.一些命令
1)在Grunt Shell 中 执行 sh 命令 sh ls
2)在Grunt Shell中执行 fs命令 fs -ls(文件系统) 如果是 本地模式(pig -x local)fs指向Linux文件系统,
如果是Mapreduce模式(pig -x mapreducer) fs指向hdfs 文件系统
其他:
clear:清屏
help:提供Pig命令的帮助信息
quit: 退出Grunt shell界面
kill:按照作业ID终止某一作业
kill JobId(ID_0001)