Pig组件学习笔记(1)

What?

Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。
就是个工具用于用于大数据分析

Why?

如果没有pig组件,我们会用Java写MapReducer程序,进行大数据分析,可是如果我不会写Java,我怎么进行数据分析了呢,因此Pig组件的出现就是为了解决这一个问题。

How??

如何使用呢?????

1.安装

1)上传组件压缩包   2)解压     3)配置环境变量

2.启动运行
pig -x local 本地模式
pig -x mapreduce MapReudecer模式
3.启动后会进入Grunt Shell 命令行编辑 在这里可以编辑 Pig Latin语句

4.一些命令
1)在Grunt Shell 中 执行 sh 命令 sh ls
2)在Grunt Shell中执行 fs命令 fs -ls(文件系统) 如果是 本地模式(pig -x local)fs指向Linux文件系统,
如果是Mapreduce模式(pig -x mapreducer) fs指向hdfs 文件系统

其他:
clear:清屏
help:提供Pig命令的帮助信息
quit: 退出Grunt shell界面
kill:按照作业ID终止某一作业
kill JobId(ID_0001)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值