专题 › Pig › Pig安装配置及基本使用

nettman 发表于 2014-8-22 14:10:17

Pig安装配置及基本使用

问题导读：
1.Pig有几种工作模式？
2.如何启动进入pig?
3.本文中如何使用Pig latin来求年最高气温？



static/image/hrline/4.gif




下载并解压pig安装包下载地址：http://pig.apache.org/解压pig安装包：tar -zxvf pig-0.12.0.tar.gz


环境变量Pig工作模式本地模式：只需要配置PATH环境变量${PIG_HOME}/bin即可，适用于测试Mapreduce模式：需要添加环境变量PIG_CLASSPATH=${HADOOP_HOME}/conf/，指向hadoop的conf目录
本例直接配置为Mapreduce模式

启动grunt shell首先确定Hadoop集群已经启动，使用jps查看进程$ pig 进入grunt shell


使用help命令查看帮助信息


查看grunt shell命令


准备测试数据（下载数据文件）以NCDC天气数据求年最大气温为例，准备数据如下（为方便测试每列数据只包含年、气温和数据状态并以冒号分割）：



在grunt shell中将ncdc_data.txt存入hdfs中
grunt> copyFromLocal ~/ncdc_data.txt ./



使用Pig latin求年最高气温加载天气数据grunt> A = LOAD 'ncdc_data.txt' USING PigStorage(':') AS (year:int, temp:int, quality:int);


过滤数据grunt> B = FILTER A BY temp != 9999 AND ((chararray)quality matches '');或B = FILTER A BY temp != 9999 AND (                   quality == 0 OR quality == 1 OR quality == 4 OR quality == 5 OR quality == 9);


按年分组天气数据
grunt> C = GROUP B BY year;


逐行扫描数据并求最大值和对应的年份(group)
grunt> D = FOREACH C GENERATE group, MAX(B.temp) AS max_temp;


输出结果
grunt> DUMP D;




存储结果到文件
grunt> STORE D INTO 'max_temp' USING PigStorage(':');




查看结果
grunt> cat max_temp

hery 发表于 2014-10-30 10:16:10

不错，比较详细。。。

hahaxixi 发表于 2015-1-12 20:16:27

不错哦，3q~~~~·

pioneer 发表于 2015-2-6 18:22:04

确实是一个很好的实例,谢谢!

ainubis 发表于 2015-3-29 14:23:50

好东西，多xie楼主分享

SuperDove 发表于 2016-10-18 16:29:17

很beautiful的一个帖子，完美

江火似流星 发表于 2018-12-27 20:04:35

很好，感谢您的分享

查看完整版本: Pig安装配置及基本使用