下面问题是否会遇到?
在使用Cloudera Hue时遇到一问题:
1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示。
解决办法:
使用Hue的Sqoop shell -》 start job --jid * 提交会出现一些错误提示
然后再去/var/log/sqoop/里面查看log
2. 在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql 驱动,虽然驱动已经被加入到sqoop/lib下。
解决办法:
后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了
3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。
解决办法:
可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.
4. hue oozie中有几个关于时间的设置,都跟时区有关:
Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致
解决办法:
将其改为Asia/Chongqing,重启hue服务即可。
Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。
上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。
5. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常
解决办法:
使用NTP server/client可以解决这个问题。
来自群组: Hadoop技术组 |
|