yeshang 发表于 2015-9-2 19:12:56

cloudera manager配置kerberos后无法访问hdfs

最近在用cm给cdh配置kerberos认证，按照官网上的步骤进行配置（用的是cdh5.4.5），配置后在启动impala时，Impala Daemon出现问题：
Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed ; Host Details : local host is: "host1/ip1"; destination host is: "host2":8020;


没找到什么原因。后面发现在服务器上访问hdfs时，在kerberos服务器上，使用kinit hdfs登录后，执行hadoop fs -ls / 可以访问；但在kerberos客户端上，使用kinit hdfs登录后，执行hadoop fs -ls / 后，却报如下的错误：
Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed ; Host Details : local host is: "host1/ip1"; destination host is: "host2":8020;


这个错误和在启动impala时报的错一样。这里，kerberos服务端是安装在namenode上的，datanode上安装的全是kerberos客户端。这几台服务器上面的/etc/krb.conf文件完全一样。


在网上面查到，这个错误一般是服务器上没有缓存tgt信息，可是我用klist命令查看时，是有tgt的缓存信息的，如下所示：

# klist -e
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hdfs@HADOOP.58OS.ORG


Valid starting   Expires            Service principal
09/02/15 19:00:4609/03/15 19:00:46krbtgt/HADOOP.58OS.ORG@HADOOP.58OS.ORG
        renew until 09/09/15 19:00:46, Etype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96



其中，renew_lifetime是7d，ticket是可重新生成的。



各位大神，麻烦帮我看一下这是怎么回事，我都弄了好长一段时间了，都快疯了！！
求大神们不吝赐教，不胜感激！





















xuanxufeng 发表于 2015-9-2 21:42:37

这是很多人都遇到的，而且不止一个人遇到过，总之这个问题，还是比较恼人的。
楼主解决这个问题也费了不少功夫。

既然官网，下面给楼主提供些思路，希望有所帮助：
1.首先100%确保自己的操作是没有问题的。否则后面解决问题没有任何意义的。因为很可能是自己疏忽造成的。
如果自己也不确定， 最好多人一起参考讨论，或则贴出楼主参考的是那个地址。会不会有中文内容等。

2.在确保自己配置正确的前提下，看看权限、用户、路径等等这些信息。
从错误信息来看，

No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "host1/ip1"; destination host is: "host2":8020;
是没有有效的认证，也就是说即使你配置了，但是可能是我没有找到或则，即使你在正确，也是无效的。
所以看看到底是为什么没有找到。

yeshang 发表于 2015-9-2 22:44:55

xuanxufeng 发表于 2015-9-2 21:42
这是很多人都遇到的，而且不止一个人遇到过，总之这个问题，还是比较恼人的。
楼主解决这个问题也费了不少 ...

谢谢楼上给我做了那么多分析！配置kerberos时参考的这个文档：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_sg_intro_kerb.html

我现在感到比较奇怪的是：为什么在kerberos服务端上（也就是在namenode上）可以访问hdfs，而在kerberos客户端上（也就是datanode上）使用相同的用户却不可以访问。用kinit hdfs登录是这样，用keytab文件登录也是这样。应该要么都能访问，要么都不能访问。
kerberos应该是没有问题的，kerberos单独工作时可以正常使用。有可能是kerberos和cdh相连的配置哪里出问题了，不过我看了很久也没找到原因。
公司里只有我一个人在配这个，没有人一起看问题，只能在网上面找相关的资料，太痛苦了。。。

yeshang 发表于 2015-9-7 10:20:16

xuanxufeng 发表于 2015-9-2 21:42
这是很多人都遇到的，而且不止一个人遇到过，总之这个问题，还是比较恼人的。
楼主解决这个问题也费了不少 ...

不知道用cm配置kerberos的时候，需不需要配置tls

starrycheng 发表于 2017-2-7 13:19:30

yeshang 发表于 2015-9-7 10:20
不知道用cm配置kerberos的时候，需不需要配置tls

cdh 有专门的页面，你直接启动试试

aalfalfa 发表于 2017-3-9 09:25:17

楼主最后咋解决的？
页: [1]
查看完整版本: cloudera manager配置kerberos后无法访问hdfs