大数据问题搜集

这里搜集了下qq群大家遇到的问题，大多为about云群。分享给大家，希望可以对大家有所帮助和借鉴

问题1：

在伪分布下或者 单机模式下，在eclipse编写的MapReduce程序，不需要添加配置文件吧？

答案：

需要连接集群就需要配置文件，单机模式不需要

问题2：

hadoop namenode 格式化了后，hbase能不能恢复数据呢？

回答1：

都格式化了，不能恢复，相当于 hadoop  文件夹下的 data 文件被删了。换句话说 ，你删除的文件 是否能恢复。就算你数据恢复了，你的 namenode 索引没有了，有数据，没目录也不行啊

回答2：

可以根据secondary恢复

hadoop 根据SecondaryNameNode恢复

Namenode

http://www.aboutyun.com/thread-6196-1-1.html

问题3：

只要创建主题的时候就出错，咋解决啊./

回答1：

你的broker是不是挂掉了

回答2：

broker挂了啊，看看日志  broker是为什么挂了，去kafka的安装路径下的logs里面看，state-change.log和server.log

问题4：

请教下大家，  cinder的一致性组 在商用环境 用的多不多？

回答：

用的比较少，其实作用也不是特别大。一方面是用户觉得ceph的多副本机制已经足够保障了卷的高可用了。另一方面，不需要批量快照，偶尔对一两个做快照

问题5：

问下各位老板，你们线上目前用的hadoop和saprk稳定版本是那个版本

回答：

hadoop一般2.6.0  2.6.5  2.7居多

问题6：

spark sbt添加依赖，运行时有provide导致出错

解决办法：

provide有两个含义

1.在打包的时候，不会包含

2.在运行的时候，也不会添加进去

所以如果运行可以去掉provide

谢谢大神分享,学习

谢谢大神分享,学习

kafka开启jmx，kafka-manager只检测到一个broker有数据


解决办法：kafka没默认开启远程访问。-Djava.rmi.server.hostname=服务器的IP地址或者域名