如何扩容DataNode及遇到问题总结 2018-01-04

一个集群节点进行扩容，然后修改了配置参数文件dfs.datanode.data.dir参数后面追加挂载的数据目录， 发现启动时正常，后面索性多修改几个节点发现集群后面修改 ...

(1986)次阅读|(0)个评论

yarn container内存调优——什么时候container被kill 2017-05-04

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在Java中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作 ...

(1916)次阅读|(0)个评论

hive 表注释乱码以及show create table描述乱码解决汇总（mysql及postgresql） 2017-04-26

postgresql乱码 #执行 desc table1 #字段注释是中文，没乱码 desc formatted table1; 字段注释是中文，没乱码 但表注释是中文 ，显示是另一种编码 ...

(1932)次阅读|(0)个评论

离线快速部署Mirantis Openstack 9.0 2017-04-02

   Mirantis Openstack 9.0 简称为MOS 9.0。它 是 Mirantis  公司开发  openstack 自动化安装工具，这个工具还有个专门的名字 ...

(1793)次阅读|(0)个评论

HDFS中PathFilter类的作用代码讲解 2017-03-17

　在单个操作中处理一批文件，这是很常见的需求。比如说处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符在 ...

(1661)次阅读|(0)个评论

spark配置资源过小，容易造成spark集群数据异常 2017-03-13

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have suf ...

(1381)次阅读|(0)个评论

查看更多