分享

Hbase oldwals删除问题

hadroger 发表于 2014-11-2 22:31:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 46718
最近用hbase,发现硬盘空间不足就把最近存数据的表truncate后释放了50G的空间 hdfs还有100多G的空间被占用,查看hdfs的目录发现/hbase/oldWALs目录下有130G的数据,这个目录中的数据不是默认10分钟清空一次吗 怎么会有这么多的数据,请大神看看是怎么问题,谢谢,另外hbase logs目录下的数据怎么设置达到一定量后自动最早的数据。谢谢

已有(3)人评论

跳转到指定楼层
desehawk 发表于 2014-11-2 23:33:34
hadoop就有这个功能,可以把尝试把hbase的log配置到hadoop的log目录中。至于hbase,没有听说过,如果有这方面的资料可提供,大家一块研讨

hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。
可以通过配置core-site.xml文件让集群自动清除日志文件:


  1. <property>  
  2.   
  3.   <name>hadoop.logfile.size</name>  
  4.   
  5.   <value>10000000</value>  
  6.   
  7.   <description>The max size of each log file</description>  
  8.   
  9. </property>  
复制代码



  1. <property>  
  2.   
  3.   <name>hadoop.logfile.count</name>  
  4.   
  5.   <value>10</value>  
  6.   
  7.   <description>The max number of log files</description>  
  8.   
  9. </property>  
复制代码








回复

使用道具 举报

howtodown 发表于 2014-11-2 23:40:42
下面配置,超过最长时间,会陪清理

hbase.master.logcleaner.ttl
Hlog存在于.oldlogdir 文件夹的最长时间,     超过了就会被 Master 的线程清理掉.     
默认: 600000

详细参考
HBase 默认配置说明(收藏版)


回复

使用道具 举报

joyken 发表于 2017-1-17 16:17:19
遇到同样的问题,也是./oldlog未清除,日积月累占用了大量的空间,在hmaster上配置了logcleaner.ttl依然不行,最奇怪的是同样的版本(hbase0.94-cdh4)的集群,其他集群正常清除。这个问题也是头疼,理论是会使用默认的TimeToLiveLogCleaner,并且10分钟清除一次,这些参数都默认的,然而它就是在不断地增长。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条