验证hdfs路径是否存在 2017-08-09

hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterday

(868)次阅读|(0)个评论

log4j 2017-08-09

log4j .appender.file=org.apache. log4j .DailyRollingFileAppender # log4j .appender.file.File=hibernate.log log4j .appender.file.File=../logs/ log_ ...

(1748)次阅读|(0)个评论

2017-08-04 2017-08-04

一些问题的随笔纪录 1.数据量 延迟 ，数据量大的情况下的处理 2.数据中字段含有特殊字符 3.导历史数据的验证标准，数据量一致，数据字段的值一致 4.小文件合并 5 ...

(806)次阅读|(0)个评论

日常 2017-07-28

这几天操作 shell 感觉很好 & 后台用法 ； nohup & 离线后台运行 http://www.cnblogs.com/ggjucheng/archive/2012/10/21/2733028.html cut -c 按字符切；cut ...

(950)次阅读|(0)个评论

spark RowToCol 行转列 的例子 2017-07-25

举个栗子 为什么要行转列 1.table-----------------------------------------------------------------------------------------------------------------   ...

(2484)次阅读|(0)个评论

sparkSQl的心得 2017-06-12

利用sparkSQL 做数据的逻辑处理 得到结论的 代码 并不复杂 原因是 因为                ...

(773)次阅读|(0)个评论

查看更多