flume写kafka topic带有时间戳问题 2017-04-12

结构： nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。) 现象： 在第二层，写入kafka的topic和读 ...

(3501)次阅读|(0)个评论

python 连接 hive 2017-03-09

由于版本的不同，Python 连接 hive 的方式也就不一样。 在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这样的，首先把hive 根目录下 ...

(1705)次阅读|(0)个评论

通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中 2017-02-06

SparkStreaming的DStream提供了一个dstream.foreachRDD方法，该方法是一个功能强大的原始的API，它允许将数据发送到外部系统。然而,重要的是要了解如何正确有效 ...

(2264)次阅读|(1)个评论

为ElasticSearch添加HTTP基本认证【增强安全性】 2017-01-19

ES的HTTP连接没有提供任何的权限控制措施，一旦部署在公共网络就容易有数据泄露的风险，尤其是加上类似elasticsearch-head这样友好的前端界面，简直让你的数据瞬 ...

(2071)次阅读|(2)个评论

sqoop job --exec 的含义 2016-11-23

 sqoop job --exec $JOB_NAME sqoop job --exec UQE_DIM_DS_DJ_NSRXX

(1122)次阅读|(0)个评论

spark经验记录 2016-11-15

1.      spark性能配置 我目前的环境是5台机器，每台机器8个核。如果有以下两种配置方案： (a)    SPARK_WORKER_INSTANC ...

(2063)次阅读|(0)个评论

查看更多