sstutu的空间 About云-梭伦科技 -

sstutu

统计信息

已有 368 人来访过

现在还没有相册

现在还没有记录

现在还没有动态

spark sql遇到问题ERROR metastore.RetryingHMSHandler: AlreadyExistsException(mess ... 2018-10-17: scala> spark.sql("show databases").show() 18/10/14 07:55:47 WARN conf.HiveConf: HiveConf of name hive.conf.hidden.list does not exist ivysettings ...; (4407)次阅读|(0)个评论

hbase、impala、hive整合，impala查询遇到问题总结 2018-10-09: 问题背景： hbase、impala、hive整合，impala查询遇到问题总结 impala用来查询实时数据 hive用来查询数据量比较大的数据为何不用hbase查询？原因impala ...; (1382)次阅读|(0)个评论

什么情况下使用MongoDB与Redis 2018-09-29: MongoDB(v2.4.9)：依赖内存,TPS较高 Redis：依赖内存,TPS非常高比较： Redis优于MongoDB ###################### MongoDB(v2.4.9) ...; (1494)次阅读|(0)个评论

mysql数据实时备份上hdfs使用什么工具 2018-09-25: sqoop不是实时的，需要增量导入，表特殊比如没有id等，可以使用canal. 数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至 ...; (1614)次阅读|(0)个评论

从一个集群A hive表同步到另一个集群B hive表，中间可能有一些etl操作 2018-09-17: 有没有好办法从一个集群A hive表同步到另一个集群B hive表，中间可能有一些etl操作方法1：采用sqoop，用hive到mysql，在从mysql到hive 方法2：使用flume ...; (1997)次阅读|(0)个评论

spark读取kafka为什么这么慢 2018-09-02: sparkstreaming2.3, kafka消息处理慢，进行全流程打点，发现消息创建的时间和streaming中开始处理的时间相差比较大，处理过程很快，随着streaming运行时 ...; (2484)次阅读|(0)个评论

soloman 2015-11-23 15:07: sstutu 你好，我是一个openstack的新手，最近在Ubuntu中准备安装devstack，但是在执行./stack.sh 时候老是出错，不知道咋回事，想请教一下： 2015-11-23 07:04:56.044 | + git remote set-url origin git://git.openstack.org/openstack/requirements.git 2015-11-23 07:04:56.061 | fatal: Not a git repository (or any of the parent directories): .git 2015-11-23 07:04:56.065 | + exit_trap 2015-11-23 07:04:56.065 | + local r=128 2015-11-23 07:04:56.072 | ++ jobs -p 2015-11-23 07:04:56.081 | + jobs= 201 ... ...