hdfs修改了副本数,为什么数据所占的空间不变 2019-07-05

将HDFS副本数由3减为1.重启集群无效。该参数是clinet端有效，既对新写入的数据设置1个副本。 已存在的数据副本还是3个 执行命令将某目录下数据副本 ...

(1585)次阅读|(0)个评论

大数据开发架构 2019-06-05

我们在学习大数据的时候，经常想全部了解大数据的内容，网上发现一个不错的架构，给大家分享下

(859)次阅读|(0)个评论

docker常用命令 2019-05-19

1.列出本地全部镜像 docker image ls 2.列出指定镜像 docker image ls nginx 3.获取一个新的镜像 docker pull nginx:latest 4.查看镜像大 ...

(898)次阅读|(0)个评论

elasticsearch自动按天创建索引脚本 2019-05-17

elasticsearch保存在一个索引中数据量太大无法查询，现在需要将索引按照天来建，查询的时候关联查询即可 有时候es集群创建了很多索引，删不掉，如果是测试 ...

(1450)次阅读|(0)个评论

Impala中最大连接数的设置 2019-03-06

Impala中最大连接数的设置 impala中最大连接数 最近工作中有用到impala，有用到impala进行对数据库的操作，由于查询是页面在查询，所以有可能会有n个人在同时 ...

(2286)次阅读|(0)个评论

Spark streamming会有很多小文件，该如何解决 2018-12-27

Spark streamming会有很多小文件，该如何解决？ 一般会通过存储到Hbase来解决，直接使用hdfs或则hive。可以使用SparkStreaming+kudu来存储数据。

(1324)次阅读|(0)个评论

查看更多