立即注册
登录
About云
返回首页
bioger_hit的个人空间
https://aboutyun.com/?24
[收藏]
[复制]
[分享]
[RSS]
空间首页
动态
记录
日志
相册
主题
分享
留言板
个人资料
导读
博客
群组
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
首页
Portal
专题
BBS
面试
更多
我的空间
好友
帖子
收藏
道具
勋章
任务
动态
日志
相册
分享
记录
留言板
群组
导读
日志
Spark streamming会有很多小文件,该如何解决
已有 1328 次阅读
2018-12-27 08:41
|
系统分类:
Spark
Spark streamming会有很多小文件,该如何解决?
一般会通过存储到Hbase来解决,直接使用hdfs或则hive。可以使用SparkStreaming+kudu来存储数据。
路过
雷人
握手
鲜花
鸡蛋
收藏
分享
邀请
举报
全部
作者的其他最新日志
•
hdfs修改了副本数,为什么数据所占的空间不变
•
大数据开发架构
•
docker常用命令
•
elasticsearch自动按天创建索引脚本
•
Impala中最大连接数的设置
评论 (
0
个评论)
涂鸦板
您需要登录后才可以评论
登录
|
立即注册
评论
bioger_hit
加为好友
给我留言
打个招呼
发送消息
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈