About云-梭伦科技»专题 › 交流区 › 技术交流 › Flume › Flume+EleasticSearch延时现象严重

Flume+EleasticSearch延时现象严重

查看数: 25149 | 评论数: 9 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

以梦为马

发布时间: 2014-9-17 15:56

正文摘要:

本帖最后由 pig2 于 2014-9-17 18:13 编辑一开始数据可以实时录入，可是一段时间后，就出问题了，日志已经产生到了12:00，而数据入es才到11:30，差了30分钟，请高手帮看一下，配置文件如下：

cdb521007 发表于 2015-9-21 14:28:26

提了一个好问题，也非常感谢回答问题的网友！

zw904807912 发表于 2014-12-27 17:18:20

貌似蛮厉害的样子啊

zw904807912 发表于 2014-12-27 17:17:47

怎么这样。

chinaboy2005 发表于 2014-12-12 16:29:11

资料学习中

semion 发表于 2014-12-11 22:10:02

楼主您好，我也使用的 flume+elasticSearch 但是现在tomcat的日志是json格式的如何把json映射到elasticSearch中，现在存储到es的数据都是整个日志信息在一个字段@message中，请问如何映射到不同的字段呢？

bwboy 发表于 2014-9-29 09:16:05

pig2 发表于 2014-9-28 23:20
可以参考这个：
flume-ng性能优化与架构设计

好的，非常感谢~！

pig2 发表于 2014-9-28 23:20:55

bwboy 发表于 2014-9-28 23:04
调到这么大？

可以参考这个：
flume-ng性能优化与架构设计

http://www.aboutyun.com/thread-9172-1-1.html

bwboy 发表于 2014-9-28 23:04:49

调到这么大？

pig2 发表于 2014-9-17 18:12:41

首先你的内存要够大，同时调整OS的内核参数调整。下面参数，可以参考调正下：

a1.sinks.k1.batchSize=10000
a1.sinks.k1.hdfs.rollSize = 40000000
a1.sinks.k1.hdfs.threadsPoolSize = 100

a1.channels.c1.transactionCapacity=20000
a1.channels.c1.transactionCapacity=500000

图文精华

Flume+EleasticSearch延时现象严重

正文摘要:

回复

推荐 /2