tomcat服务，服务端口为8085,原来的访问地址是http://localhost:8085/zspt 但是启动flume后，config配置文件监听8085端口，网站 ...

yjy4 2017-8-9 4 10125

数据格式 2017-08-02 13:10:19.094|HSFBizProcessor-5-thread-155|DEBUG|setMember begin typeId=[qps_push_waybill], key=[ ...

小新嘟嘟 2017-8-4 6 6625

flume报的这个错误

Hentai 2016-9-29 11 17913

报错代码 17/07/02 18:43:11 INFO avro.ReliableSpoolingFileEventReader: Last read took us just up to a file boundary. Rol ...

yunge2016 2017-7-2 3 8680

本帖最后由 sstutu 于 2014-5-17 11:47 编辑 配置 用spooldir的source配置方式 到最后总报异常 大家有没有遇见过这中情 ...

sstutu 2014-5-17 18 73295

现在配置好了集群环境，zookeeper和kafka也启动了。具体的流程不太清楚。监控的是本地的目录。目录下上传了一个txt文件。然后怎 ...

yunge2016 2017-6-4 3 12456

Channel有2个队列容量配置，分别是capacity和transactionCapacity。capacity是MemoryChannel里的阻塞队列的容量，同时也是事件 ...

einhep 2017-5-6 0 8858

我的数据来源于从程序到kafka中，通过flume采集到solr,但是配置这里难住了，不太懂 morphlines.conf这个里面是怎么写的。 我的 ...

wtaisi 2017-3-30 3 8843

我第一层用kafka收集数据，然后通过一台接口服务器flume收集第一层kafka的数据，并将数据传输到CDH集群的kafka中。我的flume的ch ...

zstu 2017-4-12 3 6825

环境： 单节点：32G内存，一个agent 使用flume日志采集实时生成的日志文件信息时，在某个流量高峰时间段（一个小时产生7G-10 ...

J20_果农 2017-4-7 2 20107

配置如下： a1.sources = r1 a1.channels = c1 a1.sinks = s1 a1.channels.c1.type = memory a1.channels.c1.capacity = ...

醉半城 2017-3-30 2 16664

个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数，但是当我设置为1时，在hdfs查看备份数仍然为3.这为什么 ...

shfshihuafeng 2017-3-26 4 15982

我配置flume到hfs ，上传58m数据，上传40m后 ，总是到最后程序数据不落入hdfs，必须当我关闭flume进程，数据才刷新过去，大家帮 ...

shfshihuafeng 2017-3-26 1 6587

问题背景： 使用flume搜集日志目录下动态，实时生产的文件 其中log 目录下有子目录，按日期命名，然后子目录下的日志是每小 ...

J20_果农 2017-3-24 2 15237

当前项目有个需求： socekt接受上游数据（客户端主动连接上游），接受的数据写入hdfs，并利用socket向下游传输数据（下游主动连 ...

shfshihuafeng 2017-3-23 1 9629

souce 使用 spooldir 对指定目录下的log日志文件进行监控 配置文件如下 用如上配置监控日志输出到hdfs上，若是处理单行的 ...

记忆在空中飘荡 2017-2-22 3 16802

在 flume-1.7 中，SyslogUDPSource 的通讯协议使用 Oio ，而 TCP 的使用 Nio ？ 是有什么特殊原因吗？ 实际使用中发现，用 Oio ...

chamcyl 2017-2-17 1 9833

请各位大神赐教

Hentai 2016-12-26 5 15948

目前我的需求是想要得到我自己的网站页面跳转的信息，然后看看各个模块的访问情况。刚刚接触flume，对于大部分东西都还能理解， ...

longliantian 2016-12-22 6 8828

我的是离线日志，从外网拷贝到内网。以前是先把日志拷贝到内网winows server，然后从windows server 拷贝到 集群linux，然后再上 ...

cloudcat 2016-12-7 2 6604

Flume本身提供了http, ganglia的监控服务，而我们目前主要使用zabbix做监控。因此，我们为Flume添加了zabbix监控模块，和sa的监 ...

sstutu 2016-11-15 1 10141

情况是这样的： 线上flume监控目录里有文件mallshop_access.log 198.98M，由于一些原因需重启flume，重启后，flume采集mallsh ...

mjjian0 2014-11-24 6 60936

flume source 段json字符串，现在想把它转换成普通的字符串，存储到hdfs或者hive中，怎么做呢？我用的flume，但不太会，现在拿到 ...

zeus_lhl 2016-10-27 6 31875

按照指定大小，滚动生成指定大小文件，可生成的文件权限怎么去控制呢？当前用户是root，flume生成的文件 root supergroup（用户 ...

zeus_lhl 2016-10-31 4 8344

现在在做用flume把两台服务器上的日志实时收集到hdfs， 但有个问题传到hdfs上的东西会分成多个文件，虽然可以设置按大小、时间 ...

gojuukaze 2016-10-13 3 11828

我不想用自增的行键该怎么弄？求各位朋友解答一下

Hentai 2016-9-22 9 15375

如果以kafka做为flume的channel ，当我自己写程序消费里面的数据时，数据出现了乱码，当我用loggerSink 读取时，数据是这样的 ...

pq2527991 2016-9-20 4 16689

我们需要从其他地方获取redis的消息队列，格式为json.对方不愿意改成普通的日志文件格式。 那么，我可以通过flume获取吗？该怎 ...

师太跟我吧 2016-9-13 6 18084

参数上配的是 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=239.2.11.71:8649 （ganglia 默认udp ） gangl ...

pq2527991 2016-9-13 2 12744