努力搬砖不喊累 发表于 2018-6-21 16:26
老铁们，解决了，找到了原因：

flume功能的目标为，从36的生产服务器上将，日志信息抽取到hdfs服务器111 ...

懂了，就是两个人谈恋爱，不在一个频道上。男的要送女的雪糕
女友焦急的等待，男的太墨迹。导致雪糕化了，还没有送过去。

如果都是3秒或则12秒，在一个频道上应该就可以了

老铁们，解决了，找到了原因：

flume功能的目标为，从36的生产服务器上将，日志信息抽取到hdfs服务器111集群中。

其中，36的flume的channel中的keep-alive的时间设置为3，但是之前调试flume的时候误将111上的flume的keep-alive设置成了120.
ka的时间不同步，导致，36上开启了一个端口后没有人来接，然后过了3秒 又开了一个，还没人来接，再开一个，这样就开了很多端口，但是111上只连接了一个，这样导致只有36重新启动的时候，会连接那么一下下，后来就发现没有数据传了，就直接disconnect了
这就相当于：
我要给你大热天买个雪糕，但是呢你的反射弧有点长需要120秒，可大热天雪糕化得快，3秒就化了，我给你买一个雪糕，可能你刚摸到雪糕，就化了，然后我又给你买了一个，又化了，周而复始，原本是想请你吃雪糕的，但是最后你就只摸了一下雪糕，剩下就得不断看着雪糕化了又化，还说我没请你吃雪糕。

哈哈哈，不知道这个比喻对不对

解决的方法也很简单，反射弧调整成一样的，要么一样长，要么一样短，至于是长一点好还是短一点好，就看个人更偏向哪一方面了

yuwenge 发表于 2018-6-21 08:45
是否都链接服务器端口4141.
测试下这个是否通的。

我发现在不同的端上，我配置中的chanal 配置的keekp—alive 时间是不一样的，一个为120，另一个为3 会不会是因为这个的原因呢？

开启了之后，查看4141端口，
使用命令
netstate -anlp|grep 4141
会发现启动了好几个，而且目标端有的状态是 FIN_WAIT2
投递端是一直连接的都是出于FIN_WAIT2状态的端口

是否都链接服务器端口4141.
测试下这个是否通的。

推荐参考
大数据集群【hadoop、hbase、spark、hive，zookeeper、storm等】故障排除之端口详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20880