应为你的只有namenode是公网的,在上传文件的时候需要跟datanode去通讯,但是又链接不上去,所以才出现上面的问题,能出现文件夹,但是写不上文件。可以中继一下,在你的内网中再去使用一个flume(中间可以采用avro去传输),这样就可以了,看到问题久远,相比你一定早解决了,我的回答是给后面遇到相同问题的人看的,我也是遇到了这个问题。花了一天才找到问题所在,还有问题可以直接群里喊我,企鹅群:246068961 |
数据传不上来,看看空间是否足够 bin/hadoop dfsadmin -report 第二如果不是空间的问题,那就是网络的问题。 无论是防火墙,网络,还是datanode挂掉等原因 |
easthome001 发表于 2017-3-23 11:27 尝试过了,也是同样的问题存在 |
本帖最后由 easthome001 于 2017-3-23 11:30 编辑 存在几个问题 1.防火墙是否关闭 2.producer.sinks.r.hdfs.rollInterval = 0 producer.sinks.r.hdfs.rollSize = 20971520 producer.sinks.r.hdfs.rollCount = 0 上面滚动楼主设置的 有点大。可以尝试先设置小一点。这么大内容,可能会超时。3.hadoop副本是多少,有几个datanode 4.jps看下进程是否还在5.datanode空间是否足够 |