Eclipse上传文件到HDFS为空

查看数: 36877 | 评论数: 16 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-10-15 20:23

正文摘要:

本帖最后由 Kevin517 于 2016-10-15 20:30 编辑 问题说明:在 Eclipse 中 Upload files to DFS ,上传成功后,在 eclipse 中打开文件,为空。运行 单词统计案例,就没有结果。 环境说明: 采用云平台中的两台 ...

回复

﹏染指ぃ年華 发表于 2018-4-8 01:13:53
我也是和你一样的问题,刚刚才解决了,就是我之前只关了一个namenode的防火墙。可以用浏览器正常访问hadoop,正常显示文件传输,无任何报错,但是就是没有内容。直到我将namenode和DataNode所有防火墙都关掉后,文件可以成功上传了。
Kevin517 发表于 2016-10-21 20:50:11
今天尝试换一种网络环境,远程上传文件成功。

下面对此次情况做个说明。也算对这个问题做个了结,给其他人提供点思路吧。

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

使用VMware12环境安装两台 Centos6.5。分别作为 master + slaver1
宿主机使用 Windows 10 下使用 Eclipse-kepler版本的 JavaEE
插件使用的是:hadoop-eclipse-kepler-plugin-2.2.0.jar
Hadoop版本:
[root@master hadoop]# hadoop version
Hadoop 2.7.0
Subversion Unknown -r Unknown
Compiled by root on 2015-11-06T08:50Z
Compiled with protoc 2.5.0
From source with checksum a9e90912c37a35c3195d23951fd18f
This command was run using /opt/hadoop_resources/hadoop-2.7.0/share/hadoop/common/hadoop-common-2.7.0.jar

=======================================
网络采用桥接物理机网络。为的是模拟hadoop 集群网段跟开发机网段以至。
主机                               IP
master(root)                    192.168.100.16
slaver1(root)                    192.168.100.17
Windows 10 (Kevin)         192.168.100.5

========================================
在 Eclipse 中点击上传文件,没有出现卡顿。文件上传成功,文件内容没有丢失。
查看 hadoop-root-namenode-master.log 无错误输出,无警告输出。

========================================
通过 Eclipse 做单词统计案例,问题。

统计结果正常。。。。

==============

最后,对于,之前GRE网络模式下的开发。后面在尝试,如果有好消息,会再来跟大家说的。


--------------------
最后的最后,感谢大家来帮忙。
qcbb001 发表于 2016-10-16 18:32:03
Kevin517 发表于 2016-10-16 15:25
我重新做了一下,还是跟昨天一样。。。
按照你说的做了次,在 master 上传一个文件,在 Eclipse 中打不 ...

插件有时候不稳定,你通过命令上传即可。(通过插件根本没有上传成功。)
然后运行下试试。

插件并不是开发的重点。

有两种开发方式,不要局限于插件
hadoop开发方式总结及操作指导
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6950


qcbb001 发表于 2016-10-16 16:53:03
Kevin517 发表于 2016-10-16 15:25
我重新做了一下,还是跟昨天一样。。。
按照你说的做了次,在 master 上传一个文件,在 Eclipse 中打不 ...


window下eclipse开发hadoop需要添加的组件:



推荐参考
零基础学习hadoop到上手工作线路指导(编程篇)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8329
  

qcbb001 发表于 2016-10-16 12:41:00
Kevin517 发表于 2016-10-16 10:15
哦哦,那我再重新来一次看看吧。如果有好消息,回来告诉大家

不需要重装的。
楼主可以尝试通过命令上传一个文件,然后查看下文件内容
Kevin517 发表于 2016-10-16 10:15:46
qcbb001 发表于 2016-10-16 10:00
应该是easthome001所说,
第二次出现的还是这个问题。
很可能有的datanode挂掉了

哦哦,那我再重新来一次看看吧。如果有好消息,回来告诉大家
qcbb001 发表于 2016-10-16 10:00:27
本帖最后由 qcbb001 于 2016-10-16 10:14 编辑
Kevin517 发表于 2016-10-16 08:38
datanode应该不会出问题,要不然我在 namenode 节点用命令行 mkdir ,put 文件,执行# hadoop jar hadoop- ...

应该是easthome001所说,
第二次出现的还是这个问题。
很可能有的datanode挂掉了
Kevin517 发表于 2016-10-16 09:15:41
arsenduan 发表于 2016-10-15 21:08
[root@master ~]# hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - Kevin supergroup          0 2016-10-1 ...

我把 input/ 目录授予  777 权限上传还是一样问题。
关闭

推荐上一条 /2 下一条