分享

web方式访问HDFS问题

top_gloria 发表于 2013-10-25 10:44:09 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 9558
[ol]
  • Configuration config = new Configuration();
  • FileSystem hdfs = FileSystem.get(config);
  • LocalFileSystem hdfs = FileSystem.getLocal(config);
  • Path srcPath = new Path(localSrc);//本地路径
  • Path dstPath = new Path(dst);//hdfs系统路径(如:/user/wang/test)
  •                             hdfs.copyFromLocalFile(srcPath, dstPath);
  •                   [/ol]复制代码
    以上是实现从本地拷贝文件到hdfs文件系统的部分代码!
    遇到的:config得不到hadoop的配置信息;dstPath 不是HDFS系统路径
    程序的思路:服务器端通过tomcat发布服务,通过浏览器访问该服务,首先上传本地文件到服务器端,然后将服务器端的文件上传到HDFS系统中!本地上传到服务器已经解决,是服务器端的文件要通过以上的代码上传HDFS系统!
    跪求经过的的高手,指点!小弟已经困扰将近一周啦!多谢多谢!
  • 已有(6)人评论

    跳转到指定楼层
    ruanhero 发表于 2013-10-25 10:44:09
    Path dstPath = new Path("hdfs:///user/wang/test");
    把scheme加上去。
    回复

    使用道具 举报

    shihailong123 发表于 2013-10-25 10:44:09
    呵呵,既然文件已经落地了,干什么不直接用bin/hadoop dfs -copyFromLocal上传呢吗?
    这个方法相对简单一点。
    要用程序的话,就需要明确告知config添加hadoop conf目录下的那些配置文件.xml
    加上去应该就好了
    回复

    使用道具 举报

    qcbb001 发表于 2013-10-25 10:44:09
    求问:tomcat上部署hdfs-webdav,tomcat manager可以显示请求的到来,为什么客户端输入http://10.108.22.189:8080/hdfs-webdav始终显示载入中而且不会结束呢吗?
    回复

    使用道具 举报

    a2325145 发表于 2013-10-25 10:44:09
    回复 1# yuzhongfengye
      把localfilesystem 去掉
    直接用filesystem实例进行load
    回复

    使用道具 举报

    top_gloria 发表于 2013-10-25 10:44:09
    回复 4# songchanggang
       很想帮到你 但我没用过hdfs-webdav映射hdfs映射到本地的方法!希望已经找解决方法!好运!
    回复

    使用道具 举报

    lijian123841314 发表于 2013-10-25 10:44:09
    回复 5# MooNsKY
       嗯 已经解决!正解!
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    推荐上一条 /2 下一条