用户组:游客
最近有幸参与了个项目,可以说对目前的需求来说使用hadoop不是必须的,使用hadoop也没太多经验, 也是为了技术而技术吧,先研究 ...
还在学习HDFS中,碰到下面的状况: 写一个大文件的时候,namenode上的daemon挂了,重启了一下namenode的进程。从namenode的log ...
根据老板的要求,将原先部署的hadoop-0.20.2的集群,升级到hadoop-0.21.0。(集群:1个Namenode;1个backup node;5个datanode。 ...
测试环境:1个namenode+2个datanode,百兆网络(上限12M左右) 测试文件 1520张照片(每张不到1M,共1.01G) 在相同时间段内测 ...
[root@m141 hadoop]# cd bin [root@m141 bin]# ls hadoop start-jobhistoryserver.sh hadoop-config.sh start ...
hdfs如何读取大文件bcp的内容吗?用哪个API类吗?
dfs.data.dir /home/u/hdfs/data 各位老师请教一下,各个数据结点必须要有统一的硬件及目录文件系统吗吗?我datanode1有3块 ...
有一个hadoop程序,要将hdfs上的文件经过处理以后先保存到临时文件目录,在所有的文件被完全处理以后再将这些文件从临时目录下移 ...
我对于append了解也不深,望明白的人解释一下对于同一个文件多个client是否能够并发的append吗? 如果可以的话,会不会造成频繁 ...
我上传一个文件,文件存在HDFS中,现在我想知道这个文件具体存在哪个节点上
我的输入目录是/input,输出目录为/tmp/output,运行时输出如下: 12/08/19 17:23:14 WARN util.NativeCodeLoader: Unable to loa ...
在windonws下eclipse连接 linux上的hadoop出现如下错误 主要代码如下 String src=new String("/user/root/input/helloworld"); ...
hadoop我采用的是伪分布式的模式,有多个磁盘分区,我想把每个磁盘分区设置成一个data节点不知道该怎么设置。真心求教了。
各位高手:Hadoop部署完成后,通过Eclipse Hadoop插件可以实现调试,但是存在非常大的风险(别人也通过Eclispe并配置完成后就可 ...
根据网上的资料和书上的介绍,配置好backup node 后,在backup 节点上执行结果如下图: 使用hadoop1.0.3版本,为什么namenode 没 ...
./start-balancer.sh -t 10 还是./start-balancer.sh -t 10% 负载均衡的,查资料看到有的参数是10,有的是10% 有区别么吗?
请问下 hadoop中搭建好dfs后是不是 存储容量就是几台机器的总和 我怎么查看呢 hadoop dfsadmin -report?
我想对hdfs进行改进,修改源码;如何编译吗?吗?吗? 编译成功后如何使修改生效,即如何使用吗?吗?吗? 跪求大神!!!
请给位大虾指教,该如何处理啊吗?不知道该选哪个jar,请说清楚些,灰常感谢啊
2013-05-16 15:49:09,660 : INFO : FtpServer : FTP server started 2013-05-16 15:49:40,120 : INFO : LoggingFilter : CREATE ...
已成功利用openlayers读取本地的地图切片,openlayers怎样读取hadoop中的地图切片呢吗?
本人初学hadoop,按照网上的资料,已经成功搭建好hadoop环境,但是现在有一个搞不懂,hdfs是一个海量数据存储环境,但是需要用pu ...
我按照手册用两台机器部署全分布,上传文件时出错:[ol][*][root@mysql1 conf]# hadoop dfs -put core-site.xml /test/ [*]13/0 ...
用cat命令可以找到文件,但是用-put命令总是说文件不存在
how to get file INode in active file? for example: under client type command as below: ./hadoop fs -chown -R hadoop:ha ...
各位大大,情况如标题所示,先来俩图吧: 第二个是API,那个copyFormLocalFile方法中的目的路径为空时,它会自动创建,我试过, ...
错误日志: Exception in thread "main" java.net.BindException: Address already in use at sun.nio.ch.Net.bind(Na ...
如题,使用强制退出命令也不行,重启hdfs也不行,不知道怎么解决。求指导 我查资料说是数据节点上报状态有,但是这种的怎么处理 ...
不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。 hdfs是如何实现上述结论的 ...
在用 “hadoop fs -put ....” 上传文件到hdfs时,偶尔有时会挂起, 用"ps -aux"查看,"hadoop fs -put"会长时间存在。昨天上传 ...
本版积分规则 发表帖子
查看 »