用户组:游客
本帖最后由 fiberlijun 于 2009-11-19 17:12 编辑 HDFS是构建在PC硬件之上的分布式文件系统,非常适合需要访问海量数据的应用 ...
请教下,我用另外一个帐号启动namenode java.io.FileNotFoundException: /data/hadoop/hdfs/name/current/VERSION (Permission ...
本帖最后由 hadoopor 于 2009-11-27 14:53 编辑 如果允许数据冗余,通过改进HDFS,支持update和delete两个操作并不困难,如果 ...
本帖最后由 fiberlijun 于 2009-11-19 17:11 编辑 HDFS对文件和目录的访问控制模型和Linux也很相似。 HDFS有三种权限类型: ...
HDFS传输数据时是发送数据包(Packet)的形式,而Packet = Header + Checksum + Data.每个数据包(Packet)包含很多个Chunk,每次向P ...
看到好几篇文章中提到写文件,自己尝试了一下采用DFSClient写文件,就是不成功,不知道怎么回事。 还有,以前配置0.19版本的时 ...
本帖最后由 pig2 于 2014-11-21 17:29 编辑 topology.script.file.name HDFS不能够自动判断集群中各个datanode的网络拓扑 ...
本帖最后由 fiberlijun 于 2009-11-19 17:08 编辑 hadoop dfsadmin -report 用这个命令可以快速定位出哪些节点down掉 ...
从HDFS上读文件到本地的时候,文件可能有好几个块,那么块拼接的时候是怎么拼接的,也就是说从HDFS的文件读到本地,文件是怎么还 ...
本帖最后由 spork 于 2009-11-19 17:04 编辑 (转载自http://blog.csdn.net/fiberlijun) dfs.hosts 文件完整路径:列出 ...
各位好,我的hadoop是0.20.1,现在想使用 lzo压缩,目前在编译hadoop-gpl-compression的时候出错,错误信息如下: [ol][*][root ...
本帖最后由 fiberlijun 于 2009-11-19 17:08 编辑 safemode模式 NameNode在启动的时候首先进入安全模式,如果datanode丢失的 ...
HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳: 低延时访问 ...
运行bin/hadoop fsck / 后显示如下结果: ................................................................................ ...
原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html 一、前提和设计目标 1、硬件错误是常态,而非异常情况, ...
browse the fielsystem 后 出现的 data ,system,user三个目录的作用是什么。其中存放的数据是什么呢吗?
本帖最后由 hadoopor 于 2009-11-22 14:30 编辑 By云深作者:Terry/Alen/Adam/SeymourZ 转载请注明出处 前言 l 云计算领 ...
转载自:http://www.cloudera.com/blog/2009/02/the-small-files-problem/ Small files are a big problem in Hadoop — or, at ...
目前,使用Hadoop做多的应用是数据分析,如:Web日志分析等,这些源数据通常都是文本格式,占用磁盘空间大和网络带宽高。而且,H ...
本帖最后由 hadoopor 于 2009-12-4 17:15 编辑 转载:http://blog.zdnet.com.cn/index.php?uid/313974/action/viewspace/item ...
当我输入 bin/hadoop dfs -copyFromLocal /home/hadoop/wordcount-text1.txt test-in 出现提示如下,不明白什么意思,谁能指 ...
请教个. 在hdfs里,是通过block的version保持一致性的. 请问,在哪些条件下,version会改变 (问这个的主要目的,是在namenode和da ...
HDFS和并行计算都有个共同点,就是有很多台机器。能不能利用datanode上存的数据,利用openmpi,进行并行计算呢。
在GFS的论文里提到读的时候速度能达到很高,我想知道问什么它能达到那么高的一个速度,什么原理。
我用了3台机器,其中一台存在namenode,也存在datanode,其他两天都是datanode。 用hadoop fs -put file.iso input/ 它都是采用 ...
为什么HDFS不适合数据仓库分析,个人认为可以从HDFS产生的背景和它所能提供的特性两个方面来分析,有关HDFS特性的,我在http://b ...
请问,当从本地向hdfs复制文件时,且本地文件非常大,hdfs是如何存储它的吗?如何分块吗?
1个namenode+secondarynode+2 datanode Configuration conf = new Configuration(); conf.set("hadoop.job.ugi", ...
请问下hadoop小文件怎么优化的?要是合并的话怎么合并的吗?有相关的论文吗吗?
我按照《hadoop the definitive guide》里面的内容安装了hadoop,并利用hadoop里面的hadoop-*-example.jar进行测试,在生成10G随 ...
本版积分规则 发表帖子
查看 »