我的集群的配置 （一主三从）： Ubuntu操作系统 ：32位 Hadoop—2.5.0： 32位 集群已安装成功，而且50070页面也打 ...

jingfengvae 2015-7-31 4 11425

在web页面中没有找到选项 在/etc/hadoop/conf/下的配置文件中查看已经有配置 fs.trash.interval 1 那么手动 ...

ashic 2015-7-27 5 23827

我put一个1g的文件，此时查看dfs used，为DFS Used: 1082564664 (1.01 GB) 创建一个快照，DFS Used: 1082564664 (1.01 GB) ...

ashic 2015-7-26 9 22456

最近在Red Hat 5上安装Lustre文件系统，共分三种节点：MDT、OST和Client。MDT与OST安装挂载好之后，在客户端进行文件系统挂载， ...

elena 2015-7-23 1 9524

在配置了HA的hadoop集群中，standbynamenode secondarynamenode是同时存在的么？standbynamenode 是热备而secondarynamenode不是 ...

a3087661 2015-7-15 6 16743

问题如下： 最近配置了一个hadoop集群，两个Namenode，三个DataNode，采用QJM方式配置集群。zookeeper实现failover切换。 发现 ...

gaobangsheng 2014-6-24 10 40213

假设我有A、B、C三台机器构成的集群。HDFS配置 blocksize = 64MB，复制因子为3 ,现在有一个文件有32MB。 1，将该文件存储到HDFS ...

hapjin 2015-7-7 11 36022

问题导读： 1、HDFS处理小文件有几种方案？各自的优缺点有哪些？2、HDFS文件操作流程步骤有哪些？3、你对提高HDFS处理小文件的 ...

yr123 2015-7-10 1 74882

大家好，我在本地WIN7 64位系统中Eclipse连Hadoop（CDH 5.3.3），Eclipse连接Hadoop的时候报错：Run的时候马上报： 15/06/29 14 ...

rano1986 2015-6-29 10 89086

[mw_shl_code=java,true]2015-07-01 09:10:02,986 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offe ...

Joker 2015-7-1 8 33719

最近想要对比一下HDFS和Lustre两个分布式文件系统，但上网查发现Lustre的安装教程很少，而且都是旧版本的Lustre，需要编译Linux ...

elena 2015-6-28 3 18268

今天在看关于Hadoop(版本0.20.2)的内置数据输入格式的时候看见了KeyValueTextInputFormat,于是就想试试这个类,下面是代码[mw_shl ...

hadoopnewcomer 2015-6-26 5 19724

我想问一下:加入我在本地上传了三个小文件到HDFS 中,三个小文件的大小总和小于一个系统默认split的大小,这时候会形成三个MapTask ...

hadoopnewcomer 2015-6-24 4 13227

有人亲自实践过么？？？

kanwei163 2015-6-21 1 12137

package com.it.filesystem; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExceptio ...

xiaobaiyang 2015-6-11 0 20577

HDFS数据块丢失和损坏的原因有哪些？除了磁盘损坏、机器宕机这些，还有哪些原因会导致HDFS数据块丢失和损坏呢？

hahaxixi 2015-6-5 4 58239

例如，现在有一个项目，要将服务器上的某个文件夹下的所有文件使用Hadoop程序在某个时段自动上传到Hadoop集群中。笔者的做法如下 ...

小孩真笨 2015-6-1 4 14541

红线的地方，三者具体位置的区别

a3087661 2015-6-1 3 12487

100T导入到hadoop上，需要进行运算。考虑到文件备份策略，中间数据的产生，需要多少台机器，机器配置如何呢。

bob007 2013-10-25 8 22697

我在eclipse里往hdfs的表里追加数据，代码是追加操作，为什么一直报该文件已存在的错误呢？？ 错误： org.apache.hadoop.i ...

LoveJW 2014-11-21 13 48431

我在Ubnutu上创建了多个用户，当我用非hadoop的用户并运行集群 出现 ERROR org.apache.hadoop.security.UserGroupInformati ...

Joker 2014-11-13 10 24111

hdfs 一个文件该多大，根据什么来规划

luozhenhua3636 2015-5-8 5 30029

元数据映射信息存放在fsimage中，当NameNode启动的时候，会加载如内存中,并执行edits文件中所有的操作 那么，我想问的是，当客 ...

Joker 2015-5-5 3 9255

问下各位大神啊。。我这边有个JAVA接口，随时随地的在获取数据，现在是直接存在oracle数据库中，如果要直接写入HDFS怎么 ...

zhangshuai 2015-4-28 2 10114

new hadoop location里面带的Host可以填localhost吗？因为我在虚拟机xml里面都是谁知的localhost

pologize 2015-4-26 3 15527

怎样将hdfs 上的小文件合并成大文件，能通过配置文件实现吗

xiaobaiyang 2015-4-23 2 47832

我用Spring MVC 框架搭建了一个网站，想做类似云盘的东西，在Controller去查询hdfs的文件目录，出现 Servlet.service() for ...

风颖尘 2015-4-14 6 13314

今天遇到一个问题，求大家知道一下，数据量只有几十兆的文件，怎么设置hdfs的块大小，对于小文件怎么去优化hadoop集群？

蒲公英_gJM1Z 2015-4-15 1 10542

别人看来再简单的事情，对于新手来说都是举步维艰啊 环境和版本： [*]Eclipse Version: Luna Servic ...

yongjian3311 2015-4-12 0 16219