HDFS支持数据压缩存在以下几种方法： 1、在HDFS之上将数据压缩好后，再存储到HDFS 2、在HDFS内部支持数据压缩，这里又可以分 ...

goldtimes 2013-10-25 4 89143

我们的一个生产环境的hadoop集群上25个datanode，几乎每个节点都报数据块阀值告警。例如其中一个节点：DataNode 有 565,596 个块 ...

a506488046 2016-11-2 4 29084

有一个需求，从kafka消费到队列消息后，我要把这个消息定时（比如每个小时的00分开始）持久化到一个文件，最终将生成的文件传到h ...

师太跟我吧 2016-10-25 3 8360

请问： hadoop fs –mv /user/root/a.txt /user/hadoop/b.txt 这条hadoop指令在移动文件并重命名的时候，是仅仅改变元数据信息 ...

L-D.C 2016-10-14 2 18525

用hadoop命令行上传一个3G的文件（hdfs dfs -put sample_consuming_data.txt /test/sparkData/scala/）的时候报警告：WARN hdfs. ...

pandatyut 2016-10-10 1 20806

小弟刚在amazonaws ec2 上搭了三台机子 。 ubuntu@machine0:~$ hdfs dfs -copyFromLocal firsthadoop.txt /in 16/10/02 04: ...

remarkzhao 2016-10-2 2 8286

sqoop:000> start job --jid 1 Exception has occurred during processing command Exception: org.apache.sqoop.common.Sqoo ...

linbowei 2016-4-5 12 24853

生产者节点已经显示： 2016-09-07 22:42:07,142 (pool-4-thread-1) Preparing to move file /usr/flume/flume-1.6.0/logs1/tes ...

ccliu1593571 2016-9-7 5 8427

org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT] 2015-03-12 20:13: ...

PeerQuan 2015-3-13 4 71931

执行命令： ~/hadoop-2.7.2/sbin/hadoop-daemon.sh start journalnode 日志如下： 异常主要是描述 hadoop-master-002主 ...

fox6787936 2016-9-5 4 8443

内容如标题所示，不知道hdfs是否可以满足这样的操作了，也谢谢各位的指导。HDFS上有三个文件，分别为1,2,3 ，是否可以直接在hdfs ...

夏洛特猫 2016-9-5 5 18742

我用CDH5.X，删除目录 /usr/keyword/class/input ，删除命令如下： sudo -uhdfs hadoop fs -rm -r /usr/keyword/class/in ...

cloudcat 2016-8-30 3 30425

得到filesystem的实例 有两个静态方法可以得到filesystem接口的实例 public static FileSystem get(Configuration conf) t ...

yuanqingyu0123 2013-10-25 9 26894

登陆HDFS文件系统后，怎么切换hdfs路径？？？

ccliu1593571 2016-8-28 5 17104

发现集群有点慢，我就重新启动了 服务器和集群，就不能启动了。主机中，master服务器找不到。倒是 hdfs namenode也不能启动。麻 ...

cloudcat 2016-8-26 2 5543

2016-06-13 18:23:55,247 INFO org.apache.hadoop.ipc.Server: IPC Server handler 23 on 8020, call org.apache.hadoop.hdfs.pr ...

请叫我野区养猪 2016-6-13 5 10014

log4j:WARN No appenders could be found for logger (org.apache.mahout.classifier.df.mapreduce.BuildForest). log4j:WARN P ...

Shirley139617 2016-8-2 4 9762

看到一些地址不清楚区别，请教大家： 1.[mw_shl_code=shell,true]hdfs:///user[/mw_shl_code] 2.[mw_shl_code=shell,true]hd ...

chyeers 2016-7-27 4 45726

如何看待cloudera kudu，是否相关性能测试数据

IT_雪夜归人 2016-7-18 1 10147

双击eclipse进行启动时，显示java虚拟机不存在 查找问题： 1. jdk环境变量已配置 2.使用jdk测试过Test.java程序，运行成功 ...

fong 2016-6-28 0 4615

在集群上有一块硬盘使用100%，但是其他硬盘都平均在70%左右，怎么把这块盘的数据移到别的盘上去一些？

dlh 2016-6-22 3 6158

hdfs出现了Datanode Volume Failures怎么处理？ hdfs datanode上出现了，某块磁盘出现问题，提示失败卷，该怎么处理？

IT_雪夜归人 2016-6-23 2 16269

配置Ignite作为in-memory caching layer 配置default-config.xml ...

墨默滴 2016-6-21 4 8514

hdfs如何实现datanode和disk之间数据传输，

IT_雪夜归人 2016-6-17 2 7422

hadoop集群中 CPU、内存都还有剩余，各种参数也都调过了，但是发现性能比较差，三台服务器一百亿数据量。 Linux系统中最重要的 ...

IT_雪夜归人 2016-6-15 2 9589

最近这边有个需求 统计hdfs上 /nc文件夹 下文件的数量 nc文件夹下有7个子目录 子目录下还有目录 文件在那里放着的 怎么使用命令 ...

请叫我野区养猪 2016-6-7 3 40747

执行的脚本如下： [mw_shl_code=shell,true] sudo -u hdfs hdfs balancer[/mw_shl_code] 报错信息如下： [mw_shl_code=shel ...

lixiaoliang7 2016-6-4 8 13687

在qjouanal后设置了6台，现在想加一个或者删掉一个需要重新格式化吗

假装淡定 2016-5-23 2 6508

请问可以用什么命令来查询hadoop所有文件的路径呢？

阿卡8 2016-5-23 4 5210