类似单词统计,但是单词的长度可能比较长。输入数据比较大的话，排序是非常耗时的，所以能不能取消Shuffle自带的排序功能，因为单 ...

jiangeng59 2016-3-6 3 5998

根据这篇文章：hadoop2.4 ha(双namenode自动故障转移安装) http://www.aboutyun.com/forum.php?mod=viewthread&tid=8294 依 ...

redhat1986 2016-3-6 1 8346

在Hadoop Yarn上面运行了一个application，我现在想把他杀掉，用什么命令： hadoop job -kill id 这个命令是杀作业的，不能杀掉 ...

guxingyu 2016-3-5 2 14241

已经看过 好几个 hadoop的技术了， 心里也知道的差不多了 就是想知道 有没有完整的项目 技术流程。 想看一看， 目前心里 还 ...

67929411@qq.com 2016-3-4 2 6007

我用四台台式机配hadoop集群，ssh免密码登录，java，网络，防火墙都没有问题，系统是centos6.5 64位。 hadoop版本是2.6.0，但是 ...

sniperD 2016-3-3 8 12948

1.集群下Mapper被实例化的次数是否为切片数? 还是只有一个实例？ 2.多个map如何共享一个对象，比如共享一个ArrayList ? ...

jiangeng59 2016-3-2 1 5149

1.从hdfs上读取文件array.txt构建一个数组array 2.从hdfs上读取文件resource.txt，使用数组array验证某些东西 这2步在普 ...

jiangeng59 2016-3-1 3 9011

新增节点是从之前的datanode01上拷贝过来的，hadoop环境一模一样，所有的节点hosts文件都已经配置完毕，NameNode的Slaves也添加 ...

jiangeng59 2016-2-29 2 14166

搭建了三个节点的集群: node000: NameNode,DataNode node001:SecondaryNameNode,DataNode node002:DataNode 在node000上执 ...

chimes298 2016-1-18 2 21045

我impala集群使用sql语句搜索特别慢 我用的是CDH5.5.0，如 select domain, sum(domain_request_count) domain_request_cou ...

bob007 2016-1-22 1 13370

本帖最后由 pig2 于 2016-1-19 21:11 编辑 在，，java api中得到一个用户的hdfs的剩余空间，和总空间，怎么办 ########### ...

pig2 2016-1-19 0 8507

如题，集群有时候出现某个nodemanager出现在Lost Nodes，同时在active nodes也有该nodemanager，只是端口号不一致比如在active n ...

louiscool2 2016-1-11 4 25993

本人刚开始是所有产品都从官网下载，自己部署集群，自由组合各产品的版本，这样节点数不是很多时部署起来还行，但是节点多了人工 ...

Fortitude 2016-1-8 6 7352

现象描述： 已经上线了2年的系统，因不知道什么原因，一台datanode连不上了，但在web页面能看见，最要命的是应用还不断去连接本 ...

aaronping 2015-12-31 2 6209

如题：Hadoop做了HA后，namenode就有多个节点，那么Eclipse如何搭建环境 他与Hadoop没有做HA的时候，有什么不同，有 ...

guxingyu 2016-1-4 6 10022

本帖最后由 helianthus 于 2016-1-3 19:39 编辑 问题导读： 1.如何将应用程序的相关数据发布到timeline server？ 2.如何通过 ...

helianthus 2016-1-3 0 7545

今天在网上找了一个比较好的hadoop视频，希望对大家有用，hadoop总共63视频，百度网盘地址：链接: http://pan.baidu.com/s/1geox ...

zhchzh1000 2016-1-1 0 8374

本帖最后由 helianthus 于 2015-12-27 18:48 编辑 问题导读： 1.启动yarn timeline service需要哪些配置？ 2.怎么给hadoop集 ...

helianthus 2015-12-27 1 36907

问题导读 1.什么是Kerberos Principal？ 2.Hadoop守护进程是否使用不同的用户？ 3.各个守护进程keytab 文件各有什么 ...

pig2 2015-12-26 1 16861

上一篇hadoop【2.7.1】安全模说明【上】 http://www.aboutyun.com/thread-16568-1-1.html 从Kerberos principal映射用 ...

pig2 2015-12-26 0 18710

yarn框架下， 使用hadoop streaming，除了在streaming的添加 cmdenv， 还有什么办法可以设置container的环境变量。 最好可以有 ...

CryMe 2015-12-21 1 8095

whx@whx-desktop:/usr/local/hadoop_tmp/hdfs$ ls -l 总用量 8 drwxrwxrwx 2 root root 4096 10月 17 19:56 datanode drwxrwx ...

往事也加 2015-11-23 2 15635

本帖最后由 pig2 于 2015-12-26 18:03 编辑 问题导读 1.什么是Kerberos Principal？ 2.Hadoop守护进程是否使用不同的 ...

pig2 2015-12-13 0 7883

大数据开发中要用到很多软件，现在只会用hadoop、spark，看了一下相关的还有hive、hbase、impala、pig、redis、sqoop、flume ...

395455030 2015-12-9 2 7661

Memory Used 698 GB Memory Total 1.30 TB 为什么 这里内存使用率 上不去？ 急 之前能用到1T ，900多G 现在一直在70 ...

ab0412 2015-12-5 3 13010

想请教一下，如果将数据读取到Java里面，能不能判断获取的数据的字符集是那种的，

credit 2015-12-3 2 8112

我知道hadoop把数据装在一些块里，一个块的位置可能在多个datanode中的随机一个，怎么知道在哪个？我看以前版本的hadoop的50 ...

395455030 2015-12-3 2 11983

各位大神想请教一个问题，就是现在oracle的字符集是US7ASCII，hive的元数据编码为utf，现在将数据使用sqoop导入到hive后中文乱码 ...

credit 2015-12-3 9 9916

hadoop启动时发现namenode没启动，查看日志如下： 2015-12-02 11:11:12,691 WARN org.apache.hadoop.hdfs.server.namenode.FSNa ...

Sempre 2015-12-2 7 20289