导读： 本文比较简单，主要解决端口被暂用的问题 我们使用部署hadoop或则openstack的过程中，特别是hadoop，经常遇 ...

hyj 2014-11-12 1 6412

本帖最后由 pig2 于 2014-5-5 16:45 编辑 100亿行记录， key只有两个，统计数目， 只想生成一个文件（2行记录）。reducer之前 ...

NEOGX 2014-5-5 12 28792

hadoop中的wordcount都是逐行读入的，每次map中的value都代表一行数据，对该行数据转化成字符串后进行处理。 我现在手头的数据 ...

desehawk 2014-10-8 2 11125

Map Task每次spill(将缓冲区中的内容写入到磁盘)过程中都会生成一个spill*.out文件(*代表次序)， 但是Map Task最后会把这些spil ...

gwgyk 2014-11-27 6 9733

伪分布式是不是没有regionserver啊

NEOGX 2014-6-17 4 17164

public static class TokenizerMapper extends Mapper{ 类似于这种参数格式的都会提示有错，系统给的提示是：拼写错 ...

C4TMAN 2014-11-26 2 8383

麻烦问下大家，eclipse怎么修改hadoop源码呢？ 是不是把hadoop的src下的包导入到eclipse，根据自己的需要，修改完成后再编译 ...

gwgyk 2014-11-27 2 9053

不好意思，又来麻烦大家，这次是这么几个问题：1、core包下的org/apache/hadoop/fs/LocalDirAllocator.java这个类是不是用来管理 ...

gwgyk 2014-11-24 7 8282

这边有一个程序有一堆逻辑，领导不懂技术，加上甲方想搞云化， 所以就想把以前的程序改造成mapreduce去做个demo试验 以前的 ...

johnson_hong 2014-11-7 12 11347

这是我的eclipse版本，官网下的： eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz 然后放到了/opt目录下，执行解压命令 tar ...

C4TMAN 2014-11-22 3 10084

刚想到这么一个问题，请教下大家 假设hadoop的副本个数为3，集群中的每个DataNode都配置了3个dfs.data.dir，那么当某个DN被选作 ...

gwgyk 2014-11-21 10 27603

hadoopusr@localhost:~$ start-dfs.sh Warning: $HADOOP_HOME is deprecated. starting namenode, logging to /usr/hadoop/l ...

C4TMAN 2014-11-21 3 14747

见到新手遇到这个问题总结一下： 怎么看 hbase 里面某个表实际占用空间是多大？ 这是很多新手遇到的问题，hbase本质是hdfs文 ...

bioger_hit 2014-11-20 0 67448

uname -a who top 修改主机名称 gedit /etc/sysconfig/network service network restart ------------------------------- ...

math2008 2014-11-20 0 10702

在DFSClient.DFSInputStream的blockSeekTo（）方法，是用来定位具体的block，并创建一个BlockReader来读取block。我有这么几个问 ...

gwgyk 2014-11-19 4 9024

大家好，我想在hadoop中debug下面这部分代码，那我是该debug TaskTracker呢，还是debug Map Task呢？具体该怎么做呢？论坛里的帖 ...

gwgyk 2014-11-18 2 8415

在LineRecordReader类的nextKeyValue()方法中，有个while循环来多次使用LineReader的readLine(Text str, int maxLineLength, int ...

gwgyk 2014-11-17 9 18208

14/11/17 22:13:00 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobC ...

tzy1023 2014-11-17 3 8299

由于工作需要，得仔细了解下Map Task读取数据块的流程，但是我从Child的main()方法中开始一路跟踪到MapTask.java中的runNewMappe ...

gwgyk 2014-11-15 8 33289

请问执行hadoop自带的WordCount实例的时候输出命令执行老是报错是怎么回事啊

muyannian 2014-11-11 2 7332

请问个关于微博文本处理的问题： 如果对于所有微博文本先进行按主题分类（如使用SVM 算法），那么分完类之后的文本 ...

sunshine_junge 2014-11-10 1 7876

传统的方案都是通过ETL抽取到数据库，然后聚集进行降维，最后前端查询汇总后的数据。看了一下现在的技术似乎都不能对用户查询做 ...

johnson_hong 2014-11-7 2 9113

我从别的关系型数据库导数据到hadoop集群，如：mysql,oracle等数据库。是直接导入到hdfs上好？还是导入到hbase里好？存在这两者 ...

LoveJW 2014-11-6 7 13331

有的帖子里说 job.split中会写入split的个数，但是我怎么没看到呢？麻烦大家能帮忙分析下这段代码吗？序列化这一部分我不是很懂 ...

gwgyk 2014-11-5 11 19214

hadoop的mapred包下org/apache/hadoop/mapred/TaskTrackerManager.java类中的这个方法的是用来干什么的啊？unique host又代表什 ...

gwgyk 2014-10-31 18 15913

安装了vmware的虚拟机，centos6.4 64位。由于官方没有64位的hadoop，所以下了源码来编译，但是在编译过程中，用的maven3.0.5或者 ...

lyricsss 2014-11-4 8 8638

在sqoop根目录下建了lib放入了驱动 server/lib下也放入了驱动 但是就是出错 求助

yoki 2014-11-3 2 7273

但是在Eclipse中运行正确，为什么？？ 系统是RedHat，以前用Ubuntu时没遇到过

yoki 2014-11-1 4 9208

使用hive shell 的时候， 用命令 select * from tt; 查出来的数据是正确的。 用命令 select key from tt; hive会使用内置的ma ...

李新魁 2014-10-27 7 12107