去公司面试，记录下的最新hadoop面试题
本帖最后由 bioger_hit 于 2014-12-24 12:30 编辑1.简要描述如何安装配置一个apache开源版hadoop，描述即可，列出步骤更好
2.请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？
3.启动hadoop报如下错误，该如何解决？
errororg.apache.hadoop.hdfs.server.namenode.NameNode
org.apache.hadoop.hdfs.server.common.inconsistentFSStateExceptio
n Directory /tmp/hadoop-root/dfs/name is in an inconsistent
state storage direction does not exist or is not accessible?
4.请写出以下执行命令
1）杀死一个job?
2)删除hdfs上的/tmp/aaa目录
3加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令？
5.请列出你所知道的hadoop调度器，并简要说明其工作方法？
6.请列出在你以前工作中所使用过的开发mapreduce的语言？
7.当前日志采样格式为
a,b,c,d
b,b,f,e
a,a,c,f
请用你最熟悉的语言编写一个mapreduce，并计算第四列每个元素出现的个数
8.你认为用Java，Streaming,pipe方式开发mapreduce,各有哪些优缺点？
9.hive有哪些方式保存元数据，各有哪些特点？
10.请简述hadoop怎么样实现二级排序？
11.简述hadoop实现join的几种方法？
12.请用Java实现非递归二分查找？
13.请简述mapreduce中，combiner，partition作用？
14.某个目录下有两个文件a.txt和b.txt,文件格式为（ip，username）,
列如：
a.txt
127.0.0.1 zhangsan
127.0.0.1 wangxiaoer
127.0.0.2 lisi
127.0.0.3 wangwu
b.txt
127.0.0.4 lixiaolu
127.0.0.1 lisi
每个文件至少100万行，请使用Linux命令完成如下工作：
1）每个文件各自的ip数
2）出现在b.txt而没有出现在a.txt的ip
3）每个user出现的次数以及每个user对应的ip数
补充一些：
用户手机号出现的地点出现的时间 逗留的时间
111111111 2 2014-02-18 19:03:56.123445 133
222222222 1 2013-03-14 03:18:45.263536 241
333333333 3 2014-10-23 17:14:23.176345 68
222222222 1 2013-03-14 03:20:47.123445 145
333333333 3 2014-09-15 15:24:56.222222 345
222222222 2 2011-08-30 18:13:58.111111 145
222222222 2 2011-08-30 18:18:24.222222 130
按时间排序
期望结果是
222222222 2 2011-08-30 18:13:58.111111 145
222222222 2 2011-08-30 18:18:24.222222 130
222222222 1 2013-03-14 03:18:45.263536 24
111111111 ~~~~~~~~
333333333~~~~~~~
FILE1
83
26
69
129
FILE2
56
103
266
45
FILE3
15
199
467
23
期望 输出结果
115
223
326
445
这样依次排序下去
学习中，争取给出结果。 学习学习 帖子收下了，谢谢楼主 帖子分享了，给好参考参考 收藏一下 坐等LZ公布答案 {:soso_e141:} 先收了，谢谢楼主分享 好，可以多练习一下 坐等答案。