hadoop、大数据笔试、面试都会问那些问题
本帖最后由 pig2 于 2014-9-4 23:41 编辑1、hdfs原理，以及各个模块的职责
2、mr的工作原理
3、map方法是如何调用reduce方法的
4、shell如何判断文件是否存在，如果不存在该如何处理？
5、fsimage和edit的区别？
6、hadoop1和hadoop2的区别？
笔试：
1、hdfs中的block默认保存几份？
2、哪个程序通常与nn在一个节点启动？并做分析
3、列举几个配置文件优化？
4、写出你对zookeeper的理解
5、datanode首次加入cluster的时候，如果log报告不兼容文件版本，那需要namenode执行格式化操作，这样处理的原因
是？
6、谈谈数据倾斜，如何发生的，并给出优化方案
7、介绍一下hbase过滤器
8、mapreduce基本执行过程
9、谈谈hadoop1和hadoop2的区别
10、hbase集群安装注意事项
11、记录包含值域F和值域G，要分别统计相同G值的记录中不同的F值的数目，简单编写过程。
信息技术有限公司
1、你们的集群规模？
2、你们的数据是用什么导入到数据库的？导入到什么数据库？
3、你们业务数据量多大？有多少行数据？(面试了三家，都问这个问题)
4、你们处理数据是直接读数据库的数据还是读文本数据？
5、你们写hive的hql语句，大概有多少条？
6、你们提交的job任务大概有多少个？这些job执行完大概用多少时间？(面试了三家，都问这个问题)
7、hive跟hbase的区别是？
8、你在项目中主要的工作任务是？
9、你在项目中遇到了哪些难题，是怎么解决的？
10、你自己写过udf函数么？写了哪些？
11、你的项目提交到job的时候数据量有多大？(面试了三家，都问这个问题)
12、reduce后输出的数据量有多大？
对于自学和找工作而言，非常有帮助！ {:soso_e179:} 谢谢 受用 谢谢，受用了 学习中 加油！ 好好学习啊 受教了！！！！！！！
学习中。。。。。。。。。。。。。。。。。。。。。。。。。 谢谢学习学习