本帖最后由 pig2 于 2014-4-9 23:30 编辑
hadoop学习,我们大部分都是为了,工作。那么我们就需要从工作入手,看看企业有什么要求。我们需要掌握什么知识,而不是搭建完环境,写个mapreduce,就不知道该如何进行下去,不知道该如何学习了。
分析:
从岗位职责与要求看到你需要会mapreduce编程,hive,hbase使用。
还需要会一些语言,更深一步,需要具有hadoop调优等知识。
调优可以查看hadoop作业调优参数整理及原理
Hadoop作业调优参数如何调整及原理指导
其他知识可以通过搜索:
搜索
公司需求:
岗位职责:
1、负责维护管理现有hadoop集群,并优化底层架构;
2、负责hadoop平台上的MapReduce、hive、hbase应用维护与管理;
3、编写基础、通用的MapReduce、hive、hbase数据处理组件;
4、负责把hadoop分析结果导入到数据库中,并为bi提供分析数据。
5、负责指导其他软件工程师基于hadoop的MapReduce、hive、hbase应用开发
任职要求:
1、大学本科及以上学历,数学、计算机、统计学等相关专业
2、有Hadoop、MapReduce项目经验者优先,有传统数据仓库开发实践经验者优先。
3、熟悉linux开发环境;熟练掌握python、shell、perl中的一种;熟练掌握java开发。
4、有hadoop集群部署、运维、开发经验;
5、熟悉mapreduce、hive,hbase,(flume,kafka优先考虑);
6、有hadoop调优、统计学知识的优先考虑
|
|