hadoop开发

从事或从事过hadoop开发的聊聊：
1，hadoop目前在国内就业前景如何；
2，公司对hadoop工程师具体技能要求;
3，目前大多数公司的工程师是不是花少数时间兼顾做做hadoop内容工作，大部分时间还是该干嘛干嘛，没有成型的专职团队。

tntzbzc · 发表于 2013-10-16 13:39:19

目前国内做HADOOP的公司很多
淘宝、华为、好耶、360等都是使用HADOOP的一线企业
其中华为\淘宝对社区贡献最大
百度这块技术也有做，但很封闭，没有对外分享过任何技术。
HADOOP主要用户互联网行业，前景不好说，毕竟是小众技术。
HADOOP是一个分布式框架，不可能完全取代同类型企业级产品。就像HBASE无法取代RDBMS一样，取长补短、各取所需。
HADOOP工程师分两类：
1、运维。2、开发
运维主要关注部署、管理、监控
开发需要编程经验：首选JAVA，次选C++
但也有部分企业用PYTHON写MAPREDUCE的，比如百度
几乎所有搞HADOOP的企业都有独立团队，但也有例外（比如我们公司，我这的团队都是一群会写JAVA的DBA在弄Hadoop，效果也不错

）

bin_1715575332 · 发表于 2013-10-16 13:40:03

感觉hadoop这玩意，对于数据库技能要求还是比较高，毕竟这东西还是用来处理数据的，如果对RDBMS有更深的了解，那更加如虎添翼了。。呵呵。

zfq2008 · 发表于 2013-10-16 13:40:48

         引用 1 楼 tntzbzc 的回复:目前国内做HADOOP的公司很多
淘宝、华为、好耶、360等都是使用HADOOP的一线企业
其中华为\淘宝对社区贡献最大
百度这块技术也有做，但很封闭，没有对外分享过任何技术。
HADOOP主要用户互联网行业，前景不好说，毕竟是小众技术。
HADOOP是一个分布式框架，不可能完全取代同类型企业级产品。就像HBASE无法取代RDBMS一样，取长补短、各取所需。
HADOOP工程师分两类：
1、运维。2、开发
运维主要关注部署、管理、监控
开发需要编程经验：首选JAVA，次选C++
但也有部分企业用PYTHON写MAPREDUCE的，比如百度
几乎所有搞HADOOP的企业都有独立团队，但也有例外（比如我们公司，我这的团队都是一群会写JAVA的DBA在弄Hadoop，效果也不错

）
您公司针对hadoop使用效果如何？  却还是具有较好的横向扩展能力吗？比如说机器增加的越多，速度越快？

tntzbzc · 发表于 2013-10-16 13:41:27

引用 3 楼 zfq2008 的回复:您公司针对hadoop使用效果如何？却还是具有较好的横向扩展能力吗？比如说机器增加的越多，速度越快？
1.还行吧，HDFS做底层、HBASE做实时查询DB、MapReduce&&Hive做分析（也有一部分是用Coprocessor实现的）
2.横向扩展绝对棒，不用停机停业务~，纯动态
3.机器增加，并不会直接提升处理某个业务的速度，但可以让集群处理很多更多更庞大的业务。