搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
技术学习(版主发帖区)
›
大数据学习
›
总结型
›
hadoop新手感悟(不断更新)
0
3
0
分享
hadoop新手感悟(不断更新)
nettman
2014-2-23 22:26:47
发表于
总结型
[显示全部楼层]
阅读模式
关闭右栏
3
11743
About云VIP帮助找工作和提升
本帖最后由 nettman 于 2014-2-23 22:27 编辑
这个没有标准答案,大家可以对下面问题发表个人看法
1.为什么要新建帐户和群组?
2.为什么安装JDK?
3.为什么配置SSH?
4.为什么HostName绑定ip?
5.hadoop编程本质是什么?
1.新建帐户和群组
集群的安装当然需要使用到多台电脑,我使用的是三台CentOS的虚拟机。网络上很多blog中都有提到,重新新建账户和群组,其实这个步骤是可有可无的。之所以这样干,我自己思考有两个方面的原因:一个是为了方便管理,账户专用,也更加安全; 另外一个方面,是在实际的集群安装中会有很多台的电脑需要配置环境,使用相同的账户和路径更加方便脚本批处理。
2.安装JDK
安装JDK 环境,这是因为hadoop使用Java开发。
3. 配置ssh 环境
在我最初看网络上一些文章的时候,我还是有点迷糊的。这个主要是需要了解ssh 公钥实现无密码登录的原理,之后就非常明了了。 说白一点,就是如果电脑A 需要无密码登录电脑B ,则需要在电脑A的authorized_keys中保存B的公钥信息。而如果需要多台电脑之间互相实现无码登录,则需要相互之间共享各自的公钥。
ssh环境两个需要注意的地方:
一个是需要配置"/etc/ssh/sshd_config",PubkeyAuthentication yes #启用公钥私钥配对认证方式。另外一个是authorized_keys 的属性需要修改为644.
4. 配置/etc/hosts中计算机名称与IP的对应
其实这个只是为了方面在后面的配置文件中使用计算机名代替IP地址而已,便于管理,也便于修改。当然如果你不怕麻烦,所有的地方都使用IP地址也没有问题的。
5.hadoop编程本质
其实就是实现map和reduce函数,其它并行编程中的种种问题,比如分布式存储,工作调度,负载平衡等都有mapreduce框架去处理。
(来源敏小小博客
使用maven构建hadoop开发环境
)
本帖被以下淘专辑推荐:
·
新手指导
|
主题: 42, 订阅: 22
加微信w3aboutyun,可拉入技术爱好者群
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(3)人评论
电梯直达
正序浏览
InSight
发表于 2014-10-12 14:15:24
除了使用CentOS系统,我看到好多人也使用Ubuntu系统,这是怎么一回事?
回复
使用道具
举报
显身卡
kril-x
发表于 2015-12-14 16:53:54
ting bucuo de~!
回复
使用道具
举报
显身卡
linian_hadoop
发表于 2015-12-31 15:03:37
新手入门是必须的。
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
移动云计算
发表新帖
nettman
超级版主
关注
2910
主题
3203
帖子
478
粉丝
TA的主题
避坑大厂基础架构
昨天 21:48
Flink CDC:新一代实时数据集成框架
昨天 20:38
蚂蚁面试就是不一样
昨天 20:29
招聘1万人
6 天前
为何大厂开发者纷纷抛弃小仓,转向大仓monorepo?
6 天前
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈