分享

Hadoop安装配置

1、分布式环境搭建  采用4台安装Linux环境的机器来构建一个小规模的分布式集群。
1.png 图1 集群的架构
  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。
2、集群机器详细信息2.1 Master服务器名称详细信息
机器名称Master.Hadoop
机器IP地址192.168.1.2
最高用户名称(Name)root
最用用户密码(PWD)hadoop(全小写)
一般用户名称(Name)hadoop(全小写)
一般用户密码(PWD)hadoop(全小写)

2.2 Slave1服务器名称详细信息
机器名称Slave1.Hadoop
机器IP地址192.168.1.3
最高用户名称(Name)root
最用用户密码(PWD)hadoop(全小写)
一般用户名称(Name)hadoop(全小写)
一般用户密码(PWD)hadoop(全小写)


2.3 Slave2服务器名称详细信息
机器名称Slave2.Hadoop
机器IP地址192.168.1.4
最高用户名称(Name)root
最用用户密码(PWD)hadoop(全小写)
一般用户名称(Name)hadoop(全小写)
一般用户密码(PWD)hadoop(全小写)


2.4 Slave3服务器名称详细信息
机器名称Slave3.Hadoop
机器IP地址192.168.1.5
最高用户名称(Name)root
最用用户密码(PWD)hadoop(全小写)
一般用户名称(Name)hadoop(全小写)
一般用户密码(PWD)hadoop(全小写)


  备注:
  添加新用户命令:useradd;修改新用户密码:passwd 用户名
  退出当前用户:exit; 登录root用户:su –
3、集群机器实际布局  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

3.1 Hadoop工作集群  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

2.png
图3.1-1 Hadoop工作集群部署图(1)
3.png
图3.1-2 Hadoop工作集群部署图(2)  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的Dell,而三台Slave机器则是实验室淘汰的Lenovo,用一个小路由器他们组成了一个局域网。

4.png
图3.1-3 路由器特写3.2 Hadoop实验集群  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

5.png
图3.2-1 Hadoop实验集群部署
上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。


本帖被以下淘专辑推荐:

已有(4)人评论

跳转到指定楼层
mongol 发表于 2014-12-8 17:18:26
从头读完,说得比较详细了,感谢版主。
回复

使用道具 举报

lzzhong9910 发表于 2016-5-11 14:51:29
从头读完,说得比较详细了,感谢版主。
回复

使用道具 举报

Ehadoop 发表于 2016-8-6 09:32:31
作为一名初学者,有个问题困扰着我,希望高手能帮忙解答,以免走弯路,谢谢!!
hadoop是不是下面三种情况都能搭建
1.windows下直接搭建
2.windows下安装虚拟机,再安装linux,再在linux下搭建
3.双系统linux下直接搭建
4双系统linux下安装虚拟机,再虚拟机下搭建

我的笔记本年代有点久远,09年惠普,2G内存,系统xp 32位
1.上面四种情况是否行得通
2.哪种适合我现在的配置,搭建起来不会太卡,可不可以完全分布,还是只能伪分布或者单机
3.适合我现在配置的情况,所需下载全部配套软件是什么
回复

使用道具 举报

dert2008 发表于 2017-12-4 11:16:03
第二页的内容图加载不了,请楼主看一下是什么原因。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条