hadoop

安装jdk  和   ssh
查看SSH是否安装（检查是否装了SSH包）。
输入命令：rpm -qa | grep ssh
若没安装SSH则可输入：yum install openssh-server安装。

/etc/init.d/sshd status

若centos 6.5系统中SSH服务处于非运行状态则使用（service sshd start）命令开启SSH服务；停止SSH服务命令（service sshd stop）；重启SSH服务命令（service sshd restart）。为了演示效果，我这里先停止SSH服务，然后启动SSH服务，再接着重启SSH服务。
[service sshd stop] -> [/etc/init.d/sshd status] -> [service sshd start]-> [service sshd restart] ->[重启后可输入：netstat -antp | grep sshd 查看是否启动22端口]

5.检查SSHD是否在本运行级别下设置为开机启动
输入命令：chkconfig --list sshd
如图所示centos 6.5系统中SSH服在本运行级别下已经设置为开机启动,如果没设置启动就使用如下命令[chkconfig --level 2345 sshd on]设置下即可

6.设置SSH服务为开机启动。
输入命令：chkconfig sshd on 即可。
注：若是chkconfig sshd off则禁止SSH开机启动。



------------------------------

安装   ssh  客户端
6.设置SSH服务为开机启动。
输入命令：chkconfig sshd on 即可。
yum -y install openssh-clients
chkconfig sshd on


yum install rsync
yum install xinetd
-----------------------------
mkdir /usr/java
tar -zxvf jdk-7u79-linux-x64.tar.gz

jdk1.8.0_101

vi /etc/profile

#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_101
JRE_HOME=/usr/java/jdk1.8.0_101/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH


source /etc/profile

安装jdk
mkdir /usr/hadoop
-----------------------------------------------------
#node1   指的是主机名

以根用户登录，或者登录后切换到根用户，然后在提示符下输入hostname命令，可以看出当前系统的主机名为localhost.localdomain。


更改/etc/sysconfig下的network文件，在提示符下输入vi /etc/sysconfig/network，然后将HOSTNAME后面的值改为想要设置的主机名。


更改/etc下的hosts文件，在提示符下输入vi /etc/hosts，然后将localhost.localdomain改为想要设置的主机名。

192.168.80.50 node1
192.168.80.51 node2
192.168.80.52 node3
192.168.80.53 node4

在提示符下输入reboot命令，重新启动服务器。


重启完成后用hostname命令查询系统主机名，可以看出系统主机名已经变更为mycomputer。
----------------------------------配置namenode----------------------------------
上传hadoop
mkdir

tar -zxvf  hadoop-xxx

ln -sf /usr/hadoop/hadoop-1.2.1 /home/hadoop-1.2  创建对应的快捷方式

cd /home/hadoop-1.2

cd conf

vi core-site.xml
#配置namenode
#配置默认路径
    <configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://node1:9000</value>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/opt/hadoop-1.2</value>
         </property>
    </configuration>


vi hdfs-site.xml

win7 eclipse 上连接hadoop 进行hdfs文件操作，出现以下异常：Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
解决方法：hadoop 的hdfs-site文件中添加以下内容，关闭权限检查 ，即解决了上述问题。

配置副本数目
    <configuration>
         <property>
             <name>dfs.replication</name>
             <value>2</value>
         </property>
        <property>  
        <name>dfs.permissions</name>
        <value>false</value>
</property>

    </configuration>
vi slaves

配置datNode

node2
node3  


vi masters

配置snd  就是 处理 edits 和 fsimage 的节点为

node2

vi hadoop-env.sh
配置 hadoop的 jdk
export JAVA_HOME=/usr/java/jdk1.8.0_101


-----------------------------------node1  无密码ssh node2  ssh node3
--执行以下两个命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

生成秘钥在 /.ssh/id_dsa 目录下

cd ~
cd .ssh/

scp id_dsa.pub root@node2:~
--把公钥上传到node2 虚拟机上 和 node3  虚拟机上面  
进入 node2 服务器

上传到  cd~  这个目录
cat id_dsa.pub >>  ~/.ssh/authorized_keys

并把 id_dsa.pub  追加到 node2 虚拟机的  authorized_keys 这个上面

[root@node2 .ssh]# more authorized_keys
ssh-dss AAAAB3NzaC1kc3MAAACBAIDaQaUT/SEz68fGFCdS73PjEDuqej3PGUuhcGSUkp+OVnLhdeTG
VsdG7knRVI4vxygzA4RM8DkIR7+fPwYlpLAYNhIPpWykSFKfgchATb8g5StN/92v5NM5aLm+JeSmXPlz
97ODc1FITnOYeS8k79+7HfexDr/pioHqwnfPmFU/AAAAFQCbI1oM+K4DcMyVJUQU4PiHmCc7EwAAAIBV
4ymEiZSd+a4buzfoAL1Cj5gwy4ZmE1zZobe1GmxRGp3vJ2fzBbYCsd4fTcuE18DGyu5jqX3KqQIMVQSJ
n3lCSRKTPtFgfAwlcoVzguYI6Pwjxkw4cYkT+cMJzXXg+AHTCIbWMT2mvF9LKyg3Zfx/kZf3va5hfjmT
fHMAvetBFgAAAIBLjz+lVK7E0PfSKdl7WLJjI1+RsSYFTcX/D8uWfHbsvhYsjJHjv/cXW3t3AaUxejor
NVWJsdmUyUmDWvf+UU2+EMD0al9qJHfJ3948Cf34Uxm2T+zsmMB1mMDCiPlh8slqCxvaLsnq+DB5stxU
XhIspk0LXiUzU6Ifc6UPinYTfQ== root@node2
ssh-dss AAAAB3NzaC1kc3MAAACBAN5LsfLfO/GZ5tsaRGYA27qqq96AEhhhVk8cjgO7w56qtqyj7ApY
MZAyh9M+JLIhGF2yJEcdIVZtl9fzgiqd0tgIjXWvgPPTbpg2uYDXWKf5kMCB3NUrtDpjl446q3fcoQ53
MDDuXU+tsVqwYEGwBTnb4XUuSW62zD7B8Rw9wZFvAAAAFQDf8AQMimoQBRFTnYdS9g3FKyU9wQAAAIEA
yAAGJN6YKzHZGCZT12zduAw4gRxSJoIRjOcGNJ5lyEl429m+RnQEFJltakDsrM1Q/g7RSYGLe6O6Bnwq
8oBDxSZUftB1MNWvqog4jMKbWSBiikLnbdxtIQ/pOEaEO3ndHp+K/Lm/du+llxtREaJdO05wUKezZYDC
kdFauNjGyCEAAACAFQBD5iSLszGs239g6MIwkYyfNcetecZqRRA7sdWLjMcEzE3xXMycFI3Ltzg6jQeM
kfpLebCy8FXMPXNDeJ4kVPfDGm0H5DoqnDoPicPcATMH4maks3sA0bWDJ6G0Hqqp5PMBGrW2BJtT+Nxq
ek4pfMwyEE5a8R3qixo5MgNLIiM= root@node1


---------------------------------------------------------------------------------
配置文件相同  把node1服务器上面的 conf下的所有文件 覆盖到 node2  node3


scp ./* root@node2:/home/hadoop-1.2/conf/
scp ./* root@node3:/home/hadoop-1.2/conf/


--------------------------------------------------------------------------------

./start-dfs.sh

[root@node1 bin]# ./start-dfs.sh
starting namenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-node1.out
node2: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-node2.out
node3: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-node3.out
node2: starting secondarynamenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-node2.out

jps  分别去服务器执行 jps  查看   所对应的node 是否启动


如未启动则  关闭防火墙

service iptables stop

bin/hadoop namenode -format

hadoop-1.2 dfsadmin -report


----------------------------------------------------------------------------------
C:\Windows\System32\drivers\etc\hosts
127.0.0.1 localhost
192.168.80.50 node1
192.168.80.51 node2
192.168.80.52 node3
192.168.80.53 node4
http://node1:50070


----------------------------------配置 mapreduces------

conf/mapred-site.xml

     <property>
         <name>mapred.job.tracker</name>
         <value>node1:9001</value>
     </property>
----------------------------------------------------

运行   ./hadoop jar ~/wc.jar mr.JobRun

mr.JobRun  是 main的类