彻底明白Flink系统学习6：Flink最全最详细集群安装【带有各种说明】
问题导读1.ssh安装需要注意什么问题？
2.Flink集群配置文件是哪个？
3.Flink常用配置参数的含义是什么？
4.如何具体配置某个taskmanager的内存？
5.如何指定taskmanager？
6.如何指定nodemanager？
7.如何启动集群？
关注最新经典文章，欢迎关注公众号
http://www.aboutyun.com/data/attachment/forum/201406/15/084659qcxzzg8n59b6zejp.jpg
上一篇
彻底明白Flink系统学习5：window、Linux本地安装Flink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26393
集群安装模式
设置Flink集群也非常简单。 那些有安装Hadoop集群背景的人来说会非常容易。 为了规划集群，我们假设我们有三台Linux机器，每台机器都配置适中。 可以为2core和4 GB 内存机器。
由于我们有三台机器，我们将使用一台机器作为作业管理器，将另外两台机器用作任务管理器，当然你更多台也是可以的。
对于集群的安装配置，如果你已经安装过集群，那么其实比较简单，无外乎，hostname，hosts，虚拟机克隆，ssh安装，Java安装等，这些几乎是集群必备。准备完这些接着就是配置文件，然后启动集群，多么简单的事情。这里对于集群安装的准备工作，就不在写那么详细了，如果不明白推荐参考
集群安装准备工作：Hadoop、Spark、Flink等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26395
集群规划：
192.168.1.10 job
192.168.1.20 task1
192.168.1.30 task2
SSH配置
首先生成key
ssh-keygen -t dsa -P ''
这里就不在详细操作，介绍下步骤，详细参考上文链接
1.首先每台生成key
2.将id_dsa.pub全部追加到authorized_keys文件里面，如下图
将全部机器（这里三台）全部保存上面文件在.ssh文件夹里。
最后ssh安装，实现无密码登陆。
这里贴出来常用命令：
追加内容
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
远程分发到task2：
scp authorized_keys aboutyun@task2:~/.ssh
这里面特别注意权限问题：
chmod 700 .ssh
chmod 600 .ssh/authorized_keys
一定注意是上面权限，即使变成777，恐怕不能ssh成功，是700和600，一定没有问题的。
Java1.8安装
tar包下载：
链接: https://pan.baidu.com/s/19VpIRATjjOMjqdwTfTEMgQ 提取码: rbdj
其它同似参考
centos7 安装jdk 1.7
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17730
linux中Java jdk环境变量的含义
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6766
Flink 安装
完成SSH和Java安装后，我们需要下载Flink二进制文件并将其解压缩到特定文件夹中。 请注意所有节点上的安装目录应该相同。
这里的安装跟上篇文章，是一样的
彻底明白Flink系统学习5：window、Linux本地安装Flink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26393
安装包下载：
链接: https://pan.baidu.com/s/1iWGqtfkY3XX0LVK-veFmHw 提取码: qu5y
首先是解压
sudo tar zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C /usr
我这里加压到/usr目录下面，解压后为
这里三台都要解压。
配置
Flink的配置很简单。 我们需要调整一些参数，我们都已设置好。 作业管理器节点和任务管理器节点的大多数配置都相同。 所有配置都在conf/flink-conf.yaml文件中完成。下面我们开始配置
进入目录
cd /usr/flink-1.6.2/conf
打开编辑文件
vi flink-conf.yaml
我们看到下面内容
发现很flink真的很人性化，竟然大多数参数都给配置上了。但是一个参数需要改
第一步：指定jobmanager
jobmanager.rpc.address: localhost
localhost改为主机hostname，我这里的hostname为job.
第二步：配置JAVA_HOME
还有我们需要添加JAVA_HOME
export JAVA_HOME=/usr/...
以便让Flink找到Java,替换为自己的路径
第三步：配置taskmanager
vi slaves
指定taskmanager，如下图
下面是对参数的说明
#############################
参数说明：
通过编辑conf / flink-conf.yaml为集群配置Flink。将jobmanager.rpc.address键设置为指向主节点。通过设置jobmanager.heap.mb和taskmanager.heap.mb键来定义允许JVM在每个节点上分配的最大主内存量。这些值以MB为单位。如果某些工作节点具有要分配给Flink系统的更多主内存，则可以通过在这些特定节点上设置环境变量FLINK_TM_HEAP来覆盖默认值。
最后，必须提供集群中所有节点的列表，这些节点将用作工作节点。因此，与HDFS配置类似，编辑文件conf/slaves并输入每个工作节点的IP /主机名。每个工作节点稍后将运行TaskManager。
################################
第四步：分发配置文件
scp -r conf/ aboutyun@task1:~
scp -r conf/ aboutyun@task1:~
然后移动到/usr/,记得两个节点都需要移动
cp -r conf/ /usr/flink-1.6.2/
移动完毕，这里需要确认下权限，所有文件一定都属于都一个用户，比如下图都属于aboutyun
第五步：启动集群
进入bin目录
./start-cluster.sh
后面再更新
Flink最全最详细集群安装，ok 感谢分享 不错，感谢分享！ 感谢分享，写的很用心，谢谢。 不知道为什么换一个账号再配置免密登录就不行了。。。 原来是.ssh文件夹的权限问题，不能将权限设置过大，700就好 在已有的CDH环境下可以搭建fink集群吗 很详细，谢谢！
页:
[1]