风电实时采集项目总结

描述

word
65页

内容

一、前言：.................................................................................................................. 4

二、项目说明：.......................................................................................................... 4

架构图..................................................................................................................... 4

流程图..................................................................................................................... 6

三、程序运行环境：................................................................................................. 6

四、实现过程:............................................................................................................ 7

五、集群配置过程：................................................................................................. 7

1.修改CentOS默认yum源为mirrors.163.com................................................ 7

2.分别配置hostname、ip、配置hosts文件.................................................... 7

3.分别ssh安全配置以及sshkey认证登录..................................................... 9

4.测试免密钥连接：如图成功........................................................................... 10

四、配置java环境变量......................................................................................... 10

五、搭建hadoop集群(master,slave1和slave2)....................................... 10

1.切换进配置文件路径....................................................................................... 10

2.增加slave节点............................................................................................... 11

3.配置core-site.xml........................................................................................ 11

4.配置hdfs-site.xml........................................................................................ 11

5.创建hdfs需要用的文件目录......................................................................... 11

6.初始化hdfs文件系统..................................................................................... 12

7.启动hdfs文件系统......................................................................................... 12

8.网址查看：....................................................................................................... 12

9.在hdfs中准备运行目录................................................................................. 12

六、搭建yarn集群................................................................................................. 13

1.配置yarn-site.xml........................................................................................ 13

2.配置mapred-site.xml.................................................................................... 15

3.配置yarn的本地目录..................................................................................... 17

4.启动yarn服务................................................................................................. 17

5.验证................................................................................................................... 18

七、安装配置flume步骤：.................................................................................. 18

1.1 下载安装包并解压....................................................................................... 18

1.2 修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置................. 18

1.3 配置flume文件........................................................................................... 19

1.4 启动flume.................................................................................................... 20

八、Flink及kafka安装部署.............................................................................. 20

1、简介................................................................................................................. 20

2、Flink的开发准备.......................................................................................... 22

3、集群环境准备................................................................................................. 23

九、配置Hbase集群............................................................................................... 26

1.配置文件hbase-site.xml.............................................................................. 26

2.配置修改hbase-env.sh.................................................................................. 28

3.配置修改修改regionservers.......................................................................... 28

4.准备hbase目录.............................................................................................. 28

5.修改环境变量................................................................................................... 29

6.启动Hbase集群.............................................................................................. 29

十、OpenTSDB部署.................................................................................................. 30

十一、组件连接：.................................................................................................... 31

一、flink连接kafka......................................................................................... 31

二、flink连接opentsdb................................................................................... 33

十二、打包................................................................................................................ 36

（一）创建工程之前的准备............................................................................. 36

（二）创建步骤................................................................................................. 36

十三、启动服务及运行........................................................................................... 48

1、首先启动zookeeper集群........................................................................... 48

2、启动kafka集群（3台都要启动）.............................................................. 49

3、启动hdfs........................................................................................................ 50

4、启动Flink集群........................................................................................... 50

5、在flink的bin目录下提交计划............................................................... 55

图：Mainclass路径............................................................................................. 56

十四、Grafana部署安装....................................................................................... 61

1. 下载grafana压缩包..................................................................................... 61

2. 解压到指定目录............................................................................................. 61

3. 为了使用饼状图，我们需要安装Pie chart插件..................................... 61

4. 安装日志服务插件......................................................................................... 61

5. 安装好插件后重启grafana-server............................................................ 61

6. 登录查看......................................................................................................... 61

7. 为grafana配置数据源为opentsdb............................................................ 62

8. 创建个图表,并配置告警 63

风电实时采集项目总结.zip (2.62 MB, 下载次数: 47, 售价: 3 云币)

yunge2016 · 发表于 2019-1-21 08:48:56

感谢分享哦，已经下载支付，开始学习。

andy-RPM · 发表于 2019-1-21 08:58:38

感谢分享哦，已经下载支付

xiaobaiyang · 发表于 2019-1-21 09:05:33

感谢分享哦，已经下载支付

o13674976542 · 发表于 2019-1-21 11:52:02

感谢分享

美丽天空 · 发表于 2019-1-22 22:38:58

感谢分享

maomao123 · 发表于 2019-1-24 09:30:03

大佬请问下开发代码中定义的writeIntoOpentsdb类中引用了以下几个类：
import com.wugenqiang.test.Client.ExpectResponse;
import com.wugenqiang.test.Client.HttpClientImpl;
import com.wugenqiang.test.Client.builder.MetricBuilder;
import com.wugenqiang.test.Client.response.Response
这几个代码能否也公开下？或者说需要什么方式能够得到？感谢大佬

hula · 发表于 2019-6-5 14:49:03

感谢分享哦，已经下载支付

chendy · 发表于 2020-1-8 15:57:31

已经支付，如何下载？

creway · 发表于 2020-6-2 15:08:31

多谢分享，已支付

图文精华

风电实时采集项目总结

已有(10)人评论

推荐 /2