立即注册 登录
About云-梭伦科技 返回首页

w123aw的个人空间 https://aboutyun.com/?15 [收藏] [复制] [分享] [RSS]

日志

Cloudera Manager 5新增功能和改变

已有 2600 次阅读2014-9-7 02:35

问题导读：

1.Cloudera Manager你所了解的用户角色（User Roles）有几种？
2.Spark Service 增加了什么服务？
3.Impala做了哪些改变？
4.Cloudera Manager 5的默认调度器是哪个？
5.Cloudera Manager5 嵌入式数据库包名字对于Cloudera Manager以前版本发了什么变化？
6.Cloudera Manager5中Solr 最小的heap size是多少MB？




翻译的很认真，如有错误或则不当之处，欢迎批评指正


1.Cloudera Manager 5新增加内容Cloudera Manager 5.1.2新增加内容
解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.1.2 .

新的 SAML配置选项


从IDP到Cloudera Manager你可以指定AuthNResponses协议。以前 Cloudera Manager只能使用 HTTP-Artifact，现在你可以使用HTTP-Post。但是默认绑定还是HTTP-Artifact

2.Cloudera Manager 5.1.1新增加内容
解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.1.1

3.Cloudera Manager 5.1.0新增加内容
下面为原文
Important: Cloudera Manager 5.1.0 is no longer available for download from the Cloudera website or from archive.cloudera.com due to the JCE policy file issue described in the Fixed Issues in Cloudera 5.1.1 section of the Release Notes. The download URL at archive.cloudera.com for Cloudera Manager 5.1.0 now forwards to Cloudera Manager 5.1.1 for the RPM-based distributions for Linux RHEL and SLES.

重要：
Cloudera Manager 5.1.0 不能再从 Cloudera 网站或者archive.cloudera.com上下载了，因为the JCE policy file 的问题，这个问题已经在Cloudera 5.1.1版本修正。Cloudera Manager 5.1.0 基于RPM的Linux(RHEL和SLES),在archive.cloudera.com的下载链接指向了Cloudera Manager 5.1.1

SSL 加密:
HDFS, MapReduce, YARN and HBase支持几个新的关于SSL的参数配置，这些允许配置和启动加密洗牌以及 web UIs加密这些服务。 可以查看 Configuring SSL Encryption in Cloudera Manager.

Sentry 服务:

Kerberos 认证

  • 现在支持Kerberos集群使用ActiveDirectory KDC。
  • 新向导启用Kerberos 现有集群，这个向导适用于MIT KDC 和 Active Directory KDC

Spark Service 
增加历史服务器角色（History Server）

Impala 
增加了支持Llama ApplicationMaster HA（高可用性）

用户角色（User Roles）
有两个角色Operator 和 Configurator，支持 访问 Cloudera Manager 功能 。查看  Cloudera Manager User Accounts.

监控
  • 更新了Oozie 监控
  • 新的 Hive 元数据 Canary


UI

UI更新提高扩展性，首页状态标签可以被配置为在一个完整的或简易格式显示集群，每个集群有一个新的集群页面。主机和页面添加了filters

4.Cloudera Manager 5.0.2新增加内容
解决了很多问题. 详细可以查看Fixed Issues in Cloudera Manager 5.0.2

5.Cloudera Manager 5.0.1新增加内容
解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.0.1 

监控
对于监控服务,主机监控, 和活动监控的java 垃圾回收健康测试，被替换为新的Java暂停时间健康测试。


6.Cloudera Manager 5.0.0新增加内容

服务和配置管理

HDFS 
高速缓存管理

Resource Management
接入Impala 

监控
主机硬盘
Impala最佳实践（Impala  best practices）
HBase表统计
HDFS缓存统计

7.Cloudera Manager 5.0.0 Beta 2

服务和配置管理

HDFS

HDFS NFS 网关角色
支持从一个快照恢复HDFS数据

YARN
YARN的资源管理器（HAYARN Resource Manager HA）
资源池调度器

支持Spark服务
支持accumulo服务
支持服务的可扩展性
支持设置 Oozie服务器高可用性
Granular 配置 staleness UI
支持设置最大文件描述符



监控

  • 支持监控Cloudera Search/Solr服务
  • 新的 "failed" 和 "killed" 不成功的Yarn应用程序会显示标记
  • 更多的属性可以过滤显示YARN应用程序和Impala查询
  • 对于HBase 表和命名空间, Impala查询,和YARN应用程序
  • 支持用户自定义触发器来访问charts/tsquery指标（Support for creating user-defined triggers for metrics accessible via charts/tsquery）
重要：
因为触发器是一个新的和不断发展的特性,发行版之间的向后兼容性是没有保证的。

  • 图表的改进
新表图表类型
从图表中显示数据和元数据有新的选项
支持从图表数据导出到CSV或JSON文件

管理设置
管理员功能新增角色类型如果内存用完，Cloudera Manager Server 和 all JVMs会创建堆转储
配置parcel目录的位置，和指定什么时候是否从集群移除旧的parcels

8.Cloudera Manager 5.0.0 Beta 1

CDH 版本

分别支持CHD4与CDH5
支持从CHD4升级到CDH5
支持YARN作为执行环境
MapReduce (MRv1) to YARN (MRv2)配置入口
基于YARN的 Impala 1.2的资源管理器

JDK 版本

Cloudera Manager 5支持JDK 6 和 JDK 7.

资源管理
对于YARN和Impala通过核心服务提供了一个静态的和动态的资源分区的配置向导
对于YATN、Impala增加Pool, 资源组, 和 队列管理
使用监控和统计


监控
YARN服务监控
YARN (MRv2) job 监控
可以配置impala查询直方图和YARN job属性可以用来过滤查询和应用程序列表
可伸缩的后端数据库监控指标
图表的改进
      1.新图表类型:直方图和热图
      2.新的scale类型：对数和幂
      3.更新了tsquery语言：新的属性支持YARN和新的功能支持新的图表类型


可扩展性
能否管理ISV 应用程序和非CDH服务 (例如, Accumulo, Spark, 等等)
选择ISV是Beta 1的一部分

单点登录

支持SAML实现单点登录

Parcels

强制依赖确保不相容的Parcels不能一起使用
为了节省磁盘空间，可以选择不缓存下载parcels
提高管理操作的错误报告

备份和灾难恢复（BDR）
支持调度快照
支持YARN (MRv2)：
复制jobs可以使用YARN (MRv2) 代MRv1运行.
全局复制Page：
所有预定的快照（HDFS和HBase），要么HDFS或hive复制job放在一个页面

其它
全局搜索框
可用性改进
综合检测配置变化：
服务重启, 刷新和客户端部署配置.


----------------------------------------------------------------------------

Cloudera Manager 5不兼容的改变

下面的部分描述了在Cloudera Manager5版本不兼容的改变。

Cloudera Manager 5.1.2不兼容的改变
这个Administrator 角色已经重命名为Operator， Operator角色在Cloudera Manager Express已不在可用。如果升级Cloudera Manager Express。 Operator角色的用户不能再登录。Administrator 角色必须被授予读取权限或则具有Administrator 角色的用户才能登录

Cloudera Manager 5.0.0不兼容的改变

新的升级 CDH命令（ 点此upgradeCdh）, 升级CDH集群版本. 用这个命令可以升级 CDH 4集群到 CDH 5. 这个以前升级CDH集群的命令 upgradeServices命令 已经不在支持

这个hostId 现在包含UUID ，不在匹配HostName。当我们谈及主机时，hostId和hostName都是可以的。尽管如此，客户端API以前外部主机记录使用hostName,但是现在在API中使用hostId，必须更新使用hostName,客户端使用这种方式，是因为hostName 是一直存在的。

当查看service 和引用角色会显示集群名字，可能不匹配外部的集群的显示的名字



CDH 5 Hue 需要安装 Python 2.6 或则2.6以上版本, 放弃支持Python 2.4 和 2.5. Hue 如果没有 Python 2.6也能安装,但是不能启动.

Cloudera Manager 5.0包含一个snmpTrapOID值的改变，早期的版本设置的值snmpTrapOID(OID: .1.3.6.1.6.3.1.1.4.1.0) 错误对于 clouderaManagerMIBNotifications (OID .1.3.6.1.4.1.38374.1.1.1). Cloudera Manager 5.0 纠正了这个值是 clouderaManagerAlert (OID .1.3.6.1.4.1.38374.1.1.1.1)。这一变化将SNMP服务器设置期待clouderaManagerMIBNotifications。Cloudera Manager管理员应该配置SNMP接收器接受纠正OID。
下面配置的默认值已经改变包括：JVM选项 -Djava.net.preferIPv4Stack=true,在在双栈机IPv4协议栈设置首选。在升级到Cloudera Manager 5任何的默认值都会自动改变成新的默认值


MapReduce 客户端配置

hadoop-env.sh: 添加 HADOOP_CLIENT_OPTS
mapred-site.xml: 添加 mapred.child.java.opts





YARN客户端配置

hadoop-env.sh：添加YARN_OPTS
mapred-site.xml: 添加yarn.app.mapreduce.am.command-opts, mapreduce.map.java.opts, and mapreduce.reduce.java.opts


HDFS客户端配置


hadoop-env.sh: 添加HADOOP_CLIENT_OPTS

Hive客户端配置: 

hive-env.sh: 添加 HADOOP_CLIENT_OPTS



MapReduce 移除的健康测试:

失败的job
Map backlog
Reduce backlog
Map locality


如果需要的话，可以使用触发器。例如：
最后看看job是否完成，如果还有超过10%失败的jobs,改变服务的健康
  1. IF (select (jobs_failed_rate * 3600) as jobs_failed, ((jobs_failed_rate + jobs_completed_rate + jobs_killed_rate) * 3600) as all_jobs where roleType=JOBTRACKER AND serviceName=$SERVICENAME and last(jobs_failed_rate / (jobs_failed_rate + jobs_completed_rate + 
  2. jobs_killed_rate)) >= 10 ending at $END_TIME duration "PT3600S") DO health:concerning
复制代码

如果有50%的map等待比总的可用slots，就需要看一下健康（指数）
  1. IF (select waiting_maps / map_slots where roleType=JOBTRACKER and serviceName=$SERVICENAME and last(waiting_maps / map_slots) > 50) DO health:concerning
复制代码
如果有50%的redue等待比总的可用slots，就需要看一下健康（指数）


  1. IF (select waiting_reduces / reduce_slots where roleType=JOBTRACKER and serviceName=$SERVICENAME and last(waiting_reduces / reduce_slots) > 50) DO health:concerning
复制代码

HDFS的检查点的指标已被删除：


  • end_checkpoint_num_ops
  • end_checkpoint_avg_time
  • start_checkpoint_num_ops
  • start_checkpoint_avg_time




Cloudera Manager 5.0.0 Beta2不兼容的改变


早期版本1.2.1已不在支持
Some of the constants identifying health tests have changed


一些健康测试常量识别参数发生改变。下面存在于 Cloudera Manager 4

  • FAILOVERCONTROLLER_FILE_DESCRIPTOR
  • FAILOVERCONTROLLER_HOST_HEALTH
  • FAILOVERCONTROLLER_LOG_DIRECTORY_FREE_SPACE
  • FAILOVERCONTROLLER_SCM_HEALTH
  • FAILOVERCONTROLLER_UNEXPECTED_EXITS



它们现在是：
  • MAPREDUCE_FAILOVERCONTROLLER_FILE_DESCRIPTOR
  • MAPREDUCE_FAILOVERCONTROLLER_HOST_HEALTH
  • MAPREDUCE_FAILOVERCONTROLLER_LOG_DIRECTORY_FREE_SPACE
  • MAPREDUCE_FAILOVERCONTROLLER_SCM_HEALTH
  • MAPREDUCE_FAILOVERCONTROLLER_UNEXPECTED_EXITS

和
  • HDFS_FAILOVERCONTROLLER_FILE_DESCRIPTOR
  • HDFS_FAILOVERCONTROLLER_HOST_HEALTH
  • HDFS_FAILOVERCONTROLLER_LOG_DIRECTORY_FREE_SPACE
  • HDFS_FAILOVERCONTROLLER_SCM_HEALTH
  • HDFS_FAILOVERCONTROLLER_UNEXPECTED_EXITS


变化的原因是为了更好的区分MapReduce和HDFS切换控制器监测在健康系统中。


Cloudera Manager 5.0.0 Beta1不兼容的改变




服务


Impala 
Cloudera Manager 4.8仅支持 Impala 1.2.1，原因是因采用 Impala目录服务器.尽管如此 CDH 5.0.0 Beta 1 发布版是Impala 1.2.0 (Beta).因此如果要升级Cloudera Manager 4.8到Cloudera Manager 5.0.0 Beta 1。 然后升级到CDH 5.0.0 Beta 1, 你的impala版本会从Impala 1.2.1降到Impala 1.2.0.这样会导致丢失一些功能。详细可以查看  New Features in Impala （ 1.2.1比1.2.0 (Beta)新增功能）。

Hive 
HiveServer2是一个强制角色在CHD5 hive中

Hue
In CDH 5,Hue不在是一个Beeswax服务角色。Hue提交查询到HiveServer2


HDFS 

Cloudera Manager 5不支持挂载NFS共享 HDFS HA edits目录
（Cloudera Manager 5 does not support NFS-mounted shared edits directories for HDFS High Availability），只支持QJM（ Quorum Journal method ）共享edits。如果你升级Cloudera Manager 4，它带有（工作的）CHD4的高可用的挂载NFS目录的配置，你需要禁止HA，Cloudera Manager 才能工作。

此外，你将不能升级到 CDH 5，除非禁止HA，你可以使用基于Quorum的存储，这样可以升级后，重新启用HA。

YARN

YARN (MRv2) 的配置 yarn.log-aggregation.retain-seconds已经替代 mapreduce.job.userlog.retain.hours。在mapreduce.job.userlog.retain.hours 的值会丢失。尽管如此，这个配置没有任何影响，因此功能也不会受到影响。 


下面配置参数移除了YARN，这些没有任何应系那个，因此没有功能影响


  • mapreduce.jobtracker.maxtasks.perjob
  • mapreduce.jobtracker.handler.count (non-functional duplicate of yarn.resourcemanager.resource-tracker.client.thread-count)
  • mapreduce.jobtracker.persist.jobstatus.active
  • mapreduce.jobtracker.persist.jobstatus.hours
  • mapreduce.job.jvm.numtasks

下面YARN的配置参数被替换。只有YARN的参数被替换。旧的配置会丢失，但是没有任何的影响，所以不会影响功能

  • mapreduce.jobtracker.restart.recover 替换为yarn.resourcemanager.recovery.enabled (changed from Gateway to ResourceManager)
  • mapreduce.tasktracker.http.threads 替换为 mapreduce.shuffle.max.connections
  • mapreduce.jobtracker.staging.root.dir 替换为yarn.app.mapreduce.am.staging-dir


Cloudera Manager 5设置默认YARN的资源调度器为公平调度器。集群以前运行YARN是FIFO调度器，YARN重启后，下次将改变成公平调度。公平调度器只支持CDH 4.2.1 和以后的版本，可能会失败，需要手工修改成FIFO or CapacityScheduler调度。可以查看版本发布说明里面有说如何改变回 FIFO 或则 CapacityScheduler调度器




Cloudera Manager 5改变的特征和功能

下面描述了每一个Cloudera Manager 5发布版本的变化
注意：CDH4与CDH5之间不支持滚动升级。不支持CDH 5.0.0 Beta 2滚动升级到后面版本。可能以后也不支持CDH5  beta 版本与通用版本之间的滚动升级

Cloudera Manager 5.1.2的改变

用户界面刷新的可伸缩性
授予特权model in Sentry. 查看 Sentry Privilege Model.

Cloudera Manager 5.0.0的改变

Mapreduce继续HDFS NameNode拓扑，MapReduce 、JobTracker拓扑配置被移除，这两个配置是冗余的，被设置为相同的值

界面：
集群选项卡不在有活动的，其它，资源管理部分

Cloudera Manager 5.0.0 Beta2的改变

产品
Cloudera的备份和灾难恢复（BDR）现在包括Cloudera企业版。
Cloudera Standard已经被命名为Cloudera Express

操作系统及packaging

Cloudera Manager 嵌入式数据库包的名字已经从cloudera-manager-server-db改变成cloudera-manager-server-db-2。详细可以阅读你所升级和安装所对应的操作系统的主题

支持 Ubuntu 10.04 and Debian 6.0已经被弃用

HDFS 

使高可用性能够自动自动故障转移，不像Cloudera manager4启用自动故障转移是一个独立的命令。

HBase


在CDH5已经没有 HBase canary，因为HBase现在使用看门狗（watchdog）的监控进程。CDH4仍然使用的是HBase canary

监控

图表和操作相关的视图已经被重命名为"Dashboard".


改变过滤器属性显示在 Impala 查询和YARN应用程序屏幕

过时的配置在主页、服务、角色页面有一个新的图表，现在有了一个提示，显示群集是否刷新或重新启动是必需的。有一个新的indicator改变需要重新部署客户端配置，你可以点击indicator去重新配置客户端。你可以点击indicator去原先的配置页，查看和解决引起indicator的原因。


为了匹配tsquery命名公约（大意按照命名规则），Impala 多词查询、YARN应用程序属性的名字，从驼峰式大小写到使用强调分离。例如：queryType 已经改成query_type,向后兼容驼峰式大小写仍然是支持的。

界面：

在Cloudera Manager 管理控制台的主导航栏已被重组。服务选项卡替换为集群选项卡，里面包含各自的services，这些services以前在 Services 选项卡, Activities and 报告部分（Reports sections），这些已经从主干移除和一个新的资源管理部分，它包含新的资源池和服务池特性。所有的服务页面已被删除。


这个 "Safety Valve" 属性已经被重命名为 "Advanced Configuration Snippet".

指定的主机分配角色页面已经重新设计，变的可伸缩性和可用性
其它：
这个 io.compression.codecs 属性已经从MapReduce到HDFS


Cloudera Manager 5.0.0 Beta1的改变

当CDH5安装后，YARN是默认安装的，而不是mapreduce,是默认的执行环境。CDH5是被弃用的，但是是完全向后兼容的。在CHD4默认的仍旧是mapreduce.


yarn.scheduler.maximum-allocation-mb默认设置增至 64GB.

为了能更好的处理采集的内容，Solr服务的 最小的heap size已增至 200MB（以前50MB），

本文链接，转载注明，出自about云
http://www.aboutyun.com/thread-9057-1-1.html

路过
雷人
握手
鲜花
鸡蛋
收藏 分享邀请 举报

全部作者的其他最新日志

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000