pig2 发表于 2016-2-22 19:29:21

hadoop入门:第十章hadoop工具

问题导读
1.hadoop有哪些工具？
2.hadoop流的作用是什么？
3.hadoop集群负载如何模拟？
4.hadoop数据提取和分析工具是哪个？

static/image/hrline/4.gif



1.Hadoop 流

文档简介
Hadoop的数据流是自带的Hadoop发行版的实用程序。这个程序允许你创建和运行可执行的Map/Reduce jobs或则脚本，作为mapper或则reducer。举例：


hadoop jar hadoop-streaming-2.7.2.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /usr/bin/wc

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/HadoopStreaming.html



2.Hadoop Archives 指南

文档简介
hadoop Archives 是特殊格式的archives。 一个Hadoop archive 映射一个文件系统目录.hadoop archive 是一个*.har。一个hadoop Archives 目录包括元数据（以 _index 和_masterindex形式）和数据 (part-*)文件。这个_index 文件包含文件的名字作为归档的一部分和部分文件的位置

英文网址

http://hadoop.apache.org/docs/r2.7.2/hadoop-archives/HadoopArchives.html




3.DistCp指南

文档简介

DistCp Version 2 (分布式 copy) 是一个工具用于大的 集群内和集群间的复制。它用mapreduce来影响它的分布，错误处理和恢复，和报告。它扩展了文件列表和目录输入map 的任务，每个文件分区在资源列表指定。本文档的目的是描述新distcp设计

英文文档
http://hadoop.apache.org/docs/r2.7.2/hadoop-distcp/DistCp.html




4.Gridmix

文档简介
GridMix是Hadoop集群的基准。为运行 GridMix，你需要一个MapReduce job 跟踪描述给定集群的混合job



英文文档
http://hadoop.apache.org/docs/r2.7.2/hadoop-gridmix/GridMix.html



5.Rumen

文档简介
Rumen是Apache的Hadoop构建的数据提取和分析工具

英文文档
http://hadoop.apache.org/docs/r2.7.2/hadoop-rumen/Rumen.html


6.Yarn调度负载模拟器（SLS）

文档简介
Yarn 调度器是大家都感兴趣的地方，有不同的实现，例如, Fifo, Capacity 和Fair schedulers.与此同时，一些优化也作出改善不同场景和工作负载调度程序的性能。每个调度器算法有其自身的功能集，驱动调度收到许多影响，比如 fairness, capacity 能力, 资源可用性, 等.这非常重要评估调度算法是好的，在我们部署生产集群之前。一个真正的集群评估始终是时间和成本消耗，但是比较难以找到一个足够大的集群，因此,模拟器可以预测一个调度器算法对于一些特定的工作负载将会很有用。

英文文档
http://hadoop.apache.org/docs/r2.7.2/hadoop-sls/SchedulerLoadSimulator.html




相关文章

hadoop入门-第一章General：第一节单节点伪分布

hadoop入门-第一章General：第二节集群配置

hadoop入门-第一章General：第三节Hadoop初级入门之命令指南

hadoop入门-第一章General：第四节文件系统shell

hadoop入门-第一章General：第五节hadoop的兼容性说明

hadoop入门-第一章General：第六节开发人员和用户接口指南：hadoop接口分类

hadoop入门-第一章General：第七节Hadoop 文件系统 API ：概述

hadoop入门-第二章common：第一节hadoop 本地库 指南

hadoop入门-第二章common：第二节hadoop代理用户 -超级用户代理其它用户

hadoop入门-第二章common：第三节机架智能感知

hadoop入门-第二章common：第四节安全模式说明

hadoop入门-第二章common：第五节服务级别授权指南

hadoop入门-第二章common：第六节Hadoop HTTP web-consoles认证机制

hadoop入门-第二章common：第七节Hadoop Key管理服务器(KMS) - 文档集

hadoop入门:第三章HDFS文档概述（一）

hadoop入门:第三章HDFS文档概述（二）

hadoop入门:第四章mapreduce文档概述

hadoop入门:第五章MapReduce REST APIs文档概述

hadoop入门:第六章YARN文档概述

hadoop入门:第七章YARN REST APIs

hadoop入门:第八章hadoop兼容文件系统

hadoop入门:第九章hadoop认证

hadoop入门:第十章hadoop工具

hadoop入门:第十一章hadoop配置










jack_zhang 发表于 2016-7-21 08:55:44

参考资料的本源！支持

仙本是凡 发表于 2020-3-5 11:10:11

楼主用过Yarn调度负载模拟器（SLS）测试么？
页: [1]
查看完整版本: hadoop入门:第十章hadoop工具