用户组:游客
在国内,大部分的Spark用户都是由Hadoop过渡而来,因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加 ...
问题导读 1.远程开发,Hadoop中xml文件如何修改访问权限? 2.eclipse环境配置包含哪些步骤? 一.hadoop集群 ...
本帖最后由 xioaxu790 于 2014-5-11 09:17 编辑 问题导读:1、什么是YARN ?2、阿里巴巴是如何使用的 ? 摘要:阿里 ...
Hadoop的两大功能:海量数据存储和海量数据分析 Hadoop2的三大核心组件是:HDFS、MapperReducer和yarn 1、HDFS:分布式 ...
问题导读 1.HDFS分层存储是如何工作的? 2.如何基于数据使用频率来优化大数据存储? 3.eBay是如何分层存储的? ...
本帖最后由 pig2 于 2014-5-16 13:32 编辑 问题导读: 1.如何高效使用Solr查询功能 ? 2.单个字段分组统计如何实现? 3.IN ...
问题导读1.本文分为哪四种流处理模式?2.什么是流采集?3.基于外部环境的准实时事件处理与准实时基于外部环境的分割化的事件处理 ...
1.ResourceManager是什么?能干什么?分配的资源到底是什么? ResourceManager相当于整个系统的master,主要功能是启动applicat ...
本帖最后由 pig2 于 2015-6-10 23:24 编辑 1. Apache Oozie 是什么? 2. Oozie工 ...
1. Oozie shell 操作 ! ? 2. Oozie Java 操作 ! ? 3. Oozie Sqoop 操作 ! ? 4. Oozie Hive 操作 ! ? ...
本帖最后由 hyj 于 2014-5-19 23:41 编辑 问题导读: 本文是对Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1. ...
问题导读 1.ResourceManager HA需要修改哪些配置? 2.如何强制切换HA? Hadoop 2.2没怎么关注过,太新,b ...
问题导读: 1、hadoop仅仅不支持以什么格式输出中文 ? 2、计算过程中的压缩和效率成什么关系 ? 3、reduce数量究竟设置多少 ...
导读:hadoop的搭建过程基本都是差不多了,如果你ba掌握了一个版本的搭建,其他版本都差不多是一样的,比如hadoop2.2完全分布式 ...
本帖最后由 xioaxu790 于 2014-8-27 19:05 编辑 问题导读 1、什么是堆,有哪八大排序算法? 2、什么是Bloom Filter? 3、什 ...
把后面的URLString 封装成 URL类型。代码如下 [mw_shl_code=java,true]import java.io.DataInput; import java.io.DataOutpu ...
本帖最后由 pig2 于 2015-5-20 00:23 编辑 问题导读 1.ResourceManager的作用是什么? 2.NodeManager与container是什 ...
有个hadoop任务,使用了多线程,且在主线程里面设置了未捕获异常的处理: [mw_shl_code=java,true]Thread.setDefaultUncaughtEx ...
问题导读 1、什么是双层桶? 2、上千万or亿数据(有重复),统计其中出现次数最多的前N个数据的思路有哪些? 3、如何理解倒排 ...
由于hadoop2.x的集群安装都是通用的,因此可参考 hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档 弄清楚为 ...
读者通过本文中新旧 hadoop map-reduce 框架的对比,更能深刻理解新的 yarn 框架的技术原理和设计思想,文中的 Demo 代码经过微 ...
hadoop2.2编程:如何自定义hadoop map/reduce输入文件切割InputFormat?
原文出处: bradhedlund 译文出处: kickxxx。欢迎加入技术翻译小组。 本文侧重于Hadoop集群的体系结构和方法,以及它与网络 ...
问题导读 1、你如何来看待Hadoop的市场价值? 2、你如何理解Hadoop在互联网中的安全性和实时性? 美国联合市场研究 ...
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载 http://www.aboutyun.com/thread-12694-1-1.htm ...
问题导读 1.什么是Label based scheduling? 2.如何配置使用Label based scheduling? 3.如何让spark程序及mapreduce程 ...
导读 此文比较简单,版本都是差不多,详细参考 从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码 ...
本帖最后由 pig2 于 2014-4-1 03:12 编辑 什么是YARNe? 什么是HDFS Federation? 扩充: hadoop2与hadoop1做了哪些改变 ...
导读 本文搭建仅供参考,帮助大家搭建过程有一个整体的架构,细节不够仔细,如果初次搭建集群,建议从hadoop集群开始。 可参 ...
本帖最后由 xioaxu790 于 2014-5-20 10:15 编辑 问题导读: 1、优化MapReduce有什么有效方法 ? 2、Hadoop流运行机制 ? ...
本版积分规则 发表帖子
查看 »