Apache Spark 1.3 发布，1.3 版本引入了期待已久的 DataFrame API，这是 Spark 的 RDD 抽象设计来简单快速支持大数据集的变革。 ...

sstutu 2015-3-15 8 24959

问题导读 1.spark中job、stage、task他们之间的关系是什么？ 2.DAGScheduler的主要职能是什么？ 3.DAGScheduler包含哪些st ...

pig2 2015-3-29 4 28247

问题导读 1.spark如何对接到hbase中？ 2.什么是百度开放云BMR？ 3.Shuffle在百度的发展主要包括哪两个阶段？ 4.百度New Sh ...

desehawk 2015-3-23 7 41361

本帖最后由 nettman 于 2015-3-29 00:35 编辑 问题导读 1.如何修改日志级别？ 2.如何进入Python shell及scala shell? 3. ...

nettman 2015-3-29 1 109392

问题导读 1.什么是机器学习？ 2.机器学习可以来做什么？ 3.机器学习技术可以被应用于哪三种不同方式？ 这篇博 ...

nettman 2015-3-29 2 21963

问题导读 1、Spark内核架构的设计，优秀在于哪里？ 2、Spark生态圈的核心和基础是什么？ 3、spark的典型案列有哪些？ ...

xioaxu790 2014-8-21 1 14378

阅读导读： 1.Spark的发展历史？ 2.Spark的特色有哪些？ 3.Tachyon与HDFS相比，怎样？ 4.字数统计算法在java 8中如何实现？ ...

52Pig 2014-10-27 19 38947

问题导读 1.Spark可以在哪三个地方配置系统？ 2.如何实现动态加载Spark属性？ 相关内容 Spark中文手册-编程指 ...

howtodown 2014-12-16 2 56636

本帖最后由 desehawk 于 2014-12-17 19:06 编辑 问题导读 1.LDA的有哪两个实际使用场景？2.对节点集合进行排序本文说了哪两种 ...

desehawk 2014-12-17 4 26806

问题导读 1.什么是Spark Package？ 2.本文spark Package各自的作用是什么？ 假如这个库能持续的发展下去，从 ...

admin 2014-12-24 5 15454

问题导读1.在传大量数据的情况下，communication manager换成netty-based的实现了,实现这个功能有什么好处？2.Spark SQL中缓存表 ...

admin 2014-12-25 7 15329

问题导读 1.什么是spark RDD? 2.本文讲了RDD哪些特点？ 3.有哪两种方式可以创建RDD？ 4.RDD Transform基本方法有哪些？ 5 ...

howtodown 2015-3-11 2 17587

问题导读 1.sparkSQL是如何发展而来的？ 2.为什么sparkSQL的性能会得到怎么大的提升呢？ 3.查询里采用通用的SQL语法去处 ...

howtodown 2015-3-24 1 35747

问题导读 1.spark单独机器处理数据过大，会产生什么问题？ 2.spark是否能支持复杂sql？ 3.spark有未来哪些需要改进的地方 ...

desehawk 2015-3-21 4 88769

请教 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop2.2. ...

howtodown 2014-4-28 8 44850

本帖最后由 pig2 于 2014-4-2 01:14 编辑 1.Spark的核心思路是什么？ 2.Spark的适用场景是什么？

pig2 2014-4-2 2 17668

本帖最后由 pig2 于 2015-2-11 18:58 编辑 Spark中文手册1-编程指南 http://www.aboutyun.com/thread-11413-1-1.html ...

pig2 2015-2-11 7 30053

kafka发送消息，用spark streaming接收数据后做wordcount的例子，对数据进行split，能将数据print出来，但reduce之后print就出不 ...

临云 2014-8-19 6 29352

导读： 本文较简单，可直接阅读 先上代码： 这是spark 自带的一个example 之前只能将代码达成jar包然后在spark ...

howtodown 2015-3-11 0 53176

2014年的大数据领域，Apache Spark（以下简称Spark）无疑最受瞩目。Spark，出自名门伯克利AMPLab之手，目前由商业公司Databricks ...

desehawk 2015-3-11 4 20443

新建一个Java工程，将hadoop相关的jar包，hbase相关的jar包和spark-assembly-1.0.2-hadoop2.2.0.jar都导入工程中，然后直接复制 ...

高帝斯法则 2014-9-29 5 118385

问题导读 1.spark安装需要哪些环境？ 2.如何配置spark？ 3.如何启动spark？ Spark1.2.0伪分布式安装 ...

howtodown 2015-3-11 0 48669

spark： 科普Spark，Spark是什么，如何使用Spark（1） http://www.aboutyun.com/thread-6849-1-1.html 科普Spark，Spark核 ...

nettman 2014-9-11 6 20253

问题导读： 1.maven编译spark应该注意什么问题？ 2.spark在编译的时候，是否可以指定任意hadoop版本？ ...

desehawk 2015-2-28 2 67008

本帖最后由 pig2 于 2015-3-9 02:43 编辑 问题导读 1.在Standalone部署模式下，Spark运行过程中会创建哪些临时性目录及文 ...

pig2 2015-3-9 1 30631

问题导读 1.本文将大数据的应用类型主要分为哪两种? 2.Spark技术是如何在网易应用的？ 网易的实时计算需求对 ...

desehawk 2015-3-6 4 17141

在本机搭建的hadoop平台，spark sql和hive存在无法互相访问的问题，流程如下： 1. spark sql创建表的过程如下： ./bin/spark-s ...

desehawk 2015-3-7 0 18681

问题导读 1、Spark技术有哪些热点？ 2、如何更好的使用Tachyon？ 3、Tachyon在百度实践中遭遇的挑战有哪些？ 本文 ...

徐超 2015-1-21 2 20636

问题导读 1.spark做了哪些改进？ 2.本文认为spark与hadoop的关系是什么？ Spark 1.2 发布，此版本包括 172 位贡 ...

desehawk 2014-12-19 4 16133