问题导读： 1、什么是DataFrames？ 2、什么是DataFrames Schema？ 3、Spark 1.2 Sql踩过的坑有哪些？ 在spark sql 之 ...

levycui 2016-9-13 2 13721

问题导读 1.spark共享变量的作用是什么？ 2.什么情况下使用共享变量？ 3.如何在程序中使用共享变量？ 4.广播变量源码包含 ...

desehawk 2016-8-29 4 68936

问题导读： 1.什么是社区发现？2.什么是FastUnfolding算法？3.怎样实现FastUnfolding算法的分布式？ 现实生活中存在各 ...

fc013 2016-9-17 0 34691

问题导读： 1. 什么是无人驾驶模拟技术？ 2. 无人驾驶汽车模拟器是什么？它的作用是啥？会面临哪些挑战？ 3. ROS作在整个系统 ...

Oner 2016-9-15 1 13620

问题导读 1.spark编程中print内容，在控制台是否能看到？2.输出的日志有哪两种？3.如何才能看到spark运行日志？ 比如，Spark ...

xuanxufeng 2016-9-9 0 24808

spark-avro是一个开源的建立在SparkSQL之上的免费开源插件。github地址：https://github.com/databricks/spark-avro.git ...

regan 2016-9-7 1 15068

问题导读： 1.什么是Zeppelin？2.Zeppelin有哪几种分享方式？ 本篇文章着重介绍如何将您制作好的notebook / report ...

fc013 2016-8-27 0 12571

问题导读 1.SparkSession的功能有哪些？ 2.如何创建SparkSession？ 3.SparkContext在Spark中的主要功能有哪些？ ...

xuanxufeng 2016-8-26 0 21331

问题导读： 1.Spark是如何工作的？ 2.Spark工作是如何提交的？ 3.如何构建DAG？ 4.如何对任务进行调度？ 5.任务如何执行 ...

PeersLee 2016-8-10 1 13384

问题导读：1.RDD支持哪些操作？2.什么是Shuffle？3.怎样用Scala写spark程序？ RDD 操作介绍RDD 有两种操作方式的概念 ...

fc013 2016-8-14 1 8107

问题导读： 1.RDD是什么？2.如何选择存储级别？3.什么是并行集合？ Spark 的一切都是建立在RDD这个抽象概念之上，而 ...

fc013 2016-8-14 1 9202

问题导读 1.创建broadcast变量如何实现的？ 2.如何读取广播变量的值？ 概述最近工作上忙死了……广播变量这一 ...

desehawk 2015-2-28 1 55342

本帖最后由 xuanxufeng 于 2016-8-11 18:03 编辑 问题导读 1.Spark Streaming 的作用是什么？ 2.Spark Streaming工作原理 ...

xuanxufeng 2016-8-11 1 10292

问题导读： 1. org.apache.spark.SparkException: Task not serializable 的原因是什么？ 2. 如何在序列化类中标注不需要序列 ...

Oner 2016-8-11 1 18734

问题导读： 1.哪些案例体现的比较深刻？ 2.如何进行动态编译？ 3.如何进行分离项目方式？ 解决方案： 我们知道 ...

PeersLee 2016-8-10 1 7291

Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读 ...

pig2 2014-2-1 3 28756

问题导读 1.为了提高容错，spark1.2加入了什么内容？ 2.开启WAL，依旧会有数据丢失的原因是什么？ 3.Kafka Direct API的运 ...

xuanxufeng 2016-8-1 2 10238

本帖最后由 pig2 于 2015-1-6 14:16 编辑 问题导读 １．如果出现提示内容"is waiting for .sbt.ivy.lock"，该怎么办？ ２ ...

坎蒂丝_Swan 2015-1-3 11 95814

本帖最后由 pig2 于 2015-1-6 14:14 编辑 问题导读 　　如何搭建Hive On Spark的测试环境？ 楔子 ...

坎蒂丝_Swan 2014-12-31 1 23811

本帖最后由 howtodown 于 2014-10-21 21:55 编辑 问题导读 1、你如何理解Storage模块架构？ 2、put()函数是如何实现的？ ...

xioaxu790 2014-10-21 2 36306

问题导读 1.sqlContext有哪些关键的概念和组件？ 2.LogicalPlan里维护着什么方面的数据？ 3.LogicalPlan有哪三种类型？ 4. ...

howtodown 2015-3-25 3 47985

问题导读： 1.Eclipse如何集成Scala开发插件进行开发？ 2.如何使用Intellij IDEA进行开发？ 引言 在 ...

sunshine_junge 2014-12-27 6 126181

本帖最后由 desehawk 于 2015-4-12 00:30 编辑 问题导读 1.如何现在安装、配置scala？ 2.如何安装scala 插件？ 3.创建scala ...

desehawk 2015-4-12 6 28393

hbase-rdd二次开发 [*]创建： 张敏，最新修改： 昨天3:41 下午 hbase-rdd是一个构建在SparkContext基础之上的用于对 ...

regan 2016-7-29 1 6993

问题导读： 1. Spark2.0 有哪些新特性？ 2. Spark2.0 API有哪些新特性？ 3. Spark2.0 的速度为什么更快？ 4. Structured St ...

Oner 2016-7-28 0 11609

问题导读： 1、用什么方式判断空RDD？ 2、Spark Streaming与Kafka如何处理空RDD？ 在Spark Streaming中，job不断的产生 ...

levycui 2016-7-26 3 23767

本帖最后由 pig2 于 2016-7-25 14:17 编辑 问题导读 1.spark1.3及以前版本如何实现集群停止？ 2.spark1.4采用以前版本方法 ...

desehawk 2016-7-25 0 11351

问题导读 1.本文解决了什么问题，场景是什么？ 2.Spark DataSource API 如何实现Rest数据源的？ 3.数据扫描的方法，目前 ...

desehawk 2016-7-25 0 12689

问题导读： 1.怎么去搭建spark开发环境？2.怎么去现实案例分析？3.spark job的执行流程是怎么样的？ 引言 在当前这个信 ...

breaking 2015-12-31 9 15519