本帖最后由 xuanxufeng 于 2017-4-4 15:03 编辑 问题导读 1.什么是KMeans？ 2.KMeans算法可以用来做什么？ 3.KMeans如何 ...

xuanxufeng 2017-4-4 4 11609

问题导读： 1.数据峰值有什么影响？ 2.如何限制Spark的接收速度？ 一：数据峰值的巨大影响 1. 数据确实不稳定，例如 ...

不会飞的小凯凯 2016-6-24 8 18119

本帖最后由 Oner 于 2017-3-23 15:47 编辑 问题导读：1. 如何理解DStream？2. 如何理解DStreamGraph？3. Dstream中的transform ...

Oner 2017-3-23 2 8879

问题导读： 1. 京东的供应链是什么样的呢？ 2. 预测技术在京东的供应链起着什么样的作用呢？ 3. 京东整个预测系统的架构是什 ...

Oner 2017-3-30 2 12070

本帖最后由 水电费 于 2015-6-12 13:30 编辑 问题导读 1.流数据的处理过程有哪些？ 2.Streaming是如何处理流式数据的？ ...

水电费 2015-6-12 1 27337

问题导读 1、怎样用Spark快速运行一个例子？ 2、如何理解lines变量？ 3、如何在NetworkWordCount中找到完整列子？ ...

xioaxu790 2015-2-1 6 126247

问题导读： 1.Mongodb在Spark生态的角色?2.为什么要用MongoDB替换HDFS？3.怎样开发MongoDB Spark应用程序？ ...

fc013 2017-3-25 2 10811

本帖最后由 pig2 于 2017-6-15 09:10 编辑 问题导读 1.DStreams的含义是什么？ 2.DStreams提供哪两种类型的操作？ 3.Tran ...

pig2 2017-3-21 3 12584

spark有哪些概念？

xuanxufeng 2015-7-8 3 24636

本帖最后由 pig2 于 2017-6-15 09:11 编辑 问题导读 1.Spark Streaming提供了哪三种内置的数据源支持？ 2.Receiver的作用 ...

pig2 2017-3-23 1 13276

报错内容如下， Exception in thread "main" java.lang.NumberFormatException: For input string: "spark://TMaster1.Hadoop:7 ...

高帝斯法则 2014-9-28 19 83882

问题导读 1、如何持久化流数据到内存中？ 2、什么是Checkpointing？ 3、如何监控应用程序？ 本文接前篇： Spark ...

xioaxu790 2015-2-4 4 53523

本帖最后由 xuanxufeng 于 2015-12-19 18:07 编辑 问题导读 1.Spark 随机森林算法原理是什么？ 2.随机森林算法源码做了哪些 ...

xuanxufeng 2015-12-19 1 24097

问题导读： 1.Kafka和Spark Steaming分别是什么？2.怎样搭建Kafka 集群？3.怎样使用 Kafka 和 Spark Streaming 构建实时数据 ...

fc013 2016-1-3 11 46675

有两种创建StreamingContext的方式： 第一种通过SparkConf [mw_shl_code=scala,true]val conf = new SparkConf().setAp ...

pig2 2017-3-7 0 7319

本帖最后由 pig2 于 2017-3-1 09:30 编辑 问题导读 1.spark主要包含哪几个模块？ 2.spark各个模块作用是什么？ 3.spark通信 ...

pig2 2017-2-28 6 23661

本帖最后由 eying 于 2016-2-24 14:20 编辑 问题导读： 1.什么是Spark Streaming? 2.Spark Streaming如何在Hulu ...

eying 2016-2-24 4 27830

Spark Streaming实例分析 http://www.aboutyun.com/forum.php?mod=viewthread&tid=8901 Spark-Streaming实时大数据处理 ...

pig2 2017-3-3 1 10339

问题导读 1.spark优化的关键点是什么？ 2.spark编译内存不够，该如何增大内存？ 3.reduce task数目不合适该如何解决问题？ ...

xuanxufeng 2017-3-2 1 10530

本帖最后由 pig2 于 2017-2-21 09:48 编辑 问题导读 1.hive/console的作用是什么？ 2.hive/console如何安装？ 3.hive/con ...

pig2 2017-2-20 3 13003

问题导航 1、Runtime是如何执行的？ 2、DAGScheduler主要职能有哪些？ 3、TaskScheduler主要职能有哪些？ 4、SchedulerB ...

丫丫 2017-2-13 7 12042

[看图说话] 基于Spark UI性能优化与调试——初级篇 Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候 ...

xingoo 2017-2-26 2 10455

问题导读： 1.什么是Apache Oozie? 2.怎样定义工作流？3.怎样配置Oozie作业？ Apache Oozie 是一个用于管理 ...

fc013 2017-2-25 1 7443

问题导读 1.你认为如何初始化spark sql？ 2.不同的语言，实现方式都是什么？ 3.spark sql语句如何实现在应用程序中使用？ ...

pig2 2017-2-24 3 6829

问题导读 1.pendingTasksForExecutor是怎么来的，什么含义？ 2.taskSetManager 的 locality levels是否包含 PROCESS_LOCAL? ...

xuanxufeng 2017-2-23 2 8265

本帖最后由 Oner 于 2017-2-22 16:57 编辑 问题导读： 1. 什么是TensorFlow？ 2. TensorFlow On Spark出现的意义在于什么？ ...

Oner 2017-2-22 4 43812

本帖最后由 pig2 于 2017-12-6 19:18 编辑 问题导读： 1. 为什么会出现 Spark SQL 这个模块？ 2. 什么是Spark SQL/DataFra ...

PeersLee 2017-2-15 4 18055

问题导读：1. RDD有哪些特性？2. 如何理解Application、Job、Stage、TaskSet以及Task？3. Spark如何实现可插拔式的资源管理模 ...

Oner 2017-1-12 4 13441

本帖最后由 levycui 于 2017-2-14 15:04 编辑 问题导读： 1、如何使用IDEA打包jar文件？ 2、如何使用spark-submit提交任务？ ...

levycui 2017-2-14 2 14170