本帖最后由 pig2 于 2017-12-15 18:12 编辑 问题导读 1.RDD转换为DataFrame需要导入哪个包？ 2.Json格式的Dataset如何转换 ...

pig2 2017-12-10 0 11973

问题导读 1.DataFrame如何保存为表？ 2.saveAsTable的作用是什么？ DataFrame可以创建临时视图，那么如果关闭程序 ...

pig2 2017-12-15 1 11546

问题导读 1.如何评估推荐质量？ 2.评估模型时是否会将数据集作为一个整体作为输入？ 3.什么是AUC？如何计算？ ...

feilong 2017-12-15 0 5824

本帖最后由 pig2 于 2017-12-15 18:11 编辑 问题导读 1.spark2 sql如何读取json文件？ 2.spark2读取json格式文件有什么要 ...

pig2 2017-12-7 3 18393

本帖最后由 pig2 于 2017-12-15 18:11 编辑 问题导读 1.DataFrame如何创建tempview？2.sql()函数的作用是什么？ s ...

pig2 2017-12-8 0 8784

问题导读 1.如何构建一个模型？ 2.怎样进行抽样检测？ 3.广播变量是什么？如何使用？ 上一篇：Spark 高级分析: ...

feilong 2017-12-8 0 4951

问题导读 1.Spark 如何访问集群？ 2.有哪几种方式创建 RDDs？ 概论在高层中，每个 Spark 应用程序都由一 ...

坎蒂丝_Swan 2015-1-27 35 221918

问题导读 1.如何通过intellij idea 实现导出可执行jar包？2.导出可执行jar包包含哪些步骤？ 最近开始转到intellij ide ...

desehawk 2017-9-21 3 9322

问题导读：1. DBSCAN聚类算法是什么？2. 如何在Spark里使用PairRDDs？3. 如何在Spark中并发运行DBSCAN？4. 如何进一步增强地理定 ...

Oner 2017-11-30 0 12296

问题导读 1.spark SparkSession包含哪些函数？ 2.创建DataFrame有哪些函数？ 3.创建DataSet有哪些函数? 上一篇spa ...

pig2 2017-11-28 0 13515

本帖最后由 desehawk 于 2016-11-18 12:12 编辑 问题导读 1.本文的环境包含哪些软件？ 2.如何安装开发环境？ 3.提交源码 ...

desehawk 2016-11-17 5 37604

问题导读 1.spark如何开启黑名单机制？ 2.哪些条件将executors列入黑名单？ 3.整个节点被列入黑名单，executors如何处理？ ...

sstutu 2017-11-20 0 8873

本帖最后由 pig2 于 2017-11-28 16:22 编辑 问题导读 1.你认为为何出现SparkSession？ 2.SparkSession如何创建RDD？ 3.Sp ...

pig2 2017-11-26 2 16649

问题导读 1.spark2升级哪些内容变化？ 2.升级中spark哪些没有发生变化？ 3.cloudera中，spark1和spark2能否并存？ 4.升级 ...

pig2 2017-11-17 0 11335

hadoop升级跟spark升级是大同小异的。大同基本上，都是先备份原先的安装包，然后替换为新的安装包。然后替换下配置文件及环境 ...

pig2 2017-11-17 0 6686

本帖最后由 Oner 于 2017-11-16 17:18 编辑 问题导读： 1. shuffle 相关的配置参数有哪些？ 2. Storage相关的配置参数有哪些 ...

Oner 2017-11-16 0 9658

问题导读 1.编译失败的可能问题有哪些？ 2.指定hadoop版本，需要添加什么配置？ 3.如不添加profile，会出现什么问题？ ...

pig2 2017-11-9 1 15641

问题导读 1、涉及shuffle的操作有哪些？ 2、如何理解combineByKey的操作流程？ 3、flatMapValues作用是什么？ 主 ...

徐超 2015-1-18 3 170576

问题导读 1.spark集群能否单独运行？ 2.如何在spark中指定想编译的hadoop版本？ 3.构建的时候，版本选择需要注意什么？ ...

pig2 2017-11-6 1 15006

问题导读 1、怎样搭建Kafka集群？ 2、parser中的表达式分别代表什么意思？ 3、你觉得应该如何运行KafkaWordCount呢？ ...

xioaxu790 2014-10-19 6 40728

本帖最后由 nettman 于 2015-1-6 14:07 编辑 问题导读 1、Spark部署和运行过程是怎样的？ 2、RDD的组成部分和作用是什么？ ...

四九1234 2014-11-24 19 50075

问题导读 1.哪些场景使用以及如何使用map方法？ 2.apply方法有何作用？ 3.reduce方法有何作用？ 上一篇：Sp ...

feilong 2017-11-3 1 5700

本帖最后由 xzc0202 于 2017-10-30 13:39 编辑 问题向导: (1)MLlib中的管道是什么？ (2)管道组件有哪些？ (3)管道具体工作 ...

xzc0202 2017-10-30 1 7074

问题导读： 1.什么是MLlib? 2.RDD和MR的区别？ MLlib支持本地向量和单机存储的矩阵，或者以一个或多个RDD支持的分 ...

sehriff 2017-10-24 1 7101

问题导读 1.哪些方法可以做数据的聚合？ 2.集群上进行数据聚合时如何优化？ 3.对存储在Map类型中的数据如何排序？ 4.scala ...

feilong 2017-10-27 1 5711

问题导读：1. Driver 端如何发送 LaunchTask 事件？2. CoarseGrainedSchedulerBackend 的作用是什么？3. Executor 端如何接收Lau ...

Oner 2017-10-26 1 13389

问题导读 1.如何进入spark shell？ 2.spark shell中如何加载外部文件？ 3.spark中读取文件后做了哪些操作？ about ...

pig2 2017-10-8 2 12940

本帖最后由 pig2 于 2017-3-2 15:52 编辑 问题导读 1.你认为缓存的作用是什么？ 2.cache与persist的区别是什么？ 3.spark ...

pig2 2017-3-1 3 40635

问题导读 1.读取日志的过程中，发生异常本文是如何解决的? 2.读取后，如何过滤异常的记录？ 3.如何实现统计点击最高的记录 ...

pig2 2017-10-16 2 11330