问题导读 1、怎样创建可以连接到cassandra的sc？ 2、如何添加相应的library来支持spark-cassandra-connector？ 3、最简单的配 ...

xioaxu790 2014-10-19 0 29723

阅读导读： 1.getPartitions和compute进行了哪些操作？ 2.hadoop如何进行序列化？ 3.checkpoint的执行逻辑？ RD ...

52Pig 2014-10-17 1 13752

本帖最后由 xioaxu790 于 2014-10-16 19:44 编辑 问题导读 1、你如何理解Spark的应用场景？ 2、Spark的 "reduce"和MapReduce ...

xioaxu790 2014-10-16 3 15524

阅读导读： 1.如何使用Scala编写一个对Apache访问日志的分析器？ 2.如何在Linux命令行启动Spark？ 3.如何确定一个URL访问页面 ...

52Pig 2014-10-15 2 23692

本帖最后由 52Pig 于 2014-10-11 22:47 编辑 阅读导读： 1.SparkContext创建TaskScheduler和DAG Scheduler？ 2.TaskSchedule ...

52Pig 2014-10-11 1 15152

问题导读1.Connection Refused可能原因是什么？ 2.如何判断内存溢出，该如何解决？ 扩展： 3.你认为/etc/hosts配置错误，会对 ...

pig2 2014-10-8 1 177967

问题导读： 1.Job的提交过程主要经过哪些对象的处理？ 2.Dependency类的作用是什么？它包含哪些对象？ 3.分析下DAGScheduler ...

52Pig 2014-10-5 0 24650

本帖最后由 pig2 于 2014-10-4 23:47 编辑 阅读导读： 1.TaskScheduler的工作原理是什么？ 2.TaskScheduler与SchedulerBacke ...

52Pig 2014-10-4 0 12950

本帖最后由 pig2 于 2014-10-4 23:42 编辑 问题导读 1.Standalone部署方式包含哪些组件？2.driver启动包含哪些过程？3.Worker ...

howtodown 2014-10-2 0 16797

本帖最后由 pig2 于 2017-2-8 13:56 编辑 问题导读 1、如何对Spark SQL进行一些测试？ 2、SQLContex有哪些成员？ 3、Sp ...

xioaxu790 2014-9-28 0 16677

问题导读 1、如何使用可扩展的对外自定义函数接口？ 2、 Analyzer初始化的时候会需要什么？ 3、 编写一个spark udf ...

xioaxu790 2014-9-28 0 10340

问题导读 1、什么是Uer Define Function功能？ 2、如何在Spark SQL 里自定义实际需要的UDF来处理数据？ 3、如何测试concat函 ...

xioaxu790 2014-9-28 0 21673

该版本带来了一些操作性和性能的提升，主要是体现在核心模块上。同时增加新的库 MLlib 和 Spark SQL。支持 Python ，增加新的组 ...

howtodown 2014-9-17 0 9182

本帖最后由 pig2 于 2014-9-14 12:43 编辑 问题导读 1、如何保存接收到的数据？ 2、如何处理接收到的数据？ 3、调用getOrCo ...

xioaxu790 2014-9-13 1 24752

问题导读 1、什么是JavaSQLContext类？ 2、Spark SQL如何推断一个JSON数据集的schema？ 3、如何理解Spark SQL支持表的类型Jav ...

xioaxu790 2014-9-12 2 26610

本帖最后由 pig2 于 2014-9-14 12:40 编辑 问题导读 1、yarn提交作业的流程是怎样的？ 2、run方法在ApplicationMaster里面主 ...

xioaxu790 2014-9-13 0 25281

本帖最后由 xioaxu790 于 2014-9-12 18:17 编辑 问题导读 1、如何理解Spark应用程序的构造？ 2、如何接入和初始化Spark？ 3 ...

xioaxu790 2014-9-12 1 19730

问题导读 1、如何高效安装Spark分布式集群？ 2、如何安装Hadoop集群和scala？ 写在前面一： 本文详细总结Spark ...

xioaxu790 2014-9-11 2 15873

问题导读： 1.RDD的本质是什么？ 2.它的作用是什么？ 3.RDD提供了哪方面的属性？ 4.RDD的transformation与action分别是什么 ...

howtodown 2014-9-7 1 13629

问题导读： 1.为什么重新编译spark? 2.产生这个错误：WARN util.NativeCodeLoader: Unable to load native-hadoop library fo ...

howtodown 2014-8-30 0 13309

怎么从web到spark集群 如wordcount，怎么从web应用调用并传参数(如传文件路径啥的)给wordcount？ 并取得wordcount的结果 ...

家鼠 2014-8-28 3 17361

问题导读： 1.如何下载spark-jobserver？ 2.如何启动jobserver？ 3.Rest如何提交job？ Job Server形式的rest se ...

nettman 2014-8-28 0 18995

问题导读 1、如何使用Python来分析数据文件？ 2、如何理解Spark交互式分析？ 1.1 Spark交互式分析 运行Spark脚本前 ...

xioaxu790 2014-7-29 4 16625

问题导读： 1.spark与hadoop有什么不同？ 2.如何操作RDD? 3.Spark有哪些编程接口？ 概述 什 ...

sunshine_junge 2014-7-18 1 18371

本帖最后由 xioaxu790 于 2014-8-22 16:14 编辑 问题导读 1、如何添加lib库到工程中？ 2、怎样配置管控平台？ 3、配置Run C ...

xioaxu790 2014-8-22 0 12517

问题导读 1、可以有几种方式对Spark应用程序进行监控？ 2、如何运用ganglia进行监控？ 3、监控Spark应用程的辅助工具有哪些？ ...

xioaxu790 2014-8-21 0 11208

本帖最后由 xioaxu790 于 2014-8-21 17:12 编辑 问题导读 1、Spark history server的作用是什么？ 2、history server的服务 ...

xioaxu790 2014-8-21 0 18064

本帖最后由 howtodown 于 2014-7-16 11:37 编辑 问题导读：1.spark比mapreduce的优势是什么？2.为什么人们认为spark可能会取代 ...

howtodown 2014-7-15 4 19791

问题导读 1、Spark的DAGScheduler是什么？ 2、DAGScheduler的运行过程是怎样的？ 3、如何理解Spark应用之间的调度？ ...

xioaxu790 2014-8-12 1 16594