最近遇到一个需求，就是使用 spark-excel 读取 excel，需要根据输入的 sheet 页数读取数据。我在网上搜索了一番，却没有合适的 ...

nettman 2021-10-27 0 2739

兼容性问题说明 我们在做多种大数据平台混合搭建的时候，首先第一件事是考虑兼容性，比如软件在迭代过程中增加与过时一些功能是 ...

nettman 2021-8-9 0 1696

2.2.6　reduceByKey算子reduceByKey先在每个分区中计算，再将结果进行shuffle，减小运算量 2.2.7　cogroup算子2.2.8　join ...

linux_oracle 2020-12-4 0 1746

二. TransformationTransformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延 ...

linux_oracle 2020-12-4 0 2239

使用的版本是spark2.3： spark发布，都会在官网公布所支持的Scala版本，但是新手开发往往容易忽略这个问题，所以在出现错误 ...

pig2 2018-9-3 2 16937

map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；而flatMap函数则是两个操作的集合合并 操作1 ...

desehawk 2018-8-26 0 6982

一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo [mw_shl_code=scala,true]val s ...

阿飞 2018-8-16 1 4777

1.num-executors 参数说明： 该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资 ...

sstutu 2018-8-4 0 9343

下面总结了spark RDD Dataframe DataSet之间的相同和不同之处。

pig2 2018-7-22 0 11783

spark可以指定分区如下面：通过partitionBy实现 val fileRDD = sc.textFile("/opt/tarballs/spark_kafka/beifengspark/src/m ...

desehawk 2018-6-5 2 16654

窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的，宽依赖是指父RDD的分区被多个子RDD的分区所依赖。例如，map就 ...

NEOGX 2018-5-24 0 5980

有多个spark任务，第一个任务的结果是第二个任务的输入，有没有什么办法让第一个任务完成之后通知第二个任务，让第二个任务去执 ...

langke93 2018-5-22 4 9736

此贴首先对rdd和分区、任务有个认识 rdd是弹性分布式数据集，分区是对rdd数据的划分。分区之后，job并行度增大。一个分区对应 ...

阿飞 2018-5-2 1 12018

在日志分析vip群里，成员遇到一个问题。也就是只能打字，打错字不能回车删除。使用的SecureCRT。 解决办法： 第一步：在Sec ...

pig2 2018-4-24 0 7729

1.对于现行可分的数据集，我们又很多种划分超平面的方法将不同类别的数据区分开。当然对于线性不可分的数据集，可以通过核函数把 ...

regan 2018-4-18 0 11424

Scala有8种数据类型：Byte、Char、Short、Int、Long、Float、Double以及Boolean。与Java中的数据类型不同，Scala并不区分基本类 ...

不可替代 2018-4-17 0 6123

举个例子 [mw_shl_code=scala,true]val counts=pairs.reduceByKey(_+_) val counts=pairs.groupByKey().map(wordcounts=>(word ...

langke93 2018-4-16 0 11263

报错内容： System memory 259522560 must be at least 4.718592E8. Please use a larger heap size. 在Eclipse里开发spark ...

desehawk 2018-4-9 0 6675

spark sql 的并行度 默认是200 一般是怎么设置并行度的。 回答： 通过设置partitions来实现。 如何通过动态实现 ## ...

yuwenge 2018-3-30 0 12503

折腾了一个多星期，发了N个帖子求助和查资料，终于将spark的Standalone安装解决了，总结如下：主要分Standalone，基于文件系统的 ...

xw2016 2016-5-31 3 6746

目前的分词器大部分都是单机服务器进行分词，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的 ...

yuwenge 2015-5-20 1 32509

介绍   工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中 ...

yuwenge 2015-6-2 4 19961

从现有的CEP（Complex Event Processing）框架，像强大得Esper，我们学到很多工作完全可以通过写sql来完成的，不需要编写任何的 ...

langke93 2015-5-26 0 12279

mysql中有一个数据库为luciusdb，其中有一张表people，有8条数据。 1、如果采用spark-shell来访问数据库，可以像 ...

desehawk 2015-5-24 0 16781