请教下大神，我这边的工程设计java Scala代码混合编译 不知道需要怎么设置 才可以工程不报错

Wyy_Ck 2017-2-24 1 6853

现在做一个spark数据存取优化的课题，请问要搭建哪种模式来做。

lsy1996 2017-2-20 4 6462

有10亿的测试数据分别存储在hdfs和hbase，想试下用spark测试下对两种存储方式下spark数据分析的性能，hdfs的没问题，但是读取hba ...

scorpionxie 2017-2-20 4 7849

如下图所示，在hdfs上的jtt目录下，是有aa，bb两个文件，里面也是有数据的 下面还有我些的代码，最后则为执行的命令 不知道问 ...

jttsai 2014-12-19 4 49061

在nagios与ganglia结合的时候，页面上总是报错。 CHECKGANGLIA UNKNOWN: Error while getting value "Host/value not f ...

lanyangkj 2017-2-20 3 8133

如上图，ganglia监控采用的PHP技术开发，默认界面是英文的，不利于网络维护人员使用，请问支持中文吗？如何设置？

lanyangkj 2017-2-13 2 8274

我的机器 master: 3G centos7 slave1:3G centos slave2:3G ubuntu 我计算的是五亿条人口信息，版主连接 Spark SQL ...

SuperDove 2017-2-17 11 21885

请大神，帮我看看这个问题， 1.我自己写的WordCount在本地能跑，在spark-shell上能跑，但是在spark-submit上报错 2.排除scala ...

小小布衣 2015-1-8 11 147744

"""SimpleApp""" from pyspark import SparkContext from pyspark.streaming.kafka import KafkaUtils logFile = "C:\s ...

hote123456 2017-2-15 3 6729

我在window本地搭建spark环境，想请教下 如何提交到集群中呢 代码如下： [mw_shl_code=scala,true]import org.apache.spark.{S ...

Wyy_Ck 2017-2-14 8 7209

集群部署： master: node0 slave: node0, node1, node2 数据存放： node0: /home/uname/data/t_0.txt node1: /home/uname ...

shui0855 2017-2-15 7 6559

我们经常遇到，下载国外的一些组件等经常失败。 如下载CDH-5.8.0-1.cdh5.8.0.p0.42-el7.parcel 上图，我们可以通过复制 ...

pig2 2017-2-14 0 8070

11班 小红 语文:77 11班 小红 数学:87 11班 小红 外语:98 11班 小黄 语文:67 11班 小黄 数学:57 11班 小黄 外语:98 12 ...

dsy198816 2017-2-12 5 12823

import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf objec ...

dsy198816 2017-2-6 5 19450

我知道key排序用sortbykey 数据value排序用啥呢？我现在的rdd里数据如下。 (file.baixing.net,3) (60.167.59.160,3) h ...

dsy198816 2017-2-6 4 8825

我需要处理一些很复杂的匹配逻辑，我需要自定义一个匹配方法def 然后再flatmap里调用改如何实现，下面是我的测试代码flatmap那 ...

dsy198816 2017-2-8 4 7104

不知道有没有在项目中用到SparkSQL的？SparkSQL应该跟Hbase查询不一样吧，Hbase查询不是基于MapReduce的，因此每一 ...

梦回三国 2015-5-29 4 29674

这是个什么错误，数据量稍微大大点就出错了。很容易OOM 怎么优化参数都不行。

lanyangkj 2017-1-13 8 8765

[mw_shl_code=scala,true]def main(args : Array[String]) : Unit = { var test : Map[String, String] = Map() te ...

liuzhixin137 2016-6-2 4 6081

我想把统计结果出入数据库 可是无法存入到mysql里面 已经不诶困扰了很久了 ，求大神讲解一下 wordCounts.foreachRDD(new V ...

Hentai 2017-2-6 8 15836

下面是我要处理的日志，每个元素以|分开，最后的元素是域名，我要统计每个域名有多少条日志。 49|17825793|2887524685|0|303058 ...

dsy198816 2017-2-5 4 9842

scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) sqlContext: org.apache.spark.sql.SQLContext = org.apach ...

liuzhixin137 2016-6-13 5 19336

采用collect进行收集，得到tuple类型的Array，现在需要将这个Array写到hdfs的指定位置上，且写入txt文件，应该如何操作？如果用s ...

nike1972 2016-8-11 3 14187

求大神指教一下

Hentai 2017-1-19 10 22047

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ ...

dsy198816 2017-1-17 2 7945

我在学习spark，目前版本：hadoop2.6，spark2.1，hive1.1，想找志同道合的们，qq284678311

zhuqitian 2017-1-19 0 5820

问题1：thriftserver指定数据库无效 问题描述： 连接spark thrift server时，在uri中指定数据库【jdbc:hive2://10.160.247.22:1 ...

zcfightings 2017-1-18 1 6964

各位先进好： 不知道这问题是不是在这边提问 我照著书上在eclipse 选 spark-submit yarn-clien 执行 wordCount.py 结果出现 ...

iceberg 2017-1-17 3 12404

我的集群里面有那个jar包 但是提交任务就报这个错

Hentai 2017-1-17 1 11338