在创建的时候指定多个ip和端口号 val flumeStream = FlumeUtils.createPollingStream(ssc,addresses,StorageLevel.MEMORY_ONLY_ ...

fengfengda 2017-9-20 3 4161

结合时出现了问题，求大神告知。。。。。。。。。。在线等。。。 通过sparkStreaming的拉模式拉去flume中的数据flume中的配置是 ...

fengfengda 2017-9-15 11 10935

报错信息，求解决啊

fengfengda 2017-9-13 8 7862

我的SparkSQL计算10G以内的数据，速度比Hive慢好多，理论上不是应该更快吗，就算数据量小，是不是也应该速度差不多嘛？ 执行语 ...

yangyixin 2017-9-15 4 6273

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that worke ...

xuanxufeng 2015-8-24 2 22735

https://pan.baidu.com/s/1bpJDssB

zhuqitian 2017-9-15 0 7308

最近发现服务器运行SparkStreaming程序后磁盘空间被占满了，不明白改怎么解决，该删除那些没有用的文件，是不是程序运行产生了大 ...

fengfengda 2017-9-14 5 8474

各位大神： 我要在java中读取sqlserver里的表，然后对hbase进行循环插入 这是我的代码 但是一运行就出这 ...

remarkzhao 2017-9-13 4 6746

SSH 可以互相无密码登陆，ping也能ping通。但是worker就是连不上master vanxd@master:~/i/Spark/spark-1.3.1-bin-hadoop2.6/s ...

l206xd 2015-6-2 16 65550

我使用Spark Streaming接受kafka数据，然后想要根据每条数据中的orderId字段是否存在，若不存在，则添加至一个Set中以及对redis ...

zstu 2017-9-12 8 4769

在使用SparkStreaming+Kafka+Redis做一个实时的需求。测试的过程中遇到以下的问题 用DirectStream读取kafka，数据经过处理后for ...

erbin 2017-9-12 5 8301

借贵地问一个问题：我参考spark官网实例 运行spark streaming实例 $ ./bin/run-example streaming.NetworkWordCount local ...

Wyy_Ck 2017-9-11 1 5333

有这个场景： 分布式系统， 有三个节点datanode。有一个文件 分三部分 存储在这三个节点， 当客户端读取数据的时候，A B两个节 ...

Wyy_Ck 2017-9-10 1 4251

我想实时统计一个app系统的每个页面每小时的新增用户数并保存到hbase表中，有什么好的方法可以减少对于hbase表的请求？

zhouyan8603 2017-9-8 4 7543

1、每个wroker读取一个hfile作为RDD吗？ 2、如果hfile大于worker内存，此时会被多个worker分散数据吗？ 3、可以终止worker读 ...

evababy 2017-9-7 1 4913

http://pan.baidu.com/s/1kToXSl5 **** 本内容被作者隐藏 ****

x5136160 2015-5-2 132 147467

如何从sqlserver里把数据导入到hbase里，这个问题纠结了我一个月，各种方法的取舍，以及判断 还是有点迷糊，目前想尝试以下方法 ...

remarkzhao 2017-8-28 9 5858

弱弱请教一下各位大神： dataframe是我从sqlserver里拉出来的，请问 1. dataframe如何保存到hbase，这个datafra ...

remarkzhao 2017-8-23 7 8146

Spark Graphx中，在数据库读取数据，组成有向图，graphx有提供直接获取根节点的api吗？ spark 新手，求大神指点。

冰诺莫语 2017-8-23 1 5387

说在前面的话： 几年前我做过银行项目，那会使用IBM的datastage这个产品，只要拖拖拽拽就可以实现多数据源的表关联取数 ...

zhuqitian 2017-8-16 3 8769

本人刚刚接触intellijidea这块今天写的代码报错，搞了半天也出问题，求大神给我指点一下。

jxlxxxmz 2017-7-27 11 8491

各位大佬： DC_DIAGNOSISDF(263 MB) DC_LAB_RESULT_MASTERDF(899.04 MB) DC_ENCOUNTERDF(1.75 GB) DC_VITAL_S ...

remarkzhao 2017-8-17 5 11683

各位大神： 环境 win 10 scala 2.11.8 spark 源码 2.2.0 工具 intellij idea 从官网下来源码 ...

remarkzhao 2017-8-9 3 4977

现在有个需求，要求用javaBean把json的1百万条数据提取成指定的格式输出。请大家给个思路，怎么写啊。JavaEE学的不怎么好。不会 ...

yunge2016 2017-8-6 2 5056

value / is not a member of String Error:(127, 53) value / is not a member of String val rdd8 = rdd7.map(x =>(x._ ...

逆光之处是快乐 2017-8-6 1 4397

因为在用Spark 的Mllib我在LinearRegression.scala文件的头部加上了 import org.apache.spark.internal.Logging 来打印里面的 ...

bingoogle 2017-8-4 5 6552

现在用sparkStreaming写一个程序，需要linux的nc 服务，现在开启nc -lk 指定任意端口，都提示协议不可用。 nc: Protocol not ava ...

yunge2016 2017-8-3 3 11436

各位大神额，这是我在windows下用idea写的。 import org.apache.spark._ object WordCount { def main(args: Array[Stri ...

remarkzhao 2017-8-3 4 6099

按照官网例子监听TCP 9999测试结果如下： 1、 nc -lk 9999 启动后，自身发消息，spark可以接受消息。 2、开nc -lk 9999和spa ...

evababy 2015-5-21 5 37822