Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

查看数: 46678 | 评论数: 11 | 收藏 12
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-1-3 19:20

正文摘要:

问题导读: 1.Kafka和Spark Steaming分别是什么?2.怎样搭建Kafka 集群?3.怎样使用 Kafka 和 Spark Streaming 构建实时数据处理系统? 引言在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等 ...

回复

海滩发红 发表于 2017-3-11 12:49:36
楼主你好:执行./spark-shell --master spark://Master:7077 --executor-memory 1024m --driver-memory 1024m

执行结果出错: WARN netty.NettyRpcEndpointRef: Error sending message [message = RemoveExecutor(1,Command exited with code 1)] in 1 attempts      
请问你知道怎么解决吗
六叔 发表于 2016-6-12 16:06:12
52624060 发表于 2016-1-25 16:43
我提交spark-submit后,出现以下的错误提示,有人知道是怎么回事吗
16/01/25 16:37:56 WARN netty.NettyRp ...

请问解决了这个问题吗?
fjyjlu 发表于 2016-5-30 18:44:11
mark一下,学习
woshichuanqi 发表于 2016-4-16 11:24:20
52624060 发表于 2016-1-25 16:43
我提交spark-submit后,出现以下的错误提示,有人知道是怎么回事吗
16/01/25 16:37:56 WARN netty.NettyRp ...

--master地址错了吧  与SPARK_MASTER_IP是否对应?
peterzor 发表于 2016-1-27 12:13:04
mark mark
peterzor 发表于 2016-1-27 12:11:33
mark mark

52624060 发表于 2016-1-25 16:43:52
我提交spark-submit后,出现以下的错误提示,有人知道是怎么回事吗
16/01/25 16:37:56 WARN netty.NettyRpcEndpointRef: Error sending message [message = RemoveExecutor(2,Command exited with code 1)] in 1 attempts
org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]. This timeout is controlled by spark.rpc.askTimeout
..
16/01/25 16:38:02 WARN netty.NettyRpcEndpointRef: Error sending message [message = UpdateBlockInfo(BlockManagerId(driver, 192.168.56.103, 52442),broadcast_0_piece0,StorageLevel(false, true, false, false, 1),1705,0,0)] in 1 attempts
org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout
        at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48)
peterzor 发表于 2016-1-15 10:04:14
mark mark

peterzor 发表于 2016-1-15 10:02:50
mark mark

关闭

推荐上一条 /2 下一条