分享

创建StreamingContext

xiaobaiyang 发表于 2017-6-21 09:28:29 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 5340
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spark.version>2.1.0</spark.version>
    <scala.version>2.10</scala.version>
    <hadoop.version>2.6.0</hadoop.version>
</properties>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_${scala.version}</artifactId>
    <version>${spark.version}</version>
</dependency><dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_${scala.version}</artifactId>
    <version>${spark.version}</version>
</dependency>
上面是我依赖包的版本情况,但是我在执行一下语句是报错
[mw_shl_code=scala,true]val ssc = new StreamingContext(args(0), "HdfsWordCount", Seconds(args(2).toInt),
  System.getenv("SPARK_HOME"), StreamingContext.jarOfClass(this.getClass))[/mw_shl_code]
网上都是这么创建的,编译时报错,Error:(20, 63) type mismatch; found   : Option[String] required: Seq[String]Error occurred in an application involving default arguments.      System.getenv("SPARK_HOME"), StreamingContext.jarOfClass(this.getClass))
类型有问题,然后我试了下下面的方式还是报错。[mw_shl_code=scala,true]val ssc = new StreamingContext(args(0), "HdfsWordCount", Seconds(args(2).toInt),
  System.getenv("SPARK_HOME"), Seq(StreamingContext.jarOfClass(this.getClass).getOrElse(StreamingContext.getClass.getName)))[/mw_shl_code]
请大神指点

已有(3)人评论

跳转到指定楼层
jixianqiuxue 发表于 2017-6-21 10:11:14
这种形式感觉有点怪,建议按照下面方式

[mw_shl_code=scala,true]import org.apache.spark._
impoty org.apache.spark.streaming._
val conf = new SparkConf().setAppName(appName).setMaster(master)
val ssc=new StreamingContext(conf,Seconds(1))[/mw_shl_code]
回复

使用道具 举报

xiaobaiyang 发表于 2017-6-21 11:19:03
jixianqiuxue 发表于 2017-6-21 10:11
这种形式感觉有点怪,建议按照下面方式

[mw_shl_code=scala,true]import org.apache.spark._

我使用的那种方式和你得方式,内部原理都是一样的,你那种方式也是可以的。
谢谢了
回复

使用道具 举报

jixianqiuxue 发表于 2017-6-21 11:36:15
xiaobaiyang 发表于 2017-6-21 11:19
我使用的那种方式和你得方式,内部原理都是一样的,你那种方式也是可以的。
谢谢了

代码原理都是一样的。可以尝试另外一种方式。建议把所有代码都贴出来。只看局部是看不出什么问题的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条