Spark整合kafka0.10.0新特性

描述

word
17页


内容

Spark整合kafka0.10.0新特性(一)
Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。
The Spark Streaming integration for Kafka 0.10和kafka0.8的Direct Stream approach非常相似，并行度Kafka分区和Spark分区的比例1:1，并且可以访问Kafka的偏移和元数据。然而，新的整合方案使用的是new Kafka consumer API 而不是 simple API，所以在使用过程中需要注意区别，这个版本的整合现在正处于experimental，因此API可能随着时间会有变化。
Linking
For Scala/Java applications using SBT/Maven project definitions, link your streaming application with the following artifact (see Linking sectionin the main programming guide for further information).

groupId = org.apache.spark
artifactId = spark-streaming-kafka-0-10_2.11
version = 2.1.0
无论使用sbt还是maven，都需引入上面的坐标。


Creating a Direct Stream
注意导入包的路径是org.apache.spark.streaming.kafka010，切勿倒错包。



更多
链接: https://pan.baidu.com/s/1PcGX8AshTYh_qBCjMMQxdw 密码: m8qd