本帖最后由 yuwenge 于 2015-6-2 20:59 编辑
问题导读
1.Spark on Yarn如何查看日志？
2.spark-env.sh文件的作用是什么？
3.Spark on Yarn如何提交job?
4. Spark Standalone,Master，Worker节点分别负责什么？
5.Spark Standalone如何提交job?
1 节点说明IP | Role | 192.168.1.111 | ActiveNameNode | 192.168.1.112 | StandbyNameNode,Master,Worker | 192.168.1.113 | DataNode,Master,Worker | 192.168.1.114 | DataNode,Worker |
HDFS集群和Spark集群之间节点共用。
2 安装HDFS
3 Spark部署 Spark常用的安装部署模式有Spark On Yarn和Standalone，可以同时使用。
3.1 Spark on Yarn 这种模式，借助Yarn资源分配的功能，使用Spark客户端来向Yarn提交任务运行。只需将Spark的部署包放置到Yarn集群的某个节点上即可(或者是Yarn的客户端，能读取到Yarn集群的配置文件即可)。Spark本身的Worker节点、Master节点不需要启动。 但是，Spark的部署包须是基于对应的Yarn版本正确编译后的，否则会出现Spark和Yarn的兼容性问题。 on Yarn的两种运行方式，其运行结束后的日志不能在Yarn的Application管理界面看到，目前只能在客户端通过： yarn logs -applicationId <applicationId> 命令查看每个Application的日志。
3.1.1 配置 部署这种模式，需要修改conf目录下的spark-env.sh文件。在其中新增如下配置选项：
3.1.1 配置 部署这种模式，需要修改conf目录下的spark-env.sh文件。在其中新增如下配置选项： [mw_shl_code=bash,true]export HADOOP_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0
export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop
SPARK_EXECUTOR_INSTANCES=2
SPARK_EXECUTOR_CORES=1
SPARK_EXECUTOR_MEMORY=400M
SPARK_DRIVER_MEMORY=400M
SPARK_YARN_APP_NAME="Spark 1.0.0"[/mw_shl_code]
其中：
(1) HADOOP_HOME:当前节点中HDFS的部署路径，因为Spark需要和HDFS中的节点在一起；
(2) HADOOP_CONF_DIR:HDFS节点中的conf配置文件路径，正常情况下此目录为$HADOOP_HOME/etc/hadoop；
(3) SPARK_EXECUTOR_INSTANCES:在Yarn集群中启动的Worker的数目，默认为2个；
(4) SPARK_EXECUTOR_CORES:每个Worker所占用的CPU核的数目；
(5) SPARK_EXECUTOR_MEMORY:每个Worker所占用的内存大小；
(6) SPARK_DRIVER_MEMORY:Spark应用程序Application所占的内存大小，这里的Driver对应Yarn中的ApplicationMaster；
(7) SPARK_YARN_APP_NAME：Spark Application在Yarn中的名字；
配置完成后，将Spark部署文件放置到Yarn的节点中即可。这里，将spark-1.0.0整个目录放到Yarn集群的一个节点192.168.1.112的/home/hadoop(设为spark的安装路径的父目录)路径下。
3.1.2 测试
在Spark的部署路径的bin路径下，执行spark-submit脚本来运行spark-examples包中的例子。执行如下： [mw_shl_code=bash,true]./bin/spark-submit --master yarn \
--class org.apache.spark.examples.JavaWordCount \
--executor-memory 400M \
--driver-memory 400M \
/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar ./hdfs-site.xml[/mw_shl_code]
这个例子是计算WordCount的，例子被打包在/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar包中，对应的Class为org.apache.spark.examples.JavaWordCount，./hdfs-site.xml是HDFS中指定路径下的一个文件，WordCount就是针对它来做的。而--master yarn就是指定运行在Yarn集群中，以yarn模式运行。
Spark On Yarn有两种运行模式，一种是Yarn Cluster方式，一种是Yarn Client方式。
(1) Yarn Cluster: Spark Driver程序将作为一个ApplicationMaster在YARN集群中先启动，然后再由ApplicationMaster向RM申请资源启动executor以运行Task。因为Driver程序在Yarn中运行，所以程序的运行结果不能在客户端显示，所以最好将结果保存在HDFS上，客户端的终端显示的是作为Yarn的job的运行情况。
(2) Yarn Client: Spark Driver程序在客户端上运行，然后向Yarn申请运行exeutor以运行Task，本地程序负责最后的结果汇总等。客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver-memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显示，Driver以进程名为SparkSubmit的形式存在。
上面命令中的提交方式“yarn”就是默认按照“Yarn Client”方式运行。用户可自定义运行方式，通过“--master”指定程序以yarn、yarn-cluster或者yarn-client中的一种方式运行。
需要重点说明的是最后文件的路径，是相当于HDFS中的/user/hadoop而言，hadoop是当前命令的用户。“./hdfs-site.xml”在HDFS中的全路径为“hdfs://namespace/user/hadoop/hdfs-site.xml”，其中hadoop是当前的用户，namespace是HDFS的命名空间；如果写成“/hdfs-site.xml”则在HDFS中指的是“hdfs://namespace/hdfs-site.xml”；当然也可以直接传入“hdfs://namespace/user/hadoop/hdfs-site.xml”用于指定在HDFS中的要进行WordCount计算的文件。
另外，Spark应用程序需要的CPU Core数目和内存，需要根据当前Yarn的NodeManager的硬件条件相应设置，不能超过NodeManager的硬件条件。
[mw_shl_code=bash,true]./bin/spark-submit --master yarn \
--class org.apache.spark.examples.JavaWordCount \
--executor-memory 400M \
--driver-memory 400M \
/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar hdfs://namespace/user/hadoop/hdfs-site.xml[/mw_shl_code]
在Yarn的ResourceManager对应的Web界面中查看启动的Application。 Running: Success: 同时可以在启动脚本的客户端看到WordCount的运行结果：
3.2 Spark Standalone 这种模式，就是把Spark单独作为一个集群来进行部署。集群中有两种节点，一种是Master，另一种是Worker节点。Master负责分配任务给Worker节点来执行，并负责最后的结果合并，Worker节点负责具体的任务执行。 3.2.1 配置 所需修改的配置文件除了spark-env.sh文件以外，还有slave文件，都位于conf目录中。 slave文件中保存的是worker节点host或者IP，此处的配置为： 192.168.1.112 192.168.1.113 192.168.1.114 至于spark-env.sh文件，可以配置如下属性： (1) SPARK_MASTER_PORT:Master服务端口，默认为7077； (2) SPARK_WORKER_CORES:每个Worker进程所需要的CPU核的数目； (3) SPARK_WORKER_MEMORY:每个Worker进程所需要的内存大小； (4) SPARK_WORKER_INSTANCES：每个Worker节点上运行Worker进程的数目； (5) SPARK_MASTER_WEBUI_PORT：Master节点对应Web服务的端口； (6)export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.1.117:2181,192.168.1.118:2181,192.168.1.119:2181 -Dspark.deploy.zookeeper.dir=/spark":用于指定Master的HA，依赖于zookeeper集群； (7) export SPARK_JAVA_OPTS="-Dspark.cores.max=4"：用于限定每个提交的Spark Application的使用的CPU核的数目，因为缺省情况下提交的Application会使用所有集群中剩余的CPU Core。 注意在Worker进程的CPU个数和内存大小的时候，要结合机器的实际硬件条件，如果一个Worker节点上的所有Worker进程需要的CPU总数目或者内存大小超过当前Worker节点的硬件条件，则Worker进程会启动失败。 将配置好的Spark文件拷贝至每个Spark集群的节点上的相同路径中。为方便使用spark-shell，可以在环境变量中配置上SPARK_HOME。 3.2.2 启动 配置结束后，就该启动集群了。这里使用Master的HA方式，选取192.168.1.112、192.168.1.113节点作为Master，192.168.1.112、192.168.1.113、192.168.1.114节点上运行两个Worker进程。 首先在192.168.1.113节点上做此操作： 启动之后，可以查看当前节点的进程： 另外，为了保证Master的HA，在192.168.1.112节点上只启动Master： 192.168.1.112节点的进程为： 启动过后，通过Web页面查看集群的情况，这里访问的是： 3.2.3 测试 Spark的bin子目录中的spark-submit脚本是用于提交程序到集群中运行的工具，我们使用此工具做一个关于pi的计算。命令如下： [mw_shl_code=bash,true]./bin/spark-submit --master spark://spark113:7077 \
--class org.apache.spark.examples.SparkPi \
--name Spark-Pi --executor-memory 400M \
--driver-memory 512M \
/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar[/mw_shl_code]
其中--master参数用于指定Master节点的URI，但是这里填的是Host，不是IP！
任务启动之后，在Spark的Master的Web界面可以看到运行中的Application。
任务运行结束之后，在Web界面中Completed Applications表格中会看到对应的结果。
同时，命令行中会打印出来运行的结果，如下所示：
4 spark-submit工具 上面测试程序的提交都是使用的spark-submit脚本，其位于$SPARK_HOME/bin目录中，执行时需要传入的参数说明如下： Usage: spark-submit [options] <app jar | python file> [app options] 参数名称 | 含义 | --master MASTER_URL | 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local | --deploy-mode DEPLOY_MODE | Driver程序运行的地方，client或者cluster | --class CLASS_NAME | 主类名称，含包名 | --name NAME | Application名称 | --jars JARS | Driver依赖的第三方jar包 | --py-files PY_FILES | 用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表 | --files FILES | 用逗号隔开的要放置在每个executor工作目录的文件列表 | --properties-file FILE | 设置应用程序属性的文件路径，默认是conf/spark-defaults.conf | --driver-memory MEM | Driver程序使用内存大小 | --driver-java-options |
| --driver-library-path | Driver程序的库路径 | --driver-class-path | Driver程序的类路径 | --executor-memory MEM | executor内存大小，默认1G | --driver-cores NUM | Driver程序的使用CPU个数，仅限于Spark Alone模式 | --supervise | 失败后是否重启Driver，仅限于Spark Alone模式 | --total-executor-cores NUM | executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式 | --executor-cores NUM | 每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式 | --queue QUEUE_NAME | 提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式 | --num-executors NUM | 启动的executor数量，默认是2个，仅限于Spark on Yarn模式 | --archives ARCHIVES | 仅限于Spark on Yarn模式 |
另外，在执行spark-submit.sh工具进行提交应用之前，可以使用如下方式提前定义好当前Spark Application所使用的CPU Core数目和内存大小： [mw_shl_code=bash,true]SPARK_JAVA_OPTS="-Dspark.cores.max=2 -Dspark.executor.memory=600m" \
./bin/spark-submit --master spark://update113:7077 \
--class org.apache.spark.examples.SparkPi \
…
…[/mw_shl_code]
5 Spark HistoryServer 类似于Mapreduce的JobHistoryServer，Spark也有一个服务可以保存历史Application的运行记录。 修改$SPARK_HOME/conf下的spark-defaults.conf文件(注意，修改后的配置文件在每个节点都要有)，其中可修改的配置属性为：
属性名称 | 默认值 | 含义 | spark.history.updateInterval | 10 | 以秒为单位，更新日志相关信息的时间间隔 | spark.history.retainedApplications | 250 | 保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除 | spark.history.ui.port | 18080 | HistoryServer的web端口 | spark.history.kerberos.enabled | False | 是否使用kerberos方式登录访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，如果设置为true，就要配置下面的两个属性 | spark.history.kerberos.principal |
| 用于HistoryServer的kerberos主体名称 | spark.history.kerberos.keytab |
| 用于HistoryServer的kerberos keytab文件位置 | spark.history.ui.acls.enable | False | 授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查 | spark.eventLog.enabled | False | 是否记录Spark事件 | spark.eventLog.dir |
| 保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建 | spark.yarn.historyServer.address |
| Server端的URL：Ip:port 或者host:port |
此处的设置如下： [mw_shl_code=bash,true]spark.eventLog.enabled true
spark.eventLog.dir hdfs://yh/user/hadoop/sparklogs
spark.yarn.historyServer.address update113:18080[/mw_shl_code]
设置完文件之后，进入sbin目录启动服务：
运行完成的Application历史记录可以通过访问上面指定的HistoryServer地址查看，这里是http://192.168.1.113:18080/。
无论运行时是本地模式，还是yarn-client、yarn-cluster，运行记录均可在此页面查看。 并且程序运行时的环境变量、系统参数、各个阶段的耗时均可在此查看，很强大！ 6 Spark可配置参数Spark参数的配置可通过三种方式：SparkConf方式 > 命令行参数方式 >文件配置方式。 6.1 应用属性
属性名 | 默认值 | 含义 | spark.app.name |
| 应用程序名称 | spark.master |
| 要连接的Spark集群Master的URL | spark.executor.memory | 512 m | 每个executor使用的内存大小 | spark.serializer | org.apache.spark .serializer.JavaSerializer | 序列化方式，官方建议使用org.apache.spark.serializer.KryoSerializer，当然也可以任意是定义为org.apache.spark.Serializer子类的序化器 | spark.kryo.registrator |
| 如果要使用 Kryo序化器，需要创建一个继承KryoRegistrator的类并设置系统属性spark.kryo.registrator指向该类 | spark.local.dir | /tmp | 用于保存map输出文件或者转储RDD。可以多个目录，之间以逗号分隔。在Spark 1.0 及更高版本此属性会被环境变量 SPARK_LOCAL_DIRS （Standalone、Mesos） 或 LOCAL_DIRS （YARN） 代替 | spark.logConf | False | SparkContext 启动时是否记录有效 SparkConf信息 |
6.2 运行环境变量
属性名 | 默认值 | 含义 | spark.executor.extraJavaOptions |
| 传递给executor的额外JVM 选项，但是不能使用它来设置Spark属性或堆空间大小 | spark.executor.extraClassPath |
| 追加到executor类路径中的附加类路径 | spark.executor.extraLibraryPath |
| 启动executor JVM 时要用到的特殊库路径 | spark.files.userClassPathFirst | False | executor在加载类的时候是否优先使用用户自定义的JAR包，而不是Spark带有的JAR包，目前，该属性只是一项试验功能 |
6.3 Shuffle操作相关属性属性名 | 默认值 | 含义 | spark.shuffle.consolidateFiles | False | 如果为true，在shuffle时就合并中间文件，对于有大量Reduce任务的shuffle来说，合并文件可以提高文件系统性能，如果使用的是ext4 或 xfs 文件系统，建议设置为true；对于ext3，由于文件系统的限制，设置为true反而会使内核>8的机器降低性能 | spark.shuffle.spill | True | 如果为true，在shuffle期间通过溢出数据到磁盘来降低了内存使用总量，溢出阈值是由spark.shuffle.memoryFraction指定的 | spark.shuffle.spill.compress | True | 是否压缩在shuffle期间溢出的数据，如果压缩将使用spark.io.compression.codec。 | spark.shuffle.compress | True | 是否压缩map输出文件，压缩将使用spark.io.compression.codec。 | spark.shuffle.file.buffer.kb | 100 | 每个shuffle的文件输出流内存缓冲区的大小，以KB为单位。这些缓冲区可以减少磁盘寻道的次数，也减少创建shuffle中间文件时的系统调用 | spark.reducer.maxMbInFlight | 48 | 每个reduce任务同时获取map输出的最大大小 （以兆字节为单位）。由于每个map输出都需要一个缓冲区来接收它，这代表着每个 reduce 任务有固定的内存开销，所以要设置小点，除非有很大内存 |
6.4 SparkUI相关属性属性名 | 默认值 | 含义 | spark.ui.port | 4040 | 应用程序webUI的端口 | spark.ui.retainedStages | 1000 | 在GC之前保留的stage数量 | spark.ui.killEnabled | True | 允许在webUI将stage和相应的job杀死 | spark.eventLog.enabled | False | 是否记录Spark事件，用于应用程序在完成后重构webUI | spark.eventLog.compress | False | 是否压缩记录Spark事件，前提spark.eventLog.enabled为true | spark.eventLog.dir | file:///tmp/spark-events | 如果spark.eventLog.enabled为 true，该属性为记录spark事件的根目录。在此根目录中，Spark为每个应用程序创建分目录，并将应用程序的事件记录到在此目录中。可以将此属性设置为HDFS目录，以便history server读取历史记录文件 |
6.5 压缩和序列化相关属性属性名 | 默认值 | 含义 | spark.broadcast.compress | True | 是否在发送之前压缩广播变量 | spark.rdd.compress | False | 是否压缩RDD分区 | spark.io.compression.codec | org.apache.spark.io. LZFCompressionCodec | 用于压缩内部数据如 RDD分区和shuffle输出的编码解码器， org.apache.spark.io.LZFCompressionCodec和org.apache.spark.io.SnappyCompressionCodec。其中，Snappy提供更快速的压缩和解压缩，而LZF提供了更好的压缩比 | spark.io.compression.snappy .block.size | 32768 | 使用Snappy编码解码器时，编码解码器使用的块大小 （以字节为单位） | spark.closure.serializer | org.apache.spark.serializer. JavaSerializer | 用于闭包的序化器，目前只有支持Java序化器 | spark.serializer.
objectStreamReset | 10000 | org.apache.spark.serializer.JavaSerializer序列化时，会缓存对象以防止写入冗余数据，此时会停止这些对象的垃圾收集。通过调用重置序化器，刷新该信息就可以收集旧对象。若要关闭这重定期重置功能将其设置为< = 0 。默认情况下每10000个对象将重置序化器 | spark.kryo.referenceTracking | True | 当使用Kryo序化数据时，是否跟踪对同一对象的引用。如果你的对象图有回路或者同一对象有多个副本，有必要设置为true；其他情况下可以禁用以提高性能 | spark.kryoserializer.buffer.mb | 2 | 在Kryo 里允许的最大对象大小（Kryo会创建一个缓冲区，至少和序化的最大单个对象一样大）。每个worker的每个core只有一个缓冲区 |
6.6 执行时相关属性属性名 | 默认值 | 含义 | spark.default.parallelism | 本地模式：机器核数 Mesos：8 其他：max（executor的core，2） | 如果用户不设置，系统使用集群中运行shuffle操作的默认任务数（groupByKey、 reduceByKey等） | spark.broadcast.factory | org.apache.spark.broadcast. HttpBroadcastFactory | 广播的实现类 | spark.broadcast.blockSize | 4096 | TorrentBroadcastFactory块大小（以kb为单位）。过大会降低广播速度；过小会使印象BlockManager性能 | spark.files.overwrite | Fale | 通过 SparkContext.addFile() 添加的文件在目标中已经存在并且内容不匹配时，是否覆盖目标文件 | spark.files.fetchTimeout | False | 在获取由driver通过SparkContext.addFile() 添加的文件时，是否使用通信时间超时 | spark.storage.memoryFraction | 0.6 | Java堆用于cache的比例 | spark.tachyonStore.baseDir | System.getProperty("java.io.tmpdir") | 用于存储RDD的techyon目录，tachyon文件系统的URL由spark.tachyonStore.url设置，也可以是逗号分隔的多个techyon目录 | spark.storage. memoryMapThreshold | 8192 | 以字节为单位的块大小，用于磁盘读取一个块大小时进行内存映射。这可以防止Spark在内存映射时使用很小块，一般情况下，对块进行内存映射的开销接近或低于操作系统的页大小 | spark.tachyonStore.url | tachyon://localhost:19998 | 基于techyon文件的URL | spark.cleaner.ttl |
| spark记录任何元数据（stages生成、task生成等）的持续时间。定期清理可以确保将超期的元数据丢弃，这在运行长时间任务是很有用的，如运行7*24的sparkstreaming任务。RDD持久化在内存中的超期数据也会被清理 |
6.7 网络相关属性属性名 | 默认值 | 含义 | spark.driver.host |
| 运行driver的主机名或 IP 地址 | spark.driver.port | 随机 | driver侦听的端口 | spark.akka.frameSize | 10 | 以MB为单位的driver和executor之间通信信息的大小，设置值越大，driver可以接受更大的计算结果 | spark.akka.threads | 4 | 用于通信的actor线程数，在大型集群中拥有更多CPU内核的driver可以增加actor线程数 | spark.akka.timeout | 100 | 以秒为单位的Spark节点之间超时时间 | spark.akka.heartbeat.pauses | 600 | 下面3个参数是用于设置Akka自带的故障探测器。启用的话，以秒为单位设置如下这三个参数，有助于对恶意的executor的定位，而对于由于GC暂停或网络滞后引起的情况下，不需要开启故障探测器；另外故障探测器的开启会导致由于心跳信息的频繁交换而引起的网络泛滥。 本参数是设置可接受的心跳停顿时间 | spark.akka.failure-detector.threshold | 300.0 | 对应Akka的akka.remote.transport-failure-detector.threshold | spark.akka.heartbeat.interval | 1000 | 心跳间隔时间 |
6.8 调度相关属性属性名 | 默认值 | 含义 | spark.task.cpus | 1 | 为每个任务分配的内核数 | spark.task.maxFailures | 4 | Task的最大重试次数 | spark.scheduler.mode | FIFO | Spark的任务调度模式，还有一种Fair模式 | spark.cores.max |
| 当应用程序运行在Standalone集群或者粗粒度共享模式Mesos集群时，应用程序向集群请求的最大CPU内核总数（不是指每台机器，而是整个集群）。如果不设置，对于Standalone集群将使用spark.deploy.defaultCores中数值，而Mesos将使用集群中可用的内核 | spark.mesos.coarse | False | 如果设置为true，在Mesos集群中运行时使用粗粒度共享模式 | spark.speculation | False | 以下几个参数是关于Spark推测执行机制的相关参数。此参数设定是否使用推测执行机制，如果设置为true则spark使用推测执行机制，对于Stage中拖后腿的Task在其他节点中重新启动，并将最先完成的Task的计算结果最为最终结果 | spark.speculation.interval | 100 | Spark多长时间进行检查task运行状态用以推测，以毫秒为单位 | spark.speculation.quantile | 0.75 | 推测启动前，Stage必须要完成总Task的百分比 | spark.speculation.multiplier | 1.5 | 比已完成Task的运行速度中位数慢多少倍才启用推测 | spark.locality.wait | 3000 | 以下几个参数是关于Spark数据本地性的。本参数是以毫秒为单位启动本地数据task的等待时间，如果超出就启动下一本地优先级别的task。该设置同样可以应用到各优先级别的本地性之间（本地进程 -> 本地节点 -> 本地机架 -> 任意节点 ），当然，也可以通过spark.locality.wait.node等参数设置不同优先级别的本地性 | spark.locality.wait.process | spark.locality.wait | 本地进程级别的本地等待时间 | spark.locality.wait.node | spark.locality.wait | 本地节点级别的本地等待时间 | spark.locality.wait.rack | spark.locality.wait | 本地机架级别的本地等待时间 | spark.scheduler.revive.interval | 1000 | 复活重新获取资源的Task的最长时间间隔（毫秒），发生在Task因为本地资源不足而将资源分配给其他Task运行后进入等待时间，如果这个等待时间内重新获取足够的资源就继续计算 |
6.9 安全相关属性属性名 | 默认值 | 含义 | spark.authenticate | False | 是否启用内部身份验证 | spark.authenticate.secret |
| 设置组件之间进行身份验证的密钥。如果不是YARN上运行并且spark.authenticate为true时，需要设置密钥 | spark.core.connection. auth.wait.timeout | 30 | 进行身份认证的超时时间 | spark.ui.filters |
| Spark web UI 要使用的以逗号分隔的筛选器名称列表。筛选器要符合javax servlet Filter标准，每个筛选器的参数可以通过设置java系统属性来指定： spark.<class name of filter>.params='param1=value1,param2=value2' 例如： -Dspark.ui.filters=com.test.filter1 -Dspark.com.test.filter1.params='param1=foo,param2=testing' | spark.ui.acls.enable | False | Spark webUI存取权限是否启用。如果启用，在用户浏览web界面的时候会检查用户是否有访问权限 | spark.ui.view.acls |
| 以逗号分隔Spark webUI访问用户的列表。默认情况下只有启动Spark job的用户才有访问权限 |
6.10 SparkStreaming相关属性属性名 | 默认值 | 含义 | spark.streaming.blockInterval | 200 | Spark Streaming接收器将接收数据合并成数据块并存储在Spark里的时间间隔，毫秒 | spark.streaming.unpersist | True | 如果设置为true，强迫将SparkStreaming持久化的RDD数据从Spark内存中清理，同样的，SparkStreaming接收的原始输入数据也会自动被清理；如果设置为false，则允许原始输入数据和持久化的RDD数据可被外部的Streaming应用程序访问，因为这些数据不会自动清理 |
6.11 Standalone模式特有属性可以在文件conf/spark-env.sh中来设置此模式的特有相关属性： (1)SPARK_MASTER_OPTS：配置master使用的属性 (2)SPARK_WORKER_OPTS：配置worker使用的属性 (3)SPARK_DAEMON_JAVA_OPTS：配置master和work都使用的属性 配置的时候，使用类似的语句： export SPARK_MASTER_OPTS="-Dx1=y1 -Dx2=y2" 其中x代表属性，y代表属性值。 SPARK_MASTER_OPTS所支持的属性有： 属性名 | 默认值 | 含义 | spark.deploy.spreadOut | True | Standalone集群管理器是否自由选择节点还是固定到尽可能少的节点，前者会有更好的数据本地性，后者对于计算密集型工作负载更有效 | spark.worker.timeout | 60 | master因为没有收到心跳信息而认为worker丢失的时间（秒） | spark.deploy.defaultCores |
| 如果没有设置spark.cores.max，该参数设置Standalone集群分配给应用程序的最大内核数，如果不设置，应用程序获取所有的有效内核。注意在一个共享的集群中，设置一个低值防止攫取了所有的内核，影响他人的使用 |
SPARK_WORKER_OPTS所支持的属性有 属性名 | 默认值 | 含义 | spark.worker.cleanup.enabled | False | 是否定期清理worker的应用程序工作目录，只适用于Standalone模式，清理的时候将无视应用程序是否在运行 | spark.worker.cleanup.interval | 1800 | 清理worker本地过期的应用程序工作目录的时间间隔（秒） | spark.worker.cleanup.appDataTtl | 7*24*3600 | worker保留应用程序工作目录的有效时间。该时间由磁盘空间、应用程序日志、应用程序的jar包以及应用程序的提交频率来设定 |
SPARK_DAEMON_JAVA_OPTS所支持的属性有： 属性名 | 含义 | spark.deploy.recoveryMode | 下面3个参数是用于配置zookeeper模式的master HA。设置为ZOOKEEPER表示启用master备用恢复模式，默认为NONE | spark.deploy.zookeeper.url | zookeeper集群URL | spark.deploy.zookeeper.dir | zooKeeper保存恢复状态的目录，缺省为/spark | spark.deploy.recoveryMode | 设成FILESYSTEM启用master单节点恢复模式，缺省值为NONE | spark.deploy.recoveryDirectory | Spark保存恢复状态的目录 |
6.12 Spark on Yarn特有属性属性名 | 默认值 | 含义 | spark.yarn.applicationMaster.waitTries | 10 | RM等待Spark AppMaster启动重试次数，也就是SparkContext初始化次数。超过这个数值，启动失败 | spark.yarn.submit.file.replication | 3 | 应用程序上传到HDFS的文件的副本数 | spark.yarn.preserve.staging.files | False | 若为true，在job结束后，将stage相关的文件保留而不是删除 | spark.yarn.scheduler.heartbeat.interval-ms | 5000 | Spark AppMaster发送心跳信息给YARN RM的时间间隔 | spark.yarn.max.executor.failures | 2倍于executor数 | 导致应用程序宣告失败的最大executor失败次数 | spark.yarn.historyServer.address |
| Spark history server的地址（不要加http://）。这个地址会在Spark应用程序完成后提交给YARN RM，然后RM将信息从RM UI写到history server UI上。 |
7 示例配置 主要的配置文件均位于$SPARK_HOME/conf中，包括slave、spark-env.sh、spark-defaults.conf文件等。 7.1 slave文件
[mw_shl_code=bash,true]192.168.1.112
192.168.1.113
192.168.1.114[/mw_shl_code]
7.2 spark-env.sh文件
[mw_shl_code=bash,true]export JAVA_HOME="/export/servers/jdk1.6.0_25"
#yarn
export HADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.5.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_EXECUTOR_INSTANCES=2
SPARK_EXECUTOR_CORES=1
SPARK_EXECUTOR_MEMORY=400M
SPARK_DRIVER_MEMORY=400M
SPARK_YARN_APP_NAME="Spark 1.0.0"
#alone
SPARK_MASTER_WEBUI_PORT=8090
SPARK_WORKER_MEMORY=400M
SPARK_WORKER_CORES=1
SPARK_WORKER_INSTANCES=2
#Master HA
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.1.117:2181,192.168.1.118:2181,192.168.1.119:2181 -Dspark.deploy.zookeeper.dir=/spark"[/mw_shl_code]
7.3 spark-defaults.conf文件
[mw_shl_code=bash,true]#history server
spark.eventLog.enabled true
spark.eventLog.dir hdfs://namespace/user/hadoop/sparklogs
spark.yarn.historyServer.address spark113:18080
#shuffle
spark.shuffle.consolidateFiles true
#task
spark.task.cpus 1
spark.task.maxFailures 3
#scheduler type
spark.scheduler.mode FAIR
#security
park.authenticate true
spark.authenticate.secret hadoop
spark.core.connection.auth.wait.timeout 1500
spark.ui.acls.enable true
spark.ui.view.acls root,hadoop
#each executor used max memory
spark.executor.memory 400m
#spark on yarn
spark.yarn.applicationMaster.waitTries 5
spark.yarn.submit.file.replication 3
spark.yarn.preserve.staging.files false
spark.yarn.scheduler.heartbeat.interval-ms 5000
#park standalone and on mesos
spark.cores.max 4[/mw_shl_code]
8 Spark SQL Spark支持Scala、Python等语言写的脚本直接在Spark环境执行，更重要的是支持对Hive语句进行包装后在Spark上运行。这就是Spark SQL。 8.1 相关配置 配置的步骤比较简单，把Hive的配置文件hive-site.xml直接放置到$SPARK_HOME的conf路径下即可。如果是想在Spark集群本地执行SQL的话，每个对应的节点都要做同样的配置。 8.2 运行SQL 启动bin目录下的spark-shell脚本，依次执行如下语句：
[mw_shl_code=bash,true]val sc: SparkContext
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
import hiveContext._
hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
hql("LOAD DATA LOCAL INPATH '/examples /data.txt' INTO TABLE src")
hql("FROM src SELECT key, value").collect().foreach(println)[/mw_shl_code]
上面的命令，分别是声明SparkContext对象，利用hql方法执行Hive的SQL语句，在执行SQL语句的过程中，可以通过Hive的Cli客户端进行查看相应操作的结果。 8.3 on yarn模式 由于spark-shell脚本是在本地执行的，如果想放到Yarn上去执行的话，可以使用上面第4节中的spark-submit工具，这时候需要对需要输入的sql语句进行包装，将包装类打包成jar文件，再提交。 包装类的代码如下： [mw_shl_code=java,true]package spark;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.api.java.Row;
import org.apache.spark.sql.hive.api.java.JavaHiveContext;
/**
* Description:
* Author: ITScott@163.com
* Date: 2014/7/15
*/
public class SparkSQL {
public static void main(String[] args) {
if(args.length != 2){
System.out.println("usage: <applicationName> <sql statments>");
System.exit(1);
}
String applicationName = args[0];
String sql = args[1];
SparkConf conf = new SparkConf().setAppName(applicationName);
JavaSparkContext sc = new JavaSparkContext(conf);
JavaHiveContext hiveContext = new JavaHiveContext(sc);
List<Row> results = hiveContext.hql(sql).collect();
System.out.println("Sql is:" + sql + ", has been executed over.");
System.out.println("The result size is " + results.size() + ", they are:");
for(int i=0; i<results.size(); i++){
System.out.println(results.get(i).toString());
}
System.out.println("Execute over ...");
sc.stop();
System.out.println("Stop over ...");
}
}[/mw_shl_code]
将其打包成jar文件spark-0.0.1-SNAPSHOT.jar，再使用spark-submit工具进行任务的提交，命令如下：
[mw_shl_code=bash,true]./spark-submit \
--class spark.SparkSQL \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 400m --executor-memory 400m --executor-cores 1 \
--jars /home/hadoop/spark-1.0.0/examples/libs/spark-core_2.10-1.0.0.jar,/home/hadoop/spark-1.0.0/examples/libs/spark-hive_2.10-1.0.0.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-api-jdo-3.2.1.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-core-3.2.2.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-rdbms-3.2.1.jar,/home/hadoop/hive-0.12.0/lib/mysql-connector-java-5.1.27-bin.jar
--files /home/hadoop/spark-1.0.0/conf/hive-site.xml \
/home/hadoop/spark-1.0.0/examples/libs/spark-0.0.1-SNAPSHOT.jar "hiveTest" "CREATE TABLE IF NOT EXISTS test4 (key INT, value STRING)"[/mw_shl_code]
其中，--master参数指定的是yarn-cluster模式，当然也可以使用yarn-client模式，至于区别，已经在上文说了；--class指定的是我们包装类的主类，见上文源码；--jars是依赖的四个jar包；--files是指定的hive-site.xml配置文件，提交到Yarn中的Application在执行的时候，需要把此配置文件分发到每个Executor上；最后的两个参数，一个是Application的名称，一个是运行的SQL语句。
运行结束后，可以到Spark HistoryServer中查看运行结果。
出处：Scott007
| 
/2 
京ICP备2020039040号
简书网举报电话：021-34700000
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
