Spark1.0.0 多语言编程之Scala实现

问题导读：
1.sogou日志数据分析scala是如何实现的？
2.客户端如何运行spark命令？
3.通过下面例子，对Scala的认识是什么？







    Scala作为Spark的原生语言，在开发上Spark应用程序上最大的优势是支持所有的功能、容易追踪bug等。试过几种开发工具，笔者还是觉得IntelliJ IDEA开发Scala程序比较方便，当然开发Spark 应用程序也一样。

       Spark开发环境参见Spark1.0.0 开发环境快速搭建，本篇是对Spark1.0.0 多语言编程的需求进行scala实现。
      至于在IntelliJ IDEA内如何创建scala项目，详见使用IntelliJ IDEA开发Spark1.0.0应用程序。在本篇中建立一个名为week6的项目，并含有一个week6的包，这里贴上class的代码。

1：sogou日志数据分析scala实现
A：用户在00:00:00到12:00:00之间的查询数

package week6  
  
import org.apache.spark.{SparkContext, SparkConf}  
  
object SogouA {  
  def main(args: Array[String]) {  
    if (args.length == 0) {  
      System.err.println("Usage: SogouA <file1>")  
      System.exit(1)  
    }  
  
    val conf = new SparkConf().setAppName("SogouA")  
    val sc = new SparkContext(conf)  
    val sgRDD=sc.textFile(args(0))  
    println(sgRDD.map(_.split('\t')(0)).filter(x => x >= "00:00:00" && x <= "12:00:00").count)  
    sc.stop()  
  }  
}  
复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：527300

B：搜索结果排名第1，但是点击次序排在第2的数据有多少?

package week6  
  
import org.apache.spark.{SparkContext, SparkConf}  
  
object SogouB {  
  def main(args: Array[String]) {  
    if (args.length == 0) {  
      System.err.println("Usage: SogouB <file1>")  
      System.exit(1)  
    }  
  
    val conf = new SparkConf().setAppName("SogouB")  
    val sc = new SparkContext(conf)  
    val sgRDD=sc.textFile(args(0))  
    println(sgRDD.map(_.split('\t')).filter(_.length ==5).map(_(3).split(' ')).filter(_(0).toInt ==1).filter(_(1).toInt ==2).count)  
    sc.stop()  
  }  
}  
复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：79765

C：一个session内查询次数最多的用户的session与相应的查询次数

package week6  
  
import org.apache.spark.{SparkContext, SparkConf}  
import org.apache.spark.SparkContext._  
  
object SogouC {  
  def main(args: Array[String]) {  
    if (args.length == 0) {  
      System.err.println("Usage: SogouC <file1>")  
      System.exit(1)  
    }  
  
    val conf = new SparkConf().setAppName("SogouC")  
    val sc = new SparkContext(conf)  
    val sgRDD=sc.textFile(args(0))  
    sgRDD.map(_.split('\t')).filter(_.length ==5).map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10).foreach(println)  
    sc.stop()  
  }  
}  
复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：
(11579135515147154,431)
(6383499980790535,385)
(7822241147182134,370)
(900755558064074,335)
(12385969593715146,226)
(519493440787543,223)
(787615177142486,214)
(502949445189088,210)
(2501320721983056,208)
(9165829432475153,201)