Spark可以对视频图像数据进行处理吗？

最近要做大数据平台下的视频图像处理，不知道Spark计算框架可以对视频图像数据处理吗？与MapReduce区别大吗？

有区别的spark有自己处理图片的api---GraphX

GraphX是一个新的（alpha）Spark API，它用于图和并行图(graph-parallel)的计算。GraphX通过引入Resilient Distributed Property Graph：带有 顶点和边属性的有向多重图，来扩展Spark RDD。为了支持图计算，GraphX公开一组基本的功能操作以及Pregel API的一个优化。另外，GraphX包含了一个日益增长的图算法和图builders的 集合，用以简化图分析任务。

从社交网络到语言建模，不断增长的规模和图形数据的重要性已经推动了许多新的graph-parallel系统（如Giraph和GraphLab）的发展。 通过限制可表达的计算类型和引入新的技术来划分和分配图，这些系统可以高效地执行复杂的图形算法，比一般的data-parallel系统快很多。

更多内容：

Spark中文手册8：spark GraphX编程指南（1）

Spark中文手册9：spark GraphX编程指南（2）

图像处理，是mapreduce只要做出来一个可用的算法，然后再把它用MapReduce编程模型来改造一下，这样就可以了，
图像处理属于高CPU作业 ，对IO没有多大的要求

xuanxufeng 发表于 2015-3-22 12:21
图像处理，是mapreduce只要做出来一个可用的算法，然后再把它用MapReduce编程模型来改造一下，这样就可以了 ...

是只要为视频图像处理设计好mapreduce算法，然后就用编程模型改造下，就可以用Spark来进行处理了吗？
还有就是说图像处理主要是CPU处理，在性能上与MapReduce相比，Spark提升不大，是吗？

volcano 发表于 2015-3-22 12:39
是只要为视频图像处理设计好mapreduce算法，然后就用编程模型改造下，就可以用Spark来进行处理了吗？
还 ...

可以使用spark，毕竟他们已经提供了现成的api，并且属于内存计算

jixianqiuxue 发表于 2015-3-22 12:47
可以使用spark，毕竟他们已经提供了现成的api，并且属于内存计算

哦，还想请教下，Spark的核心是RDD，在读入视频图像数据后，该如何为它们转化为相应的RDD呢？

volcano 发表于 2015-3-24 15:52
哦，还想请教下，Spark的核心是RDD，在读入视频图像数据后，该如何为它们转化为相应的RDD呢？

了解下GraphX就可以了，它提供了这个功能。

GraphX通过引入Resilient Distributed Property Graph：带有 顶点和边属性的有向多重图，来扩展Spark RDD。为了支持图计算，GraphX公开一组基本的功能操作以及Pregel API的一个优化。另外，GraphX包含了一个日益增长的图算法和图builders的 集合，用以简化图分析任务。
GraphX允许用户将数据当做一个图和一个集合（RDD）

具体详见上面提供的连接

Spark全面精讲（基于Spark2版本+含Spark调优+超多案例）
课程观看地址：http:// www. xuetuwuyou. com/course/149
课程出自学途无忧网：http:// www. xuetuwuyou. com/

课程分五个阶段，共115课时！

第一阶段 Spark内核深度剖析

第00节课-课程特色和学习方式
第一节课-Spark概述（四大特性）
第二节课-Spark入门
第三节课-什么是RDD？
第四节课-spark架构
第五节课-linux环境准备（虚拟机，linux）
第六节课-hadoop环境准备
第七节课-spark环境准备
第八节课-spark开发环境搭建（java，scala）
第八节课-补充-maven打包
第九节课-spark任务提交
第十节课--Historyserver配置
第十一节课--RDD的创建方式
第十二节课--Transformation和action原理剖析
第十三节课--map，filter，flatMap算子演示（java版）
第十四节课--groupByKey,reduceByKey,sortByKey算子演示（java版）
第十五节课--join，cogroup,union算在演示（java版本）
第十六节课--Intersection，Distinct，Cartesian算子演示（java版本）
第十七节课--mapPartition，reparation，coalesce算子演示（java版）
第十八节课--sample，aggregateByke算子演示（java版本）
第十九节课--mapPartitionsWithIndex,repartitionAndSortWithinPartitions算子演示（java）
第二十节课--action算子演示（java版）
第二十一节课--map,filter,flatMap,groupByKey,reduceByKey,sortByKey算子演示（scala)
第二十二节课--join,cogroup,union,intersection,distinct,cartesian算子演示（scala)
第二十三节课--mapPartitions,reparition,coalesce,sample,aggregateByKey算子演示(scala)
第二十四节课-mapPartitionsWithIndex,repartitionAndSortWithinPartitions算子演示(scala)
第二十五节课-RDD持久化（tachyon）
第二十六节课--共享变量（广播变量，累加变量）
第二十七节课-Spark on YARN模式（cluster,client）
第二十八节课-窄依赖和宽依赖
第二十九节课--Shuffle原理剖析
第三十节课--stage划分原理剖析
第三十一节课-Spark任务调度
第三十二节课--综合案例一TopN（scala）
第三十三节课--综合案例二日志分析上(scala)
第三十三节课--综合案例二日志分析下(scala)
第三十四节课--spark2内核新特性


第二阶段 Spark调优

第三十五节课-Spark调优概述
第三十六节课-开发调优(1)
第三十七节课-开发调优(2)
第三十八节课-开发调优(3)
第三十九节课-开发调优(4)
第四十节课-开发调优(5)
第四十一节课-开发调优(6)
第四十二节课-开发调优(7)
第四十三节课-开发调优(8)
第四十四节课-开发调优(9)
第四十五节课-数据本地化
第四十六节课-数据倾斜原理
第四十七节课-数据倾斜解决方案一
第四十八节课-数据倾斜解决方案二
第四十九节课-数据倾斜解决方案三
第五十节课-数据倾斜解决方案四
第五十一节课-数据倾斜解决方案五
第五十二节课-数据倾斜解决方案六
第五十三节课-数据倾斜解决方案七
第五十四节课-shuffle调优
第五十五节课-Spark资源模型
第五十六节课-资源调优
第五十七节课-Spark JVM调优(1)
第五十八节课-Spark JVM调优(2)
第五十九节课-Spark JVM调优(3)
第六十节课-Spark JVM调优(4)
第六十一节课-Spark JVM调优(5)
第六十二节课-spark调优总结


第三阶段 SparkSQL精讲

第六十三节课-SparkSQL前世今生
第六十四节课-Dataframe使用
第六十五节课-Reflection方式将RDD转换成Dataframe
第六十六节课-Programmatically方式将RDD转换成DataFrame
第六十七节课-DataFreme VS RDD
第六十八节课-数据源之数据load和save
第六十九节课-数据源之parquetfile操作
第七十节课-数据源之JSON数据
第七十一节-课数据源之JDBC
第七十二节课-数据源之Hive table-hive环境搭建
第七十三节课-数据源之Hive table-spark环境集成
第七十四节课-数据源之Hive table-使用
第七十五节课-数据源之HBase环境准备
第七十六节课-数据源之HBase
第七十七节课-Thriftserver使用
第七十八节课-UDF开发
第七十九节课-UADF开发
第八十节课-开窗函数
第八十一节课-groupBy和agg函数使用
第八十二节课-综合案例一（日志分析）
第八十三节课-综合案例二(用户行为分析)-1
第八十四节课-综合案例二(用户行为分析)-2
第八十五节课-综合案例二(用户行为分析)-3
第八十六节课-综合案例二(用户行为分析)-4
第八十七节课-综合案例二(用户行为分析)-5


第四阶段 SparkStreaming精讲

第八十八节课-Spark Streaming工作原理
第八十九节课-Spark Streaming入门案例
第九十节课-Spark Streaming HDFS WordCount例子演示
第九十一节课-Spark Streaming之updateStateByKey
第九十二节课-Spark Streaming之mapWithState
第九十三节课-Spark Streaming之transform
第九十四节课-Spark Streaming之window操作
第九十五节课-Spark Streaming之foreachRDD
第九十六节课-Spark Streaming之flume原理介绍
第九十七节课-Spark Streaming之flume搭建
第九十八节课-Spark Streaming之flume集成
第九十九节课-Spark Streaming之kafka原理介绍
第一百节课-Spark Streaming之kafka集成
第一百零一节课-Spark Streaming之kafka集群部署
第一百零二节课-Spark Streaming之综合案例TopN实时统计
第一百零三节课-Spark Streaming之Driver HA配置


第五阶段 Spark2新特性

第一百零四节课-Spark2新特性之 Spark2设计目标-更容易、更快速、更智能
第一百零五节课-Spark2 新特性之SparkSQL变化之 SparkSession
第一百零六节课-Spark2新特性之whole-stage code generation和vectorization技术剖析
第一百零七节课-Spark2 新特性之RDD，DataFream 和DataSet关系
第一百零八节课-Spark2 新特性之DataSet Transformation演示（1）
第一百零九节课-Spark2 新特性之DataSet Action演示（2）
第一百一十节课-Spark2 新特性之DataSet 基本操作演示（3）
第一百一十一节课-Spark2 新特性之DataSet[untyped ] 基本操作演示（4）
第一百一十二节课-Spark2 新特性之DataSet其它功能演示（5）
第一百一十三节课-Spark2 新特性之 Structured Streaming设计目标
第一百一十四节课-Spark2 新特性之 Structured Streaming原理剖析
第一百一十五节课-Spark2 新特性之 Structured Streaming 案例演示


相关课程推荐：
深入浅出Spark机器学习实战（用户行为分析）
课程观看地址：http:// www. xuetuwuyou. com/course/144

Spark+Kafka 实时流机器学习实战
课程观看地址：http: //www. xuetuwuyou. com/course/147