全方位掌握 Apache Spark 2.0 七步走（二）

在上一篇普及过Spark的相关概念之后，让我们继续深入研究它的核心结构以及好用的 API ，本篇视频内容丰富，机（ fan ）智（ qiang ）的小伙伴不容错过。

前篇传送门：全方位掌握 Apache Spark 2.0 七步走（一）

三、 Apache Spark 的核心结构

为了更好地理解 Spark 的各个组件是如何交互的，在细节上抓住 Spark 的核心结构是很有必要的。所有关键词和概念在解释后才会变得生动形象，这篇 Spark Summit 大会上的培训视频对于你更快开启 Spark 之旅很有帮助：

视频链接： https://youtu.be/7ooZ4S7Ay6Y

四、 DataFrames, Datasets 以及 Spark SQL

在步骤 3 中，你已经了解到弹性分布式数据集（ RDDs ）——它们构成了 Spark 的核心数据抽象概念，是其他所有更高层次数据抽象和 API 、包括 DataFrame 和数据集的基础。

在 Spark2.0 ，在 RDDs 之上的 DataFrame 和数据集形成了核心的高层和结构化的分布式数据抽象。 DataFrame 在 Spark 里被叫做数据列（ data column ），它们可以执行组织数据的计划，以及数据处理或者描述运算、发布查询。数据集更进一步，提供了一个严格的编译时类型的安全保障，所以特定类型的错误在编译时就会被发现，而不是在运行时。

凭借数据结构和数据类型， Spark 可以理解你将如何进行描述运算，哪些指定类型的列或者特定名称的字段将会访问你的数据，以及你将使用哪些特定操作的作用域。然后， Spark 将会通过 Spark 2.0 ’ s Catalyst optimizer 优化你的代码，通过 Project Tungsten 生成高效的字节代码。

DataFrame 和数据集为多种高级编程语言提供了 API ，让你的代码更易读，以及支持高阶函数比如 filter, sum, count, avg, min, max 等等。不管你用 Spark SQL 还是 Python 、 Java 、 Scala 或者 R 来表达你的计算指令，底层的代码生成是完全一致的，因为所有的执行的计划都是通过同一 Catalyst 优化器。

例如， Scala 的作用域专用代码或者它 SQL 里对应的相关查询会生成完全相同的代码。比如下方会有一个数据集 Scala 项目叫做 Person ，以及一个 SQL 表格“ Person ”。

// a dataset object Person with field names fname, lname, age, weight
// access using object notation
val seniorDS = peopleDS.filter(p=>p.age > 55)
// a dataframe with structure with named columns fname, lname, age, weight
// access using col name notation
Val seniorDF = peopleDF.where(peopleDF("age") > 55)
// equivalent Spark SQL code
val seniorDF = spark.sql("SELECT age from person where age > 35")

为什么 Spark 结构化数据很重要，为什么 DataFrame 、数据集、 Spark SQL 提供了一个高效的 Spark 编码方式，如果你希望了解这些，可以通过链接( https://youtu.be/1a4pgYzeFwE )的视频寻找答案。

五、 GraphFrame 的图形处理

尽管 Spark 有一个通用的基于 RDD 的图形处理库 GraphX ，可以优化分布式计算以及支持图形算法，它仍有一些挑战——没有 Java 和 Python API ，基于低层的 RDD API 。由于这些问题，它不能通过 Project Tungsten 和 Catalyst Optimizer 享受到最近引入的性能优化。

相比之下，基于 DataFrame 的图处理库 GraphFrames 解决了所有问题：它提供了一个类似于 GraphX 的库但是有着更高的层级，更易读和可读的 API ，支持 Java, Scala 和 Python ；可以保存和下载图形；利用了 Spark2.0 的底层性能和查询的优化。此外，它集成了 GraphX 。这意味着你可以无缝地将图处理库 GraphFrames 转换成等效的 GraphX 表示。

在下图中，这些城市有各个机场代号，所有顶点可以表示成 DataFrame 的排；同样地，所有边也可以看做 DataFrame 的排，它们有着各自的名字和类型的列。总的来说，这些 DataFrame 的顶点和边构成了一个图处理库 GraphFrames 。

// create a Vertices DataFrame
val vertices = spark.createDataFrame(List(("JFK", "New York", "NY"))).toDF("id", "city", "state")
// create a Edges DataFrame
val edges = spark.createDataFrame(List(("JFK", "SEA", 45, 1058923))).toDF("src", "dst", "delay", "tripID")
// create a GraphFrame and use its APIs
val airportGF = GraphFrame(vertices, edges)
// filter all vertices from the GraphFrame with delays greater an 30 mins
val delayDF = airportGF.edges.filter("delay > 30")
// Using PageRank algorithm, determine the Airport ranking of importance
val pageRanksGF = airportGF.pageRank.resetProbability(0.15).maxIter(5).run()
display(pageRanksGF.vertices.orderBy(desc("pagerank")))

使用 GraphFrame 可以表达三种强大的查询。首先是简单的 SQL 类型的关于点和边的查询，比如怎么样的路线可能会导致重大延迟。第二，图形类型查询，比如有多少顶点传入有多少边传出。第三，主题查询，通过提供一个结构化的模型或者路径的顶点和边，找到在图形中的数据集的模型。

此外，图处理库 GraphFrames 可以很轻松地支持 GraphX 所有图形算法。例如，使用 PageRank 找到所有重要的点，或者决定从起点到目的地的最短路径，或者执行一个广度优先搜索(BFS)，或者为探索联络关系确定强联系的点。

在网络研讨会中（ http://go.databricks.com/graphframes-dataframe-based-graphs-for-apache-spark ）中， Spark 的社区贡献者 Joseph Bradley 给大家介绍了使用图处理库 GraphFrames 进行图像处理的动机和易用性，以及基于 DataFrame 的 API 的好处。作为研讨会的一部分，你也将了解到使用图处理库 GraphFrames 的便捷，以及上述所有类型的查询和算法。

Apache Spark 2.0 和许多 Spark 的组件，包括机器学习 MLlib 和 Streaming ，因为性能提升、易用性和高层次的抽象及结构，越来越倾向于提供等效的 DataFrame API 。在必要或者适合的用例中，你可以选择使用图处理库 GraphFrames 来代替 GraphX 。下图是一个 GraphX 和图处理库 GraphFrames 之间简洁的总结和比较。

图处理库 GraphFrames 必会发展得越来越快。新版本的 GraphFrame 将作为 Spark 的一个包和 Spark2.0 兼容。

作者： Jules S. Damji & Sameer Farooqui, Databricks. 文章来源： http://www.kdnuggets.com/2016/09/7-steps-mastering-apache-spark.html