优化你的Spark程序(一)[译]

原文转载自 「BIHell」 (http://www.bihell.com/article/350)

预计阅读时间 0 分钟(共 0 个字, 0 张图片, 0 个链接)

当您通过API编写Apache Spark代码,您会遇到transformation,action和RDD等术语。了解这些术语的概念对于编写Spark程序至关重要。同样的,当问题出现或者查看Web UI试图了解您的应用程序为什么要花费这么长时间的时候,job、stage、和task这些术语也需要理解.要编写能够高效执行的Spark程序,了解Spark的底层执行模型非常有帮助。

在这篇文章中,您将了解如何在集群上实际执行Spark程序的基础知识。然后,您将获得一些实用的建议,了解Spark的执行模式是如何

more_vert