通过 Spark-shell 窥探程序运行时的状况
TaskScheduler 与 SchedulerBackend 之间的关系
FIFO 与 FAIR 两种调度模式彻底解密
Task 数据本地性资源分配源码实现
引言TaskScheduler 是 Spark 整个调度的底层调度器，底层调度器是负责具体 Task 本身的运行的，所以豪无疑问的是一个至关重要的内容。希望这篇文章能为读者带出以下的启发：
了解 程序运行时具体创建的实例对象
了解 TaskScheduler 与 SchedulerBackend 之间的关系
了解 FIFO 与 FAIR 两种调度模式彻底解密
了解 Task 数据本地性资源分配源码实现
通过 Spark-shell 窥探程序运行时的状况首先通过启动一个 Spark-shell 来观察具体 TaskScheduler 实例的情况，在这个过程中我们可以看见上一节所讲的 SparkDeploySchedulerBackend 和 AppClient 的身影，这是因为 Spark-shell 本身也是一个应用程序。当我们启动 Spark-shell 本身的时候命令终端反馈回来的主要是 ClientEndpoint 和 SparkDeploySchedulerBackend，这是因为此时还没有任何 Job 的触发，这是启动 Application 本身而已，所以主要就是实例化 SparkContext 并注册当前的应用程序给 Master 且从集群中获得 ExecutorBackend 的计算资源。(详情可以参考Spark天堂之门解密的博客)。
[下图是 SparkShell 启动后打印的日志信息]
上图出现了 AppClient 和 ClientEndPoint，你可以很清晰的看见 ClientEndPoint 注册给 Master (e.g. ClientEndPoint connecting to master spark://HadoopM:7077)。下一行有 SparkDeploySchedulerBackend，接著几行日志是 AppClient Executor Added；这几行日志证明了程序在启动并注册时，是交给 SparkDeploySchedulerBackend 来管理 Executor，中间过程也会创建BlockManagerMaster。
SchedulerBackend 在最后表示自己已经准备好了 (e.g. SchedulaerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio)，这说明一件事情，在创建 SparkContext 之前会先创建很多其他功能的实例对象，那些 AppClient、SparkDeploySchedulerBackend、BlockManagerMaster 都是随著 SparkContext 创建而创建的！！！
[下图是 SparkShell 启动后打印的日志信息]
思考题：为什么启动 Spark-shell 的时候没有看见 DriverEndPoint？因为上述打印的日志是从一个应用程序的角度去考虑的，而不是从应用程序运行一个 Job 的层面去考虑的，一个应该程序启动时因为程序要向 Master 注册，所以当然有 AppClient 和 ClientEndPoint 的参与； 而 DriverEndPoint 是在XX时候创建的，因为此时没有运行任何的 Job，所以还没需要 DriverEndPoint 的参与。所以你可以通过观察 Spark-shell 以及应用程序运行的角度，你可以很清楚的看见 "应用程序" 和 "应用程序Job的运行" 是两种不同类型的事情。
作业提交的日志接著提交了一个 Spark 应用程序 e.g. HelloSpark Wordcount。我们是调用了 foreach 来触发一个 Action，所以中间部份你可以看到它表示 Starting job。在 Starting Job 下一行日志看到当它触发一个 Job 时，首先把 Job 交给 DAGScheduler 来注册 RDD，然后获得一个 Job，然后划分成不同的 Stage (e.g. Final Stage)，日志中看到它只有一个 ShuffleMapTask 和 一个 ResultStage；然后它提交的时候，首先提交 ShuffleMapStage 给 TaskSchedulerImpl，图中看见只有 1 个任务，此时已经提交给底层了。
任务是以 TaskSet 的方式提交给底层，同时创建了 TaskSetManager 去管理这个任务，TaskSetManager 知道这个任务的启动与结束，然后等待任务运行完毕后又会再次交给 DAGScheduler 说明任务已经完成。
[下图是 SparkShell 作业提交后打印的日志信息]
由于上一个 Stage 是 ShuffleMapTask，所以下一个 Stage 如果要运行的话，要先通过 MapOutputTrackerMasterEndpoint 来获取上一个阶段的输出。不过要注意一下，TaskSetManager 在启动的时候会具体说自己在哪个 Stage 、哪台机器上、哪个 Partition 和是否是数据本地性。数据本地性有几种实现的方式。(e.g. NODE_LOCAL 是数据就在当前机器的磁盘上)