Spark架构

Spark架构非常简洁。简洁的架构是良好开放性、兼容性的基础。

Spark架构

  • 驱动器(驱动进程):运行main()函数,负责三件事。
    • 维护Spark应用程序相关信息
    • 回应用户程序或输入
    • 分析任务并分发给若干执行器处理
  • 执行器:执行驱动器分配的实际计算工作,负责两件事。
    • 执行驱动器分配的代码
    • 报告执行器的计算状态给驱动器