Spark架构 发表于 2022-05-16 更新于 2023-10-17 分类于 大数据 , Spark 阅读次数: Changyan: Spark架构非常简洁。简洁的架构是良好开放性、兼容性的基础。 驱动器(驱动进程):运行main()函数,负责三件事。 维护Spark应用程序相关信息 回应用户程序或输入 分析任务并分发给若干执行器处理 执行器:执行驱动器分配的实际计算工作,负责两件事。 执行驱动器分配的代码 报告执行器的计算状态给驱动器