数据分析工具篇――Spark计算原理
Hadoop的MR结构和YARN结构是大数据时代的第一代产品,满足了大家在离线计算上的需求,但是针对实时运算却存在不足,为满足这一需求,后来的大佬研发了spark计算方法,大大的提高了运算效率。 Spark的计算原理 spark的结构为: 节点介绍: Cluster Manager:在standalone模式中即为Master主节点数据,控制整个集群,监控worker。在YARN模式中为资源管理器负责分配资源,有点像YARN中ResourceManager那个角色,大管家握有所有的干活的资源,属于乙方的总包。 WorkerNode:可以干活的节点,听大管家ClusterManager差遣,是真正有资源干活的主。从节点,负责控制计算节点,启动Executor或者分析Driver。 Executor:在WorkerNode上起的一个进程,相当于一个包工头,负责准备Task环境和执行。 Task:负责内存和磁盘的使用。Task是施工项目里的每一个具体的任务。 Driver:统管Task的产生与发送给Executor的,运行Application 的main()函数,是甲方的司令员。 SparkConte工具xt:与ClusterManager打交道的,负责给钱申请资源的,是甲方的接口人。 整个互动流程是这样的: 甲方来了个项目,创建了SparkContext,SparkContext去找ClusterManager申请资源同时给出报价,需要多少CPU和内存等资源。ClusterManager去找WorkerNode并启动Excuto篇―r,并介绍Excutor给Driver认识; Driver根据施工图拆分一批批的Task,将Task送给Executor去执行; Executor接收到Task后准备Task运行时依赖并执行,并将执行结果返回给Driver; Driver会根据返回回来的Task状态不断的指挥下一步工作,直到所有Task执行结束; 运行流程及特点为: Spar―Skcontext的作用:一是分发task,申请资源等功能外,更重要的一个功能是将RDD拆分成task,即绘制DAG图。 借用上图我们再来了解一下spark的运算过程: 构建Spark Application的运行环境,启动SparkContext; SparkContext向资源管理器(可以是Standalone,Mesos,Yarnpa)申请运行Executor资源,并启动StandaloneExecutorbackend; Executor向SparkContext申请Task; SparkContext将应用程序分发给Executor; SparkContext构建成DAG图,将DAG图分解成Stage、将Taskset发送给Task Scheduler,最后由Tarksk Scheduler将Task发送给Executor运行; Task在Executor上运行,运行完释放所有资源; RDD计算案例 我们用一个案例来分析RDD的计算过程: 在客户端通过RDD构建一个RDD的图形,如图第一部分rdd1.join(rdd2).groupby(…).filter(…)。 sparkcontext中的DAGSch计算eduler会将上步的RDD图形构建成DAG图形,如图第二部分; TaskScheduler会将DAG图形拆分成多个Task; Clustermanager通过Yarn调度器将Task分配到各个node的Executer中,结合相关资源进行运算。 DAGScheduler对于RDD图形的划分是有一定规律的: stage的划分是触发acti原理on的时候从后往前划分的,所以本图要从RDD_G开始划分。 RDD_G依赖于RDD_B和RDD_F,随机决定先判断哪一个依赖,但是对于结果无影响。 RDD_B与RDD_G属于窄依赖,所以他们属于同一个stage,RDD_B与老爹RDD_A之间是宽依赖的关系,所以他们不能划分在一起,所以RDD_A自己是一个stage1; RDD_F与RD数据D_G是属于宽依赖,他们不能划分在一起,所以最后一个stage的范围也就限定了,RDD_B和RDD_G组成了Stage3; RDD_F与两个爹RDD_D、RDD_E之间是窄依赖关系,RDD_D与爹RDD_C之间也是窄依赖关系,所以他们都属于同一个stage2; 执行过程中stage1和stage2相互之间没有前后关系所以可以并行执分析行,相应的每个stage内部各个partition对应的task也并行执行; stage3依赖stage1和stage2执行结果的partition,只有等前两个stage执行结束后才可以启动stage3; 我们前面有介绍过Spark的Task有两种:ShuffleMapTask和ResultTask,其中后者在DAG最后一个阶工具段推送给Executor,其余所有阶段推送的都是ShuffleMapTask。在这个案例中stage1和stage2中产生的都是ShuffleMapTask,在stage3中产生的ResultTask; 虽然stage的划分是从后往前计算划分的,但是依赖逻辑判断等结束后真正创建stage是从前往后的。也就是说如果从stage的ID作篇―为标识的话,先需要执行的stage的ID要小于后需要执行的ID。就本案例来说,stage1和stage2的ID要小于stage3,至于stage1和stage2的ID谁大谁小是随机的,是由前面第2步决定的。 Executor是最终运行task的苦力,他将Task的执行结果反馈给Driver,会根据大小采用不同的策略: 如果大于Max―SResultSize,默认1G,直接丢弃; 如果“较大”,大于配置的frameSize(默认10M),以taksId为key存入BlockManager else,全部吐给Driver。
- 最近发表
-
- 标签: OpenAI 亚马逊 Amazon Bedrock Frontier平台
- 李彦宏直言开源模型是智商税 阿里云CTO:开源大大加速应用落地
- 腾讯AudioGenie横空出世!一键生成电影级音效,Claude与Gemini瑟瑟发抖!
- 浜戝畨鍏ㄦ棩鎶�210723锛氬紑婧怰edis鏁版嵁搴撳彂鐜拌繙绋嬩唬鐮佹墽琛屾紡娲�,闇€瑕佸敖蹇�崌绾�
- 亚马逊斥资10亿美元争夺美橄榄球联盟独家转播权
- 标签: 大疆 影石创新 无人机专利 专利权属纠纷
- 标签: ICML2026 黄高 扩散模型 DeepMind
- 标签: 标签 苹果 印度反垄断 CCI AppStore
- 标签: 纬钛机器人 ViTai Robotics 李瑞 视触觉传感器 MIT
- 标签: 水滴公司 看病保 保小慧 ClawSquare
- 随机阅读
-
- 标签: 豆包专业版 小米NAS 理想5C增程 李想
- 标签: 今日头条 2025白皮书
- Facebook宣布重新设计品牌专页:简化布局,取消点赞
- 中国标准化迎来“AI 专家”!国内首个标准大模型“同道”互联网版上线,告别“人找标准”!
- 标签: 吴晓波 人工智能 创业 AI
- 标签: 澳大利亚 Meta Instagram eSafety
- 标签: 小鹏 魏斌 VLM 智能座舱
- 人工智能判作文,你觉得靠谱吗?
- 机器人“索菲亚”现状,状态跟正常人无异,交流也没有障碍
- 亚马逊AWS新任CEO面临挑战:内部官僚主义、形式主义泛滥
- 爱奇艺发布首部全 AI 生成电影《灵魂摆渡·浮生梦》,定档2026年暑期
- 分析师:芯片短缺或令苹果和AMD优先生产利润率较高的产品
- 备份Kubernetes的5个优秀实践
- 标签: TCL电子 MiniLED TV 量子点TV 光伏业务
- 标签: 粉笔 张小龙 盛海燕 港股
- 标签: 江波龙 FORESEE 雷克沙 存储芯片
- 前 Google DeepMind 核心开发者 加盟 xAI,助力 Grok 研发
- 标签: 粉笔 张小龙 人民大学哲学院 考公辅导
- 标签: Stellantis 菲洛萨 汽车集团 能源转型
- 阿里腾讯争投DeepSeek推动估值冲刺200亿美元,DeepSeek v4与混元3.0发布在即
- 搜索
-
- 友情链接