Hadoop3：MR程序优化的相关参数介绍

27 阅读 0 评论 0 点赞

一、Map阶段

在这里插入图片描述

二、Reduce阶段

在这里插入图片描述
4和5的参数配置，一般保持一致

三、总结

可以看出，优化的主要过程，就是Shuffle阶段
能不用Reduce，尽可能不用！

本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！

转载请注明出处：免费源码网-免费的源码资源网站 » Hadoop3：MR程序优化的相关参数介绍

点赞(0) 打赏

本文分类：文章资讯
本文标签：Hadoop3：MR程序优化的相关参数介绍
浏览次数：27 次浏览
本文链接：https://freeymw.com/article/18417.html

上一篇 > pyspark使用 graphframes创建和查询图的方法
下一篇 > 数据库索引原理及其分类详解

评论列表共有 0 条评论

暂无评论

发表评论取消回复

微信公众账号

微信扫一扫加关注

发表
评论返回
顶部