一、环境要求
内存:128G
CPU:32C
磁盘:8T
注:一个虚拟机不超过150G磁盘尽量不要执行这段代码
二、案例
1、需求
使用Sort
程序评测MapReduce
2、操作步骤
1、使用RandomWriter来产生随机数,每个节点运行10个Map任务,每个Map产生大约1G大小的二进制随机数
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data
2、执行Sort程序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data
3、验证数据是否真正排好序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data
3、结论
如果,在上述服务器的配置下,这个实验应该是在1分钟左右执行完毕。
本站资源均来自互联网,仅供研究学习,禁止违法使用和商用,产生法律纠纷本站概不负责!如果侵犯了您的权益请与我们联系!
转载请注明出处: 免费源码网-免费的源码资源网站 » Hadoop3:MR程序压测实验
发表评论 取消回复