博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Yarn Capacity Scheduler配置
阅读量:5167 次
发布时间:2019-06-13

本文共 1584 字,大约阅读时间需要 5 分钟。

我们开辟出两个队列,一个是生产上需要的队列prod,一个是开发上需要的队列dev,开发下面又分了eng工程师和science科学家,我们这样就可以指定队列

  • 1、关闭yarn, stop-yarn.sh
  • 2、先备份$HADOOP_HOME/etc/hadoop/capacity-scheduler.xml
    cp capacity-scheduler.xml capacity-scheduler.xml_bak
    rm capacity-scheduler.xml
  • 3、然后在这个配置中加上如下配置vi capacity-scheduler.xml
yarn.scheduler.capacity.root.queues
prod,dev
yarn.scheduler.capacity.root.dev.queues
eng,science
yarn.scheduler.capacity.root.prod.capacity
40
yarn.scheduler.capacity.root.dev.capacity
60
yarn.scheduler.capacity.root.dev.maximum-capacity
75
yarn.scheduler.capacity.root.dev.eng.capacity
50
yarn.scheduler.capacity.root.dev.science.capacity
50

占比是百分比

  • 4、然后进行同步:
    scp capacity-scheduler.xml hadoop-twq@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
    scp capacity-scheduler.xml hadoop-twq@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
  • 5、启动yarn, start-yarn.sh
  • 6、通过WebUI查看配置是否成功

  • 在DistributedCount.java中MapReduce程序指定队列运行

    job.getConfiguration().set("mapreduce.job.queuename", "eng");
    运行中通过WebUI可以查看运行过程:

 
 
 
 

转载于:https://www.cnblogs.com/jichui/p/10444960.html

你可能感兴趣的文章
java中延时队列实例
查看>>
ipython使用
查看>>
Image Lazy Load:那些延时加载图片的开源插件(jQuery)
查看>>
[HNOI2006]鬼谷子的钱袋
查看>>
.net弹出框
查看>>
成为理想的自己
查看>>
VB窗体半透明的方法
查看>>
ElasticSearch(十五) 基本概念
查看>>
[SPM2017] Hw1: The outcome of my project [Deadline: 23:59:59, Mar.1, 2017]
查看>>
【Java框架型项目从入门到装逼】第六节 - 用ajax请求后台数据
查看>>
开发利器mapstruct
查看>>
C#控制台程序的参数解析类库 CommandLine简单使用说明
查看>>
在平衡树的海洋中畅游(一)——Treap
查看>>
自动化瓦力多渠道打包python脚本
查看>>
JavaScript 复杂判断的更优雅写法
查看>>
hbase总结,值得一看
查看>>
3.GAE Hello World
查看>>
实验1-3
查看>>
尚学堂JavaEE项目备选
查看>>
django自动化运维平台-web页面实时显示tomcat启动日志,给予tornado和redis
查看>>