`
fengyunhust
  • 浏览: 9221 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
最近访客 更多访客>>
社区版块
存档分类
最新评论

YARN

 
阅读更多


原文路径:http://hadoop.apache.org/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html


 Apache Hadoop NextGen MapReduce (YARN)

 

MapReduce在hadoop-0.23经历了一个大修,也就是现在的MapReduce 2.0,也叫做yarn

 

yarn的基本理念是将JobTracker拆分成两个主要功能:资源管理和作业调度监控(分开的守护进程)。一个应用既是传统意义的Map-Reduce作业,也是数据可用性组作业。

 

资源管理器(RM)、slave节点和节点管理构成了数据计算的框架。资源管理有最终权限决定系统所有应用的资源。

 

AM实际上是一个特殊的框架库,分派RM提供的资源和node管理器一起执行和监控作业任务。

 

RM有两个主要组件:调度程序和应用管理

 

 

调度程序的职责是:分配资源给各种运行的应用(当然这些应用受到了容量的约束、排队等)。调度程序是一个纯的调度程序,不监控也不跟踪应用的状态,同时也不对失败应用的做额外的操作(重启等)。调度程序基于应用的对资源的需求。它基于一系列的资源容器比如:内存、cpu、磁盘、网络等。在第一个版本,只支持内存。    调度程序有个可插拔策略的插件,目的是分割队列、应用等之间的集群资源。当前Map-Reduce调度比如Capacity调度、Fair调度都有些例子在插件中。    Capacity调度支持层级的队列,目的是为了共享可预计的集群资源。

 

应用管理职责是接收作业提交,谈判第一个容器执行这个应用指定的应用master,为应用master在失败的时候重启提交服务。

 

node管理是机器的框架代理,职责是框架,监控它们的资源用法(内存、cpu、磁盘、网络),同时报告给调度程序

 

应用Master职责是从调度程序获取合适的资源,跟踪和监控程序的状态

 

MRV2兼容hadoop-0.20.205,这意味着所有的Map-Reduce作业在重新编译后在MRv2下运行不会发生变化

  • 大小: 50.7 KB
分享到:
评论

相关推荐

    hadoop-yarn-api-2.5.1-API文档-中文版.zip

    赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...

    hadoop-yarn-client-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...

    Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx

    YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录(slave1为主节点) 任务四 分发YARN与MapReduce配置文件 任务五 启动...

    yarn-1.19.2.msi

    Yarn 对你的代码来说是一个包管理器, 你可以通过它使用全世界开发者的代码,或者分享自己的代码。 Yarn 做这些快捷、安全、可靠,所以你不用担心什么。 通过Yarn你可以使用其他开发者针对不同问题的解决方案,使...

    hadoop-yarn-common-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-common-2.6.5.jar 赠送原API文档:hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码:hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档:hadoop-yarn-common-2.6.5-javadoc-...

    hadoop-yarn-api-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-api-2.6.5.jar; 赠送原API文档:hadoop-yarn-api-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.6.5.pom; 包含翻译后...

    yarn 前端打包工具指定配置文件

    yarn 前端打包工具指定配置文件

    Hadoop的yarn详解

    详细介绍了Hadoop2.x的资源管理框架yarn,内容丰富,很有帮助。

    hadoop-yarn-client-2.5.1-API文档-中英对照版.zip

    赠送jar包:hadoop-yarn-client-2.5.1.jar; 赠送原API文档:hadoop-yarn-client-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.5.1.pom;...

    yarn msi 安装文件 (yarn-1.0.2.msi )

    现在官网下载缓慢,这里可以直接下载安装,所以分享给大家,以供直接下载,版本号 yarn-1.0.2.msi

    yarn-1.22.0.msi

    现在官网下载缓慢,这里可以直接下载最新版本安装,版本号 yarn-1.22.0.msi yarn是facebook发布的一款取代npm的包管理工具。 快速、可靠、安全的依赖管理工具

    yarn-1.22.4.msi和yarn-1.22.5.msi

    今天用到yarn编译一个前端工程,要求版本大于1.0,官网的404,其他地方居然找了半天也没有可用的下载地址,csdn上没有低于25分的。特意分享一下,免得面临同样需求的人白白耽误时间。

    hadoop-yarn-client-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-yarn-client-2.7.3.jar; 赠送原API文档:hadoop-yarn-client-2.7.3-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.7.3.pom;...

    Yarn编程ApplicationList

    yarn编码,实现Application列表查询,Application的kill操作。以及Job的查询,map和reduce个数查询

    hadoop-yarn-api-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-yarn-api-2.7.3.jar; 赠送原API文档:hadoop-yarn-api-2.7.3-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.7.3.pom; 包含翻译后...

    yarn.lock yarn install 安装失败,使用官方下载的yarn.lock文件

    npm install -g yarn yarn install 安装失败,使用官方下载的yarn.lock文件

    yarn 1.6 WIN安装文件

    yarn安装包给不能下载的用户提供下载,欢迎下载。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    yarn1.22.4与1.22.5最新安装包windows

    yarn1.22.4与1.22.5最新安装包windows

    Yarn框架代码详细分析V0.5

    Hadoop的2.0版本的yarn的框架介绍啊 Hadoop yarnYARN 本身框架的优势是扩展性与支持多计算模型。对于扩展性目前主要体现在计算节点规模上,以前 JobTracker-TaskTracker 模型下最多大约在 5000 台机器左右,对于 ...

    YARN内存配置计算脚本

    一个计算yarn内存配置的python脚本yarn-util.py,该脚本有四个参数 参数 描述 -c CORES 每个节点CPU核数 -m MEMORY 每个节点内存总数(单位G) -d DISKS 每个节点的硬盘个数 -k HBASE 如果安装了Hbase则为True,...

Global site tag (gtag.js) - Google Analytics