Hadoop中国技术峰会 YARN框架突破Mapreduce瓶颈

　　在上周举办的2013 Hadoop 中国技术峰会上，来自国内外的技术专家齐聚一堂，对Hadoop在当今 大数据时代 的应用展开了一场技术交流。Hadoop中国技术峰会，是国内基于Hadoop平台的第一次全产业链的 大数据 行业技术峰会，首次将 互联网 技术和传统产业融合到一起，本次大会明确提出“ 企业 级Hadoop”的概念。围绕Hadoop生态系统，展开全方位的技术分享、专题讨论和成果展示。

　　大会第一天就请来了Hadoop技术领导厂商Hortonworks，大数据分析服务公司Hortonworks脱胎于 雅虎 ，并与雅虎联手贡献了Hadoop主干项目80%以上的源代码。此外，Hortonworks公司还被认为是 Hadoop 2.0、Apache Hadoop Yarn的主要贡献者。Hortonworks的亚太区技术总监Jeff Markham也成为了本次大会的一个亮点，会上重点介绍了Hadoop 2.0和全新YARN框架的优势。

　　Hortonworks亚太区技术总监Jeff Markham

　　会上Jeff表示，在过去的几年中Hadoop开发团队一直在对Hadoop进行一些bug的修复，而MapReduce的Job Tracker/TaskTracker机制需要大规模的调整来修复它在可扩展性、内存消耗、线程模型、可靠性和性能上的缺陷，这样大面积的修复也带来了成本的上升。这就对于原有框架做出改变的难度越来越大，所以为从根本上解决旧MapReduce框架的性能瓶颈，从0.23版本开始，MapReduce框架迎来了一次大规模更新，并进行了完全重构，而新版本的MapReduce2.0则被命名为YARN。

　　Hadoop2.0的亮点

　　相对于Hadoop 1.0，Hadoop2.0有了质的变化，从架构的稳定性到合理性方面都有了明显提升，使Hadoop的重要性超过了单一的批处理平台，生态系统也更加丰富、紧密。而在Jeff看来，YARN在Hadoop 2.0中的角色是重中之重。他表示，Hortonworks在着手构建Hadoop2.0时，希望从根本上重新设计Hadoop的架构，从而达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来，多种类型的应用程序 都可以 高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求，Hadoop从一个单一应用程序系统升级成为一个多应用程序的 操作系统 。

　　Hadoop2.0 YARN框架与MapReduce的区别

　　从本质上来说，YARN是Hadoop的操作系统，突破了MapReduce框架的性能瓶颈。同时它也是一个真正的Hadoop资源管理器，允许多个应用程序同时、高效地运行在一个的集群上。有了YARN，Hadoop将是一个真正的多应用程序平台，可服务于整个企业。Jeff还透露，YARN已经被用于Hortonworks的数据平台，而Hadoop和YARN的组合是企业大数据平台致胜的关键。