宜宾信息网
游戏
当前位置:首页 > 游戏

Hadoop 2:大数据演进中的一次大飞跃

发布时间:2019-10-20 14:41:53 编辑:笔名

新的Hadoop不仅能够进一步刺激为Hadoop编写应用程序,同时也将在Hadoop内创造全新的数据处理方法,这在此前的架构限制下是根本不可能实现的。总之,这是好东西。

一直以来是什么限制着Hadoop的发展?更重要的是,Hadoop的未来发展会是怎样?

对于Hadoop的各种批评主要围绕在其扩展限制,而这里最大的问题是其工作处理。Hadoop中的所有工作都是通过被称为JobTracker的守护程序进行批处理,这制造了一个可扩展性和处理速度的瓶颈。

而在Hadoop 2,这种JobTracker的方法已经消失。Hadoop使用了全新的工作处理框架,使用两个守护程序:ResourceManager—管理系统中的所有工作,以及NodeManager—在每个Hadoop节点上运行,并让ResourceManager知道节点上发生的情况。每个正在运行的应用程序也有自己的管理程序—ApplicationMaster。

MapReduce也与之前完全不同,Apache给了它一个全新的名称:YARN,或者Yet Another Resource Negotiator,另一种资源协调者,新的MapReduce运行作为其很多可能的组件之一。事实上,Apache声称,任何分布式应用程序都可以在YARN上运行,虽然需要一些移植。为此,Apache提供了一份与YARN兼容的应用程序列表,例如社会图标分析系统Apache Giraph(Facebook在使用)。

Apache明智地决定不破坏向后兼容性,因此,MapReduce 2仍然将采用相同的API,现有的工作只需要重新编译就能正常工作。

YARN让Hadoop可以与其他Apache项目实现更多的跨平台兼容性,来处理大数据。如果你使用其中一个平台,那么使用其他平台就会变得更加容易。Hadoop的这种改进将帮助推动Apache的其他项目。

这里最大的改进就是,MapReduce本身成为通过Hadoop挖掘数据的很多方式的一种。Apache自己的Spark(移植到YARN的另一种方式)可能比MapReduce更适合某些类型的工作,Hadoop 2给了你更多选择,让你选择最合适的引擎。

移植应用程序到YARN并不是简单的工作,Hadoop在这方面带来的回报将取决于YARN在新框架内的部署情况。Cloudera和Hortonworks都是Hadoop 2的坚实支持者,他们并没有转向其他技术或者坚持上一代技术,从这一点来看,Hadoop 2并不只是烟雾或者上一代的镜像。

苏州牛皮癣医院哪家好

苏州牛皮癣医院哪家最好

苏州牛皮癣治疗方法

苏州什么医院治牛皮癣

苏州治疗牛皮癣费用

小孩晚间咳嗽
宝宝抗病毒的药有哪些
小儿咳嗽怎么办
儿童咳嗽药