• 技术文章 >运维 >Apache

    hadoop的核心是分布式文件系统hdfs和什么?

    青灯夜游青灯夜游2020-08-31 14:17:14原创5340

    hadoop的核心是分布式文件系统hdfs和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),其中一个组件是HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。

    HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

    Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

    Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS的上一层是MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。

    更多相关知识,请访问:PHP中文网

    以上就是hadoop的核心是分布式文件系统hdfs和什么?的详细内容,更多请关注php中文网其它相关文章!

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:Hadoop
    上一篇:apache如何在普通用户下启动 下一篇:自己动手写 PHP MVC 框架(40节精讲/巨细/新人进阶必看)

    相关文章推荐

    • Hadoop能不能搭建一个完整的云计算平台?• CentOS6.5上Cloudera Manager和Cloudera Hadoop的离线安装• ASP.NET如何实现Hadoop增删改查• apache hadoop是什么• apache hadoop是什么意思• apache hadoop怎么读
    1/1

    PHP中文网