分布式文件系统HDFS

[menao936]

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。HDFS开始是为开源的apache项目nutch的基础结构而创建，HDFS是hadoop项目的一部分，而hadoop又是lucene的一部分。

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone，能将HDFS从文件系统扩展成更加复杂的企业级存储层。

Hadoop社区的一些成员提议为Hadoop增加一个新的对象存储环境，这样一来Hadoop就能以与亚马逊S3、微软Azure以及OpenStack Swift等云存储服务一样的方式去存储数据。

Hadoop发行商Hortonworks在官网发博文指出，随着越来越多的企业采用Apache Hadoop，Hadoop已经成了各种企业数据的“数据湖”（Data Lake），其中很多适合大数据分析应用的数据类型非常适合采用HDFS，但是在某些行业应用案例中HDFS又难以胜任，这就需要扩展Hadoop的存储 维度。例如，对象存储或Key-Value存储具备Hadoop HDFS的可靠性、一致性和可用性，但对语法、API和可扩展性的要求不同，Hadoop的存储系统需要向多面手进化，以适应新的存储应用需求。

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone，能将HDFS从文件系统扩展成更加复杂的企业级存储层。

过去，HDFS架构将元数据管理与数据存储层分离成两个相互独立的层。文件数据存储在包含有上千个存储服务器（节点）的存储层，而元数据存储在文件 元数据层——一个数量相对少些的服务器群（名称节点）。HDFS这种分离方式使得应用直接从存储磁盘读写数据时能够获得很高的吞吐量扩展空间。

Ozone使得HDFS块存储层能够进一步支持非文件性质的系统数据，而HDFS的文件块架构也将能够支持存储键值和对象。与HDFS的名称空间元 数据类似，Ozone的元数据系统也基于块存储层，但是Ozone的元数据将被动态分配，支持大量的bucket space。

Hortonworks认为HDFS将自然进化成一个完整的企业大数据存储系统，而Ozone也将以Apache项目（HDFS-7240）的方式开源。

项目地址： https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html