#三、HDFS概述

3.1 HDFS介绍

• 产生背景

  随着数据量越来越大，在一台电脑上存不下所有的数据，那么就分配到更多的电脑组成的集群上，但是不方便管理和维护，于是就需要一种可以在集群中来管理多台机器上文件的系统，即分布式文件关系系统。HDFS便是分布式文件管理系统中的一员。

• 定义：

  HDFS (Hadoop Distributed File System):分布式文件系统，用于存在文件，通过目录树来定位文件；构建在分布式集群上，集群中的服务器有各自的角色。

• 适用场景

  适合一次写入，多次读取的场景。适合用来做大数据分析。

• HDFS优点

  1. 可构建在廉价的机器上

  2. 高容错

     1. 数据自动保存多个副本，通过增加副本的形式，提高容错性。

        

     2. 当某一个副本数据块丢失后，通过自动恢复保持副本数量。

        

  3. 适合存储大量数据

     1. HDFS上的一个典型文件大小一般都在G字节至T字节。MB GB TB PB ZB
     2. HDFS支持大文件存储。
     3. 单一HDFS实例能支撑数以千万计的文件。

  4. 简单的一致性模型

     1. HDFS应用遵循“一次写入多次读取”的文件访问模型。
     2. 简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
     3. Map/Reduce应用或者网络爬虫应用都非常适合这个模型。

• HDFS缺点

  1. 不适合低延迟的数据访问。
  2. 无法高效的对大量小文件进行存储。
  3. 不支持对同一个文件的并发写入。
  4. 不支持文件的随机修改。