117笔记问答Hadoop分布式文件系统（HDFS）是一种高度容错的分布式存储系统，设计用于在大量计算机集群上存储和管理大数据。以下是HDFS的主要原理：
核心概念
-
数据块（Block）：
- HDFS将大文件分割成多个固定大小的数据块，默认大小为128MB或256MB。
- 每个数据块会被复制到多个节点上以实现冗余和容错。
-
NameNode：
- 负责管理文件系统的元数据，包括文件名、权限、块列表及其存储位置。
- 维护一个内存中的文件系统树和整个集群的映射信息。
- 定期接收来自DataNode的心跳和块报告。
-
DataNode：
- 实际存储数据块的节点。
- 处理客户端的读写请求。
- 定期向NameNode发送心跳信号和块报告，以表明其存活状态和存储的数据块信息。
-
Secondary NameNode：
- 辅助NameNode，定期合并编辑日志和文件系统镜像，减轻NameNode的内存压力。
- 在NameNode故障时，可以用来恢复文件系统元数据（但不是热备份）。
工作原理
写操作流程
- 客户端通过HDFS API发起写请求。
- NameNode检查权限和存储空间，返回可用的DataNode列表。
- 客户端将数据流式传输到第一个DataNode，然后该节点将数据流式传输到第二个和第三个DataNode（或其他副本所在的节点）。
- 所有DataNode确认写入成功后，客户端收到写入完成的响应。
读操作流程
- 客户端通过HDFS API发起读请求。
- NameNode返回文件的块列表及其所在的DataNode地址。
- 客户端直接连接到其中一个DataNode读取数据块。
- 如果第一个DataNode不可用，客户端会尝试连接下一个DataNode，直到成功读取数据。
容错机制
- 数据冗余：通过多副本策略（默认3份）确保数据的可靠性。
- 心跳检测：DataNode定期向NameNode发送心跳信号，NameNode据此判断节点是否存活。
- 块报告：DataNode定期向NameNode报告其存储的块信息。
- 故障恢复：当某个DataNode失效时，NameNode会重新分配其负责的数据块到其他健康的DataNode。
优点
- 高吞吐量：适合大数据处理任务，能够提供高带宽的数据访问。
- 可扩展性：可以轻松扩展到数千个节点。
- 成本效益：利用普通的商用硬件构建大规模集群。
缺点
- 不适用于低延迟访问：由于数据分布在多个节点上，随机读写性能不如本地文件系统。
- 元数据管理开销：NameNode的内存和CPU资源消耗较大，尤其是在大规模集群中。
应用场景
- 大数据分析
- 日志处理
- 数据仓库
- 机器学习
总之，HDFS通过其分布式架构和容错机制，为大数据处理提供了强大的存储解决方案。