117笔记问答在HDFS配置中，优化数据存储效率是一个多方面的任务，涉及数据块大小、副本因子、数据本地化、压缩技术、硬件配置等多个方面。以下是一些关键的优化策略：
数据块大小调整
- 选择合适的块大小：根据工作负载选择合适的块大小，通常128MB或256MB可以提高性能。
- 避免小文件问题：小文件会增加NameNode的负载，影响性能，应尽量避免存储大量小文件。
数据冗余与副本机制
- 调整副本数量：HDFS默认将数据块复制3份，存储在多个节点上，提高数据可靠性和读取性能。同时，可以采用Erasure Coding(EC)技术来减少冗余，降低成本。
数据本地化
- 减少网络传输：通过增加DataNode数量，使数据块尽可能存储在客户端附近，减少网络传输。
压缩技术
- 使用压缩技术：如ZSTD压缩，可以减少存储空间，提高传输效率。
硬件升级
- 使用高性能硬件：如SSD，提升读写性能。
集群横向扩容
- 增加DataNode节点：通过增加DataNode节点，满足数据规模和集群规模的增长，保持稳定的较低RPC响应延迟。
其他优化策略
- 异构存储：利用服务器不同类型的存储介质（包括HDD硬盘、SSD、内存等）提供更多的存储策略，从而使得HDFS的存储能够更灵活高效地应对各种应用场景。
- 纠删码技术：在Hadoop3.0开始引入支持HDFS文件块级别的纠删码，底层采用Reed-Solomon(k,m)算法，通过矩阵运算，可以为k位数据生成m位校验位，根据k和m的取值不同，实现数据冗余和存储效率的平衡。
- 参数调优：根据集群的内存容量和作业的内存需求，调整MapReduce和YARN的内存参数，如mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、yarn.nodemanager.resource.memory-mb等。