117笔记问答HDFS（Hadoop Distributed File System）是一个分布式文件系统，设计用于存储和管理大规模数据集，特别适用于大数据处理场景。HDFS本身并不直接支持多种数据格式，但它支持多种文件格式和存储格式，使得它能够与多种数据处理框架和应用场景兼容。以下是HDFS支持的主要文件格式和存储格式：
HDFS支持的文件格式和存储格式
- SequenceFile：以二进制键值对的形式存储数据，支持三种记录存储方式：无压缩、记录级压缩、块级压缩。
- Avro：将数据定义和数据一起存储在一条消息中，其中数据定义以JSON格式存储，数据以二进制格式存储。
- RCFile：以列格式保存每个行组数据。
- Parquet：Hadoop的一种列存储格式，提供了高效的编码和压缩方案。
- 文本文件（Text File）：行式文本文件，通常按照行存储，以回车换行符区分不同的行数据。
- ORC File：提供比RC File更有效的文件格式，内部将数据划分为Stripe，每个条带均包括索引、数据和页脚。
- Parquet File：面向分析性业务的列式存储方式，支持块压缩。
HDFS支持的压缩算法
- GZip：压缩率高，压缩/解压速度快，但不支持split。
- BZip2：支持split，具有很高的压缩率，但不支持native，压缩/解压速度慢。
- LZO：压缩/解压速度快，压缩率合理，支持split，是Hadoop中最流行的压缩格式。
- Snappy：高速压缩速度和合理的压缩率，不支持split，压缩率比gzip要低。
HDFS的数据访问协议
- HDFS API：Hadoop自身提供的用于访问HDFS文件系统的API，支持Java编程语言。
- WebHDFS API：基于HTTP的协议，允许用户通过浏览器或命令行工具访问HDFS文件系统。
- Thrift API：Facebook开源的高性能、跨语言的服务定义框架，HDFS支持Thrift API。
- Java Native Interface (JNI)：允许Java代码调用本地代码，也可以通过JNI访问HDFS文件系统。
- REST API：基于REST的API，可以通过HTTP请求来访问文件系统。
通过这些特性，HDFS能够支持多种数据格式和存储策略，使其成为大数据处理和分析的理想选择。