117笔记问答在CentOS上管理HDFS（Hadoop Distributed File System）集群涉及多个方面，包括安装、配置、监控、权限管理等。以下是一些关键步骤和策略：
HDFS安装与配置
- 安装Hadoop：首先，需要在CentOS上安装Hadoop。可以参考官方文档或第三方教程来下载并安装适合的版本。
- 配置Hadoop环境变量：编辑
/etc/profile文件，添加Hadoop相关的环境变量，如HADOOP_HOME、HADOOP_CONF_DIR等，并执行source /etc/profile使其生效。 - 修改配置文件：配置
core-site.xml和hdfs-site.xml等配置文件，设置HDFS的默认文件系统地址、NameNode的地址、数据块大小、副本数量等参数。
HDFS集群管理
- 启动HDFS集群：在NameNode上执行
start-dfs.sh脚本启动HDFS集群，并在DataNode上执行相应的命令启动DataNode。 - 停止HDFS集群：在NameNode上执行
stop-dfs.sh脚本停止HDFS集群。 - 监控HDFS状态：可以使用
hdfs dfsadmin -report命令查看集群的状态信息，包括DataNode的数量、磁盘使用情况等。
HDFS权限管理
- 权限设置：HDFS使用类似于Linux的权限模型，可以通过
hdfs dfs -chmod和hdfs dfs -chown命令来设置文件和目录的权限。 - ACL（访问控制列表）：HDFS支持更精细的权限控制，可以通过
hdfs dfs -setfacl和hdfs dfs -getfacl命令来设置和查看ACL。
HDFS存储优化
- 调整块大小：根据工作负载选择合适的块大小，通常128MB或256MB可以提高性能。
- 增加副本数量：提高数据可靠性，但会增加存储成本。
- 避免小文件：小文件会导致NameNode负载增加，影响性能。
- 使用压缩技术：如ZSTD压缩，减少存储空间，提高传输效率。
HDFS数据备份与恢复
- 数据备份：可以使用HDFS的快照功能或手动复制数据到其他节点进行备份。
- 数据恢复：在数据丢失或损坏时，可以通过快照、编辑日志或备份文件进行数据恢复。
HDFS集群扩容与缩容
- 扩容：当集群存储不足时，可以增加新的DataNode节点，并重新配置HDFS以包含新的节点。
- 缩容：在集群需求减少时，可以移除DataNode节点，并相应地调整HDFS的配置。
HDFS集群监控
- Hadoop命令行工具：使用
hdfs dfsadmin -report命令获取HDFS集群的全面概述，包括DataNode状态、存储容量及使用情况等关键信息。 - Web UI：NameNode提供Web界面，通常通过浏览器访问
http://namenode-host:50070或http://namenode-host:9870查看集群状态和统计数据。 - 第三方监控工具：如Ambari、Ganglia、Prometheus + Grafana等，可以监控HDFS集群的各项关键性能指标。
HDFS集群故障排查
- 检查集群状态：使用
hdfs dfsadmin -report命令查看集群的整体状态。 - 检查日志文件：查看NameNode和DataNode的日志文件，寻找错误信息或异常堆栈跟踪。
- 检查网络连接：确保所有节点之间的网络连接正常。
- 检查硬件状态：检查所有节点的硬件状态，包括CPU、内存、磁盘和网络接口。
- 数据一致性检查：使用
hdfs fsck命令检查HDFS文件系统的一致性。
通过上述步骤和策略，可以有效地在CentOS上管理HDFS存储，确保数据的安全性、可靠性和高性能。