117笔记问答在CentOS上进行HDFS性能测试可以通过以下步骤进行：
1. 环境搭建
- 安装CentOS：首先，确保你的系统是CentOS。可以参考官方文档进行安装。
- 配置网络：设置网卡地址、网关和DNS等。
- 安装Hadoop：下载并安装适合你集群版本的Hadoop。可以参考Hadoop官方文档。
2. 选择性能测试工具
- HiBench：Intel推出的一个大数据基准测试工具，支持对Hadoop和Spark的测试。
- TestDFSIO：Hadoop自带的工具，用于测试HDFS的读写性能。
- Dynamometer：一个开源的HDFS性能扩展测试工具，可以在最小硬件资源下模拟真实的集群效果。
- fio：一个灵活的I/O测试工具，可以用来测试硬盘的读写性能。
3. 执行性能测试
使用HiBench进行测试
- 编译HiBench：
mvn -Phadoopbench -Psparkbench -Dspark=3.0 -Dscala=2.12 -Dhadoop=3.2 clean package -e
- 配置HiBench：
创建和修改hadoop.conf和spark.conf文件，指定Hadoop和Spark的安装路径和配置。
- 选择测试内容：
编辑frameworks.lst文件，选择你想要执行的测试用例。
- 执行测试：
./bin/run_all.sh
使用TestDFSIO进行测试
- 写入性能测试：
yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB
- 读取性能测试：
yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -read -nrFiles 10 -size 1GB
使用fio进行测试
- 顺序读测试：
fio -filename /home/atguigu/test.log -direct 1 -iodepth 1 -thread -rw read -ioengine psync -bs 16k -size 2G -numjobs 10 -runtime 60 -group_reporting -name test_r
- 顺序写测试：
fio -filename /home/atguigu/test.log -direct 1 -iodepth 1 -thread -rw write -ioengine psync -bs 16k -size 2G -numjobs 10 -runtime 60 -group_reporting -name test_w
4. 分析测试结果
根据测试工具提供的结果，分析系统的性能指标，如吞吐量、响应时间、资源利用率等，并据此进行优化。
5. 性能调优
根据测试结果，调整HDFS的配置参数，如块大小、副本数量、DataNode数量等，以优化性能。
请注意，进行性能测试时，应确保测试环境与生产环境尽可能接近，以便测试结果具有参考价值。同时，测试可能会对集群性能产生影响，建议在测试前做好相应的准备工作。