117笔记问答在Linux上使用Hadoop进行大数据分析，可以按照以下步骤进行：
1. 安装Java
Hadoop是用Java编写的，因此首先需要安装Java。
sudo apt update sudo apt install openjdk-8-jdk
验证安装：
java -version
2. 下载并解压Hadoop
从Apache Hadoop官方网站下载最新版本的Hadoop，并解压到指定目录。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
3. 配置Hadoop环境变量
编辑/etc/profile或~/.bashrc文件，添加以下内容：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置生效：
source /etc/profile
4. 配置Hadoop集群
4.1 配置core-site.xml
编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下内容：
fs.defaultFS hdfs://localhost:9000
4.2 配置hdfs-site.xml
编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下内容：
dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop-3.3.4/data/namenode dfs.datanode.data.dir /usr/local/hadoop-3.3.4/data/datanode
4.3 配置yarn-site.xml
编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下内容：
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
4.4 配置mapred-site.xml
编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件，添加以下内容：
mapreduce.framework.name yarn
5. 格式化HDFS
在第一次启动Hadoop之前，需要对HDFS进行格式化。
hdfs namenode -format
6. 启动Hadoop集群
6.1 启动HDFS
start-dfs.sh
6.2 启动YARN
start-yarn.sh
7. 验证Hadoop集群
访问Hadoop Web界面：
- HDFS NameNode:
http://localhost:50070 - YARN ResourceManager:
http://localhost:8088
8. 运行MapReduce作业
编写一个简单的MapReduce程序，例如WordCount，然后运行它。
8.1 编写MapReduce程序
创建一个Java项目，编写MapReduce代码。
8.2 打包并上传到HDFS
jar cf wordcount.jar WordCount.java hdfs dfs -put wordcount.jar /user/hadoop/wordcount.jar
8.3 运行MapReduce作业
hdfs dfs -mkdir input hdfs dfs -put /path/to/local/input.txt input/ hadoop jar /user/hadoop/wordcount.jar WordCount input output
9. 查看结果
hdfs dfs -cat output/part-r-00000
通过以上步骤，你可以在Linux上成功安装和配置Hadoop，并运行一个简单的MapReduce作业进行大数据分析。