HDFS在Ubuntu上如何运行

在Ubuntu上运行HDFS（Hadoop Distributed File System）涉及几个关键步骤，包括安装Java、配置环境变量、下载和解压Hadoop、配置HDFS以及启动HDFS服务。以下是详细的步骤指南：

1. 安装Java

首先，确保你的Ubuntu系统上已经安装了Java。你可以通过以下命令来安装OpenJDK 8：

sudo apt update sudo apt install openjdk-8-jdk 

安装完成后，检查Java版本以确认安装成功：

java -version 

2. 下载并解压Hadoop

访问Apache Hadoop官方网站，下载最新版本的Hadoop安装包。然后，解压到你想要的目录，例如/home/yourusername/hadoop。

wget https://downloads.apache.org/hadoop/core/hadoop-3.2.1/hadoop-3.2.1.tar.gz tar -xzvf hadoop-3.2.1.tar.gz -C /home/yourusername/hadoop 

3. 配置环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/home/yourusername/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

保存文件后，运行以下命令使配置生效：

source ~/.bashrc 

4. 配置HDFS

进入Hadoop的配置文件目录$HADOOP_HOME/etc/hadoop，编辑core-site.xml和hdfs-site.xml文件。

core-site.xml:

  fs.defaultFS hdfs://localhost:9000   

hdfs-site.xml:

  dfs.replication 3   dfs.namenode.name.dir /home/yourusername/hadoop/hdfs/namenode   dfs.datanode.data.dir /home/yourusername/hadoop/hdfs/datanode   

5. 格式化NameNode

首次启动HDFS时，需要格式化NameNode：

hdfs namenode -format 

6. 启动HDFS

使用以下命令启动HDFS服务：

start-dfs.sh 

7. 验证HDFS是否正常运行

打开浏览器，访问http://localhost:9000，如果看到HDFS的文件系统状态页面，说明HDFS已经成功启动。

8. 常用HDFS命令

以下是一些常用的HDFS命令示例：

• 创建目录：

hdfs dfs -mkdir /user/test 

• 上传本地文件到HDFS：

hdfs dfs -put /path/to/localfile /user/remotefile.txt 

• 列出HDFS目录下的文件：

hdfs dfs -ls /user 

• 从HDFS下载文件到本地：

hdfs dfs -get /user/remotefile.txt localfile.txt 

• 删除HDFS文件：

hdfs dfs -rm /user/remotefile.txt