117笔记问答在Linux系统里，Hadoop资源管理主要通过YARN（Yet Another Resource Negotiator）来实现。YARN是Hadoop 2.0引入的资源管理器，负责为上层应用提供统一的资源管理和调度。以下是Hadoop资源管理的一些关键方面：
YARN资源管理
- ResourceManager (RM)：负责整个集群的资源管理和调度。它接受来自节点的资源使用情况报告，并根据策略分配资源给各个应用程序。
- NodeManager (NM)：在每个集群节点上运行，负责监控节点的健康状况，执行任务，并报告资源使用情况给ResourceManager。
- ApplicationMaster (AM)：是YARN中的一种特殊类型的应用程序，负责资源请求和任务调度。每个应用程序启动时，都会启动一个ApplicationMaster，它与ResourceManager协商资源，并与NodeManager交互以启动和监控任务。
- Client：与ResourceManager和ApplicationMaster交互，提交应用程序，并可以查询应用程序的状态。
HDFS资源管理
- 数据存储：HDFS是Hadoop的分布式文件系统，负责存储大量数据，并提供统一的访问接口。
- 副本机制：为了容错，文件的所有块都会有副本，副本数量可以通过配置参数来设置。
实现过程
- 修改配置文件：例如，修改
yarn-site.xml文件以启用日志聚合功能。 - 配置环境变量：编辑
~/.bashrc或~/.bash_profile文件，添加Hadoop的安装路径。 - 启动Hadoop集群：使用
start-dfs.sh和start-yarn.sh脚本启动HDFS和YARN服务。
以上步骤提供了在Linux系统上管理Hadoop资源的基本框架。具体的配置和管理步骤可能会根据不同的Hadoop版本和环境有所变化。