hadoop的sbin

路径：opt/homebrew/sbin

Hadoop 的 sbin 目录下包含了一系列 shell 脚本，用于启动、停止和管理 Hadoop 的各个组件和服务。下面逐一解释这些脚本的作用：

启动和停止脚本

1. start-all.sh

   用于启动所有的 Hadoop 守护进程，包括 NameNode、Secondary NameNode、DataNode、ResourceManager 和 NodeManager。

2. stop-all.sh

   用于停止所有的 Hadoop 守护进程。

3. start-dfs.sh

   专门用于启动 HDFS 相关的守护进程，包括 NameNode、Secondary NameNode 和 DataNode。

4. stop-dfs.sh

   专门用于停止 HDFS 相关的守护进程。

5. start-yarn.sh

   用于启动 YARN 相关的守护进程，包括 ResourceManager 和 NodeManager。

6. stop-yarn.sh

   用于停止 YARN 相关的守护进程。

单个守护进程的启动和停止脚本

1. hadoop-daemon.sh

   通用的脚本，用于启动或停止任何 Hadoop 守护进程。它接受参数来指定要启动或停止的具体守护进程。

2. mr-jobhistory-daemon.sh

   用于启动或停止 MapReduce JobHistory 服务器。

3. kms.sh

   用于启动或停止 Kerberos 密钥管理服务 (KMS)。

4. httpfs.sh

   用于启动或停止 HTTPFS 服务。

其他管理脚本

1. start-secure-dns.sh 和 stop-secure-dns.sh

   用于启动和停止安全 DNS 服务。

2. start-balancer.sh 和 stop-balancer.sh

   用于启动和停止 HDFS 数据块平衡器。

3. workers.sh

   显示当前集群中的活动 DataNode 列表。

4. refresh-namenodes.sh

   用于刷新 NameNode 信息，尤其是在联邦模式下使用。

5. FederationStateStore

   通常不是一个脚本，而是一个目录，用于存储 HDFS 联邦状态信息。

6. distribute-exclude.sh

   用于分发 exclude 文件到集群中的所有节点。exclude 文件定义了哪些 DataNode 应该被排除在外。

7. yarn-daemon.sh 和 yarn-daemons.sh

   用于启动或停止 YARN 的守护进程。

具体使用方法

这些脚本通常接受一些参数来指定要启动或停止的服务，例如：

• 启动单个守护进程:

  hadoop-daemon.sh start namenode

• 停止单个守护进程:

  hadoop-daemon.sh stop datanode

• 启动所有 HDFS 组件:

  start-dfs.sh

• 停止所有 HDFS 组件:

  stop-dfs.sh

• 启动所有 YARN 组件:

  start-yarn.sh

• 停止所有 YARN 组件:

  stop-yarn.sh

这些脚本是管理 Hadoop 集群的重要工具，它们简化了启动和停止服务的过程，并且可以方便地在单个节点上或整个集群中执行操作。