任务描述
项目的运行环境是基于Hadoop的全分布式模式集群。
任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。
任务指导
1. 基于Hadoop的全分布式模式集群,如下图所示;
2. 硬软件环境:
- CentOS 64位
- JDK 1.8
- Hadoop 2.10.1
- ZooKeeper 3.4.13
- HBase 2.3.5
- MySQL 5.7
- Hive 2.3.4
- Flume 1.9.0
- Kafka 2.4.1
任务实现
1. 机器网络环境设置
集群包含三个节点,节点之间可以相互ping通。节点角色如下:
主机名 | 进程 |
---|---|
master1 | NameNode、ResourceManager、ZooKeeper、HMaster、Kafka |
slave1 | DataNode、NodeManager、ZooKeeper、RegionServerr |
slave2 | DataNode、NodeManager、ZooKeeper、RegionServer |
所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。
关闭防火墙命令:
# systemctl stop firewalld.service
禁用防火墙开机自动启动:
# systemctl disable firewalld.service
两个命令分别运行,运行完成后查看防火墙状态:
# systemctl status firewalld.service
关闭Selinux:
# vim /etc/selinux/config
SELINUX=disabled
查看Selinux状态
# getenforce
本站资源均来自互联网,仅供研究学习,禁止违法使用和商用,产生法律纠纷本站概不负责!如果侵犯了您的权益请与我们联系!
转载请注明出处: 免费源码网-免费的源码资源网站 » 基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明
发表评论 取消回复