开源竞争-大数据项目期末考核

开源竞争：

自己没有办法完全掌握技术的时候就开源这个技术，培养出更多的技术依赖，让更多人完善你的技术，那么这不就是在砸罐子吗？一个行业里面总会有人砸罐子的，你不如先砸还能听个想。

客观现实：

{一年当中想学习的时间少，不想学习的时间多，想认真记录的时刻少，不想认真记录的时刻多。不想认真记录的时间多，认真记录的时间少。客观现实就是，专科里面学习氛围不是很好，自己带不动}

查看期末大数据项目的要求：

请同学们完成一主两从分布式集群搭建、

并开启hadoop、zookeeper、hbase等组件（使用预先完成的镜像包可以实现，但是前提的条件：预先处理好各个虚拟机的之间的网卡！查看自己相关的书籍（专业书籍名称：Hadoop大数据开发基础/大数据技术原理与应用/大数据导论）。）

在这里，采用直接已经安装成功的虚拟机配置：

注意：

（如果当你的虚拟机出现复制的时候，第三台从机出现问题，在VMware中可以进行选择对于虚拟机进行复制）

我们不需要双胞胎，我们需要一主两从的结构

改动点：

1. 主机名
2. ip地址

相关的知识点：

在Linux操作系统中修改虚拟机名称通常涉及两个方面：修改系统内部的主机名和修改虚拟化管理器中虚拟机的显示名称。以下是针对这两种情况的修改方法：

### 1. 修改系统内部的主机名

在Linux系统中，你可以通过修改`/etc/hostname`文件和`/etc/hosts`文件来更改系统的主机名。

#### 步骤如下：

1. **修改`/etc/hostname`文件**：

   打开终端，使用文本编辑器（如`nano`或`vi`）编辑`/etc/hostname`文件。

   ```bash
   sudo nano /etc/hostname
   ```

   将文件中的旧主机名替换为新主机名，然后保存并退出编辑器。

2. **修改`/etc/hosts`文件**：

   同样使用文本编辑器编辑`/etc/hosts`文件。

   ```bash
   sudo nano /etc/hosts
   ```

   找到与旧主机名相关的行，将其中的旧主机名替换为新主机名。确保IP地址和新主机名的对应关系正确。

3. **重启网络服务**（可选，取决于你的Linux发行版）：

   有些系统可能需要重启网络服务以使更改生效。

   ```bash
   sudo systemctl restart networking
   ```

4. **重启系统**：

   为了让更改的主机名生效，你可能需要重启系统。

   ```bash
   sudo reboot
   ```

### 2. 修改虚拟化管理器中的虚拟机显示名称

如果你使用的是虚拟化软件（如VMware, VirtualBox等），你需要在虚拟化管理器中修改虚拟机的显示名称。

对于目前的我来说，自己的时间已经投入了：30min（30min搭建完一个集群的速度好快啊！）不过，我觉得，重新配置一台集群和自己搭建一台集群的速度一样，既然我没有办法掌握“大数据”的技术，那我就开源这个技术吧！

#### VMware Workstation/Fusion为例：

1. 打开VMware Workstation/Fusion。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机，选择“重命名”或者“设置”。
4. 在弹出的窗口中，找到虚拟机名称的字段，输入新的名称。
5. 点击“确定”或“保存”以确认更改。

#### VirtualBox为例：

1. 打开VirtualBox。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机，选择“设置”。
4. 在“常规”标签页下，找到“名称”字段，输入新的名称。
5. 点击“确定”以确认更改。

请注意，虚拟化管理器中的名称更改不会影响操作系统内部的主机名，这两个名称可以是不同的。如果你需要在操作系统内部更改主机名，请按照第一部分的步骤操作。
 

查看开启集群的进程。 

---

从0开始1的开始弄：

首先当然是最为关键的vmware了！

虚拟机搭建教程_网络虚拟机怎么搭建-CSDN博客

CentOS7最小化详细安装与CentOS7下载网址_centos7 下载-CSDN博客

易错的点：

（选择上面Install CentOS 7安装，而不是中间的那个）

Vmware软件的序列号：（自己到网上去搜，搜索”VMware“序列号，注意版本号，借用余华老师的一句话：”我从来不打击盗版书，因为穷人买不起正版“。）

虚拟环境下载

在这里还要再添加两个软件：

1. xftp（文件传输软件用的）
2. xshell（用来输入文本命令的）

开始搭建之前，目前网上有两篇文章：

Hadoop的集群搭建windows基于VMware虚拟机超详细教程（一主二从）_master login-CSDN博客

第一个步骤（搭建虚拟机）：

官网有下载，学生注册免费（备注：目前来说，人工智能还没有攻破大数据技术，1024程序员节上，阿里云副总裁说：“人工智能和大数据技术不是一个对立关系，而是一个相辅相成的关系，人工智能取代不了大数据独特的搜索引擎，“，在这里，我发出感叹了！大数据独特的搜索引擎是为了提供个性化服务的关键（所以一定要运用好这个独特的搜索引擎），至于人工智能（降低信息复杂度，提供答案，目前来说，人工智能计算机的推理能力还不足，计算力还不赶不上大数据）。）

开始遇到的第一个错误：

这张图片显示的是Linux系统进入紧急模式（emergency mode）的界面。

（以下的内容来源于：kimi智能编辑助手，速度嘎嘎快！就用ai）

核心内容如下：

1. **进入紧急模式**：

系统提示用户已经进入紧急模式，这通常发生在系统启动过程中遇到问题时。

2. **查看系统日志**：

用户可以通过输入`journalctl -xb`命令来查看系统日志，以诊断启动过程中出现的问题。

3. **重启或恢复默认设置**：

用户可以通过输入`systemctl reboot`来重启系统，或者通过`systemctl default`或按`^D`来尝试重新启动到默认模式。

4. **维护模式**：

系统要求用户输入root密码以进入维护模式，但用户多次输入的密码都不正确。

5. **SMBus Host Controller未启用**：

日志中显示了一个警告，指出SMBus Host Controller未启用。SMBus是一种用于系统管理的总线，通常用于监控硬件状态。

6. **登录尝试失败**：

用户多次尝试输入root密码，但都显示“Login incorrect”（登录不正确）。

这个界面通常出现在系统启动失败，需要管理员介入进行故障排除和修复的情况下。管理员需要知道正确的root密码才能继续操作。如果忘记了密码，可能需要通过其他方式重置密码，例如使用单用户模式或从Live CD/USB启动并挂载文件系统。

第二个步骤：配置java环境：

真不想开源，但是没有办法，开源开源开着玩。

基础环境-linux-安装jdk-解决bash: java: command not found..._-bash: java: command not found-CSDN博客

（如果有教材（Hadoop大数据开发基础）的同学可以直接按照课本上弄，课本上的没有问题，但是要注意虚拟环境，另一个关键：要开源，不开源什么事情都做不了！你不开源，我也不开源，他就要开源，他一开源，他挣钱了，你内心又过不去。）

这本书在拼多多上面二手书：6-10元左右（11点56分2024年11月5日），这本书，我反复看了很多遍，书中的坑，我都一一标识了，一并放在文件资源里面

（包含软件和镜像光盘，其实这些都是偷的操作系统老师的，如果感觉不错，就给这篇文章点点赞吧！同时关注一下：湖工职吧！当然更为关键是：关注我，关注我是可以带来实际的思考）

像个博士一样，感谢感谢！

如果有时间尽可能购买吧！也是在此感谢一下自己在湖北工业职业技术学院的计算机老师吧，就不一一感谢了，计算机老师都很称职，如果你也是一个技术控的，我推荐到湖北工业的智能学院，因为老师上课管理方式一个包容的状态，可能基础硬件设施不好，但是，如果湖北工业职业技术学院的智能工程的老师能够一直保持这种开放和包容的话，我觉得，在大数据时代，专科院校培养出技术型人才会更多。

高中太压抑了，导致我自己状态不好，满腔戾气，吐苦水吐了400多个视频，才让我现在舒服点，但是高中老师也不错。

请同学们把配置集群，开启集群的步骤，总结为word文档，写出步骤和命令，截图说明。

其实有的时候，学习计算机最大的问题：

没有记数和反馈

开源竞争（当你无法彻底掌握一个技术的时候就开源这个技术，培养出相关的技术依赖，让更多人帮助你完善你的技术，那么这不是砸罐子吗？一个行业里面总会有人砸罐子的，你不如先砸还能听个响声。）

至于我为什么会开源？因为这句话，是我在江汉大学（开放和包容的风气）在1024这个节点（江汉站，因为这个大学，确实给我提供了实质性帮助，所以，我觉得后面每次写文章的时候，都会给大家介绍一下这个学校的。）

是学长的介绍，stable profession的商业化项目落地的时候的介绍，开源竞争（因为他自己就在砸自己的罐子，计算机行业的发展速度快的原因也在于此：开源，正如经济全球化一样，越早开源对于自己越有利，你越能积攒出属于自己的数据。）

以10min为一个契机对其进行计数（每隔10min对其进行一次计数，微信小程序搜索躺平成长，里面有相关的数据统计，目前数据统计机制还不完善，但是最终会完善的。）

---

如何更好使用boss直聘：

市场可以帮助你解决，你自己最好的信息差，因为所有的信息差都可以通过市场消除，普通人没有办法预测未来时代的变化，就结合ai去看市场。

大学期间（专科计算机期间）：

我可以用ai干点什么？

躺平成长-代码开发（08）-第八天-CSDN博客

当然是开发一个宇宙无敌超级厉害的小程序了，便宜的价格。

大学期间（专科期间，我要合群吗？）

不需要，生产构建生产关系，先培养自己的生产能力，随着你自己不断地培养自己的生产能力，良好的生产能力会给你带来良好的生产关系的。单纯卷大数据，要是ai能够帮助我们搭建hadoop就好了（真的有）！

不过也没有关系了，让我们照顾好自己的身体，多养生，照顾好身体，照顾好身体一切都有可能。还有就是使用一下学长的躺平成长。

是的，现在有AI可以帮助我们搭建Hadoop。根据搜索结果，有几个工具和平台可以辅助在Hadoop上部署和管理AI工作负载：

1. Hadoop Submarine：这是一个统一的AI平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。Hadoop Submarine可以在资源管理平台（如YARN）上运行深度学习应用程序（如Tensorflow，Pytorch等），并支持多种机器学习框架，涵盖了整个机器学习过程，包括算法开发、模型批量训练、模型增量训练、模型在线服务和模型管理。

2. TonY (TensorFlow on YARN)：LinkedIn开源的一个框架，旨在让深度学习框架能够原生地运行在Apache Hadoop上。TonY支持多种主流深度学习框架，包括TensorFlow、PyTorch、MXNet和Horovod。它允许深度学习作业作为Hadoop应用程序直接运行，无需额外的资源管理层，提供了灵活性和可靠性。

这些工具和平台的出现，使得在Hadoop上部署和管理AI工作负载变得更加简单和高效。它们充分利用了Hadoop的分布式计算优势，为AI训练提供了强大的数据处理能力，并简化了部署和管理流程。

Hadoop Submarine 是一个旨在简化在 Hadoop 上运行分布式深度学习应用的项目。以下是关于 Hadoop Submarine 的一些关键功能和特点：

1. **简化分布式深度学习应用的启动和管理**：

Submarine 项目的目标是使分布式深度学习/机器学习应用程序易于启动、管理和监控。

2. **支持多种深度学习框架**：

Submarine 支持 TensorFlow、MXNet、PyTorch、Caffe、XGBoost 等多种深度学习框架，有时需要将这些框架组合使用以解决不同的问题。

3. **集成 TensorBoard**：

Submarine 允许用户通过 TensorBoard 访问所有的训练历史任务，方便监控训练状态和历史记录。

4. **云端数据科学家 NOTEBOOK**：

Submarine 提供了从 YARN 资源池获取云端 notebook 的能力，支持在 GPU 机器上使用笔记本编写算法。

5. **与 Zeppelin 集成**：

Submarine 与 Zeppelin 集成，Zeppelin 是一款基于网络的笔记本电脑，支持交互式数据分析，可以使用 SQL、Scala、Python 等来制作数据驱动的交互式协作文档。

6. **与 Azkaban 集成**：

Submarine 还集成了 Azkaban，这是一个工作流程调度服务，可以安排 Zeppelin 编写的 Hadoop Submarine Notebook，以调度具有执行依赖性的多个笔记本执行任务。

7. **提供安装程序**：

Submarine 提供了一个安装程序，用于运行时环境的安装，该安装程序完全由 Shell 脚本编写，提供了简单易用的菜单化操作方式，可以轻松便捷地安装好运行环境。

8. **项目状态**：

Alpha 版本的解决方案已经合并到 Hadoop 主干分支，3.2.0 版本的一部分仍处于活动开发/测试阶段。

Hadoop Submarine 通过提供全流程服务支持，包括数据采集、数据处理、数据清理、算法开发、资源调度、算法模型发布和作业调度，为深度学习场景提供了一个强大的平台。通过这些集成和功能，Submarine 旨在降低在 Hadoop 上部署和管理深度学习工作负载的复杂性。
 

家人们，还是都去学人工智能吧！等我了解一下奥，说不上来，我们所面对的挑战巨大，重复的脑力运动就不要做做了吧！交给ai对其进行处理，好好想想，什么是自己的创造力的体现，另外，什么事情都不要造假（包括学历，认知霸凌和智力霸凌，就不要搞了，开源多搞搞！）。

开始干活，写完200个字，自己就开始投5个简历。

开始干活，写完200个字，再投5个简历。