前言
大数据,机器学习必备的工具之一,也是咱们学习的运行环境。搭建虚拟机以及机器集群环境。
目标
搭建一台Master,两台Slave的集群环境。并且配置NAT网络配置(NAT环境配置可以不影响宿主机器的网络ip段冲突),保证宿主机器,以及对应的Master、Slave可以互相通信
准备安装文件
以下为大家准备了安装文件,也可以自己到网上下载
准备文件 | 下载地址 |
---|---|
CentOS-7-x86_64-DVD-1804 镜像文件 | 链接: https://pan.baidu.com/s/1dlUjcLjemTcm7jnc0HDiwQ 提取码: typ4 |
VMware-workstation 虚拟机 | http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso |
SecureCRT_win_7.3.rar(客户端连接工具) | 链接: https://pan.baidu.com/s/1dlUjcLjemTcm7jnc0HDiwQ 提取码: typ4 |
虚拟机安装
打开VM(虚拟机)+号创建新的虚拟机,选择典型(推荐)即可下一步
选择CentOS镜像文件,下一步
编辑虚拟机名称与对应的存放目录
- 虚拟机名称最好命名有规范,后续配置HOST都可以使用这个名字,方便查看记录(此处我打算是用作Master的,也就是主节点,以及他的Ip地址结尾,设置NAT网络模式的时候可以配置)
- 位置(虚拟机的系统存放目录,最好拿一个剩余空间比较大的磁盘作为存储,根据后续自己实验开发的需要可能需要扩容)
配置虚拟机磁盘大小(如果机器不够,可以设置小一点,但最好20G把,后续如果有需要也可以在扩容)
- 这里我设置的是40G
- 保存的文件我把他设置为单个文件(后续方便复制Slave节点,多个其实也是一样,只是在复制的时候可能需要时间久一点)
配置虚拟机内存大小,CPU核数。完成等待创建即可
- 我这里选择的是内存2G, CPU核数为2。这个可以根据宿主机的情况进行配置
- 完成之后,会出现以下图2,此处可能需要等待5分钟,根据宿主机配置不同等待时间长久不同
选择语言环境,时间,简易桌面,分区(可选,有时候会出现,点击默认即可),root密码设置,新用户创建,完成后点击finish config即可,然后等待安装,Reboot重启后登录。
语言环境选择
时间选择
选择:亚洲,上海
选择:安装简易桌面,后续做一些简单操作(初始配置)
分区选择,点击进去再点击Done默认即可
Root:密码设置 以及 对应的账号创建
点击进入同一许可即可
完成Finish,即可看到登录页面(虚拟机安装完成)
NAT网络配置
通过以上步骤虚拟机安装成功后,即配置网络环境。NAT模式可以防止内网IP冲突。通过NAT模式的虚拟机网络是由本机发出来的网段。
打开VM 选中对应的虚拟机如Master301,然后点击编辑,选择虚拟机网络编辑器,首先移除默认的VMnet8 NAT模式的网络,然后再重新添加网络(选择VMnet8)方式
创建好网络后选择NAT模式,然后NAT设置(此处需要记住网关192.168.152.2,后续再配置ip的时候需要用到此网关地址),然后点击确定即可。
登录虚拟机配置网络ip
使用vi编辑器查看并编辑网络配置文件
命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33(本文中的配置文件名称是【ifcfg-ens33】其它的环境中可能不叫这个名称)
修改配置文件
原配置如下
1
2
3
4
5
6
7
8
9
10
11
12
13
14Y_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=9269a7dd-4594-42b0-8019-3fcafe9fddb6
DEVICE=ens33
ONBOOT=no需要修改配置属性:
1
2BOOTPROTO=dhcp
ONBOOT=no修改成如下:
1
2BOOTPROTO=static
ONBOOT=yes需要添加属性如下:
1
2
3
4IPADDR=192.168.152.201
NETMASK=255.255.255.0
GATEWAY=192.168.152.2
DNS1=202.106.0.20重启网卡
1
systemctl restart network
检测测试
1
2
3
4
5
6
7
8
9
10
11
12虚拟机网络检测
[root@localhost lishijia]# ping www.baidu.com
PING www.a.shifen.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=11.3 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=8.64 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=3 ttl=128 time=13.4 ms
宿主机网络检测
C:\Users\Administrator>ping 192.168.152.201
正在 Ping 192.168.152.201 具有 32 字节的数据:
来自 192.168.152.201 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.152.201 的回复: 字节=32 时间<1ms TTL=64网络配置示例
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19PE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=9269a7dd-4594-42b0-8019-3fcafe9fddb6
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.152.201
NETMASK=255.255.255.0
GATEWAY=192.168.152.2
DNS1=202.106.0.20
遇到的问题
- 最开始在安装的时候忘记选择图形界面了,导致操作一点都不方便,只有dos环境,不能复制粘贴(重新安装了一次)
- 另外把Master的主机ip改为了201
集群网络Master Slave
搭建集群虚拟网络,目标是1台Master,2台Slave
关闭Master201机器(选择Master,右键点击关闭即可)
找到Master201机器的存放目录地址,然后复制创建Slave202,Slave203
通过VM打开Slave202,Slave203(VM》文件》打开),然后编辑改下虚拟机名称
启动Slave202,然后修改ip即可,启动的时候注意选择以下选项(代表该虚拟机是通过复制创建的)
Slave202网络配置示例
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=9269a7dd-4594-42b0-8019-3fcafe9fddb6
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.152.202
NETMASK=255.255.255.0
GATEWAY=192.168.152.2
DNS1=202.106.0.20重启网卡
1
[root@localhost lishijia]# systemctl restart network
检测
1
2
3
4
5
6
7
8
9
10
11
12
13虚拟机
[root@localhost lishijia]# ping www.baidu.com
PING www.a.shifen.com (14.215.177.38) 56(84) bytes of data.
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=1 ttl=128 time=12.6 ms
64 bytes from 14.215.177.38 (14.215.177.38): icmp_seq=2 ttl=128 time=10.6 ms
宿主机
C:\Users\Administrator>ping 192.168.152.202
正在 Ping 192.168.152.202 具有 32 字节的数据:
来自 192.168.152.202 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.152.202 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.152.202 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.152.202 的回复: 字节=32 时间<1ms TTL=64Slave203跟Slave202相同的操作即可
总结:
本文主要介绍了CentOS7的虚拟机安装,虚拟机网络配置以及网络集群搭建。为后续的Hadoop安装部署提供集群环境。