JimV 部署权威指南

来自JimV-Wiki

Admin讨论 | 贡献2020年6月3日 (三) 07:30的版本 →‎进入 iPXE Shell

JimV 部署权威指南

配置需求


最低配置

JimV 混合模式 (方便快速评估)
条目 指标 备注
CPU ≥ 2 供 JimV-C、MariaDB、Redis 使用。
内存 ≥ 2GB 供 JimV-C、MariaDB、Redis 使用。
磁盘 ≥ 8GB 主要存放虚拟机模版,数据库文件,虚拟机磁盘文件等资源。
互联网络 Y yum、pip 安装所需要的软件及依赖库时,需要从互联网下载获得。
管理网络 Y 管理计算节点的网络。
业务网络 N 无需独立的业务网络,可以与管理网络联合在一起。

推荐配置

JimV-C 控制节点
条目 指标 备注
CPU ≥ 4 供 JimV-C、MariaDB、Redis 使用。
内存 ≥ 8GB 供 JimV-C、MariaDB、Redis 使用。
磁盘 ≥ 500GB 主要存放虚拟机模版,以及数据库等文件。
互联网络 Y yum、pip 安装所需要的软件及依赖库时,需要从互联网下载获得。
管理网络 Y 管理计算节点的网络。
业务网络 O 可选。
网卡 ≥ 10Gb x 2端口 x 2网卡 高峰存在于虚拟机模版镜像的传输。
JimV-N 计算节点
条目 指标 备注
CPU 32 数量直接决定所能承载虚拟机的多少。
CPU 虚拟化技术 Y -
内存 ≥ 64GB -
磁盘 ≥ 4TB 指的是可用空间。存放虚拟机磁盘文件。建议磁盘组做好 RAID。
磁盘阵列 - 计算型,建议组 RAID10。存储型,建议组 RAID6。
磁盘类型 - 如果是存储密集型,考虑成本因素,用机械盘就可以了。如果是 IO 密集型,建议 SSD 或 NVME 设备。
互联网络 Y yum、pip 安装所需要的软件及依赖库时,需要从互联网下载获得。
管理网络 Y 管理节点通过该网络传输指令等。
业务网络 O 可选。承载虚拟机业务数据。独立的业务网络,需要 两套 如下的网卡配置。
网卡 ≥ 10Gb x 2端口 x 2网卡 网络带宽一般以峰值需求为参考线。高质量的网络可以让使用人员,有更广阔的操作空间。

从 JimV-Store 快速安装


注册 JimV-Store 有效账号

  1. 访问 https://store.jimv.cn/login
  2. 通过邮箱注册 JimV-Store 账号;
  3. 从邮箱完成注册;
  4. 领取 JimV-Store 账号;

安装「控制|混合」节点

创建集群

  1. 创建第一个 JimV 集群;

创建混合节点

  1. 创建混合节点;
  2. 记录归位入口地址;

进入 iPXE Shell

  1. 首先确保物理节点支持 iPXE 引导。若不支持,可通过 iPXE.iso 从光驱进入;
  2. 进入 iPXE Shell;

设置 iPXE 网络

  1. 设置 iPXE 网络,并为本次 归位操作 申明将使用的网卡;

归位混合节点

  1. 开始归位;

配置节点属性

  1. 配置节点属性,并打开安装入口;

开始安装

  1. 设置 yum 源;

    yum 源参考地址
    组织 yum 源
    CN99 Corp. http://mirrors.cn99.com/centos/7/os/x86_64/
    Beijing Foreign Studies University https://mirrors.bfsu.edu.cn/centos/7/os/x86_64/
    Beijing Institute of Technology http://mirror.bit.edu.cn/centos/7/os/x86_64/
    更多 https://centos.org/download/mirrors/
  2. 开始安装;


  3. 安装完成;

配置 JimV


初始化 JimV

  1. 初始化;
  2. 登入 JimV;

创建 IP 池

导入虚拟机模版

获取模版

  1. 前往 JimV BBS 论坛注册账号;
  2. 进入「JimV镜像下载」区域获取所需模版;

搭建模版发布服务

  1. 整理将要被发布的模版镜像资源目录;
  2. 通过 HFS 把资源发布出来;


导入模版

  1. 获取模版的资源路径;
  2. 导入模版镜像;



创建虚拟机

  1. 进入创建虚拟机页面;
  2. 创建虚拟机;


扩展 JimV 集群「添加计算节点」


创建计算节点归位点

  1. 创建归位点;

计算节点归位

  1. 打开归位入口;
  2. 开始归位;

生成并配置集群 Token

  1. 生成集群 Token;
  2. 在集群中填入 Token;

配置归位属性

开始安装

  • 配置 iPXE 网络,并开始安装;


  • 安装完成;

查看扩展结果

收缩 JimV 集群「下线计算节点」


清空负载

提示:清理方式,或迁移,或销毁。保证要下线节点上面的资产,都被其所有者主观意识所分配。
  1. 出于规范性操作,应先清空负载;
  2. 关闭节点;
  3. 删除节点;

安全


警告:不要以任何理由,把 JimV Web 控制平台 暴露公共网络

修改 JimV 系统默认密码

修改「控制|计算」节点密码

备份节点 SSH 密钥对

禁止 SSH 密码登录节点

数据库定期异地备份

  • 自行制定备份计划。

MariaDB root 密码存放位置


  • [root@jimvc ~]# cat /var/log/mariadb/mariadb.secret 
    root:v7gp94yD1aQAP4Zz
    

调整 NFS 授信范围


  • [root@jimvc ~]# cat /etc/exports
    /srv/nfs_template_images    *(rw,insecure,all_squash,anonuid=1000,anongid=1000,sync,no_wdelay)
    
    # 可调整为如下:
    [root@jimvc ~]# cat /etc/exports
    /srv/nfs_template_images    192.168.20.0/24(rw,insecure,all_squash,anonuid=1000,anongid=1000,sync,no_wdelay)
    [root@jimvc ~]# exportfs -ra
    [root@jimvc ~]# showmount -e 127.0.0.1
    Export list for 127.0.0.1:
    /srv/nfs_template_images 192.168.20.0/24
    

端口列表

JimV 控制节点
端口范围
Redis TCP: 6379
JimV Web 控制台 TCP: 80, 443
WebVNC TCP: 151170 ~ 15900
NFS TCP: 111, 2049
UDP: 111, 2049
SSH TCP: 22
JimV 计算节点
端口范围
VNC TCP: 15900 ~ 20000
SSH TCP: 22

规划与建议


JimV 私有云规模定义
等级 虚拟机实例数量 备注
微小规模 1 ~ 20 一般常见于本地开发、测试环境。
中等规模 21 ~ 200 多数企业属于这个规模,会运行各种集群系统,数据库,以及生产业务系统。有完整的备份、监控机制。
大规模 201 ~ 500 一个环境,虚拟机多于 200 的,一般可算的上是大企业了。超过 500 虚拟机的,建议放在另一个独立的私有云区域中。


微小规模

JimV 集群微小规模规划建议
参考值 备注
网络环境 现有网络 现有的家庭、办公网络即可。
交换机 ≥ 千兆 普通交换机即可。
内存 128GB 计算节点可分配给虚拟机的内存合计 128GB 左右。
磁盘 ≥10TB 可分配给虚拟机的磁盘空间。
磁盘类型 SAS、STAT、SSD 对 IOPS 有要求的,必须 SSD。
阵列卡 ≥2GB, RAID5 机械盘必须加阵列卡缓存。

中等规模

节点配置

角色 CPU 内存 磁盘 阵列 网卡 带外管理(IPMI)
JimV-C (控制节点) ≥ 8 ≥ 16GB ≥ 500GB(SSD) RAID10 ≥ 10Gb x 2端口 x 4网卡 Y
JimV-N (计算节点) ≥ 64 ≥ 256GB ≥ 10TB(SSD) RAID10 ≥ 10Gb x 2端口 x 4网卡 Y
JimV-N (归档节点) ≥ 32 ≥ 256GB ≥ 60TB(SAS) RAID6 ≥ 10Gb x 2端口 x 4网卡 Y

交换机

角色 配置 功能特性 数量
业务网络 ≥ 24口万兆 VLAN、LACP、堆叠 2
私有云网络 ≥ 24口万兆 VLAN、LACP、堆叠 2
带外管理 ≥ 24口千兆 - 1

网络规划

私有云 IP 分类
类别 所需数量
虚拟机 IP 200+
节点业务网络 IP 30+
节点私有云网络 IP 30+
节点 IPMI 带外管理 IP 30+
交换机管理 IP 6+
起止 IP 子网掩码 用途 备注
172.16.0.1 ~ 254 255.255.255.0 虚拟机 分配整个 C 类子网,留有功能性子网划分的余地。
172.16.1.1 ~ 62 255.255.255.192 节点业务网络 IP 各组可用 IP 62 个。为了更有秩序,我们可以立约,「网关」及「控制节点」统一采用网段内最高位 IP。
172.16.1.65 ~ 126 节点私有云网络 IP
172.16.1.129 ~ 191 节点 IPMI 带外管理 IP
172.16.1.192 ~ 254 交换机管理 IP
提示:出于两方面,我们建议采用 172.16.0.0 网段来做规划。一、大概率上避免和办公网络 192.168.0.0 网段产生冲突;二、遵从业界习惯,此等规模及应用场景,该网段很适合。

大规模

节点配置

角色 CPU 内存 磁盘 阵列 网卡 带外管理(IPMI)
JimV-C (控制节点) ≥ 8 ≥ 16GB ≥ 500GB(SSD) RAID10 ≥ 10Gb x 2端口 x 4网卡 Y
独立模版服务器 ≥ 4 ≥ 8GB ≥ 500GB(SSD) RAID10 ≥ 10Gb x 2端口 x 4网卡 Y
JimV-N (计算节点) ≥ 64 ≥ 256GB ≥ 10TB(SSD) RAID10 ≥ 10Gb x 2端口 x 4网卡 Y
JimV-N (归档节点) ≥ 32 ≥ 256GB ≥ 60TB(SAS) RAID6 ≥ 10Gb x 2端口 x 4网卡 Y

交换机

角色 配置 功能特性 数量
业务网络 ≥ 48口万兆 VLAN、LACP、堆叠 2
私有云网络 ≥ 48口万兆 VLAN、LACP、堆叠 2
带外管理 ≥ 24口千兆 - 1

网络规划

私有云 IP 分类
类别 所需数量
虚拟机 IP 500+
节点业务网络 IP 100+
节点私有云网络 IP 100+
节点 IPMI 带外管理 IP 100+
交换机管理 IP 100+
起止 IP 子网掩码 用途 备注
10.10.0.1 ~ 3.254 255.255.252.0 虚拟机 分配 1022 个可用 IP,留有划分子网的余地。
10.10.4.1 ~ 254 255.255.255.0 节点业务网络 IP 各组可用 IP 254 个。为了更有秩序,我们可以立约,「网关」及「控制节点」统一采用网段内最高位 IP。
10.10.5.1 ~ 254 节点私有云网络 IP
10.10.6.1 ~ 254 节点 IPMI 带外管理 IP
10.10.7.1 ~ 254 交换机管理 IP

节点命名

环境编号 角色名称 节点序列
数字 C for controller, N for Node 数字 -
1 C 01 jimv.io
1 N 01 jimv.io
1 N 02 jimv.io
1 N n jimv.io
提示:数字域的宽度是可变的,可从 1 ~ n,n 可以是非个位数,如 99、999 (又如: 1n01.jimv.io, 1n001.jimv.io)。

集群热更新解决方案

提示:商业版服务。

FAQ


  1. 安装时遇到已存在的分区怎么办?
  2. Could Not Access KVM Kernel Module: Permission Denied
[root@kvmserver ~]# ll /dev/kvm
crw------- 1 root root 10, 232 Nov  1 08:44 /dev/kvm


[root@kvmserver ~]# chown root:kvm /dev/kvm
[root@kvmserver ~]# chmod 660 /dev/kvm
[root@kvmserver ~]# ll /dev/kvm
crw-rw---- 1 root kvm 10, 232 Nov  1 08:44 /dev/kvm


[root@kvmserver ~]# chmod 660 /dev/kvm
[root@kvmserver ~]# ll /dev/kvm crw-rw---- 1 root kvm 10, 232 Nov 1 08:44 /dev/kvm
[root@kvmserver ~]# systemctl restart libvirtd.service