分布式存储

分布式存储是将数据分散到不同的存储单元(Storage Unit)上。它满足在线横向扩容(Scale-Out)特性,可实现数据不断增长。目前分布式存储在云计算虚拟化场景中,主要用于存放云盘数据,主要以提供标准POSIX文件和块设备这两类访问方式。

为防止单点或多点失效后数据不可用或丢失,分布式存储实现数据冗余机制,例如:副本(Replication)和纠删码(Erasure Coding):
  • 副本即把一份原始数据复制若干份,再把相同的数据分散到不同的存储单元,与传统阵列技术RAID 10相似;
  • 纠删码即把原始数据分割成片段,把冗余数据块扩展和编码后分散到不同的存储单元,与传统阵列技术RAID 5/6相似。
    说明: 纠删码相对副本而言,其空间有效利用率将提高,通常达到80%,而副本只能达到50%(两副本)或33%(三副本);由于纠删码存在写惩罚,故副本的效能相对较高。

POSIX(Portable Operating System Interface)为可移植操作系统接口,是IEEE为各种UNIX操作系统上运行的软件定义一系列API标准总称。POSIX文件访问是目前支持最多的访问方式,应用程序能很方面地进行读写操作。不同的分布式存储实现独自的文件系统挂载方式(mount),允许多客户端读写相同目录,提供标准的POSIX文件访问。常见支持POSIX文件访问的开源分布式存储有MooseFS、GlusterFS和Lustre。

目前,ZStack在KVM虚拟化场景支持分布式存储POSIX文件访问和Ceph RBD块设备访问。


分布式存储-文件共享

逻辑架构

KVM虚拟化场景下,分布式存储POSIX文件访问的逻辑架构如图 1所示:
图 1. KVM虚拟化场景分布式存储POSIX文件访问


选择分布式存储-文件共享

对于分布式存储POSIX文件访问类型,需要预先在KVM主机节点手动进行挂载操作。若需要KVM主机开机后自动挂载文件系统,管理员可根据存储挂载的操作方式,填写自动挂载信息到/etc/fstab

ZStack与此类分布式存储对接时,无需在分布式存储节点里安装代理服务,存储空间使用情况,以及云盘创建、快照和删除等操作将在KVM主机发起。云盘格式以RAW和QCOW2类型存放。如图 2所示:
图 2. ZStack主存储-分布式存储共享访问


分布式存储目录信息

分布式存储POSIX文件访问的目录结构,与NAS存储相似。ZStack在共享存储路径创建以下文件目录:
  • Imagecache:镜像缓存目录,存放模板和ISO镜像的缓存。
  • RootVolumes:系统云盘目录,存放云主机系统云盘。
  • DataVolumes:数据云盘目录,存储云主机数据云盘。

与NAS存储类似,管理员可通过云盘路径查找具体所在位置。

迁移特性

分布式存储文件共享访问场景,支持云主机在线迁移。

高可用特性

在分布式存储文件共享访问场景,支持云主机高可用特性。
  1. 在ZStack左侧系统菜单栏点击设置 > 全局设置按钮,在全局设置页面将配置云主机高可用全局开关状态调整为ture状态。如图 3所示:
    图 3. 设置云主机高可用开关


  2. 点击云资源池 > 云主机云主机界面点击云主机名称,设定云主机高可用级别为NeverStop。如图 4所示:
    图 4. 修改高可用级别


与NAS共享存储相似,ZStack开启高可用模式后,KVM主机对共享目录定期写入,并把检测信息通知给管理服务,以提供高可用切换机制判断依据。


分布式存储-块设备

块设备是将信息存储在有固定地址固定大小的块中。例如:常见类似/dev/sda/dev/sdb是块设备,而经过分区/dev/sdb1/dev/sdb2也属于块设备,LVM卷管理提供的逻辑卷也属于块设备。

云盘在云主机内部表现形式为块设备,虚拟化管理程序(KVM)可将外部的块设备直接映射给云主机,当进行大量IO读写时,可减少中间文件系统的性能损耗,提高读写效能,获得更低的延迟性能。


Ceph分布式存储

Ceph分布式存储存储方案

ZStack支持Ceph分布式存储的RBD块存储方案,同时支持主存储和镜像服务器。如图 1所示:
图 1. KVM虚拟化场景Ceph RBD块存储访问


添加Ceph RBD块存储

主存储和镜像服务器添加Ceph RBD块存储。如图 2所示:
图 2. ZStack添加Ceph RBD


存储对接

ZStack与Ceph分布式存储对接时,填写Ceph MON节点的IP地址和root密码,将安装主存储代理服务和镜像服务器代理服务,负责对Ceph的存储空间使用情况和其他状态的监控,以及发起RBD镜像的创建、快照和删除等操作。如图 3所示:
图 3. 主存储-分布式存储Ceph RBD访问原理


生成RBD块存储的云盘XML访问格式

添加MON过程中,ZStack将创建访问密钥,该密钥提供KVM主机用于访问RBD块镜像。ZStack根据提供的MON节点IP地址,在KVM主机上创建云主机时,将生成RBD块存储的云盘XML访问格式。如图 4所示:
图 4. ZStack云主机使用RBD作为云盘


查看存储池

ZStack与Ceph对接过程中,默认创建若干存储池,查看方式:ceph osd lspools
  • pri-c-xxxxxx: 镜像缓存目录,存放模板和ISO镜像的缓存。
  • pri-v-r-xxxxx:系统云盘目录,存放云主机系统云盘。
  • pri-v-d-xxxxx:数据云盘目录,存储云主机数据云盘。
  • bak-t-xxxx: 镜像服务器目录,存放模板和ISO镜像。

默认情况下,ZStack添加Ceph作为主存储时,将会创建三个存储池(Pool)。若管理员已经在Ceph中创建存储池,可通过填写镜像缓存池名数据云盘池名根云盘池名的输入框,指定数据存放在对应的数据池。

查找云盘

基于Ceph存储池的云盘创建后,其位置在信息栏的安装路径。管理员需要通过rbd命令在Ceph存储池查找。例如,云盘路径为:ceph://pri-v-d-5c37402e7f5c4cdd9a15d9212847bb59/db9d0dd57a7b46258a34a6f20ab86aff

在Ceph MON节点查找的方式如图 5所示:
图 5. 在Ceph存储池查找云盘


迁移特性

在Ceph分布式存储RBD块存储场景,支持云主机在线迁移。

高可用特性

在Ceph分布式存储RBD块存储场景,支持高可用特性。

学习路径

ZStack Cloud 产品学习路径

快速梳理文档,点击相应文本链接,快速跳转到相应文档的页面,学习 ZStack Cloud 产品。

我知道了

升级提醒

若您选择升级至4.0.0及之后版本,请注意以下功能调整:

1. 云路由器全面升级为VPC路由器,云路由网络全面升级为VPC网络,不再单独设云路由器页面。升级全程无感知,相关业务不受任何影响。

2. 企业管理账号体系取代用户组与用户,不再单独设用户/用户组页面,不可再使用用户/用户组账号登录云平台。升级前,请先将“用户组与用户”纳管的账号数据妥善迁移至“企业管理”纳管,再执行升级操作。注意:对于admin创建并具备admin权限的用户账号同步取消,如有需要,可使用企业管理账号体系中的平台管理员实现相同功能。

3. 调整AD/LDAP与账户的对接管理方式,统一由企业管理纳管,不再单独设AD/LDAP页面。升级前,请先将“账户”对接纳管的AD/LDAP账号数据妥善迁移至“企业管理”纳管,再执行升级操作。

如对上述升级提醒有任何疑问或需要升级帮助,请联系ZStack官方技术支持

下载ZStack企业版

您已填写过基本信息?点击这里

姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

下载链接将会通过邮件形式发送至您的邮箱,请谨慎填写。

下载ZStack企业版

还未填写过基本信息?点击这里

邮箱或手机号码格式错误
验证手机号
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
登录观看培训视频
仅对注册用户开放,请 登录 或 填写资料 观看培训视频
填写资料

商务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

商务联系:

sales@zstack.io
ZStack认证培训咨询
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

商务咨询:

400-962-2212 转 1

商务联系:

channel@zstack.io
申请ZStack多机版
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

商务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

商务联系:

sales@zstack.io
培训认证合作伙伴申请
姓名应该不少于2个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
邮箱格式错误
城市名称不应该少于2个字符
公司名称不应该少于4个字符
职位名称不应该少于2个字符

商务咨询:

400-962-2212 转 1

商务联系:

channel@zstack.io
ZStack&工信人才联合证书申请
已获得ZStack原厂证书
未获得ZStack原厂证书
请填写您的基本信息
姓名应该不少于2个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
邮箱格式错误
城市名称不应该少于2个字符
公司/学校名称不应该少于4个字符
证书类型
ZCCT
ZCCE
ZCCA
ZCPC-ISP
申请ZStack&工信人才联合证书须支付工本费,是否可以接受

商务咨询:

400-962-2212 转 1

商务联系:

channel@zstack.io

下载链接已发送至您的邮箱。

如未收到,请查看您的垃圾邮件、订阅邮件、广告邮件。 当您收到电子邮件后,请点击 URL 链接,以完成下载。

下载链接已发送至您的邮箱。

如未收到,请查看您的垃圾邮件、订阅邮件、广告邮件。
或点击下方URL链接 (IE内核浏览器请右键另存为), 完成下载:

感谢您使用 ZStack 产品和服务。

成功提交申请。

我们将安排工作人员尽快与您取得联系。

感谢您使用 ZStack 产品和服务。

立即体验

联系我们

商务咨询
400-962-2212 转 1
售后咨询
400-962-2212 转 2

回到顶部

产品试用申请
请选择您要试用的产品
ZStack Cloud 企业版
ZStack Ceph分布式存储
ZStack Cloud 混合云版
ZStack Cube 超融合一体机
ZStack Cloud 基础版
ZStack Mini 边缘计算一体机
ZStack Cloud 标准版
ZStack CMP 多云管理平台
ZStack 信创云平台
ZStack Zaku 容器云平台
请填写您的基本信息
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

商务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

商务联系:

sales@zstack.io

成功提交申请。

我们将安排工作人员尽快与您取得联系。

感谢您使用 ZStack 产品和服务。