‘壹’ ⑩ OpenStack高可用集群部署方案(train版)—OpenStack对接Ceph存储
参考Ceph官方安装文档
Openstack环境中，数据存储可分为临时性存储与永久性存储。
临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；
永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。
Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。
下图为cinder，glance与nova访问ceph集群的逻辑图：
ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；
openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；
实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；
写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。
CEPH PG数量设置与详细介绍
在创建池之前要设置一下每个OSD的最大PG 数量
PG PGP官方计算公式计算器
参数解释：
依据参数使用公式计算新的 PG 的数目:
PG 总数= ((OSD总数*100)/最大副本数)/池数
3x100/3/3=33.33 ;舍入到2的N次幕为32
openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置
在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致
glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装
cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装
将配置文件和密钥复制到openstack集群各节点
配置文件就是生成的ceph.conf；而密钥是 ceph.client.admin.keyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下
※Glance 作为openstack中镜像服务，支持多种适配器，支持将镜像存放到本地文件系统，http服务器，ceph分布式文件系统，glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储，存放在默认的路径 /var/lib/glance/images 下，当把本地的文件系统修改为分布式的文件系统ceph之后，原本在系统中镜像将无法使用，所以建议当前的镜像删除，部署好ceph之后，再统一上传至ceph中存储。
※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。
※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。
使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:
为 Glance、Nova、Cinder 创建专用的RBD Pools池
需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置
在cephnode01管理节点上操作 ；命名为：volumes，vms，images
记录：删除存储池的操作
在cephnode01管理节点上操作 ；
针对pool设置权限，pool名对应创建的pool
nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；
全部计算节点配置；以compute01节点为例；
Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。
写时复制技术(-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。
全部控制节点进行配置；以controller01节点为例；
只修改涉及glance集成ceph的相关配置
变更配置文件，重启服务
ceph官网介绍 QEMU和块设备
对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。
总结
将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。
全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置
全部计算节点重启cinder-volume服务；
任意openstack控制节点上查看;
在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；
为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph
任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G
查看创建好的卷
openstack创建一个空白 Volume，Ceph相当于执行了以下指令
从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-api.conf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。
一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除
在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令
任意控制节点操作；
查看快照详细信息
在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令
如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。
https://www.cnblogs.com/luohaixian/p/9344803.html
https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html
一般的，备份具有以下类型：
在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：
Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。
如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；
推荐在计算节点的配置文件中启用rbd cache功能；
为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；
相关配置只涉及全部计算节点ceph.conf文件的[client]与[client.cinder]字段，以compute163节点为例
全部计算节点配置 ceph.conf文件相关的 [client] 与 [client.cinder] 字段，以compute01节点为例；
在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；
在全部计算节点操作;
在全部计算节点操作，以compute01节点为例；
以下给出libvirtd.conf文件的修改处所在的行num
‘贰’ swift能干什么，不能干什么及相关概念
本帖最后由 pig2 于 2014-3-11 18:45 编辑
1.swift 是什么？
OpenStackObject Storage (Swift) 是开源的，用来创建可扩展的、冗余的、对象存储（引擎）。 swift使用标准化的服务器存储 PB 级可用数据。但它并不是文件系统 (file system) ，实时的数据存储系统(real-timedata storage system) 。 swift 看起来更像是一个长期的存储系统 (long term storage system) ，为了获得、调用、更新一些静态的永久性的数据。比如说，适合存储一些类型的数据：虚拟机镜像，图片存储，邮件存储，文档的备份。没有“单点”或者主控结点 (master point of control) ， swift看起来具有更强的扩展性、冗余和持久性。
2.swift 能做什么?
长于存储非结构化数据，大、小文件性能据说都很好（目前没有测试数据， adrian otto 说测试过10 亿个 1byte 数据）。
简单来说swift是开发苹果iOS的最快捷的计算机语言。
但是实际上swift已经可以进行一次性编译之后，同时实现在苹果iOS和安卓系统上的部署。能够实现这个功能的目前唯一的IDE是SCADE，一个德国的软件产品（目前处于试用状态）。
而且从2015年起，swift不但支持在手机前端的开发，还支持开发服务器后端的程序，比如使用PerfectlySoft出品的Perfect 2.0就可以确保swift在Linux Ubuntu 16.04上运行并实现一个Web服务器，访问各种数据库并调用远程访问。实际上Perfect 2.0是市面上最快的HTTP服务器，比php和java服务器都快得多。
3.swift 不能做什么?
Objects must be <5GB ： swift 1.2 之后已经对 object 的大小不做限制
Not a Filesystem ：不是文件系统。 swift 使用 REST API ，而不是使用传统意义上的文件操作命令， open(), read(), write(), seek(), 和 close() 等。
No File Locking ：干脆不支持“文件锁”。其实在 swift 中，“锁”的概念是没有必要的。
No Directory Hierarchies ：没有文件目录结构。 swift 可以模拟目录结构，但没有必要
Not a Database ：不是数据库。 swift 使用 account-container-object 的概念存储 object ，可以列表出指定 container 中的 object ，不支持 server 端的查询和处理操作。
‘叁’ openstack中，为什么要分离存储
增加额外持久化的空间。
非持久化存储用来运行操作系统，Cinder用来增加额外持久化的空间，Swift用于保存镜像和数据，也可用于大数据。
非持久存储开始，也称为临时存储。顾名思义，在OpenStack环境中使用虚拟机的用户在虚拟机终止后将丢失关联的磁盘。当租户在OpenStack集群上启动虚拟机时，Glance镜像的一份拷贝会下载到计算节点上。此镜像将作为Nova实例的第一个磁盘，它提供临时存储。一旦Nova实例终止，存储在该磁盘上的所有内容都将丢失。
‘肆’ 对象存储 - Swift
Swift 是 提供 高可用分布式对象存储 的服务，为nova组件提供虚拟机镜像存储服务。
在数据冗余方面，无需采用read【？】通过在软件层面，引入一致性散列技术和数据冗余，牺牲一定程度的数据一致性，来达到高可用和可伸缩性。
支持多租户模式下，容器和对象读写操作，适用于互联网应用场景下非结构化的数据存储，比如，华为云盘等。
以上术语之间的关系：
首先，可以创建多个account，每个account里可以创建多个容器container，每个container下可以创建多个object。 【container 之间不能相互嵌套】
Swift的介绍
Swift在物理结构上往往会存储对象的多个副本，通常按照物理位置的特点，将对象拷贝到不同的物理位置的特点，将对象拷贝到不同的物理位置上，来保证数据的可靠性。
以上术语之间的关系：
可以根据不同的物理位置，有不同的Region，不同的region代表两个不同的城市，然后在同一个region下，为冗余的考虑，设置了多个可用区，zone。每一个可用区可以有不同的存储节点，node；在更大的架构上，两个region可以构成一个cluster。
首先，用户提出一个对象存储服务的申请，由Swift的API接受和处理，收到之后，先去找 Keystone 认证节点，对用户的身份进行认证。
认证通过后，将请求提交给名称为Swift Proxy的组件，Swift Proxy是Swift 的代理，由Swift Proxy来确定究竟应该将存储对象放在哪一个满足存储要求的存储节点上。最终将对象存储到指定的存储节点上即可。最终将返回结果返回给用户。
‘伍’ swift和cinder的区别
你好
关于cinder和swift的区别：
cinder与swift各自的用途是什么？
cinder是块存储，用来给虚拟机挂扩展硬盘，就是将cinder创建出来的卷，挂到虚拟机里。cinder是OpenStack到F版，将之前在Nova中的部分持久性块存储功能（Nova-Volume）分离了出来，独立为新的组件Cinder
swift是一个系统，可以上传和下载，里面一般存储的是不经常修改的内容，比如用于存储 VM 镜像、备份和归档以及较小的文件，例如照片和电子邮件消息。更倾向于系统的管理
块存储具有安全可靠、高并发大吞吐量、低时延、规格丰富、简单易用的特点，适用于文件系统、数据库或者其他需要原始块设备的系统软件或应用。
上面其实很多感觉不是太直观，个人认为cinder可以理解为个人电脑的移动硬盘，它可以随意格式化，随时存取。
对于swift可以作为网盘，相信对于云技术的同学来说，网盘应该是不陌生的，如果把一些经常用的内容，放到网盘中是非常不方便的。
Swift 还是 Cinder？何时使用以及使用哪一种？
那么，应该使用哪一种对象存储：Swift 还是 Cinder？答案取决于您的应用程序。如果需要运行商用或遗留应用程序，那么很少需要进行这种选择。这些应用程序不可能被编码来利用 Swift API，但您可以轻松挂载一个 Cinder 磁盘，它表现得就像是直接将存储附加到大多数应用程序。
当然，您还可以对新应用程序使用 Cinder，但是不会从 Swift 自动附带的弹性和冗余中获益。如果编程人员面对这样的挑战，那么 Swift 的分布式可扩展架构是一个值得考虑的特性。
单点故障
Swift 架构是分布式的，可防止所有单点故障和进行水平扩展。
cinder存在单点故障还未解决
更多内容，以下来自ibm资料库：
块存储 (Cinder)
Cinder 是 OpenStack Block Storage 的项目名称；它为来宾虚拟机 (VM) 提供了持久块存储。对于可扩展的文件系统、最大性能、与企业存储服务的集成以及需要访问原生块级存储的应用程序而言，块存储通常是必需的。
系统可以暴露并连接设备，随后管理服务器的创建、附加到服务器和从服务器分离。应用程序编程接口 (API) 也有助于加强快照管理，这种管理可以备份大量块存储。
对象存储 (Swift)
Swift 是两种产品中较为成熟的一个：自 OpenStack 成立以来一直是一个核心项目。Swift 的功能类似于一个分布式、可访问 API 的存储平台，可直接将它集成到应用程序中，或者用于存储 VM 镜像、备份和归档以及较小的文件，例如照片和电子邮件消息。
Object Store 有两个主要的概念：对象和容器。
对象就是主要存储实体。对象中包括与 OpenStack Object Storage 系统中存储的文件相关的内容和所有可选元数据。数据保存为未压缩、未加密的格式，包含对象名称、对象的容器以及键值对形式的所有元数据。对象分布在整个数据中心的多个磁盘中，Swift 可以借此确保数据的复制和完整性。分布式操作可以利用低成本的商用硬件，同时增强可扩展性、冗余性和持久性。
容器类似于 Windows® 文件夹，容器是用于存储一组文件的一个存储室。容器无法被嵌套，但一个租户可以供创建无限数量的容器。对象必须存储在容器中，所以您必须至少拥有一个容器来使用对象存储。
与传统的文件服务器不同，Swift 是横跨多个系统进行分布的。它会自动存储每个对象的冗余副本，从而最大程度地提高可用性和可扩展性。对象版本控制提供了防止数据意外丢失或覆盖的额外保护
希望对你有帮助
‘陆’ 什么是SWIFT
BOFAUS3N。
SWIFT信用证是指凡通过SWIFT系统开立或予以通知的信用证。在国际贸易结算中，SWIFT信用证是正式的、合法的，被信用证各当事人所接受的、国际通用的信用证。
采用SWIFT信用证必须遵守SWIFT的规定，也必须使用SWIFT手册规定的代号（Tag），而且信用证必须遵循国际商会2007年修订的《跟单信用证统一惯例》各项条款的规定。
在SWIFT信用证可省去开证行的承诺条款（Undertaking Clause），但不因此免除银行所应承担的义务。SWIFT信用证的特点是快速、准确、简明、可靠。
SWIFT的特点
1.SWIFT需要会员资格。我国的大多数专业银行都是其成员。
2.SWIFT的费用较低，高速度。同样多的内容，SWIFT的费用只有TELEX（电传）的18%左右，只有CABLE（电报）的2.5%左右。
3.SWIFT的安全性较高；。SWIFT的密押比电传的密押可靠性强、保密性高，且具有较高的自动化。
4.SWIFT的格式具有标准化。对于SWIFT电文，SWIFT组织有着统一的要求和格式。
用户包括三种类型，分别为：分员（股东）、子会员以及普通用户。会员可享受所有的SWIFT服务；普通用户只享有与其业务相关的服务，主要来自于证券行业，如证券中介、投资管理公司、基金管理公司等。
‘柒’ 在openstack虚拟机和swift什么关系
OpenStack其实有三个与存储相关的组件，这三个组件被人熟知的程度和组件本身出现时间的早晚是相符的，按熟悉程度排列如下：Swift——提供对象存储（ObjectStorage），在概念上类似于AmazonS3服务，不过swift具有很强的扩展性、冗余和持久性，
‘捌’ Swift模块化最佳实践
利用cocoapod模块化：
国外大神项目： iOS-Molar-Architecture
详情： Medium Post about Molar Architecture
本人项目地址： MolarApp
实践中把各个模块分离开来，例如：Networking（网络请求层），Base（基础类），Common（公共类），MoleA（模块A），MoleB（模块B），MoleAB（模块AB，由模块A和模块B组成的模块，因为模块A和模块B不能互相引用），各个模块都可单独运行用来测试，有利于大项目多人协作开发。
实践中若有其他App，例如商家端/管理端，可另由各个模块组成一个新app，更能快速开发。
个人认为也有利于专业的外包型公司，可做成模版，能非常快速的在原有项目基础上开发新app，实现模块化工厂似的项目开发。
‘玖’ swift存储提供的服务有哪些
OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一，被称为对象存储，提供了强大的扩展性、冗余和持久性。对象存储，用于永久类型的静态数据的长期存储。
Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务，并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一，为其 Nova 子项目提供虚机镜像存储服务。Swift 构筑在比较便宜的标准硬件存储基础设施之上，无需采用 RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解决互联网的应用场景下非结构化数据存储问题
‘拾’ ios swift中采用什么持久化数据
1、plist文件（属性列表），通常用于储存用户设置，也可以用于存储捆绑的信息； 2、preference（偏好设置），常用于保存少量数据； 3、NSKeyedArchiver（归档），将内存中的对象实例保存成binary到磁盘并且可以逆向这个过程用来保存用户操作状态等； 4、SQLite 3，使用数据库进行存储； 5、CoreData，它提供了对象-关系映射(ORM)的功能，即能够将OC对象转化成数据，保存在SQLite数据库文件中，也能够将保存在数据库中的数据还原成OC对象。