当前位置:首页 » 服务存储 » swift本地持久化存储
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

swift本地持久化存储

发布时间: 2022-12-15 00:52:34

‘壹’ Swift 计算属性、存储属性

存储型属性就是一般意义上理解的可以进行赋值和取值的变量。
var title = "学科"
计算型属性,字面意思为计算型的属性,这种属性没法存储值

willSet能获取将要赋给属性的值newValue

初始化方法生成对象,并不会触发属性的willSet didSet方法

改用KVC的方式给对象初始化,就可以调用didSet了:

‘贰’ ⑩ OpenStack高可用集群部署方案(train版)—OpenStack对接Ceph存储

参考Ceph官方安装文档

Openstack环境中,数据存储可分为临时性存储与永久性存储。

临时性存储:主要由本地文件系统提供,并主要用于nova虚拟机的本地系统与临时数据盘,以及存储glance上传的系统镜像;

永久性存储:主要由cinder提供的块存储与swift提供的对象存储构成,以cinder提供的块存储应用最为广泛,块存储通常以云盘的形式挂载到虚拟机中使用。

Openstack中需要进行数据存储的三大项目主要是nova项目(虚拟机镜像文件),glance项目(共用模版镜像)与cinder项目(块存储)。

下图为cinder,glance与nova访问ceph集群的逻辑图:

ceph与openstack集成主要用到ceph的rbd服务,ceph底层为rados存储集群,ceph通过librados库实现对底层rados的访问;

openstack各项目客户端调用librbd,再由librbd调用librados访问底层rados;
实际使用中,nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd;cinder与glance可直接调用librbd;

写入ceph集群的数据被条带切分成多个object,object通过hash函数映射到pg(构成pg容器池pool),然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd(osd是基于文件系统的物理存储设备,如xfs,ext4等)。

CEPH PG数量设置与详细介绍

在创建池之前要设置一下每个OSD的最大PG 数量

PG PGP官方计算公式计算器

参数解释:

依据参数使用公式计算新的 PG 的数目:
PG 总数= ((OSD总数*100)/最大副本数)/池数
3x100/3/3=33.33 ;舍入到2的N次幕为32

openstack集群作为ceph的客户端;下面需要再openstack集群上进行ceph客户端的环境配置

在openstack所有控制和计算节点安装ceph Octopus源码包,centos8有默认安装,但是版本一定要跟连接的ceph版本一致

glance-api 服务运行在3个控制节点, 因此三台控制节点都必须安装

cinder-volume 与 nova-compute 服务运行在3个计算(存储)节点; 因此三台计算节点都必须安装

将配置文件和密钥复制到openstack集群各节点

配置文件就是生成的ceph.conf;而密钥是 ceph.client.admin.keyring ,当使用ceph客户端连接至ceph集群时需要使用的密默认密钥,这里我们所有节点都要复制,命令如下

※Glance 作为openstack中镜像服务,支持多种适配器,支持将镜像存放到本地文件系统,http服务器,ceph分布式文件系统,glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储,存放在默认的路径 /var/lib/glance/images 下,当把本地的文件系统修改为分布式的文件系统ceph之后,原本在系统中镜像将无法使用,所以建议当前的镜像删除,部署好ceph之后,再统一上传至ceph中存储。

※Nova 负责虚拟机的生命周期管理,包括创建,删除,重建,开机,关机,重启,快照等,作为openstack的核心,nova负责IaaS中计算重要的职责,其中nova的存储格外重要,默认情况下,nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下,使用本地的存储空间。使用这种方式带来的好处是:简单,易实现,速度快,故障域在一个可控制的范围内。然而,缺点也非常明显:compute出故障,上面的虚拟机down机时间长,没法快速恢复,此外,一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性,将无法使用,对于后期的云平台建设,有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova,更准确来说是对接 QEMU-KVM/libvirt,因为 librbd 早已原生集成到其中。

※Cinder 为 OpenStack 提供卷服务,支持非常广泛的后端存储类型。对接 Ceph 后,Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备,当 Volume 被虚拟机挂载后,Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后,Cinder 的 Backup 服务也可以对接 Ceph,将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。

使用ceph的rbd接口,需要通过libvirt,所以需要在客户端机器上安装libvirt和qemu,关于ceph和openstack结合的结构如下,同时,在openstack中,需要用到存储的地方有三个:

为 Glance、Nova、Cinder 创建专用的RBD Pools池

需要配置hosts解析文件,这里最开始已经配置完成,如未添加hosts解析需要进行配置

在cephnode01管理节点上操作 ;命名为:volumes,vms,images

记录:删除存储池的操作

在cephnode01管理节点上操作

针对pool设置权限,pool名对应创建的pool

nova-compute与cinder-volume都部署在计算节点 ,不必重复操作,如果计算节点与存储节点分离需要分别推送;

全部计算节点配置;以compute01节点为例;

Glance 为 OpenStack 提供镜像及其元数据注册服务,Glance 支持对接多种后端存储。与 Ceph 完成对接后,Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了,可以同时对接多个存储提供商。

写时复制技术(-on-write) :内核只为新生成的子进程创建虚拟空间结构,它们复制于父进程的虚拟空间结构,但是不为这些段分配物理内存,它们共享父进程的物理空间,当父子进程中有更改相应的段的行为发生时,再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。

全部控制节点进行配置;以controller01节点为例;
只修改涉及glance集成ceph的相关配置

变更配置文件,重启服务

ceph官网介绍 QEMU和块设备

对接 Ceph 之后,通常会以 RAW 格式创建 Glance Image,而不再使用 QCOW2 格式,否则创建虚拟机时需要进行镜像复制,没有利用 Ceph RBD COW 的优秀特性。

总结

将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案,既能够保障镜像数据的安全性,同时glance和nova在同个存储池中,能够基于-on-write(写时复制)的方式快速创建虚拟机,能够在秒级为单位实现vm的创建。

全部计算节点进行配置; 以compute01节点为例;只修改glance集成ceph的相关配置

全部计算节点重启cinder-volume服务;

任意openstack控制节点上查看;

在任意控制节点为cinder的ceph后端存储创建对应的type,在配置多存储后端时可区分类型;

为ceph type设置扩展规格,键值 volume_backend_name ,value值 ceph

任意控制节点上创建一个1GB的卷 ;最后的数字1代表容量为1G

查看创建好的卷

openstack创建一个空白 Volume,Ceph相当于执行了以下指令

从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能,这是通过 glance-api.conf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location,此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。

一直存在的cirros_qcow2镜像为对接ceph之前的镜像,现在已无法使用,所以将之删除

在openstack上从镜像创建一个Volume,Ceph相当于执行了以下指令

任意控制节点操作;

查看快照详细信息

在openstack上对镜像的卷创建快照,Ceph相当于执行了以下指令

如果说快照时一个时间机器,那么备份就是一个异地的时间机器,它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。

https://www.cnblogs.com/luohaixian/p/9344803.html

https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html

一般的,备份具有以下类型:

在虚拟磁盘映像的计算节点上使用本地存储有一些缺点:

Nova 为 OpenStack 提供计算服务,对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova,更准确来说是对接 QEMU-KVM/libvirt ,因为 librbd 早已原生集成到其中。

如果需要从ceph rbd中启动虚拟机,必须将ceph配置为nova的临时后端;
推荐在计算节点的配置文件中启用rbd cache功能;
为了便于故障排查,配置admin socket参数,这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决;
相关配置只涉及全部计算节点ceph.conf文件的[client]与[client.cinder]字段,以compute163节点为例

全部计算节点配置 ceph.conf文件相关的 [client] 与 [client.cinder] 字段,以compute01节点为例;

在全部计算节点配置nova后端使用ceph集群的vms池,以compute01节点为例;

在全部计算节点操作;

在全部计算节点操作,以compute01节点为例;
以下给出libvirtd.conf文件的修改处所在的行num

‘叁’ swift之存储属性和计算属性

swift中的属性分为 两 类: 存储 属性和 计算 属性
1.存储属性(包含 实例 存储属性和 类型 存储属性):把常量或变量的值作为实例的一部分,可以直接读写赋值。变量可用 var 或者 let 关键字定义,用 var 定义的属性为 变量 存储属性,用 let 定义的属性为 常量 存储属性

2.计算属性:不直接存储值,本身只起 计算作用 ,没有 具体 的值,提供一个 getter 来获取值,类似于 方法 的功能

存储属性和计算属性比较:

‘肆’ swift和cinder的区别

你好
关于cinder和swift的区别:
cinder与swift各自的用途是什么?
cinder是块存储,用来给虚拟机挂扩展硬盘,就是将cinder创建出来的卷,挂到虚拟机里。cinder是OpenStack到F版,将之前在Nova中的部分持久性块存储功能(Nova-Volume)分离了出来,独立为新的组件Cinder

swift是一个系统,可以上传和下载,里面一般存储的是不经常修改的内容,比如用于存储 VM 镜像、备份和归档以及较小的文件,例如照片和电子邮件消息。更倾向于系统的管理

块存储具有安全可靠、高并发大吞吐量、低时延、规格丰富、简单易用的特点,适用于文件系统、数据库或者其他需要原始块设备的系统软件或应用。

上面其实很多感觉不是太直观,个人认为cinder可以理解为个人电脑的移动硬盘,它可以随意格式化,随时存取。
对于swift可以作为网盘,相信对于云技术的同学来说,网盘应该是不陌生的,如果把一些经常用的内容,放到网盘中是非常不方便的。

Swift 还是 Cinder?何时使用以及使用哪一种?
那么,应该使用哪一种对象存储:Swift 还是 Cinder?答案取决于您的应用程序。如果需要运行商用或遗留应用程序,那么很少需要进行这种选择。这些应用程序不可能被编码来利用 Swift API,但您可以轻松挂载一个 Cinder 磁盘,它表现得就像是直接将存储附加到大多数应用程序。
当然,您还可以对新应用程序使用 Cinder,但是不会从 Swift 自动附带的弹性和冗余中获益。如果编程人员面对这样的挑战,那么 Swift 的分布式可扩展架构是一个值得考虑的特性。

单点故障
Swift 架构是分布式的,可防止所有单点故障和进行水平扩展。
cinder存在单点故障还未解决

更多内容,以下来自ibm资料库:

块存储 (Cinder)
Cinder 是 OpenStack Block Storage 的项目名称;它为来宾虚拟机 (VM) 提供了持久块存储。对于可扩展的文件系统、最大性能、与企业存储服务的集成以及需要访问原生块级存储的应用程序而言,块存储通常是必需的。
系统可以暴露并连接设备,随后管理服务器的创建、附加到服务器和从服务器分离。应用程序编程接口 (API) 也有助于加强快照管理,这种管理可以备份大量块存储。

对象存储 (Swift)

Swift 是两种产品中较为成熟的一个:自 OpenStack 成立以来一直是一个核心项目。Swift 的功能类似于一个分布式、可访问 API 的存储平台,可直接将它集成到应用程序中,或者用于存储 VM 镜像、备份和归档以及较小的文件,例如照片和电子邮件消息。

Object Store 有两个主要的概念:对象和容器。

对象就是主要存储实体。对象中包括与 OpenStack Object Storage 系统中存储的文件相关的内容和所有可选元数据。数据保存为未压缩、未加密的格式,包含对象名称、对象的容器以及键值对形式的所有元数据。对象分布在整个数据中心的多个磁盘中,Swift 可以借此确保数据的复制和完整性。分布式操作可以利用低成本的商用硬件,同时增强可扩展性、冗余性和持久性。

容器类似于 Windows® 文件夹,容器是用于存储一组文件的一个存储室。容器无法被嵌套,但一个租户可以供创建无限数量的容器。对象必须存储在容器中,所以您必须至少拥有一个容器来使用对象存储。

与传统的文件服务器不同,Swift 是横跨多个系统进行分布的。它会自动存储每个对象的冗余副本,从而最大程度地提高可用性和可扩展性。对象版本控制提供了防止数据意外丢失或覆盖的额外保护
希望对你有帮助

‘伍’ ios swift中采用什么持久化数据

1、plist文件(属性列表),通常用于储存用户设置,也可以用于存储捆绑的信息; 2、preference(偏好设置),常用于保存少量数据; 3、NSKeyedArchiver(归档),将内存中的对象实例保存成binary到磁盘并且可以逆向这个过程用来保存用户操作状态等; 4、SQLite 3,使用数据库进行存储; 5、CoreData,它提供了对象-关系映射(ORM)的功能,即能够将OC对象转化成数据,保存在SQLite数据库文件中,也能够将保存在数据库中的数据还原成OC对象。

‘陆’ swift能干什么,不能干什么及相关概念

本帖最后由 pig2 于 2014-3-11 18:45 编辑
1.swift 是什么?
OpenStackObject Storage (Swift) 是开源的,用来创建可扩展的、冗余的、对象存储(引擎)。 swift使用标准化的服务器存储 PB 级可用数据。但它并不是文件系统 (file system) ,实时的数据存储系统(real-timedata storage system) 。 swift 看起来更像是一个长期的存储系统 (long term storage system) ,为了获得、调用、更新一些静态的永久性的数据。比如说,适合存储一些类型的数据:虚拟机镜像,图片存储,邮件存储,文档的备份。没有“单点”或者主控结点 (master point of control) , swift看起来具有更强的扩展性、冗余和持久性。

2.swift 能做什么?
长于存储非结构化数据,大、小文件性能据说都很好(目前没有测试数据, adrian otto 说测试过10 亿个 1byte 数据)。
简单来说swift是开发苹果iOS的最快捷的计算机语言。
但是实际上swift已经可以进行一次性编译之后,同时实现在苹果iOS和安卓系统上的部署。能够实现这个功能的目前唯一的IDE是SCADE,一个德国的软件产品(目前处于试用状态)。
而且从2015年起,swift不但支持在手机前端的开发,还支持开发服务器后端的程序,比如使用PerfectlySoft出品的Perfect 2.0就可以确保swift在Linux Ubuntu 16.04上运行并实现一个Web服务器,访问各种数据库并调用远程访问。实际上Perfect 2.0是市面上最快的HTTP服务器,比php和java服务器都快得多。

3.swift 不能做什么?

Objects must be <5GB : swift 1.2 之后已经对 object 的大小不做限制
Not a Filesystem :不是文件系统。 swift 使用 REST API ,而不是使用传统意义上的文件操作命令, open(), read(), write(), seek(), 和 close() 等。
No File Locking :干脆不支持“文件锁”。其实在 swift 中,“锁”的概念是没有必要的。
No Directory Hierarchies :没有文件目录结构。 swift 可以模拟目录结构,但没有必要
Not a Database :不是数据库。 swift 使用 account-container-object 的概念存储 object ,可以列表出指定 container 中的 object ,不支持 server 端的查询和处理操作。

‘柒’ Swift下UserDefaults的常见使用和注意事项

UserDefaults 适合存储轻量级的本地客户端数据,这是一种常见的数据持久化方式。(建议:如果是存储大批量的数据不要使用这个方法)

这个方法可以基于iCloud做跨设备的UserDefaults数据存储,参考 NSUbiquitousKeyValueStore

这个方法可以获得当前App存储的所有UserDefaults数据

这个通知可以在UserDefault发生改变时发出。可以考虑当这个通知发生时全局进行同步数据。 UserDefaults.didChangeNotification

在iOS7或者7以下,一般只会在app返回background的时候才会保存数据到disk,但是iOS8以及以上之后app都会在极其短的周期内去保存数据,除非极其频繁且大规模地进行写入的操作,一般而言都会在可接受的时间内完成这项操作。

在iOS8以及以上,读数据大约需要0.5微妙的时间,但是写入数据需要10倍左右的时间,需要将key-valu通过 NSPropertyListSerialization 转化成plist data

总而言之,iOS8以及以上的系统内不太建议使用 synchronize() 方法

enum for Keys used to store data

Save in UserDefaults where you want

Retrieve data anywhere in app

Remove Values

利用UserDefaults我们可以方便地存取一些简单的资料,然而当我们存取的资料类型是Int,Bool,Float,Double时,却会遇到一个特别的问题。因为她们回传的类型不是optional,所以不会返回nil,而是一个预设的值,比如0,false之类。可能我们存在一些需求,希望没有存储值时返回nil,那么有两种方式可以解决这个问题。

这个方法的返回值是不可选的,会有默认值

更多参考:

有些是返回可选类型的

使用register(defaults:)设定找不到key对应的value时回传的预设值,比如nil

register设定的内容是暂存的,并没有存档,所以每次App启动时都要再设定一次。(并且没有设为nil这种操作,设为nil意味着取消该项的设置,后面取值时依旧会采用默认值)

通过回传Any?的 object(forKey:) 搭配 as? 转型判断

这个方法返回值是可选的

比如:

由于回传的类型是Any?,所以找不到key number对应的value时会回传nil

参考链接: UserDefaults预设值

value(forKey:) 是KVC的语法,它并不是一个UserDefaults的直接方法。所以最好不要在 UserDefaults

Never use value(forKey:) on UserDefaults or Dictionary or any other class unless you have a clearly understood need to use key-value coding to get the desired result.

When you don't have such a need, use the standard access methods provided by UserDefaults object(forKey:)

再补充一点:
The value(forKey:) is not a UserDefaults-only method. It is enabled by the NSKeyValueCoding , which, According to Apple's Documentation.
NSKeyValueCoding is an informal protocol that objects adopt to provide indirect access to their properties. When an object is key-value coding compliant, its properties are addressable via string parameters through a concise, uniform messaging interface.

It happens that UserDefaults is NSKeyValueCoding compliant, so people have started (not necessarily in the correct way) using it for accessing UserDefaults.

简而言之,UserDefaults也是遵循了 NSKeyValueCoding 协议的,所以使用 value(forKey:) 也是可以获取到数据,但是不建议这种用法。在 UserDefaults 里面最好使用 object(forKey:) ,这是标准用法

参考链接: 在UserDefaults中object(forKey:)和value(forKey:)的区别

NSUserDefaults — A Swift Introction
[NSUserDefaults synchronize] is Planned to be Deprecated

以上大多是一些需要注意的问题。关于Swift的常见用法,已经有很多博客在详述了,可以参考: Swift:UserDefaults协议(Swift视角下的泛字符串类型API)

‘捌’ 对象存储 - Swift

Swift 是 提供 高可用分布式对象存储 的服务,为nova组件提供虚拟机镜像存储服务。
在数据冗余方面,无需采用read【?】通过在软件层面,引入一致性散列技术和数据冗余,牺牲一定程度的数据一致性,来达到高可用和可伸缩性。
支持多租户模式下,容器和对象读写操作,适用于互联网应用场景下非结构化的数据存储,比如,华为云盘等。

以上术语之间的关系:

首先,可以创建多个account,每个account里可以创建多个容器container,每个container下可以创建多个object。 【container 之间不能相互嵌套】

Swift的介绍
Swift在物理结构上往往会存储对象的多个副本,通常按照物理位置的特点,将对象拷贝到不同的物理位置的特点,将对象拷贝到不同的物理位置上,来保证数据的可靠性。

以上术语之间的关系:

可以根据不同的物理位置,有不同的Region,不同的region代表两个不同的城市,然后在同一个region下,为冗余的考虑,设置了多个可用区,zone。每一个可用区可以有不同的存储节点,node;在更大的架构上,两个region可以构成一个cluster。

首先,用户提出一个对象存储服务的申请,由Swift的API接受和处理,收到之后,先去找 Keystone 认证节点,对用户的身份进行认证。
认证通过后,将请求提交给名称为Swift Proxy的组件,Swift Proxy是Swift 的代理,由Swift Proxy来确定究竟应该将存储对象放在哪一个满足存储要求的存储节点上。最终将对象存储到指定的存储节点上即可。最终将返回结果返回给用户。

‘玖’ openstack中,为什么要分离存储

增加额外持久化的空间。
非持久化存储用来运行操作系统,Cinder用来增加额外持久化的空间,Swift用于保存镜像和数据,也可用于大数据。
非持久存储开始,也称为临时存储。顾名思义,在OpenStack环境中使用虚拟机的用户在虚拟机终止后将丢失关联的磁盘。当租户在OpenStack集群上启动虚拟机时,Glance镜像的一份拷贝会下载到计算节点上。此镜像将作为Nova实例的第一个磁盘,它提供临时存储。一旦Nova实例终止,存储在该磁盘上的所有内容都将丢失。