A. 資料庫集群的應用
一．基於實時數據同步技術
基於此技術構造的資料庫集群是市場上的新興力量，它又具有兩類，分別是：
a.具有獨立網關
下面以DBTwin為例來說明其技術特點。
DBTwin採用了冗餘設計原理，對於來自客戶端的請求，請求被分成兩類：查詢請求和數據更新請求。對於數據更新請求，集群內部各節點之間保持數據的實時同步一致；對於數據的查詢請求，則可以在集群各節點之間負載均衡執行。它的特點是：
a) 負載均衡的單元是客戶端的每個獨立請求，這點除了Oracle RAC集群，是市場上獨有的。
b) 實時冗餘一致的多份數據，從理論上講實現了數據的零丟失。
c) 由於可以做到數據零丟失，因此在系統發生任意故障條件下，可以做到系統的對外服務不停止。
d) 此系統使用了專用高速數據同步技術，根據測試，數據同步速度能SQL Server的鏡像相等。
e) 此系統的缺點是數據同步需要花費代價,節點數量受到限制，一般2到4個節點為宜。
f) 此系統從宏觀上提升了整個系統的性能。
b.將調度節點集成於資料庫引擎
下面以Moebius來說明其技術特點。
任何在資料庫和應用程序之間引入的中間件都同時引入了單點故障點，如果中間件（網關）出現了故障，則資料庫集群就會形同虛設。因此Moebius在集群中的每個節點上都存在於嵌入於資料庫引擎的分發代理，當前負責調度的分發代理出現故障時，分發代理會故障轉移到集群中的其他節點，從而避免了使用網關架構所引入的單點故障點，除此之外，該類產品的特點是：
a) 負載均衡是基於每個客戶端的獨立請求，默認規則是將查詢優先分發到集群中負載低的伺服器，也可以自定義規則，將某些特定業務分發到集群中的某一台，比如將報表相關的查詢分發給集群中的特定伺服器。
b) 採用Share-Nothing架構，對數據進行冗餘，從而保證了數據的安全性
c) 資料庫同步機制採用日誌Redo的方式，在日誌同步之前對日誌進行壓縮，保證了同步效率
d) 在集群中任意節點出現故障時，會被自動剝離出節點，由剩餘運行正常的節點繼續提供服務，從而保證了最小停機時間
e) 負載均衡集群從宏觀上提高了吞吐量和性能
f) 該類集群不需要特殊的存儲設備，可以使用廉價的本地存儲，但由於數據冗餘，因此相較於Share-Disk架構而言，需要更多的存儲空間
c.沒有獨立網關
當前市場上也存在下列一種基於數據實時同步的集群，其拓撲結構如下圖所示：
此系統由於沒有獨立的集群網關，因此本質上簡化成了資料庫的實時備份系統，與實際的備份系統不同的是，它是工作在資料庫應用層。此系統的特點：
a) 沒有獨立的集群網關，通過主節點的轉發來實行查詢的負載均衡。在系統壓力大的情況下，集群主機會形成性能瓶頸，無論是CPU、內存還是網路帶寬，也可能是OS等系統內核資源，都容易因到達臨界狀態而形成瓶頸。
b) 各節點數據實時一致，對於數據容錯有利。
c) 對客戶端沒有二進制透明。
d) 負載均衡單元是資料庫連接。也就是說，在客戶端登陸資料庫的時候，靜態地指定連接到某個集群節點，此後此連接上的全部請求一律發送到該資料庫上，因此在特殊情況下，可能會出現這樣的場景：所有客戶端的連接集中在集群主機上，這時候，集群主機不但承擔了客戶端的所有查詢，還需要實時同步數據到所有的集群從機，即集群主機的CPU為100%，而集群別的節點CPU可能為0%，這樣整個系統的性能會受到嚴重影響。
e) 由於使用的是分布式事務機制(MSDTC)確保數據的實時一致性，因此數據同步的性能比較慢，根據測試,會比SQL Server鏡像慢好幾倍。
f) 同樣地，此集群的節點數量也受到限制，也是以2到4個節點為宜。
B. 有大佬知道ZStack一個集群支持多個主存儲嗎 支持不同類型的主存儲搭配使用嗎
來來來，ZStack集群支持主存儲匯總來了！
ZStack支持一個主存儲載入多個集群，一個集群掛載多個主存儲，目前支持的場景有：
一個集群可以掛載一個或多個本地主存儲。
一個集群可以掛載一個或多個NFS主存儲。
一個集群可以掛載一個或多個Shared Block主存儲。
一個集群可以掛載一個Shared Mount Point主存儲。
一個集群只能掛載一個Ceph主存儲。
C. 伺服器集群怎麼實現
不難，硬體用路由器，軟體嘛，操作系統用WIN2003
server
enterprise
企業版，推薦一並安裝R2升級包，所有機器組區域網，用一台千兆網卡做域控，架設流媒體伺服器，其他機做為域成員加入進來，內網IP各用各的，外網用埠映射到一個IP，用域控做網路流量負載平衡，域控機器配置要強，如果你網路流量大，建議用專業級伺服器，至強+2Gb+SCSI硬碟之類，看你環境要求了，如果必要可以上雙至強，再用一台512mb內存的p4
2.0G以上機做備份域控，這樣主域控上下線或重啟或出故障不影響域內成員正常工作，備份域控湊合就可以了，按我上面的要求就行，當然，有錢可以用好的
如果你安全性要求高，建議路由前端用普通P4+512Mb內存機器架ISA2004
server組防火牆，配置的好效果比一般的硬體防火牆要好，完全不影響網路環境運行，域內成員可以裸奔不怕毒和黑
至於域內成員機，如果僅全力供應片源，當前主流家用機型就夠用了
伺服器建議用hp
360G系列，目前價位不算高，性價比還不錯，售後很好，如果你對建網不怎麼了解，可以讓他們幫你裝，買他們的伺服器就是要利用他們的人力資源嘛
路由器可以選用飛魚星4200以上機型，電信網通雙WAN口，是可以提供150～250台機器的大型網吧專用的，內置參數非常豐富
另外再多羅嗦幾句，板卡不要買七彩虹的，我上過當，七彩虹本身是咨訊公司，沒有任何板卡生產能力，都是同德代工的，以為它的出貨量大，就選了它，結果廣告上的指標參數和實際產品根本不同，水份太多太多了，售後也很爛，特此建議……
樓下別再抄襲我了，每天都被抄走好幾個200分最佳，實在是郁悶！
D. ⑩ OpenStack高可用集群部署方案(train版)—OpenStack對接Ceph存儲
參考Ceph官方安裝文檔
Openstack環境中，數據存儲可分為臨時性存儲與永久性存儲。
臨時性存儲：主要由本地文件系統提供，並主要用於nova虛擬機的本地系統與臨時數據盤，以及存儲glance上傳的系統鏡像；
永久性存儲：主要由cinder提供的塊存儲與swift提供的對象存儲構成，以cinder提供的塊存儲應用最為廣泛，塊存儲通常以雲盤的形式掛載到虛擬機中使用。
Openstack中需要進行數據存儲的三大項目主要是nova項目（虛擬機鏡像文件），glance項目（共用模版鏡像）與cinder項目（塊存儲）。
下圖為cinder，glance與nova訪問ceph集群的邏輯圖：
ceph與openstack集成主要用到ceph的rbd服務，ceph底層為rados存儲集群，ceph通過librados庫實現對底層rados的訪問；
openstack各項目客戶端調用librbd，再由librbd調用librados訪問底層rados；
實際使用中，nova需要使用libvirtdriver驅動以通過libvirt與qemu調用librbd；cinder與glance可直接調用librbd；
寫入ceph集群的數據被條帶切分成多個object，object通過hash函數映射到pg（構成pg容器池pool），然後pg通過幾圈crush演算法近似均勻地映射到物理存儲設備osd（osd是基於文件系統的物理存儲設備，如xfs，ext4等）。
CEPH PG數量設置與詳細介紹
在創建池之前要設置一下每個OSD的最大PG 數量
PG PGP官方計算公式計算器
參數解釋：
依據參數使用公式計算新的 PG 的數目:
PG 總數= ((OSD總數*100)/最大副本數)/池數
3x100/3/3=33.33 ;舍入到2的N次幕為32
openstack集群作為ceph的客戶端；下面需要再openstack集群上進行ceph客戶端的環境配置
在openstack所有控制和計算節點安裝ceph Octopus源碼包，centos8有默認安裝，但是版本一定要跟連接的ceph版本一致
glance-api 服務運行在3個控制節點， 因此三台控制節點都必須安裝
cinder-volume 與 nova-compute 服務運行在3個計算（存儲）節點； 因此三台計算節點都必須安裝
將配置文件和密鑰復制到openstack集群各節點
配置文件就是生成的ceph.conf；而密鑰是 ceph.client.admin.keyring ，當使用ceph客戶端連接至ceph集群時需要使用的密默認密鑰，這里我們所有節點都要復制，命令如下
※Glance 作為openstack中鏡像服務，支持多種適配器，支持將鏡像存放到本地文件系統，http伺服器，ceph分布式文件系統，glusterfs和sleepdog等開源的分布式文件系統上。目前glance採用的是本地filesystem的方式存儲，存放在默認的路徑 /var/lib/glance/images 下，當把本地的文件系統修改為分布式的文件系統ceph之後，原本在系統中鏡像將無法使用，所以建議當前的鏡像刪除，部署好ceph之後，再統一上傳至ceph中存儲。
※Nova 負責虛擬機的生命周期管理，包括創建，刪除，重建，開機，關機，重啟，快照等，作為openstack的核心，nova負責IaaS中計算重要的職責，其中nova的存儲格外重要，默認情況下，nova將instance的數據存放在/var/lib/nova/instances/%UUID目錄下，使用本地的存儲空間。使用這種方式帶來的好處是:簡單，易實現，速度快，故障域在一個可控制的范圍內。然而，缺點也非常明顯：compute出故障，上面的虛擬機down機時間長，沒法快速恢復，此外，一些特性如熱遷移live-migration,虛擬機容災nova evacuate等高級特性，將無法使用，對於後期的雲平台建設，有明顯的缺陷。對接 Ceph 主要是希望將實例的系統磁碟文件儲存到 Ceph 集群中。與其說是對接 Nova，更准確來說是對接 QEMU-KVM/libvirt，因為 librbd 早已原生集成到其中。
※Cinder 為 OpenStack 提供卷服務，支持非常廣泛的後端存儲類型。對接 Ceph 後，Cinder 創建的 Volume 本質就是 Ceph RBD 的塊設備，當 Volume 被虛擬機掛載後，Libvirt 會以 rbd 協議的方式使用這些 Disk 設備。除了 cinder-volume 之後，Cinder 的 Backup 服務也可以對接 Ceph，將備份的 Image 以對象或塊設備的形式上傳到 Ceph 集群。
使用ceph的rbd介面，需要通過libvirt，所以需要在客戶端機器上安裝libvirt和qemu，關於ceph和openstack結合的結構如下，同時，在openstack中，需要用到存儲的地方有三個:
為 Glance、Nova、Cinder 創建專用的RBD Pools池
需要配置hosts解析文件，這里最開始已經配置完成，如未添加hosts解析需要進行配置
在cephnode01管理節點上操作 ；命名為：volumes，vms，images
記錄：刪除存儲池的操作
在cephnode01管理節點上操作 ；
針對pool設置許可權，pool名對應創建的pool
nova-compute與cinder-volume都部署在計算節點 ，不必重復操作,如果計算節點與存儲節點分離需要分別推送；
全部計算節點配置；以compute01節點為例；
Glance 為 OpenStack 提供鏡像及其元數據注冊服務，Glance 支持對接多種後端存儲。與 Ceph 完成對接後，Glance 上傳的 Image 會作為塊設備儲存在 Ceph 集群中。新版本的 Glance 也開始支持 enabled_backends 了，可以同時對接多個存儲提供商。
寫時復制技術(-on-write) ：內核只為新生成的子進程創建虛擬空間結構，它們復制於父進程的虛擬空間結構，但是不為這些段分配物理內存，它們共享父進程的物理空間，當父子進程中有更改相應的段的行為發生時，再為子進程相應的段分配物理空間。寫時復制技術大大降低了進程對資源的浪費。
全部控制節點進行配置；以controller01節點為例；
只修改涉及glance集成ceph的相關配置
變更配置文件，重啟服務
ceph官網介紹 QEMU和塊設備
對接 Ceph 之後，通常會以 RAW 格式創建 Glance Image，而不再使用 QCOW2 格式，否則創建虛擬機時需要進行鏡像復制，沒有利用 Ceph RBD COW 的優秀特性。
總結
將openstack集群中的glance鏡像的數據存儲到ceph中是一種非常好的解決方案，既能夠保障鏡像數據的安全性，同時glance和nova在同個存儲池中，能夠基於-on-write(寫時復制)的方式快速創建虛擬機，能夠在秒級為單位實現vm的創建。
全部計算節點進行配置； 以compute01節點為例；只修改glance集成ceph的相關配置
全部計算節點重啟cinder-volume服務；
任意openstack控制節點上查看;
在任意控制節點為cinder的ceph後端存儲創建對應的type，在配置多存儲後端時可區分類型；
為ceph type設置擴展規格，鍵值 volume_backend_name ，value值 ceph
任意控制節點上創建一個1GB的卷 ；最後的數字1代表容量為1G
查看創建好的卷
openstack創建一個空白 Volume，Ceph相當於執行了以下指令
從鏡像創建 Volume 的時候應用了 Ceph RBD COW Clone 功能，這是通過 glance-api.conf [DEFAULT] show_image_direct_url = True 來開啟。這個配置項的作用是持久化 Image 的 location，此時 Glance RBD Driver 才可以通過 Image location 執行 Clone 操作。並且還會根據指定的 Volume Size 來調整 RBD Image 的 Size。
一直存在的cirros_qcow2鏡像為對接ceph之前的鏡像，現在已無法使用，所以將之刪除
在openstack上從鏡像創建一個Volume，Ceph相當於執行了以下指令
任意控制節點操作；
查看快照詳細信息
在openstack上對鏡像的卷創建快照，Ceph相當於執行了以下指令
如果說快照時一個時間機器，那麼備份就是一個異地的時間機器，它具有容災的含義。所以一般來說 Ceph Pool backup 應該與 Pool images、volumes 以及 vms 處於不同的災備隔離域。
https://www.cnblogs.com/luohaixian/p/9344803.html
https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html
一般的，備份具有以下類型：
在虛擬磁碟映像的計算節點上使用本地存儲有一些缺點：
Nova 為 OpenStack 提供計算服務，對接 Ceph 主要是希望將實例的系統磁碟文件儲存到 Ceph 集群中。與其說是對接 Nova，更准確來說是對接 QEMU-KVM/libvirt ，因為 librbd 早已原生集成到其中。
如果需要從ceph rbd中啟動虛擬機，必須將ceph配置為nova的臨時後端；
推薦在計算節點的配置文件中啟用rbd cache功能；
為了便於故障排查，配置admin socket參數，這樣每個使用ceph rbd的虛擬機都有1個socket將有利於虛擬機性能分析與故障解決；
相關配置只涉及全部計算節點ceph.conf文件的[client]與[client.cinder]欄位，以compute163節點為例
全部計算節點配置 ceph.conf文件相關的 [client] 與 [client.cinder] 欄位，以compute01節點為例；
在全部計算節點配置nova後端使用ceph集群的vms池，以compute01節點為例；
在全部計算節點操作;
在全部計算節點操作，以compute01節點為例；
以下給出libvirtd.conf文件的修改處所在的行num
E. 分布式存儲有哪些
問題一：當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，GPFS的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
問題二：分布式存儲是什麼？選擇什麼樣的分布式存儲更好？ 分布式存儲系統，是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟體、中間件及資料庫軟體完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能
問題三：什麼是分布式存儲系統？ 就是將數據分散存儲在多 *** 立的設備上
問題四：什麼是分布式數據存儲 定義：
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
特點：
1.高可擴展性：分布式資料庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性：分布式資料庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。
3. 高可用性：分布式資料庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。
問題五：分布式文件系統有哪些主要的類別？ 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地，在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史：
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。
4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。
問題六：分布式文件系統和分布式資料庫有什麼不同 分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
問題七：分布式存儲有哪些 華為的fusionstorage屬於分布式 您好，很高興能幫助您，首先，FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道，很多超極本同樣採用了混合型硬碟，但是固態硬碟部分的容量大都只有8GB到32GB之間，這個區間無法作為系統盤來使用，只能作
問題八：linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS（tldp/HOWTO/NFS-HOWTO/index）
網路文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：
1、本地工作站使用更少的磁碟空間，因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS（openafs）
OpenAFS是一套開放源代碼的分布式文件系統，允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的，每個伺服器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制，一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基於通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。
MooseFs（derf.homelinux）
Moose File System是一個具備容錯功能的網路分布式文件統，它將數據分布在網路中的不同伺服器上，MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS（pnfs）
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN）的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的並行實現，將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統，用於大型的，分布式的，對大量數據進行訪問的應用。它運行於廉價的普通硬體上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。
問題九：分布式存儲都有哪些，並闡述其基本實現原理 神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分布式架構，真正的分布式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟體相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鍾內添加一個節點以擴展性能和容量。
問題十：linux 分布式系統都有哪些？ 常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。
F. 200個攝像頭有哪些儲存方案
200個攝像頭儲存方案，操作如下
1、本地存儲
本地存儲，很多主流安全攝像頭都支持的存儲方式，基本上均選擇了microSD卡，如三星SmartCamHD、D-LinkDCS-2630L等，支持128GB容量擴展。在手機應用程序上，用戶可以設置其存儲機制，如24小時不間斷錄制或是檢測到可以情況才進行錄制。如果選擇24小時不間斷錄制，在存儲卡容量用盡時，用戶需要選擇覆蓋此前內容或是停止錄制。 本地存儲的好處是不必擔心廠商的雲存儲存在漏洞、造成隱私視頻泄露的情況下，另外也不必支付月服務費。
2、雲存儲
雲存儲是現在網路監控主流的存儲方式之一，隨著互聯網的不斷普及，很多企業紛紛推出了免費的智能硬體產品。雲存儲是指通過集群應用、網路技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過各種應用軟體集合起來協同工作，共同對外提供數據存儲和管理的雲計算系統」，它並非是一種簡單的存儲工具，而是將存儲資源放到雲上供用戶存取、管理、業務訪問、高效協同的應用系統及存儲解決方案。
攝像頭哪種存儲方式好
雲存儲較本地存儲更加安全，即使不法分子將攝像頭拿走了，你依然可以通過手機端實時查看。而採用本地存儲的智能攝像頭一旦丟失，插在機身中的存儲卡也隨之丟失，無法找回，還有泄露隱私的危險。雲存儲模式的話，設備會將視頻發送至遠程伺服器；本地存儲則需要單獨的配件(SD卡、硬碟錄像機)來存儲你想要的錄像。智能攝像機錄像存儲是選擇本地存儲還是雲存儲主要看你的需求，建議大家根據實際使用需求選擇存儲方式。
G. Ceph 架構與原理
Ceph 是一個開源項目，它提供軟體定義的、統一的存儲解決方案 。Ceph 是一個具有高性能、高度可伸縮性、可大規模擴展並且無單點故障的分布式存儲系統 。
Ceph 是軟體定義存儲解決方案
Ceph 是統一存儲解決方案
Ceph 是雲存儲解決方案
高可用性
高擴展性
特性豐富
Ceph獨一無二地統一的系統提供了對象存儲、塊存儲和文件存儲功能。Ceph存儲集群由幾個不同的軟體守護進程組成（比較重要的兩個是MON和OSD），每個守護進程負責Ceph的一個獨特功能並將值添加到相應的組件中。
RADOS是CEPH存儲系統的核心,也稱為Ceph 存儲集群。Ceph的數據訪問方法(如RBD,CephFS,RADOSGW，librados)的所有操作都是在RADOS層之上構建的。當Ceph 集群接收到來自客戶端的請求時,CRUSH演算法首先計算出存儲位置,最後將這些對象存儲在OSD中,當配置的復制數大於1時,RADOS負責的形式將數據分發到集群內的所有節點,最後將這些對象存儲在OSD中。當配置的復制數大於1時,RADOS負責數據的可靠性,它復制對象，創建副本並將它們存儲在不同的故障區域中。
RADOS包含兩個核心組件: OSD和MON
OSD 是Ceph 存儲集群中最重要的一個基礎組件，他負責將實際的數據以對象的形式存儲在每一個集群節點的物理磁碟中。對於任何讀寫操作，客戶端首先向MON請求集群MAP，然後客戶端舊可以直接和OSD進行I/O操作。
一個Ceph 集群包含多個OSD。一個典型的Ceph集群方案會為集群節點上的每個物理磁碟創建一個ODS守護進程,這個是推薦的做法。OSD上的每個對象都有一個主副本和幾個輔副本,輔副本分散在其他OSD。一個OSD對於一些對象是主副本，同時對於其他對象可能是輔副本，存放輔副本的OSD主副本OSD控制,如果主副本OSD異常(或者對應的磁碟故障),輔副本OSD可以成為主副本OSD。
OSD是有一個已經存在的Linux文件系統的物理磁碟驅動器和OSD服務組成。Ceph 推薦OSD使用的文件系統是XFS。OSD的所有寫都是先存到日誌,再到存儲.
MON 負責監控整個集群的健康狀況。它以守護進程的形式存在,一個MON為每一個組件維護一個獨立的MAP,如OSD，MON,PG,CRUSH 和MDS map。這些map 統稱為集群的MAP。MON 不為客戶端存儲和提供數據,它為客戶端以及集群內其他節點提供更新集群MAP的服務。客戶端和集群內其他節點定期與MON確認自己持有的是否是集群最新的MAP.一個Ceph集群通常包含多個MON節點,但是同一時間只有一個MON。
librados是一個本地的C語言庫，通過它應用程序可以直接和RADOS通信，提高性能
Ceph 塊存儲，簡稱 RBD，是基於 librados 之上的塊存儲服務介面。RBD 的驅動程序已經被集成到 Linux 內核（2.6.39 或更高版本）中，也已經被 QEMU/KVM Hypervisor 支持，它們都能夠無縫地訪問 Ceph 塊設備。Linux 內核 RBD（KRBD）通過 librados 映射 Ceph 塊設備，然後 RADOS 將 Ceph 塊設備的數據對象以分布式的方式存儲在集群節點中
RGW，Ceph對象網關，也稱做RADOS網關，它是一個代理，可以將HTTP請求轉換為RADOS，也可以把RADOS轉換為HTTP請求，從而提供restful介面，兼容S3和Swift。Ceph對象網關使用Ceph對象網關守護進程(RGW)與librgw、librados交互。Ceph對象網關支持三類介面：S3、Swift、管理API（通過restful介面管理Ceph集群）。RGW有自己的用戶管理體系
Ceph 元數據伺服器服務進程，簡稱 MDS。只有在啟用了 Ceph 文件存儲（CephFS）的集群中才需要啟用 MDS，它負責跟蹤文件層次結構，存儲和管理 CephFS 的元數據。MDS 的元數據也是以 Obejct 的形式存儲在 OSD 上。除此之外，MDS 提供了一個帶智能緩存層的共享型連續文件系統，可以大大減少 OSD 讀寫操作頻率。
CephFS在RADOS層之上提供了一個兼容POSIX的文件系統。它使用MDS作為守護進程，負責管理其元數據並將它和其他數據分開。CephFS使用cephfuse模塊（FUSE）擴展其在用戶空間文件系統方面的支持（就是將CephFS掛載到客戶端機器上）。它還允許直接與應用程序交互，使用libcephfs庫直接訪問RADOS集群。
Ceph管理器軟體，可以收集整個集群的所有狀態。有儀錶板插件
一個對象通常包含綁定在一起的數據和元數據，並且用一個全局唯一的標識符標識。這個唯一的標識符確保在整個存儲集群中沒有其他對象使用相同的對象ID，保證對象唯一性。基於文件的存儲中，文件大小是有限制的，與此不同的是，對象的大小是可以隨著大小可變的元數據而變得很大。對象不使用一個目錄層次結構或樹結構來存儲，相反，它存儲在一個包含數十億對象且沒有任何復雜性的線性地址空間中。對象可以存儲在本地，也可以存放在地理上分開的線性地址空間中，也就是說，在一個連續的存儲空間中。任何應用程序都可以基於對象ID通過調用restful API從對象中獲取數據。這個URL可以以同樣的方式工作在網際網路上，一個對象ID作為一個唯一的指針指向對象。這些對象都以復制的方式存儲在OSD中，因為能提供高可用性。
對於Ceph集群的一次讀寫操作，客戶端首先聯系MON獲取一個集群map副本，然後使用對象和池名/ID將數據轉換為對象。接著將對象和PG數一起經過散列來生成其在Ceph池中最終存放的那一個PG。然後前面計算好的PG經過CRUSH查找來確定存儲或獲取數據所需的主OSD的位置。得到准確的OSD ID之後，客戶端直接聯系這個OSD來存取數據。所有這些計算操作都由客戶端來執行，因此它不會影響Ceph集群的性能。一旦數據被寫入主OSD，主OSD所在節點將執行CRUSH查找輔助PG和OSD的位置來實現數據復制，進而實現高可用。
簡單地說，首先基於池ID將對象名和集群PG數應用散列函數得到一個PG ID，然後，針對這個PG ID執行CRUSH查找得到主OSD和輔助OSD，最後寫入數據。
PG是一組對象地邏輯集合，通過復制它到不同的OSD上來提供存儲系統的可靠性。根據Ceph池的復制級別，每個PG的數據會被復制並分發到Ceph集群的多個OSD上。可以將PG看成一個邏輯容器，這個容器包含多個對象，同時這個邏輯容器被映射到多個OSD。
計算正確的PG數對一個Ceph存儲集群來說是至關重要的一步。PG數計算公式如下
Ceph池是一個用來存儲對象的邏輯分區，每個池都包含一定數量的PG，進而實現把一定數量的對象映射到集群內部不同OSD上的目的。每一個池都是交叉分布在集群所有節點上的，這樣就能提供足夠的彈性。池可以通過創建需要的副本數來保障數據的高可用性。
Ceph的池還支持快照功能，我們可以使用ceph osd pool mksnap命令來給特定的池製作快照。此外，Ceph池還允許我們為對象設置所有者和訪問許可權。
數據管理始於客戶端向Ceph池中寫數據。一旦客戶端准備寫數據到Ceph池中，數據首先寫入基於池副本數的主OSD中。主OSD再復制相同的數據到每個輔助OSD中，並等待它們確認寫入完成。只要輔助OSD完成數據寫入，就會發送一個應答信號給主OSD。最後主OSD再返回一個應答信號給客戶端，以確認完成整個寫入操作。
H. GBase 8a集群由哪些組件組成，其作用是什麼
GBase 8a MPP Cluster採用MPP + Shared Nothing 的分布式聯邦架構，節點間通過 TCP/IP 網路進行通信，每個節點採用本地磁碟來存儲數據。實現非對稱部署，分布式管理集群和分布式調度集群部署在一個集群；分布式計算集群部署在另外一個集群。系統中的每一個節點都是相對獨立的、自給的，整個系統中不存在單點瓶頸，具有非常強的擴展性。
由於沒有資源共享，增加節點就可以線性地擴展數據容量和計算能力，可以從幾個節點擴展到上百節點，滿足業務規模增長的要求。
GBase 8a MPP Cluster產品總共包含三大核心組件，分布式管理集群GCWare、分布式調度集群GCluster和分布式存儲集群GNode。它們的功能分別為：
GCluster：
GCluster負責SQL的解析、SQL優化、分布式執行計劃生成、執行調度。
GCWare：
GCWare用於各節點GCluster實例間共享信息(包括集群結構，節點狀態，節點資源狀態等信息)，以及控制多副本數據操作時，提供可操作節點，控制各節點數據一致性狀態。
通常Gclusterd與GCWare組件部署在相同的物理節點上，統稱Coordinator 集群：作為整個資料庫的管理者與統一入口。
GNode：
GNode是GBase 8a MPP Cluster中最基本的存儲和計算單元。GNode是由GCWare管理的一個8a實例，每個數據節點上有一個GNode實例運行。GNode負責集群數據在節點上的實際存儲，並從GCluster接收和執行經分解的SQL執行計劃，執行結果返回給GCluster。數據載入時，GNode直接從集群載入服務接收數據，寫入本地存儲空間。採用虛擬集群部署策略時，可以將不同節點按不同業務特點進行物理隔離，形成不同的VC。
VC(Virtual Cluster）:實現單個業務的獨立管理，包括database、表等資料庫對象。
Free Nodes （閑置節點）:不屬於任何VC的gnode節點，通常是備機或待擴容或節點替換的節點。
除了以上核心組件外，還有GCMonit組件，用於定期監測GBase 8a MPP Cluster服務程序的運行狀態, 一旦發現某個服務程序的進程狀態發生變化，就會根據配置文件中的內容來執行相應的服務啟停腳本命令，從而保證服務程序健康運行。
I. ZStack一個集群可以掛多少存儲有限制嗎
從我司實際的使用效果上來看，一個集群可以掛載多個主存儲。在使用上，有以下限制：一個集群可以掛載一個或多個本地主存儲；一個集群可以掛載一個或多個NFS主存儲；一個集群可以掛載一個或多個Shared Block主存儲（FCSAN/IPSAN）；一個集群可以掛載一個本地主存儲和一個NFS主存儲；一個集群可以掛載一個本地主存儲和一個Shared Block主存儲（FCSAN/IPSAN）；一個集群只能掛載一個Ceph主存儲。
J. 資料庫中的集群和F5
分布式資料庫系統分布式資料庫系統有兩種：一種是物理上分布的，但邏輯上卻是集中的。這種分布式資料庫只適宜用途比較單一的、不大的單位或部門。另一種分布式資料庫系統在物理上和邏輯上都是分布的，也就是所謂聯邦式分布資料庫系統。由於組成聯邦的各個子資料庫系統是相對「自治」的，這種系統可以容納多種不同用途的、差異較大的資料庫，比較適宜於大范圍內資料庫的集成。
----- ----
分布式資料庫系統(DDBS)包含分布式資料庫管理系統(DDBMS)和分布式資料庫(DDB)。在分布式資料庫系統中，一個應用程序可以對資料庫進行透明操作，資料庫中的數據分別在不同的局部資料庫中存儲、由不同的 DBMS進行管理、在不同的機器上運行、由不同的操作系統支持、被不同的通信網路連接在一起。
一個分布式資料庫在邏輯上是一個統一的整體，在物理上則是分別存儲在不同的物理節點上。一個應用程序通過網路的連接可以訪問分布在不同地理位置的資料庫。它的分布性表現在資料庫中的數據不是存儲在同一場地。 更確切地講，不存儲在同一計算機的存儲設備上。 這就是與集中式資料庫的區別。從用戶的角度看，一個分布式資料庫系統在邏輯上和集中式資料庫系統一樣，用戶可以在任何一個場地執行全局應用。就好那些數據是存儲在同一台計算機上，有單個資料庫管理系統(DBMS)管理一樣，用戶並沒有什麼感覺不一樣。
分布式資料庫系統是在集中式資料庫系統的基礎上發展起來的，是計算機技術和網路技術結合的產物。分布式資料庫系統適合於單位分散的部門，允許各個部門將其常用的數據存儲在本地，實施就地存放本地使用，從而提高響應速度，降低通信費用。分布式資料庫系統與集中式資料庫系統相比具有可擴展性，通過增加適當的數據冗餘，提高系統的可靠性。在集中式資料庫中，盡量減少冗餘度是系統目標之一．其原因是，冗餘數據浪費存儲空間，而且容易造成各副本之間的不一致性．而為了保證數據的一致性，系統要付出一定的維護代價．減少冗餘度的目標是用數據共享來達到的。而在分布式資料庫中卻希望增加冗餘數據，在不同的場地存儲同一數據的多個副本,其原因是：①．提高系統的可靠性、可用性當某一場地出現故障時，系統可以對另一場地上的相同副本進行操作，不會因一處故障而造成整個系統的癱瘓。②．提高系統性能系統可以根據距離選擇離用戶最近的數據副本進行操作，減少通信代價，改善整個系統的性能。
分布式資料庫具有以下幾個特點：
(1)、數據獨立性與位置透明性。數據獨立性是資料庫方法追求的主要目標之一，分布透明性指用戶不必關心數據的邏輯分區，不必關心數據物理位置分布的細節，也不必關心重復副本（冗餘數據）的一致性問題，同時也不必關心局部場地上資料庫支持哪種數據模型．分布透明性的優點是很明顯的．有了分布透明性，用戶的應用程序書寫起來就如同數據沒有分布一樣．當數據從一個場地移到另一個場地時不必改寫應用程序．當增加某些數據的重復副本時也不必改寫應用程序．數據分布的信息由系統存儲在數據字典中．用戶對非本地數據的訪問請求由系統根據數據字典予以解釋、轉換、傳送．
(2)、集中和節點自治相結合。資料庫是用戶共享的資源．在集中式資料庫中，為了保證資料庫的安全性和完整性，對共享資料庫的控制是集中的，並設有DBA負責監督和維護系統的正常運行．在分布式資料庫中，數據的共享有兩個層次：一是局部共享，即在局部資料庫中存儲局部場地上各用戶的共享數據．這些數據是本場地用戶常用的．二是全局共享，即在分布式資料庫的各個場地也存儲可供網中其它場地的用戶共享的數據，支持系統中的全局應用．因此，相應的控制結構也具有兩個層次：集中和自治．分布式資料庫系統常常採用集中和自治相結合的控制結構,各局部的DBMS可以獨立地管理局部資料庫，具有自治的功能．同時，系統又設有集中控制機制，協調各局部DBMS的工作，執行全局應用。當然,不同的系統集中和自治的程度不盡相同．有些系統高度自治，連全局應用事務的協調也由局部DBMS、局部DBA共同承擔而不要集中控制，不設全局DBA,有些系統則集中控製程度較高，場地自治功能較弱。
(3)、支持全局資料庫的一致性和和可恢復性。分布式資料庫中各局部資料庫應滿足集中式資料庫的一致性、可串列性和可恢復性。除此以外還應保證資料庫的全局一致性、並行操作的可串列性和系統的全局可恢復性。這是因為全局應用要涉及兩個以上結點的數據．因此在分布式資料庫系統中一個業務可能由不同場地上的 多個操作組成．例如, 銀行轉帳業務包括兩個結點上的更新操作。這樣，當其中某一個結點出現故障操作失敗後如何使全局業務滾回呢？如何使另一個結點撤銷已執行的操作(若操作已完成或完成一部分）或者不必再執行業務的其它操作(若操作尚沒執行)？這些技術要比集中式資料庫復雜和困難得多，分布式資料庫系統必須解決這些問題．
(4)、復制透明性。用戶不用關心資料庫在網路中各個節點的復制情況，被復制的數據的更新都由系統自動完成。在分布式資料庫系統中，可以把一個場地的數據復制到其他場地存放，應用程序可以使用復制到本地的數據在本地完成分布式操作，避免通過網路傳輸數據，提高了系統的運行和查詢效率。但是對於復制數據的更新操作，就要涉及到對所有復制數據的更新。
(5)、易於擴展性。在大多數網路環境中，單個資料庫伺服器最終會不滿足使用。如果伺服器軟體支持透明的水平擴展，那麼就可以增加多個伺服器來進一步分布數據和分擔處理任務。
分布式資料庫的優點：
(1)具有靈活的體系結構 。
(2)適應分布式的管理和控制機構。
(3)經濟性能優越 。
(4)系統的可靠性高、可用性好 。
(5)局部應用的響應速度快。
(6)可擴展性好，易於集成現有系統。
分布式資料庫的缺點：
(1)系統開銷大，主要花在通信部分。
(2)復雜的存取結構，原來在集中式系統中有效存取數據的技術，在分成式系統中都不再適用。
(3)數據的安全生和保密性較難處理。
分布式資料庫系統的目標
分布式資料庫系統的目標，也就是研製分布式資料庫系統的目的、動機，主要包括技術和組織兩方面的目標．
1．適應部門分布的組織結構，降低費用。
使用資料庫的單位在組織上常常是分布的（如分為部門、科室、車間等等），在地理上也是分布的．分布式資料庫系統的結構符合部門分布的組織結構，允許各個部門對自己常用的數據存儲在本地，在本地錄入、查詢、維護，實行局部控制．由於計算機資源靠近用戶，因而可以降低通信代價，提高響應速度，使這些部門使用資料庫更方便更經濟。
2．提高系統的可靠性和可用性。
改善系統的可靠性和可用性是分布式資料庫的主要目標．將數據分布於多個場地，並增加適當的冗餘度可以提供更好的可靠性．一些可靠性要求較高的系統，這一點尤其重要．因為一個地出了故障不會引起整個系統崩潰．因為故障場地的用戶可以通過其它場地進入系統．而其它場地的用戶可以由系統自動選擇存取路徑，避開故障場地，利用其它數據副本執行操作，不影響業務的正常運行．
3．充分利用資料庫資源，提高現有集中式資料庫的利用率
當在一個大企業或大部門中已建成了若干個資料庫之後，為了利用相互的資源，為了開發全局應用，就要研製分布式資料庫系統．這種情況可稱為自底向上的建立分布式系統．這種方法雖然也要對各現存的局部資料庫系統做某些改動、重構，但比起把這些資料庫集中起來重建一個集中式資料庫，則無論從經濟上還是從組織上考慮，分布式資料庫均是較好的選擇．
4．逐步擴展處理能力和系統規模
當一個單位規模擴大要增加新的部門(如銀行系統增加新的分行，工廠增加新的科室、車間)時，分布式資料庫系統的結構為擴展系統的處理能力提供了較好的途徑：在分布式資料庫系統中增加一個新的結點．這樣做比在集中式系統中擴大系統規模要方便、靈活、經濟得多。
在集中式系統中為了擴大規模常用的方法有兩種：一種是在開始設計時留有較大的餘地．這容易造成浪費，而且由於預測困難，設計結果仍可能不適應情況的變化．另一種方法是系統升級，這會影響現有應用的正常運行．並且當升級涉及不兼容的硬體或系統軟體有了重大修改而要相應地修改已開發的應用軟體時，升級的代價就十分昂貴而常常使得升級的方法不可行．分布式資料庫系統能方便地把一個新的結點納入系統，不影響現有系統的結構和系統的正常運行，提供了逐漸擴展系統能力的較好途徑，有時甚至是唯一的途徑。
①資料庫系統與應用 趙致格編著 清華大學出版社p. 260
②資料庫原理及應用 張晉連 編著 電子工業出版社P.13