Ⅰ 【Minio】基於AWS S3協議搭建個人雲存儲服務
在2007年，GlusterFS演變為大型分布式存儲方案後，任何配備合適硬體的公司，單位都可以利用個做分布式的流媒體，數據分析。在2011年，Red Hat收購了GlusterFS.
Minio是GlusterFS創始人之一Anand Babu Periasamy發布新的開源項目。Minio兼容Amason的S3分布式對象存儲項目，採用Golang實現，客戶端支持Java,Python,Javacript, Golang語言。
Minio 提供對象存儲服務，兼容了 AWS S3 存儲協議，用於非結構化的數據存。非結構化對象，比如圖像，音、視頻，日誌文件，備份鏡像…等等管理不方便，不定長，大小變化大、類型多，雲端的訪問復雜，minio就是來解決這種場景的。非結構化的文件從數KB到5TB都能很好的支持。開源並且用 Go 語言開發，有web操作界面，我們可以用它來搭建兼容S3協議的存儲雲服務。
Minio可以做為雲存儲的解決方案用來保存海量的圖片，視頻，文檔。由於採用Golang實現，服務端可以工作在Windows,Linux, OS X和FreeBSD上。配置簡單，基本是復制可執行程序，單行命令可以運行起來。
官網： https://minio.io
那麼，如何自己搭建一個私有的S3存儲雲服務呢？
官方的話是推薦用Docker來搞，我們先用普通的二進制文件來直接解決了！
######################################################################################
# mkdir /data/aws_s3
# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
# mv minio /usr/local/bin/
# chmod 755 /usr/local/bin/minio
# minio server /data/aws_s3
#############################################################
Created minio configuration file successfully at /root/.minio
Endpoint: http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey: /
Region: us-east-1
SQS ARNs:
Browser Access:
http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
Command-line Access: https://docs.minio.io/docs/minio-client-quickstart-guide
################################################################
$ mc config host add myminio http://10.5.10.89:9000 U3XLU4IMXY3IDKHU268F /
Object API (Amazon S3 compatible):
Go: https://docs.minio.io/docs/golang-client-quickstart-guide
Java: https://docs.minio.io/docs/java-client-quickstart-guide
Python: https://docs.minio.io/docs/python-client-quickstart-guide
JavaScript: https://docs.minio.io/docs/javascript-client-quickstart-guide
Drive Capacity: 8.3 GiB Free, 9.1 GiB Total
##############################################################
我們就成功啟動了minio的s3服務，默認埠9000，可以通過網頁訪問:
http://10.5.10.89:9000
http://127.0.0.1:9000
http://172.17.0.1:9000
注意 ：第一次打開時候需要填寫AccessKey和SecretKey才能進入，我們上面啟動服務的時候，已經看到屏幕有輸出:
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey:
把這兩個Key填入，就能順利進入，進入後展開頁面如下:
這就是我們的S3雲存儲的管理頁面了，看著是不是和七牛什麼的提供雲存儲的產品頁面挺像的，大家都是基於S3協議開發的！
上傳個文件試試：
點擊右下角的紅色小加號按鈕，彈出的菜單選擇」create bucket」則會創建一個桶，輸入名字」test」
點擊剛才那個紅色小加號按鈕，這次選擇」Upload file」上傳文件，給這個桶上傳了一個叫login.txt的文本文檔
此時頁面如下：
至此我們可以看到文件已經上傳，要訪問這個文件，可以點擊文件右側的三個點的按鈕，選擇分享就可以得到一個外鏈，在瀏覽器中訪問這個外鏈就可以直接訪問文件。
那麼文件到底被存到哪裡去了呢，我們啟動命令中其實指定了工作路徑/data/aws_s3/，所以到伺服器這個目錄下看看：
# ls /data/aws_s3/
test
# ls /data/aws_s3/test/
login.txt
桶名稱test是一個目錄，其下就有上傳的login.txt文件。
如果想指定ip和埠，可以這樣寫:
# minio server /data/aws_s3 --address=0.0.0.0:9000
如果想讓服務在後台運行：
# nohup minio server /data/aws_s3 --address=0.0.0.0:443 &
[1] 19882
// nohup: 忽略輸入並把輸出追加到啟動命令的當前目錄下的 "nohup.out"文件
minio可以用來搭建分布式存儲系統 GlusterFS，這樣就成了真正的雲存儲了，有時間再研究下把它從現在的單機測試，變成一朵存儲雲！
minio官網： https://minio.io
minio官方文檔： https://docs.minio.io/docs/minio-docker-quickstart-guide
minio github主頁： https://github.com/minio/minio
Ⅱ 分布式存儲極簡藝術Minio解析
MinIO 對象存儲系統是為海量數據存儲、人工智慧、大數據分析而設計，基於
Apache License v2.0 開源協議的對象存儲系統，它完全兼容 Amazon S3 介面，單個對象的最大可達 5TB，適合存儲海量圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。作為一個開源服務，MinIO 在設計上汲取了Glusterfs的相關經驗不教訓，系統復雜度上作了大量簡化，目前大小隻有40+M，部署只需要一個命令即可完成！另外，minio舍棄了傳統分布式存儲擴容所需要的遷移流程，採用聯盟模式添加集群的方式，極大簡化了擴容流程；除此之外，minio還具有糾刪編碼、比特位保護、單寫多讀（worm)、下面來依次簡要解析一下Mioio的特點及具體實現：
元數據和數據一起存放在磁碟上。元數據以明文形式存放在元數據文件里（xl.json）。假定對象名字為key_name, 它所在桶的名字是bucket_name, disk路徑就是/disk，那麼存儲路徑就是：/disk/bucket_name/key_name，windows下C盤存放桶名為test，對象名為minio.exe示例如圖：
其中part.1是實際存儲數據（單機模式為原生數據，分布式為糾刪碼分塊），xl.json是如下所示的json字元串：
在同一集群內，MinIO 自己會自勱生成若干糾刪組，用於分布存放桶數據。一個糾刪組中的一定數量的磁碟發生的故障（故障磁碟的數量小於等於校驗盤的數量），通過糾刪碼校驗演算法可以恢復出正確的數據。MinIO 集成了 Reed-Solomon 糾刪碼庫，MinIO 存儲對象數據時，首先把它分成若乾等長的片段（對於大對象，默認按 5MB 切片)，然後每一個片段會糾刪演算法分成若干分片，包括數據分片不校驗分片，每個分片放置在一個糾刪組的某個節點上。對象的每一個數據分片、校驗分片都被「防比特位衰減」演算法所保護。
MinIO 會根據對象名（類似於文件系統的全路徑名)，使用 crc32 哈希演算法計算出一個整數。然後使用這個整數除以糾刪組的個數，得到一個余數。這個余數，可以作為糾刪組的序號，這樣就確定了這個對象所在的糾刪組。MinIO 採用 CRC32 哈希演算法，不 glusterfs 的Davies Meyer哈希演算法（性能、沖突概率不md4, md5相近）不一樣的是，CRC32演算法的哈希值分布較不均勻，但運算速度極快，高出 md4 數倍。相對於容量均衡，MinIO 更看重數據的寫入速度。
糾刪組如何配置？
官方文檔說明如下：
也就是說糾刪組的總大小隻能從這7中情況中根據你提供的盤的個數（或者說路徑個數）來自動選取最大值的，我們 不能靈活地配置m+k糾刪存儲格式。但這樣說又不是很准確 ，因為雖然不能配置任意的m+k，但是在系統已經選取好擦除編碼集的的個數後（也就是m+k），可以使用storage class存儲類來自定義m和k的數量，默認是1:1的。
存儲類：
MinIO支持配置兩種存儲類別，精簡冗餘類別和標准類別，默認是標准類別（1：1），可以在啟動MinIO伺服器之前使用設置的環境變數來定義這些類。使用環境變數定義每個存儲類別的數據和奇偶校驗磁碟後，您可以 在上傳對象時通過請求元數據欄位設置對象的存儲類別x-amz-storage-class 。然後，MinIO伺服器通過將對象保存在特定數量的數據和奇偶校驗磁碟中來兌現存儲類。具體配置和使用可以參考官方文檔 https://github.com/minio/minio/tree/master/docs/erasure/storage-class
傳統的擴展方式的劣勢
通過增加節點來擴展單集群，一般需要進行數據均衡，否則群集內各存儲節點會因負載不均而出現新的瓶頸。除了數據均衡操作的時機這個問題以外，在均衡過程中一般需要仍存儲使用率高的節點吐使用率低的節點遷移數據。當集群擴容後，大量已經寫入的文件落點會出現改變，文件需要遷移到真實的落點。當存儲系統容量比較大時，則會發生大量的文件/對象進行遷移,遷移過程可能由於佔用大量資源而導致上層應用性能下降。而且當文件/對象遷移過程中，機器故障可能會導致一些意想不到的情冴,尤其是有大量業務的時候。當然針對此類問題，Gluterfs之類的文件系統有一些比較復雜的處理辦法。
不支持擴展優勢
Ⅲ MinIO 快速入門之一 —— MinIO 簡介
MinIO 官網
MinIO 官方GitHub
MinIO 官方文檔
關於對象存儲，我們可以看下 阿里雲OSS 的解釋。
對象存儲最大的優勢就在於它可以存儲大容量的非結構化數據，例如圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。對於大多數的企業來說，這可以說是最為理想的存儲媒介了。
對於業務已在公有雲上的企業來說，使用公有雲提供的 OSS 服務，可以很好的節省存儲的成本，且一般都提供易接入的 SDK，以阿里雲的OSS 服務為例，在存儲介質的上層封裝可標注的 RESTful API 介面，使用起來十分方便。
但是對於一些沒有選擇業務上雲或者想要下雲的企業來說，要使用公有雲的 OSS，在公網帶寬方面就需要有一定的投入，畢竟需要通過公網傳輸，帶寬太小，傳輸速度就會慢，且在傳輸過程中數據的安全性和完整性也有損失的風險，走專線的費用又十分昂貴，不實在。
這種情況下，MinIO 就是一個不錯的選擇，麻雀雖小，五臟俱全，企業可以以此快速構建自己內部的對象存儲服務。
Minio 是個基於 Golang 編寫的開源對象存儲套件，基於Apache License v2.0開源協議，雖然輕量，卻擁有著不錯的性能。它兼容亞馬遜S3雲存儲服務介面。可以很簡單的和其他應用結合使用，例如 NodeJS、Redis、MySQL等。
如下圖，MinIO 的應用場景除了可以作為私有雲的對象存儲服務來使用，也可以作為雲對象存儲的網關層，無縫對接 Amazon S3 或者 MicroSoft Azure 。
Minio 使用糾刪碼 erasure code 和校驗和 checksum 。 即便丟失一半數量（N/2）的硬碟，仍然可以恢復數據。
保護數據免受硬體故障和無聲數據損壞
糾刪碼是一種恢復丟失和損壞數據的數學演算法，目前，糾刪碼技術在分布式存儲系統中的應用主要有三類，陣列糾刪碼（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所羅門類糾刪碼和LDPC(LowDensity Parity Check Code)低密度奇偶校驗糾刪碼。Erasure Code是一種編碼技術，它可以將n份原始數據，增加m份數據，並能通過n+m份中的任意n份數據，還原為原始數據。即如果有任意小於等於m份的數據失效，仍然能通過剩下的數據還原出來。
Minio採用Reed-Solomon code將對象拆分成N/2數據和N/2 奇偶校驗塊。 這就意味著如果是12塊盤，一個對象會被分成6個數據塊、6個奇偶校驗塊，可以丟失任意6塊盤（不管其是存放的數據塊還是奇偶校驗塊），仍可以從剩下的盤中的數據進行恢復。
RS編碼以word為編碼和解碼單位，大的數據塊拆分到字長為w（取值一般為8或者16位）的word，然後對word進行編解碼。 數據塊的編碼原理與word編碼原理相同，後文中以word為例說明，變數Di, Ci將代表一個word。
把輸入數據視為向量D=(D1，D2，..., Dn）, 編碼後數據視為向量（D1, D2,..., Dn, C1, C2,.., Cm)，RS編碼可視為如下（圖1）所示矩陣運算。
圖1最左邊是編碼矩陣（或稱為生成矩陣、分布矩陣，Distribution Matrix），編碼矩陣需要滿足任意n*n子矩陣可逆。為方便數據存儲，編碼矩陣上部是單位陣（n行n列），下部是m行n列矩陣。下部矩陣可以選擇范德蒙德矩陣或柯西矩陣。
RS最多能容忍m個數據塊被刪除。 數據恢復的過程如下：
（1）假設D1、D4、C2丟失，從編碼矩陣中刪掉丟失的數據塊/編碼塊對應的行。（圖2、3）
（2）由於B' 是可逆的，記B'的逆矩陣為 (B'^-1)，則B' * (B'^-1) = I 單位矩陣。兩邊左乘B' 逆矩陣。 （圖4、5）
（3）得到如下原始數據D的計算公式 。
（4）對D重新編碼，可得到丟失的編碼
https://www.jianshu.com/p/c2b43ff67df0