⑴ 【Minio】基於AWS S3協議搭建個人雲存儲服務
在2007年,GlusterFS演變為大型分布式存儲方案後,任何配備合適硬體的公司,單位都可以利用個做分布式的流媒體,數據分析。在2011年,Red Hat收購了GlusterFS.
Minio是GlusterFS創始人之一Anand Babu Periasamy發布新的開源項目。Minio兼容Amason的S3分布式對象存儲項目,採用Golang實現,客戶端支持Java,Python,Javacript, Golang語言。
Minio 提供對象存儲服務,兼容了 AWS S3 存儲協議,用於非結構化的數據存。非結構化對象,比如圖像,音、視頻,日誌文件,備份鏡像…等等管理不方便,不定長,大小變化大、類型多,雲端的訪問復雜,minio就是來解決這種場景的。非結構化的文件從數KB到5TB都能很好的支持。開源並且用 Go 語言開發,有web操作界面,我們可以用它來搭建兼容S3協議的存儲雲服務。
Minio可以做為雲存儲的解決方案用來保存海量的圖片,視頻,文檔。由於採用Golang實現,服務端可以工作在Windows,Linux, OS X和FreeBSD上。配置簡單,基本是復制可執行程序,單行命令可以運行起來。
官網: https://minio.io
那麼,如何自己搭建一個私有的S3存儲雲服務呢?
官方的話是推薦用Docker來搞,我們先用普通的二進制文件來直接解決了!
######################################################################################
# mkdir /data/aws_s3
# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
# mv minio /usr/local/bin/
# chmod 755 /usr/local/bin/minio
# minio server /data/aws_s3
#############################################################
Created minio configuration file successfully at /root/.minio
Endpoint: http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey: /
Region: us-east-1
SQS ARNs:
Browser Access:
http://10.5.10.89:9000 http://127.0.0.1:9000 http://172.17.0.1:9000
Command-line Access: https://docs.minio.io/docs/minio-client-quickstart-guide
################################################################
$ mc config host add myminio http://10.5.10.89:9000 U3XLU4IMXY3IDKHU268F /
Object API (Amazon S3 compatible):
Go: https://docs.minio.io/docs/golang-client-quickstart-guide
Java: https://docs.minio.io/docs/java-client-quickstart-guide
Python: https://docs.minio.io/docs/python-client-quickstart-guide
JavaScript: https://docs.minio.io/docs/javascript-client-quickstart-guide
Drive Capacity: 8.3 GiB Free, 9.1 GiB Total
##############################################################
我們就成功啟動了minio的s3服務,默認埠9000,可以通過網頁訪問:
http://10.5.10.89:9000
http://127.0.0.1:9000
http://172.17.0.1:9000
注意 :第一次打開時候需要填寫AccessKey和SecretKey才能進入,我們上面啟動服務的時候,已經看到屏幕有輸出:
AccessKey: U3XLU4IMXY3IDKHU268F
SecretKey:
把這兩個Key填入,就能順利進入,進入後展開頁面如下:
這就是我們的S3雲存儲的管理頁面了,看著是不是和七牛什麼的提供雲存儲的產品頁面挺像的,大家都是基於S3協議開發的!
上傳個文件試試:
點擊右下角的紅色小加號按鈕,彈出的菜單選擇」create bucket」則會創建一個桶,輸入名字」test」
點擊剛才那個紅色小加號按鈕,這次選擇」Upload file」上傳文件,給這個桶上傳了一個叫login.txt的文本文檔
此時頁面如下:
至此我們可以看到文件已經上傳,要訪問這個文件,可以點擊文件右側的三個點的按鈕,選擇分享就可以得到一個外鏈,在瀏覽器中訪問這個外鏈就可以直接訪問文件。
那麼文件到底被存到哪裡去了呢,我們啟動命令中其實指定了工作路徑/data/aws_s3/,所以到伺服器這個目錄下看看:
# ls /data/aws_s3/
test
# ls /data/aws_s3/test/
login.txt
桶名稱test是一個目錄,其下就有上傳的login.txt文件。
如果想指定ip和埠,可以這樣寫:
# minio server /data/aws_s3 --address=0.0.0.0:9000
如果想讓服務在後台運行:
# nohup minio server /data/aws_s3 --address=0.0.0.0:443 &
[1] 19882
// nohup: 忽略輸入並把輸出追加到啟動命令的當前目錄下的 "nohup.out"文件
minio可以用來搭建分布式存儲系統 GlusterFS,這樣就成了真正的雲存儲了,有時間再研究下把它從現在的單機測試,變成一朵存儲雲!
minio官網: https://minio.io
minio官方文檔: https://docs.minio.io/docs/minio-docker-quickstart-guide
minio github主頁: https://github.com/minio/minio
⑵ 有沒有低成本的NAS網路存儲
如果打算組建低成本的NAS網路存儲,對於存儲容量、功能等方面要求不是很高,可以考慮選擇支持NAS功能的無線路由器或網路硬碟盒,配合移動硬碟或電腦硬碟來搭建NAS存儲設備。如果對於NAS功能和存儲容量要求相對較高,可以考慮搭建黑群暉存儲系統。下面簡單談一下低成本NAS網路存儲系統搭建的幾種方法。
使用支持NAS功能的無線路由器配合移動硬碟搭建低成本NAS
搭建低成本NAS系統最簡單的方法就是選擇一款支持NAS功能的無線路由器和一塊移動硬碟,像榮耀路由Pro2支持usb3.0高速介面,支持簡單的NAS功能,只需外接一塊移動硬碟,就可以當做小型NAS系統使用了,目前榮耀路由Pro2京東售價僅219元,搭載四核凌霄處理器配合高速usb3.0介面,存儲器讀寫速度方面表現還是非常不錯的。無線路由器外接移動存儲設備作為NAS使用,存儲容量較小,沒有設置冗餘,功能相對簡單,但成本相對較低,可以滿足基本存儲需要。
使用網路硬碟盒和電腦硬碟搭建低成本NAS
搭建低成本NAS還可以考慮選擇網路硬碟盒和電腦硬碟,一般只需將硬碟安裝到網路硬碟盒硬碟插槽,將網路硬碟盒使用網線連接路由器lan口,nas系統就組裝完成,安裝非常簡單。一般網路硬碟盒組建的小型NAS系統,支持手機備份文件,智能電視或 游戲 機通過DLNA播放視頻或多媒體文件,通過電腦隨時存儲或讀取文件,功能相對無線路由器的NAS更多一些,但相比專業NAS在功能、存儲容量方面還是存在較大差距。一般網路硬碟盒價格在200元以上,安裝和操作都非常簡單,更適合普通用戶使用。
搭建黑群暉系統
如果對於NAS的存儲容量、功能等方面要求較高,一般必須考慮專業的NAS系統,但像群暉等品牌NAS產品價格較高,但可以考慮組裝黑群暉NAS系統,成本遠低於品牌NAS產品。一般搭建黑群暉系統,建議選擇和群暉NAS硬體配置接近的低功耗cpu和主板套裝,可以考慮選擇NAS專用機箱,根據需要購置相應容量和數量的電腦硬碟,安裝黑群暉主機基本和電腦裝機沒有太大差別。但是安裝黑群暉系統和普通電腦系統不太相同,一般需要下載黑群暉固件和相關安裝文件,藉助一個空白u盤,按照網上的教程才可以安裝成功。黑群暉NAS系統存儲容量更大,功能更齊全,更適合於較為專業的用戶使用。
再低的成本也要硬碟啊 數據無價 NAS還是盡量用新的可靠一些的硬碟 至少雙硬碟鏡像。
你可以像我這樣在閑魚上購買二手的小主機。自己製作黑群暉。這種小主機配置不用太高。但最好選擇帶一aes的功能。還要支持虛擬化。內存最好4g以上。為以後的虛擬機預留好配置。最好用被動散熱。像我這台小主機是我在閑魚。50塊錢買的。不包含內存和硬碟。後來我改造了電源,和散熱。加了內存和硬碟。也就300出頭。用群暉的虛擬機虛擬了軟路由。實現了各種上網功能。和存儲。比任何硬路由都好使。基本滿足了我各種上網的需要。
有,閑魚搜索貓盤,小貓盤最便宜百元以內,回來加個2.5英寸筆記本硬碟,用著非常爽,對於家庭共享存儲非常合適。
有的,黑群暉,具體怎麼弄的網上搜一下吧,手機打字不方便,配置的話只是存儲需求用D525的板子2G內存就行了,硬碟自己加,系統的話用5.2的,配置可以高點的話用6.1的也行,都是很穩定的版本
⑶ 想要搭建一個家用NAS存儲伺服器,有什麼好方案
存儲空間不用說了,這是必須的。
1.跨平台文件共享,還有移動終端的訪問,比如:windows,mac,安卓和ios。這是為了方便文件讀取和分享,如果不支持跨平台的話畢竟有點不方便。
2.遠程訪問,相當於個人的雲存儲主機,在外面通過3g或者網路可以訪問到家裡的nas,進行文件的上傳,下載,以及管理。基本上滿足這幾個要求,就可以被稱為最基本的家用nas了。想達到要求也很簡單,家裡的網路支持,一台路由器,一台電腦。需要的軟體:freenas(網上都有下,免費的nas系統)這樣組建nas功能很少,而且功耗大。後期維護成本高。如果要長期使用的話,成本不亞於買一台成品nas。首先從維護難度來講NAS其實也是一台繼承CPU的Linux的電腦這句話沒錯,但是NAS的linux操作系統是嵌入在DOM盤里,所以無論從穩定性和防病毒性來侍蘆首說都是絕佳的,還有NAS採用的Linux系統是瘦系統,也就是說它剔除了用不到的功能來保證系統穩定性。如果作為數據存儲的話,不需要定期升級與維護,簡單設定後就可以使用,而且NAS也自帶RAID功能,可以保證數據安全,而且數據備份功能做得非常完善,無論是近端備份(PC機備份至NAS)還是遠端備份(備份至遠端伺服器或NAS),都可以通過非常簡單的設定就可以完成,非常老數易於維護,即使不太懂計算機也可以完成維護。數據安全非常重要,訪問許可權控制之類的NAS也做得非常好。成品NAS基本上是免維護的。而且現在威聯通的nas功能很強大,例如,通過QNAPHDStation,可以讓威聯通nas成為令人驚喜的多媒體播放器。安裝免費嘩做的HDStation,並通過HDMI將NAS連接至大屏幕電視,就可以輕松擁有絕佳視覺體驗,享受眾多影片、音樂和照片,通過大屏幕上網,利用手機或平板電腦
⑷ 如何實現一個簡單的家庭雲存儲系統
簡單的家庭雲存儲系統是為了個人或單個家庭使用而構建的,數據作為一種資源,保存在別人家的伺服器上永遠沒有保存在自己家庭雲存儲系統安全,網路網盤或微雲再好那是別人家的,最終解釋權在人家手裡,即使上傳百G的東西,人家說關就可以關,而私有雲是自己的,最終所有權在自己手裡。
個人或家庭,搭建NAS(NetworkAttachedStorage:網路附屬存儲)是一種非常好的方案,每個家庭都可以有自己的NAS,而成本對於一般家庭來說都可以接受——NAS在一個LAN上佔有自己的節點,無需應用伺服器的干預,允許用戶在網路上存取數據,NAS集中管理和處理網路上的所有數據,可以有效降低總擁有成本,你家庭任何成員和任何設備(包括WP,安卓,蘋果,筆記本等各種)都可以直接觀看NAS硬碟上的視頻,使用NAS上的數據。
具體實現方法如下:
1、NAS既NetworkAttachedStorage,網路附屬存儲,它的功能有點類似於我們常說的雲計算、雲存儲中的「雲」。
⑸ 如何在LNMP上搭建ownCloud個人雲存儲系統
ownCloud是一個自由且開源的個人雲存儲解決方案。最早由KDE開發者Frank Karlitschek於2010年一月創建,目標是成為商業雲服務提供商的替代。與商業雲存儲服務不同,ownCloud可以自由獲取無需付費;它可以被安裝在個人伺服器上,用戶擁有控制和修改的權利。
目前程序已經更新到了4.5.7版本,此版本從根本上進行了轉變,需要基於PHP5.3及以上的運行環境,那麼之前我所安裝的是ownCloud 2.X的版本,而升級到新版本後,同時PHP環境也要升級,由於之前使用的是PHP5.2,因為我很相信PHP5.2版本,原因是其穩定性,作為ownCloud的終極粉絲,我還是忍痛割愛,換成了PHP5.3。 下面給大家分享一下我在使用ownCloud過程中所遇到的問題及解決方案:
1、站點出現錯誤:
Fatal error: Call to undefined function stream_resolve_include_path() in /home/wwwroot/dl.303i.com/lib/base.php on line 99
原因是上面所說的4.5.7版的ownCloud運行環境需要PHP5.3以上版本,所以升級一下PHP就可以了。 下載解壓PHP後進入目錄後可以輸入以下配置選項進行安裝:
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --enable-fpm --with-fpm-user=www-data --with-fpm-group=www-data --with-mysql=mysqlnd --with-mysqli=mysqlnd --with-pdo-mysql=mysqlnd --with-iconv-dir --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib --with-libxml-dir=/usr --enable-xml --disable-rpath --enable-magic-quotes --enable-safe-mode --enable-bcmath --enable-shmop --enable-sysvsem --enable-inline-optimization --with-curl --with-curlwrappers --enable-mbregex --enable-mbstring --with-mcrypt --enable-ftp --with-gd --enable-gd-native-ttf --with-openssl --with-mhash --enable-pcntl --enable-sockets --with-xmlrpc --enable-zip --enable-soap --without-pear --with-gettext --disable-fileinfo
2、出現PHP函數錯誤:
PHP message: PHP Warning: Invalid argument supplied for foreach() in DOC_ROOT/dl.303i.com/lib/l10n.php on line 322
PHP message: PHP Warning: scandir() has been disabled for security reasons in DOC_ROOT/dl.303i.com/lib/l10n.php on line 321
我想所有部署過PHP程序的童鞋都會知道,這個錯誤要啟用PHP默認禁用掉的函數
解決這個問題我就不多說了,看一下之前我寫的博客吧
《解決Warning: scandir() has been disabled for security reasons in…的問題》
3、界面布局顯示錯亂(如圖):
找到Nginx日誌文件,翻到最後,你可以看到:
2013/01/21 21:25:08 [error] 28179#0: *7 open() "DOC_DIR/dl.303i.com/remote.php/core.css" failed (20: Not a directory)
2013/01/21 21:25:09 [error] 28179#0: *9 open() "DOC_DIR/dl.303i.com/remote.php/core.js" failed (20: Not a directory)
原因是你的Nginx或者apache沒有配置跳轉,筆者使用的是Nginx,所以只介紹Nginx的ownCloud的配置:
server
{
listen 80;
server_name dl.303i.com;
index index.php;
root DOC_DIR/dl.303i.com;
client_max_body_size 1000M; # set maximum upload size
location ~ ^/remote.php(/.*)$ {
fastcgi_split_path_info ^(.+\.php)(/.*)$;
fastcgi_pass unix:/tmp/php-cgi.sock;
include fcgi.conf;
}
# deny direct access
location ~ ^/(data|config|\.ht|db_structure\.xml|README) {
deny all;
}
# default try order
location / {
try_files $uri $uri/ @webdav;
}
# owncloud WebDAV
location @webdav {
fastcgi_split_path_info ^(.+\.php)(/.*)$;
fastcgi_pass unix:/tmp/php-cgi.sock;
include fastcgi_params;
}
location ~ .*\.(php|php5)?$
{
try_files $uri =404;
fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_index index.php;
include fcgi.conf;
}
}
配置好後重新部署nginx即可,刷新頁面顯示正常,效果圖如下:
⑹ 怎麼自己搭建自己的雲存儲伺服器
第一步:預裝軟體。
ownCloud 內核是用PHP5寫的,支持SQLite、MySQL、Oracle以及PostgreSQL等資料庫。為了簡單,我們將用MySQL資料庫。在你的Linux系統下你需要安裝以下軟體:
PHP 安裝包:php5, php5-gd, php-xml- parser,php5-intl
資料庫驅動:php5-mysql(如果你使用其他資料庫,需要安裝相應的資料庫以及驅動)
Curl 安裝包:curl, libcurl3, php5-curl
SMB 客戶端:smbclient (這個用來掛載windows共享文件夾的)
Web 伺服器:apache2
⑺ 搭建家用數據存儲系統|磁碟陣列|硬碟組
1.
這是和你存儲容量有關的,如果是1TB-3TB,一個PC
就可以解決
2.
3TB-16TB
一個存儲伺服器(包含整列)可以解決
3.
16TB+
像你所說的100TB+
的話最好還是自己搞個機房,搭建一個分布式存儲的系統,openstack
比較適合你
4.
遠程終端的要求很簡單,大家現在都是這樣做的,伺服器上裝上ssh
就可以了
5.
你的存儲需求比較大,可以找專門的公司提供解決方案
⑻ 如何建立自己的私有雲存儲
建立私有雲存儲的步驟:
第一步:預裝軟體。
ownCloud 內核是用PHP5寫的,支持SQLite、MySQL、Oracle以及PostgreSQL等資料庫。為了簡單,我們將用MySQL資料庫。在你的Linux系統下你需要安裝以下軟體:
PHP 安裝包:php5, php5-gd, php-xml- parser,php5-intl
資料庫驅動:php5-mysql(如果你使用其他資料庫,需要安裝相應的資料庫以及驅動)
Curl 安裝包:curl, libcurl3, php5-curl
SMB 客戶端:smbclient (這個用來掛載windows共享文件夾的)
Web 伺服器:apache2
如果你的Linux是基於Debian的,你可以運行下面的命令一鍵安裝所有的軟體:
$ sudo apt-get install apache2 php5 php5-gd php-xml-parser php5-intl php5-sqlite php5-mysql smbclient curl libcurl3 php5-curl mysql-server
第二步:安裝ownCloud——設置web 根目錄。
從 網站上下載最新版的ownCloud,對於本教程,我們使用owncloud-4.5.6 版本。到此,我們需要設置web伺服器的根目錄,對於基於Debian發行版的Linux系統,根目錄為/var/www,將ownCloud安裝包解壓到此目錄下。
第三步:安裝ownCloud——配置web伺服器。
這一步我們要為 ownCloud配置Apache伺服器,OwnCloud需要啟用 Apache上 .htaccess 文件,.htaccess文件(或者"分布式配置文件")提供了針對目錄改變配置的方法。為了啟用web伺服器上的.htaccess,可以通過 Apache配置文件(基於Den系統是/etc/apache2/sites-enabled/000-default)的 AllowOverride指令來設置。
第四步:安裝OwnCloud——安裝運行。
在瀏覽器中打開 http://localhost/ludcloud ,你會被引導進入ownCloud的安裝界面。
首先你要建立一個管理員帳號,輸入必填的用戶名和密碼就完成了。為了配置資料庫,點「Advanced」 選擇MySQL,然後輸入MySQL的資料庫名、用戶名和密碼。
點「Finish」 完成安裝過程。
⑼ 如何搭建一台存儲伺服器呢
搭建存儲伺服器需要先准備一台擁有足夠存儲空間和配置的伺服器,並配置相關的網路連接。
對於 Windows 系統,可以使用 Windows Server 搭建存儲伺服器:
安裝 Windows Server 操作系統。
啟動伺服器,進入控制面板。
在「程序」選項卡中,選擇「啟用或關閉 Windows 功能」。
選擇「存儲伺服器」功能,然後單擊「確定」。
按照提示,完成存儲伺服器的配置。
對於 Ubuntu 系統,可以使用 Samba 搭建存儲伺服器:
在終端中,執行以下命令安裝 Samba:sudo apt-get install samba
創建一個存儲文件夾,並配置存儲許可權。
編輯 Samba 配置文件 /etc/samba/smb.conf,添加以下內容:
[共享名稱]
path = /路徑/到/存儲文件夾
writable = yes
browsable = yes
guest ok = yes
重啟 Samba 服務:sudo service smbd restart
在客戶端中,添加存儲伺服器,並驗證是否能夠正常連接。
注意:以上步驟是大致步驟,具體步驟及詳細配置方式可以參考官方文檔或者搜索教程
⑽ 如何搭建私有雲存儲
搭建私有雲存儲的方法是在網路搜索雲盒子,進入雲盒子官網上下載伺服器版安裝包。
私有存儲雲是針對於公有存儲來說的,這個私有雲幾乎五臟俱全。但是雲的應用局限在一個區域、一個企業,甚至只是一個家庭內部。
在計算機工業領域,也是這樣的演進方式。計算機從一開始誕生就是以「合勢」(集中處理)的方式出現的,那時的計算機都是作為集中式計算來處理用戶請求。從那時所產生的概念如多道程序,多任務,終端等,依然沿用至今。那時的小型機、大型機其實就是以計算的方式來為用戶提供服務的。
私有存儲雲簡介
私有存儲雲只對受限的用戶提供相應的存儲服務以及相應的服務質量,使用存儲服務的用戶不需要了解「雲」組成的具體細節。只要知道相應的介面並提供相應的策略,剩下的工作交由「雲」來完成。
用戶只需將這個存儲雲看作是一個黑盒資源池,具體其內部是如何實現,如何配置,採用什麼樣的技術,使用什麼樣的平台,用戶都無需關心。只要用戶需要時,這朵「雲」就提供存儲空間,並且其中的數據可以做到隨時訪問,就像訪問本地的存儲一樣。作為雲端則在不影響用戶的情況下,提供了很多的附加功能,使得雲成為高效、可靠、安全的存儲池。