㈠ 海量小文件用什麼存儲好
海量小文件優先選擇對象存儲，不用考慮元數據管理的問題，如果是老系統的話需要改造支持對象存儲。我們公司現在用的元核雲的YC-DOS分布式對象存儲，穩定性和性能都還不錯。
㈡ 大量小文件存儲，如何選擇存儲方案
1、Raid0
2、固態硬碟
3、Fat32：拷貝大量小文件(如拷貝照片、文檔轉移等)速度很快，但不支持存儲單個大於4GB的文件。
NTFS：支持大文件存儲，管理性能比Fat32強很多，但是拷貝大量小文件時速度較慢。
㈢ 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器
1.簡介
分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。
當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。
傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。
然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。
2.分布式文件系統的一些解決方案
Google Filesystem適合存儲海量大個文件，元數據存儲與內存中
HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件
TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS
擅長存儲海量的小數據，元數據存儲與關系型資料庫中
1.簡介
MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。
目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.
國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。
2.MogileFS特性
1) 應用層提供服務，不需要使用核心組件
2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）
3）自動復制文件，復制文件的最小單位不是文件，而是class
4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信
5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現
6）不用共享任何數據
3.MogileFS的組成
1）Tracker--跟蹤器，調度器
MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.
mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，
tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠
2）Database--資料庫部分
主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用
3）mogstored--存儲節點
數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.
典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.
配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠
4.基本工作流程
應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.
tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。
應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.
應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.
tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)
tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則
然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.
應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)
1.拓撲圖
說明：1.用戶通過URL訪問前端的nginx
2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求
3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx
4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求
5.mogstored將結果返回給nginx
6.nginx構建響應報文返回給客戶端
2.ip規劃
角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1
mogilefs192.168.1.202存儲節點與調度節點2
mogilefs192.168.1.203資料庫節點
MariaDB192.168.1.204
3.資料庫的安裝操作並為授權
關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql
4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝
5.初始化資料庫
可以看到在資料庫中創建了一些表
6.修改配置文件，啟動服務
7.配置mogilefs
添加存儲主機
添加存儲設備
添加域
添加class
8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣
9.嘗試上傳數據，獲取數據，客戶端讀取數據
上傳數據，在任何一個節點上傳都可以
獲取數據
客戶端查看數據
我們可以通過任何一個節點查看到數據
要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現
1.編譯安裝nginx
2.准備啟動腳本
3.nginx與mofilefs互聯
查看效果
5.配置後端truckers的集群
查看效果
大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群
㈣ 海量數據存儲有哪些方式與方法
1、容量可線性擴展，單名字空間達EB級，2、海量小文件存儲，百億級文件高效訪問，3、中心靈活部署，容災匯聚分發更便捷，4、支持大數據和AI，統一數據存儲和分析，你可以問下瑞馳信息技術，做數據存儲很專 業，技術很牛的。希望我的回答能解決到你的問題
㈤ 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展，產生的數據量越來越多，並且這些數據的特點是半結構化和非結構化，數據很可能是不精確的，易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此，目前互聯網行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據為Google論文 Bigtable: A Distributed Storage System for Structured Data開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層採用HDFS作為文件系統，具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢，並且嵌入式文檔和集合也支持索引，它復制能力被稱作復制集（replica set），提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重要的組件：Couchbase伺服器、Couchbase Gateway、Couchbase Lite。Couchbase伺服器，支持橫向擴展，面向文檔的資料庫，支持鍵值操作，類似於SQL查詢和內置的全文搜索;Couchbase Gateway提供了用於RESTful和流式訪問數據的應用層API。Couchbase Lite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於，分布式文件系統隔離底層數據存儲和分布的細節，展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發簡訊、用彩鈴的「老三樣」，移動互聯網的發展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網頁、地圖導航、網上購物、外賣訂餐等，這些業務的海量數據都構建在大規模網路雲資源池之上。當14億中國人把衣食住行搬上移動互聯網的同時，也給網路雲資源池帶來巨大業務挑戰。
首先，用戶需求動態變化，傳統業務流量主要是端到端模式，較為穩定；而互聯網流量易受熱點內容牽引，數據流量流向復雜和規模多變：比如雙十一購物狂潮，電商平台訂單創建峰值達到58.3萬筆，要求通信網路提供高並發支持；又如優酷春節期間有超過23億人次上網刷劇、抖音拜年短視頻增長超10倍，需要通信網路能夠靈活擴充帶寬。面對用戶動態多變的需求，通信網路需要具備快速洞察和響應用戶需求的能力，提供高效、彈性、智能的數據服務。
「隨著通信網路管道十倍百倍加粗、節點數從千萬級逐漸躍升至百億千億級，如何『接得住、存得下』海量數據，成為網路雲資源池建設面臨的巨大考驗」，李輝表示。一直以來，作為新數據存儲首倡者和引領者，浪潮存儲攜手通信行業用戶，不斷 探索 提速通信網路雲基礎設施的各種姿勢。
早在2018年，浪潮存儲就參與了通信行業基礎設施建設，四年內累計交付約5000套存儲產品，涵蓋全快閃記憶體儲、高端存儲、分布式存儲等明星產品。其中在網路雲建設中，浪潮存儲已連續兩年兩次中標全球最大的NFV網路雲項目，其中在網路雲二期建設中，浪潮存儲提供數千節點，為上層網元、應用提供高效數據服務。在最新的NFV三期項目中，浪潮存儲也已中標。
能夠與通信用戶在網路雲建設中多次握手，背後是浪潮存儲的持續技術投入與創新。浪潮存儲6年內投入超30億研發經費，開發了業界首個「多合一」極簡架構的浪潮並行融合存儲系統。此存儲系統能夠統籌管理數千個節點，實現性能、容量線性擴展；同時基於浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調度、智能元數據管理等功能，與自研NVMe SSD快閃記憶體檔進行系統級別聯調優化，讓百萬級IO均衡落盤且路徑更短，將存儲系統性能發揮到極致。
「為了確保全球最大規模的網路雲正常上線運行，我們聯合用戶對存儲集群展開了長達數月的魔鬼測試」，浪潮存儲工程師表示。網路雲的IO以虛擬機數據和上層應用數據為主，浪潮按照每個存儲集群支持15000台虛機進行配置，分別對單卷隨機讀寫、順序寫、混合讀寫以及全系統隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試，達到了通信用戶提出的單卷、系統性能不低於4萬和12萬IOPS、時延小於3ms的要求，產品成熟度得到了驗證。
以通信行業為例，2020年全國移動互聯網接入流量1656億GB，相當於中國14億人每人消耗118GB數據；其中春節期間，移動互聯網更是創下7天消耗36億GB數據流量的記錄，還「捎帶」打了548億分鍾電話、發送212億條簡訊……海量實時數據洪流，在網路雲資源池(NFV)支撐下收放自如，其中分布式存儲平台發揮了作用。如此樣板工程，其巨大示範及拉動作用不言而喻。