『壹』 什麼是數據倉庫，數據倉庫在哪裡保存數據。BI項目需要用到哪些技術
一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。先大概列一下互聯網行業數據倉庫、數據平台的用途：
整合公司所有業務數據，建立統一的數據中心；
提供各種報表，有給高層的，有給各個業務的；
為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；
為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；
分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；
開發數據產品，直接或間接為公司盈利；
建設開放數據平台，開放公司數據；
。。。。。。
上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；
其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；
建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。
整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：
邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。
我們從下往上看：
數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。
數據源的種類比較多：
網站日誌：
作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，
一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；
業務資料庫：
業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。
當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。
來自於Ftp/Http的數據源：
有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；
其他數據源：
比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；
數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。
離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；
當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》
實時計算部分，後面單獨說。
數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；
前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。
另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。
數據應用
業務產品
業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；
報表
同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；
即席查詢
即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；
這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。
即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。
當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。
OLAP
目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；
這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；
比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。
其它數據介面
這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。
實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。
我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。
做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。
任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；
這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。
前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。
總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。
『貳』 視頻平台數據是存在哪裡的
網路上你所看到的各種數據，多媒體，一般都存儲在各種數據中心
圖片：一般都是存儲分布式的文件系統上
文字：一般是存儲在資料庫中的，並且採用主從表的模式，
也即文本內容單獨存在一個從表中
視頻：也是一般存儲在分布式文件系統中
『叄』 網路上的數據、文字、圖片、視頻等都存儲在哪裡
網路上你所看到的各種數據，多媒體，一爛激物般都存儲在各種數據中心。數據中心也就是機房，裡面有大量的機櫃，機櫃上插滿了存儲設備（硬碟、快閃記憶體）等。果殼網有一篇文章：《雲到底有多大》，摘抄部分如下：根據科技網站ExtremeTech的統計，整個互聯網的下載流量中，有40%是訪問YouTube這樣的視頻網站產生的； *** 則佔了另一大山頭，占據整體流量的30%；剩下的30%由網路硬碟數據下載、訪問網址、電子郵件等日常網路服務產生。當電腦前的人們從互聯網上獲取信息時，大概沒有人會去關注信息究竟來自何處。如果大家順藤鉛神摸瓜，便可以發現這些信息中的絕大部分都來源於互聯網的雲端。
如今提供雲存儲服務的服務商不僅有亞馬遜（旗下Amazon Web Services），微軟（旗下Microsoft Azure）和谷歌（旗下Google Drive）這樣的網路巨頭，還有成百上千的小公司機構。他們中或擁有一整個數據中心，或只有幾個機箱的存儲設備，規模參差不齊。從這些大大小小的公司身上我們大可窺探整個雲儲存產業的火爆程度。
雲計算因其出眾的能力備受青睞，它可以最快的效率為網路中的任何一方提供相關服務。谷歌麾下單單一個為YouTube服務的「雲團」就可以存儲管理幾個PB（1PB=1024TB）的數據。雲計算可以有幾TB的RAM與幾千核的CPU，遠非傳統計算機可比。而雲計算延伸發展出的雲存儲又究竟有著怎樣的魅力，引得谷歌、微軟和Dropbox這樣的巨頭競相折腰？讓我們從數據入手。
通常，谷歌、Facebook、亞馬遜和微軟這樣的大公司都很少對外發布自己的詳細數據。不過如果用心去多方核查，還是可以得到一些大概的數值：
Facebook：在Facebook的IPO檔案中，他們提到自己存儲著約為100PB的圖片及視頻信息。如果考慮了Facebook還要對用戶狀態這些信息進行網路備份，我們猜測100PB絕對不是他們的存儲上限。這里，把這個數值估為300PB應該不為過。
微軟：微軟近日承認自己的Hotmail伺服器內存有超過100PB的信息，而有著1700萬用戶的SkyDrive也存有10PB的信息。合理預測整個微軟的存儲規模應該不在Facebook之下，我們也把它的存儲上限估為300PB。
Megaupload：和上面兩個網路巨頭相比Megaupload自然是小巫見大巫，不過它在業內確也有著一席之地，算是25PB吧。
亞馬遜：亞馬遜旗下有Simple Storage Service這一網路儲存服務（簡稱S3）。亞馬遜從來沒有向公眾透露過S3究竟存有多大規模的數據量，不過今年四月他們卻對外宣布S3中存有9050億份文件。假設平均每份文件的大小為100KB，則S3的存儲量在90PB上下；假設平均每份文件為1MB，那麼S3的存儲規模將達到900PB，它將成為唯一一個儲存規模接近1EB的服務商。
Dropbox,：去年還只有2500萬用戶的Dropbox當時對外宣布，自己存儲著逾10PB的數據。如今Dropbox的用戶數已經上升到了一億，那麼他們的存儲規模應該在40PB上下。
儲存這些數據究竟多耗地方呢？我們得把這些虛擬數據的大小具體化。一台普通電腦的硬碟平均存儲空間為500GB或者1TB，1PB=1024TB，也就是說微軟和Facebook最少也得有100000個硬碟用於存儲信息。普遍情況下，一個4U機箱內可以塞進48個硬碟。考慮到還要塞一些其他的連接設備，那麼一個40U的機櫃大概可以存儲400個硬碟。一個40U的機櫃飢液佔地約為一平方米，也就是說要存儲100000個硬碟還是很佔地方的。不過對於谷歌、亞馬遜、Facebook或是微軟這樣有著30000多平米大樓的地主公司來說，找個地方放機櫃還是不成問題的。事實上， CPU、伺服器和網關比硬碟要佔地得多。
原文地址：guokr/article/204956/
『肆』 雲計算數據儲存在哪裡
雲儲存存在雲計算系統中的存儲設備中。
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是一種新興的網路存儲技術，是指通過集群應用、網路技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。簡單來說，雲存儲就是將儲存資源放到雲上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網的裝置連接到雲上方便地存取數據。
『伍』 全球互聯網很快儲存空間不足，未來要把數據存在哪裡
未來會建立相應的資料庫的，把數據都存儲在雲端。