A. 「Hive進階篇」詳解存儲格式及壓縮方式
hive優化除了有hql語句邏輯優化，hql參數調優等等，還有一個不起眼的細節容易被忽視掉， 那便是hive數倉模型表的存儲格式和壓縮方式 ，hive底層數據是依託在hadoop，以HDFS文件存儲在集群上的， hive數倉模型表選擇一個合適的存儲格式和壓縮方式也是hive優化的一點 。
本篇就來聊一聊這塊知識點吧。😄
hive主要有textfile、sequencefile、orc、parquet 這四種存儲格式，其中sequencefile很少使用，常見的主要就是orc和parquet這兩種，往往也搭配著壓縮方式合理使用。
建表聲明語句是： stored as textfile/orc/parquet
行式存儲，這是hive表的默認存儲格式，默認不做數據壓縮，磁碟開銷大，數據解析開銷大，數據不支持分片（即代表著會帶來無法對數據進行並行操作）
行列式存儲，將數據按行分塊，每個塊按列存儲，其中每個塊都存儲著一個索引，支持none和zlib和snappy這3種壓縮方式，默認採用zlib壓縮方式，不支持切片，orc存儲格式能提高hive表的讀取寫入和處理的性能。
列式存儲，是一個面向列的二進制文件格式（不可直接讀取），文件中包含數據和元數據，所以該存儲格式是自解析的，在大型查詢時效率很快高效，parquet主要用在存儲多層嵌套式數據上提供良好的性能支持，默認採用uncompressed不壓縮方式。
行存儲引擎 ：同一條數據的不同欄位都在相鄰位置，所以當要查找某一條記錄所有數據時行存儲查詢速度比較快
列存儲引擎 ：以列來聚集數據，相同欄位的值聚集在一起，所以當查詢某一個指定列的所有數據時，列存儲查詢速度比較快
hive主要支持gzip、zlib、snappy、lzo 這四種壓縮方式。
壓縮不會改變元數據的分割性，即壓縮後原來的值不變。
建表聲明語句是： tblproperties("orc.compress"="SNAPPY")
壓縮方式的評判標准主要有以下幾點：
針對壓縮方式做一個小結對比：
B. Hive元資料庫是用來做什麼的，存儲哪些信息
本質上只是用來存儲hive中有哪些資料庫，哪些表，表的模式，目錄，分區，索引以及命名空間。為資料庫創建的目錄一般在hive數據倉庫目錄下。
C. 為什麼使用HiveHive提供了什麼Hive支持哪些用戶
為什麼使用Hive？
為什麼使用Hive？那麼，在哪裡使用Hive呢？在載入了60億行（經度、維度、時間、數據值、高度）數據集到Mysql後，系統崩潰了，並經歷過數據丟失。這可能部分是因為我們最初的策略是將所有的數據都存儲到單一的一張表中了。後來，我們調整了策略通過數據集和參數進行分表，這有所幫助但也因此引入了額外的消耗，而這並非是我們願意接受的。
相反，我們決定嘗試使用Apache Hive技術。我們安裝了Hive 0.5 + 20，使用CDHv3和Apache Hadoop(0 20 2 + 320)。CDHv3還包含有許多其他相關工具，包括Sqoop和Hue這些在我們的架構中都標識出來了，如圖23-3底部所示。
我們使用Apache Sqoop轉儲數據到Hive中，然後通過寫一個Apache OODT包裝器，來使Hive按照空間/時間約束查詢數據，然後將結果提供給RCMET和其他用戶(圖23-2中間部分顯示)。RCMES集群的完整的架構如圖23- 3所示。我們有5台機器，包括圖中所示的一個主/從配置，通過一個運行GigE的私人網進行連接。
Hive提供了什麼
Photobucket公司使用Hive的主要目標是為業務功能、系統性能和用戶行為提供答案。為了滿足這些需求，我們每晚都要通過Flume從數百台伺服器上的MySQL資料庫中轉儲來自Web伺服器和自定義格式日誌TB級別的數據。這些數據有助於支持整個公司許多組織，比如行政管理、廣告、客戶支持、產品開發和操作，等等。對於歷史數據，我們保持所有MySQL在每月的第一天創建的所有的數據作為分區數據並保留30天以上的日誌文件。Photobucket使用一個定製的ETL框架來將MySQL資料庫中數據遷移到Hive中。使用Flume將日誌文件數據寫入到HDFS中並按照預定的Hive流程進行處理。
Hive支持的用戶有哪些
行政管理依賴於使用Hadoop提供一般業務健康狀況的報告。Hive允許我們解析結構化資料庫數據和非結構化的點擊流數據，以及業務所涉及的數據格式進行讀取。
廣告業務使用Hive篩選歷史數據來對廣告目標進行預測和定義配額。產品開發無疑是該組織中產生最大數量的特定的查詢的用戶了。對於任何用戶群，時間間隔變化或隨時間而變化。Hive是很重要的，因為它允許我們通過對在當前和歷史數據中運行A / B測試來判斷在一個快速變化的用戶環境中新產品的相關特性。
在Photobucket公司中，為我們的用戶提供一流的系統是最重要的目標。從操作的角度來看，Hive被用來匯總生成跨多個維度的數據。在公司里知道最流行的媒體、用戶、參考域是非常重要的。控制費用對於任何組織都是重要的。一個用戶可以快速消耗大量的系統資源，並顯著增加每月的支出。Hive可以用於識別和分析出這樣的惡意用戶，以確定哪些是符合我們的服務條款，而哪些是不符合的。也可以使用Hive對一些操作運行A / B測試來定義新的硬體需求和生成ROI計算。Hive將用戶從底層MapRece代碼解放出來的能力意味著可以在幾個小時或幾天內就可以獲得答案，而不是之前的數周。
Hive中的資料庫
Hive中資料庫的概念本質上僅僅是表的一個目錄或者命名空間。然而，對於具有很多組和用戶的大集群來說，這是非常有用的，因為這樣可以避免表命名沖突。通常會使用資料庫來將生產表組織成邏輯組。
如果用戶沒有顯式指定資料庫，那麼將會使用默認的資料庫default。
下面這個例子就展示了如何創建一個資料庫：
hive> CREATE DATABASE financials;
如果資料庫financials已經存在的話，那麼將會拋出一個錯誤信息。使用如下語句可以避免在這種情況下拋出錯誤信息：
hive> CREATE DATABASE IF NOT EXISTS financials;
雖然通常情況下用戶還是期望在同名資料庫已經存在的情況下能夠拋出警告信息的，但是IF NOT EXISTS這個子句對於那些在繼續執行之前需要根據需要實時創建資料庫的情況來說是非常有用的。
在所有的資料庫相關的命令中，都可以使用SCHEMA這個關鍵字來替代關鍵字TABLE。
隨時可以通過如下命令方式查看Hive中所包含的資料庫：
hive> SHOW DATABASES;
default
financials
hive> CREATE DATABASE human_resources;
hive> SHOW DATABASES;
default
financials
human_resources
如果資料庫非常多的話，那麼可以使用正則表達式匹配來篩選出需要的資料庫名，正則表達式這個概念，將會在第6.2.3節「Like和RLike」介紹。下面這個例子展示的是列舉出所有以字母h開頭，以其他字元結尾（即.*部分含義）的資料庫名：
hive> SHOW DATABASES LIKE 'h.*';
human_resources
hive> ...
Hive會為每個資料庫創建一個目錄。資料庫中的表將會以這個資料庫目錄的子目錄形式存儲。有一個例外就是default資料庫中的表，因為這個資料庫本身沒有自己的目錄。
資料庫所在的目錄位於屬性hive.metastore.warehouse.dir所指定的頂層目錄之後，這個配置項我們已經在前面的第2.5.1節「本地模式配置」和第2.5.2節「分布式模式和偽分布式模式配置」中進行了介紹。假設用戶使用的是這個配置項默認的配置，也就是/user/hive/warehouse，那麼當我們創建資料庫financials時，Hive將會對應地創建一個目錄/user/hive/warehouse/financials.db。這里請注意，資料庫的文件目錄名是以.db結尾的。
用戶可以通過如下的命令來修改這個默認的位置：
hive> CREATE DATABASE financials
> LOCATION '/my/preferred/directory';
用戶也可以為這個資料庫增加一個描述信息，這樣通過DESCRIBE DATABASE <database> 命令就可以查看到該信息。
hive> CREATE DATABASE financials
> COMMENT 'Holds all financial tables';
hive> DESCRIBE DATABASE financials;
financials Holds all financial tables
hdfs://master-server/user/hive/warehouse/financials.db
從上面的例子中，我們可以注意到，DESCRIEB DATABASE語句也會顯示出這個資料庫所在的文件目錄位置路徑。在這個例子中，URI格式是hdfs。如果安裝的是MapR，那麼這里就應該是maprfs。對於亞馬遜彈性MapRece（EMR）集群，這里應該是hdfs，但是用戶可以設置hive.metastore.warehouse.dir為亞馬遜S3特定的格式（例如，屬性值設置為s3n://bucketname...）。用戶可以使用s3作為模式，但是如果使用新版的規則s3n會更好。
前面DESCRIBE DATABASE語句的輸出中，我們使用了master-server來代表URI許可權，也就是說應該是由文件系統的「主節點」（例如，HDFS中運行NameNode服務的那台伺服器）的伺服器名加上一個可選的埠號構成的（例如，伺服器名：埠號這樣的格式）。如果用戶執行的是偽分布式模式，那麼主節點伺服器名稱就應該是localhost。對於本地模式，這個路徑應該是一個本地路徑，例如file:///user/hive/warehouse/financials.db。
如果這部分信息省略了，那麼Hive將會使用Hadoop配置文件中的配置項fs.default.name作為master-server所對應的伺服器名和埠號，這個配置文件可以在$HADOOP_HOME/conf這個目錄下找到。
需要明確的是，hdfs:///user/hive/warehouse/financials.db和hdfs://master-server/user/hive/
warehouse/financials.db是等價的，其中master-server是主節點的DNS名和可選的埠號。
為了保持完整性，當用戶指定一個相對路徑（例如，some/relative/path）時，對於HDFS和Hive，都會將這個相對路徑放到分布式文件系統的指定根目錄下（例如，hdfs:///user/<user-name>）。然而，如果用戶是在本地模式下執行的話，那麼當前的本地工作目錄將是some/relative/path的父目錄。
為了腳本的可移植性，通常會省略掉那個伺服器和埠號信息，而只有在涉及到另一個分布式文件系統實例（包括S3存儲）的時候才會指明該信息。
此外，用戶還可以為資料庫增加一些和其相關的鍵-值對屬性信息，盡管目前僅有的功能就是提供了一種可以通過DESCRIBE DATABASE EXTENDED <database>語句顯示出這些信息的方式：
hive> CREATE DATABASE financials
> WITH DBPROPERTIES ('creator' = 'Mark Moneybags', 'date' = '2012-01-02');
hive> DESCRIBE DATABASE financials;
financials hdfs://master-server/user/hive/warehouse/financials.db
hive> DESCRIBE DATABASE EXTENDED financials;
financials hdfs://master-server/user/hive/warehouse/financials.db
{date=2012-01-02, creator=Mark Moneybags);
USE命令用於將某個資料庫設置為用戶當前的工作資料庫，和在文件系統中切換工作目錄是一個概念：
hive> USE financials;
現在，使用像SHOW TABLES這樣的命令就會顯示當前這個資料庫下所有的表。
不幸的是，並沒有一個命令可以讓用戶查看當前所在的是哪個資料庫！幸運的是，在Hive中是可以重復使用USE…命令的，這是因為在Hive中並沒有嵌套資料庫的概念。
可以回想下，在第2.7.2節「變數和屬性」中提到過，可以通過設置一個屬性值來在提示符裡面顯示當前所在的資料庫（Hive v0.8.0版本以及之後的版本才支持此功能）：
hive> set hive.cli.print.current.db=true;
hive (financials)> USE default;
hive (default)> set hive.cli.print.current.db=false;
hive> ...
最後，用戶可以刪除資料庫：
hive> DROP DATABASE IF EXISTS financials;
IF EXISTS子句是可選的，如果加了這個子句，就可以避免因資料庫finanacials不存在而拋出警告信息。
默認情況下，Hive是不允許用戶刪除一個包含有表的資料庫的。用戶要麼先刪除資料庫中的表，然後再刪除資料庫；要麼在刪除命令的最後面加上關鍵字CASCADE，這樣可以使Hive自行先刪除資料庫中的表：
hive> DROP DATABASE IF EXISTS financials CASCADE;
如果使用的是RESTRICT這個關鍵字而不是CASCADE這個關鍵字的話，那麼就和默認情況一樣，也就是，如果想刪除資料庫，那麼必須先要刪除掉該資料庫中的所有表。
如果某個資料庫被刪除了，那麼其對應的目錄也同時會被刪除。
D. 有幾點關於hadoop的hive數據倉庫和hbase幾點疑惑，希望有高手可以幫忙解決一下，謝謝了！！！
首先感覺你有點亂。。。
你先明白數據倉庫的作用－－存儲歷史數據－進而對數據進行分析，只提供查詢－不提供修改
1。Hive 的目標是做成數據倉庫，所以它提供了SQL，提供了文件－表的映射關系，又由於Hive基於HDFS，所以不提供Update，因為HDFS本身就不支持。
2.HBase 是NoSQL資料庫－所以不要跟傳統混淆並談－NoSQL 提供的是另一種思路來滿足高性能的需求，而這些是傳統資料庫的短板，與傳統資料庫的理念不一樣
3.load data 這個可以自己去查。Hbase要使用自己的API
4.是的。
5.這句話不對。
6.映射就是結構對應－如文件每一行的第一個欄位－映射到Hive表的第一個欄位
類似Hibernate的語法解析。
Hive本身實現了一套語法結構也就是操作符。如掃描文件等，最終記本都會轉換成MapRece來運行
E. 分布式環境下hive的外部表是如何存儲的
第一、hive本身是不存儲數據的，不論外表、內表，hive的所有數據是存放在hdfs文件系統的。
第二、基於上面，你的問題就轉變為hdfs的文件是如何存儲的了，hdfs的文件是以塊block存儲的，每個塊分布在多台機器上面，每個塊的信息以及存放路徑則存放在nameNode節點的元數據里邊。
F. hive工作時，數據是存儲在mysql還是hdfs
存儲的數據都在hdfs，元數據等可能存儲於mysql或者deby等
G. hive能存儲數據嗎
能，hive的存儲位置是HDFS