① 傳統關系資料庫和列族資料庫的區別
列式存儲(Columnar or column-based)是相對於傳統關系型資料庫的行式存儲(Row-basedstorage)來說的。簡單來說兩者的區別就是如何組織表。1）行存儲的寫入是一次完成。如果這種寫入建立在操作系統的文件系統上，可以保證寫入過程的成功或者失敗，數據的完整性因此可以確定。
2）列存儲由於需要把一行記錄拆分成單列保存，寫入次數明顯比行存儲多（意味著磁頭調度次數多，而磁頭調度是需要時間的，一般在1ms~10ms)，再加上磁頭需要在碟片上移動和定位花費的時間，實際時間消耗會更大。所以，行存儲在寫入上佔有很大的優勢。
3）還有數據修改,這實際也是一次寫入過程。不同的是，數據修改是對磁碟上的記錄做刪除標記。行存儲是在指定位置寫入一次，列存儲是將磁碟定位到多個列上分別寫入，這個過程仍是行存儲的列數倍。所以，數據修改也是以行存儲占優。
② ku是什麼意思
Ku是一個列式存儲的用於快速分析的Nosql資料庫，提供了類似SQL的查詢語句，與RDBMS十分類似，有**PRIMARY KEY **，基於主鍵查詢而不是HBase的RowKey。
ku擁有毫秒級延遲
與其他大數據資料庫不同，Ku不僅僅是一個文件格式。行訪問達到毫秒級延遲，支持C++ JAVA, API PyThon API 擁有簡單好用的API。
ku能與Hadoop生態系統無縫對接
你可以使用Java Client實時導入數據，同時也支持Spark(運算) impala(分析工具，比Hive快) MapRece HDFS HBase 很容易從HDFS中獲取數據，佔用內存小於1G。
分布式和容錯機制Ku通過把tables切分成tablets,每個表都可以配置切分的哈希，分區和組合。Ku使用了Raft來復制給定的操作，保證了數據同時存儲在兩個節點上，因此不村子單點故障。
Ku是為我們下一代設計的好軟體，大家可以了解一下！
③ 大數據常用文件格式介紹
圖片看不見的話可以看我CSDN上的文章：
https://blog.csdn.net/u013332124/article/details/86423952
最近在做hdfs小文件合並的項目，涉及了一些文件格式的讀寫，比如avro、orc、parquet等。期間閱讀了一些資料，因此打算寫篇文章做個記錄。
這篇文章不會介紹如何對這些格式的文件進行讀寫，只會介紹一下它們各自的特點以及底層存儲的編碼格式 。
[圖片上傳失敗...(image-a5104a-1547368703623)]
使用sequencefile還可以將多個小文件合並到一個大文件中，通過key-value的形式組織起來，此時該sequencefile可以看做是一個小文件容器。
[圖片上傳失敗...(image-4d03a2-1547368703623)]
Parquet是一個基於列式存儲的文件格式，它將數據按列劃分進行存儲。Parquet官網上的文件格式介紹圖：
[圖片上傳失敗...(image-92770e-1547368703623)]
我們可以看出，parquet由幾個部分構成：
[圖片上傳失敗...(image-391e57-1547368703623)]
Orc也是一個列式存儲格式，產生自Apache Hive，用於降低Hadoop數據存儲空間和加速Hive查詢速度。
[圖片上傳失敗...(image-ba6160-1547368703623)]
目前列式存儲是大數據領域基本的優化項，無論是存儲還是查詢，列式存儲能做的優化都很多，看完上面對orc和parquet的文件結構介紹後，我們列式存儲的優化點做一個總結：
在壓縮方面 ：
在查詢方面 ：
就網上找到的一些數據來看，Orc的壓縮比會比Parquet的高一些，至於查詢性能，兩個應該不會差距太大。本人之前做過一個測試，在多數場景，hive on mr下，orc的查詢性能會更好一些。換成hive on spark後，parquet的性能更好一些
本文介紹的4種大數據存儲格式，2個是行式存儲，2個是列式存儲，但我們可以看到一個共同點：它們都是支持分割的。這是大數據文件結構體系中一個非常重要的特點， 因為可分割使一個文件可以被多個節點並發處理，提高數據的處理速度 。
另外，當前大數據的主要趨勢應該是使用列式存儲，目前我們公司已經逐步推進列式存儲的使用，本人也在hive上做過一些測試，在多個查詢場景下，無論是orc還是parquet的查詢速度都完爆text格式的， 差不多有4-8倍的性能提升 。另外，orc和parquet的壓縮比都能達到10比1的程度。因此，無論從節約資源和查詢性能考慮，在大多數情況下，選擇orc或者parquet作為文件存儲格式是更好的選擇。另外，spark sql的默認讀寫格式也是parquet。
當然，並不是說列式存儲已經一統天下了，大多時候我們還是要根據自己的使用場景來決定使用哪種存儲格式。
Sequencefile
https://blog.csdn.net/en_joker/article/details/79648861
https://stackoverflow.com/questions/11778681/advantages-of-sequence-file-over-hdfs-textfile
Avro和Sequencefile區別
https://stackoverflow.com/questions/24236803/difference-between-avrodata-file-and-sequence-file-with-respect-to-apache-sqoop
parquet
https://www.cnblogs.com/ITtangtang/p/7681019.html
Orc
https://www.cnblogs.com/ITtangtang/p/7677912.html
https://www.cnblogs.com/cxzdy/p/5910760.html
Orc和parquet的一些對比
https://blog.csdn.net/colorant/article/details/53699822
https://blog.csdn.net/yu616568/article/details/51188479
④ 「列式」是什麼意思
「列式」的意思：列式資料庫是以列相關存儲架構進行數據存儲的資料庫。
⑤ 當前主流的資料庫系統通常採用哪幾種模型
目前最主流的sql server、oracle、mysql、db2都是關系型資料庫。隨著社交網站、視頻網站等互聯網新業務模式的興起，各種非關系資料庫模型也在不斷涌現。
以下是的：
數據模型概述
1.關系模型
關系模型使用記錄（由元組組成）進行存儲，記錄存儲在表中，表由架構界定。表中的每個列都有名稱和類型，表中的所有記錄都要符合表的定義。SQL是專門的查詢語言，提供相應的語法查找符合條件的記錄，如表聯接（Join）。表聯接可以基於表之間的關系在多表之間查詢記錄。
表中的記錄可以被創建和刪除，記錄中的欄位也可以單獨更新。
關系模型資料庫通常提供事務處理機制，這為涉及多條記錄的自動化處理提供了解決方案。
對不同的編程語言而言，表可以被看成數組、記錄列表或者結構。表可以使用B樹和哈希表進行索引，以應對高性能訪問。
2.鍵值存儲
鍵值存儲提供了基於鍵對值的訪問方式。
鍵值對可以被創建或刪除，與鍵相關聯的值可以被更新。
鍵值存儲一般不提供事務處理機制。
對不同的編程語言而言，鍵值存儲類似於哈希表。對此，不同的編程語言有不同的名字（如，Java稱之為「HashMap」，Perl稱之為「hash」，Python稱之為「dict」，PHP稱之為「associative array」），C++則稱之為「boost::unordered_map<...>」。
鍵值存儲支持鍵上自有的隱式索引。
鍵值存儲看起來好像不太有用，但卻可以在「值」上存儲大量信息。「值」可以是一個XML文檔，一個JSON對象，或者其它任何序列化形式。
重要的是，鍵值存儲引擎並不在意「值」的內部結構，它依賴客戶端對「值」進行解釋和管理。
3.文檔存儲
文檔存儲支持對結構化數據的訪問，不同於關系模型的是，文檔存儲沒有強制的架構。
事實上，文檔存儲以封包鍵值對的方式進行存儲。在這種情況下，應用對要檢索的封包採取一些約定，或者利用存儲引擎的能力將不同的文檔劃分成不同的集合，以管理數據。
與關系模型不同的是，文檔存儲模型支持嵌套結構。例如，文檔存儲模型支持XML和JSON文檔，欄位的「值」又可以嵌套存儲其它文檔。文檔存儲模型也支持數組和列值鍵。
與鍵值存儲不同的是，文檔存儲關心文檔的內部結構。這使得存儲引擎可以直接支持二級索引，從而允許對任意欄位進行高效查詢。支持文檔嵌套存儲的能力，使得查詢語言具有搜索嵌套對象的能力，XQuery就是一個例子。MongoDB通過支持在查詢中指定JSON欄位路徑實現類似的功能。
4.列式存儲
如果翻轉數據，列式存儲與關系存儲將會非常相似。與關系模型存儲記錄不同，列式存儲以流的方式在列中存儲所有的數據。對於任何記錄，索引都可以快速地獲取列上的數據。
Map-rece的實現Hadoop的流數據處理效率非常高，列式存儲的優點體現的淋漓極致。因此，HBase和Hypertable通常作為非關系型數據倉庫，為Map-rece進行數據分析提供支持。
關系類型的列標對數據分析效果不好，因此，用戶經常將更復雜的數據存儲在列式資料庫中。這直接體現在Cassandra中，它引入的「column family」可以被認為是一個「super-column」。
列式存儲支持行檢索，但這需要從每個列獲取匹配的列值，並重新組成行。
5.圖形資料庫
圖形資料庫存儲頂點和邊的信息，有的支持添加註釋。
圖形資料庫可用於對事物建模，如社交圖譜、真實世界的各種對象。IMDB（Internet Movie Database）站點的內容就組成了一幅復雜的圖像，演員與電影彼此交織在一起。
圖形資料庫的查詢語言一般用於查找圖形中斷點的路徑，或端點之間路徑的屬性。Neo4j是一個典型的圖形資料庫。
選擇哪一種數據模型？
數據模型有著各自的優缺點，它們適用於不同的領域。不管是選擇關系模型，還是非關系模型，都要根據實際應用的場景做出選擇。也許你會發現單一的數據模型不能滿足你的解決方案，許多大型應用可能需要集成多種數據模型。
⑥ 什麼是資料庫列存儲，原理是怎樣的
資料庫列存儲不同於傳統的關系型資料庫，其數據在表中是按行存儲的，列方式所帶來的重要好處之一就是，由於查詢中的選擇規則是通過列來定義的，因 此整個資料庫是自動索引化的。
按列存儲每個欄位的數據聚集存儲，在查詢只需要少數幾個欄位的時候，能大大減少讀取的數據量，一個欄位的數據聚集存儲，那就 更容易為這種聚集存儲設計更好的壓縮/解壓演算法。這張圖講述了傳統的行存儲和列存儲的區別：
⑦ 什麼叫列式
「列式」的意思：列式資料庫是以列相關存儲架構進行數據存儲的資料庫。
資料庫是「按照數據結構來組織、存儲和管理數據的倉庫」。是一個長期存儲在計算機內的、有組織的、可共享的、統一管理的大量數據的集合。
資料庫是以一定方式儲存在一起、能與多個用戶共享、具有盡可能小的冗餘度、與應用程序彼此獨立的數據集合，可視為電子化的文件櫃——存儲電子文件的處所，用戶可以對文件中的數據進行新增、查詢、更新、刪除等操作。
⑧ 列式資料庫有哪些
列式資料庫是以列相關存儲架構進行數據存儲的資料庫，主要適合與批量數據處理和即席查詢。相對應的是行式資料庫，數據以行相關的存儲體系架構進行空間分配，主要適合與小批量的數據處理，常用於聯機事務型數據處理。
不讀取無效數據：降低 I/O 開銷，同時提高每次 I/O 的效率，從而大大提高查詢性能。查詢語句只從磁碟上讀取所需要的列，其他列的數據是不需要讀取的。例如，有兩張表，每張表100GB 且有100 列，大多數查詢只關注幾個列，採用列存儲，不需要像行存資料庫一樣，將整行數據取出，只取出需要的列。磁碟 I/0 是行存儲的 1/10或更少，查詢響應時間提高 10 倍以上。
高壓縮比：壓縮比可以達到 5 ~ 20 倍以上，數據佔有空間降低到傳統資料庫的1/10 ，節省了存儲設備的開銷。
當資料庫的大小與資料庫伺服器內存大小之比達到或超過 2:1 （典型的大型系統配置值）時，列存的 I/O 優勢就顯得更加明顯；
GBase 8a 分析型資料庫的獨特列存儲格式，對每列數據再細分為「數據包」。這樣可以達到很高的可擴展性：無論一個表有多大，資料庫只操作相關的數據包，性能不會隨著數據量的增加而下降。通過以數據包為單位進行 I/O 操作提升數據吞吐量，從而進一步提高I/O效率。
由於採用列存儲技術，還可以實現高效的透明壓縮。
由於數據按列包存儲，每個數據包內都是同構數據，內容相關性很高，這使得GBase 8a 更易於實現壓縮，壓縮比通常能夠達到 1:10 甚至更優。這使得能夠同時在磁碟 I/O 和 Cache I/O 上都提升資料庫的性能，使 GBase 8a 在某些場景下的運算性能比傳統資料庫快 100 倍以上。
GBase 8a 允許用戶根據需要設置配置文件，選擇是否進行壓縮。在啟用壓縮的情況下GBase 8a 根據數據的不同特性以及不同的分布狀況，自動採用相應的壓縮演算法，如：
行程編碼（適用於大量連續重復的數據，特別是排序數據）；
基於數據的差值編碼（適用於重復率低，但彼此差值較小的數據列）；
基於位置的差值編碼（適用於重復率高，但分布比較隨機的數據列）。
⑨ hdfs 列式存儲和行式存儲的區別
列式資料庫是將同一個數據列的各個值存放在一起。插入某個數據行時，該行的各個數據列的值也會存放到不同的地方。
列式存儲： 每一列單獨存放，數據即是索引。
只訪問涉及得列，如果我們想訪問單獨一列（比如NAME）會相當迅捷。
一行數據包含一個列或者多個列，每個列一單獨一個cell來存儲數據。而行式存儲，則是把一行數據作為一個整體來存儲。
在HANA的世界中，並不是只存在列式存儲，行式存儲也是存在的。
各自的優缺點：