Namenode 是一個中心伺服器，單一節點（簡化系統的設計和實現），負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。
文件操作，NameNode 負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只會詢問它跟哪個DataNode聯系，否則NameNode會成為系統的瓶頸。
副本存放在哪些DataNode上由 NameNode來控制，根據全局情況做出塊放置決定，讀取文件時NameNode盡量讓用戶先讀取最近的副本，降低帶塊消耗和讀取時延
Namenode 全權管理數據塊的復制，它周期性地從集群中的每個Datanode接收心跳信號和塊狀態報告(Blockreport)。接收到心跳信號意味著該Datanode節點工作正常。塊狀態報告包含了一個該Datanode上所有數據塊的列表。
NameNode支持對HDFS中的目錄、文件和塊做類似文件系統的創建、修改、刪除、列表文件和目錄等基本操作。 塊存儲管理，在整個HDFS集群中有且只有唯一一個處於active狀態NameNode節點，該節點負責對這個命名空間（HDFS）進行管理。
1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
存儲文件，文件被分成block存儲在磁碟上，為保證數據安全，文件會有多個副本 namenode和client的指令進行存儲或者檢索block，並且周期性的向namenode節點報告它存了哪些文件的blo
文件切分成塊（默認大小128M），以塊為單位，每個塊有多個副本存儲在不同的機器上，副本數可在文件生成時指定（默認3）
NameNode 是主節點，存儲文件的元數據如文件名，文件目錄結構，文件屬性（生成時間,副本數,文件許可權），以及每個文件的塊列表以及塊所在的DataNode等等
DataNode 在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
可以創建、刪除、移動或重命名文件，當文件創建、寫入和關閉之後不能修改文件內容。
NameNode啟動流程
1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
HDFS的特點
優點：
1）處理超大文件
這里的超大文件通常是指百MB、數百TB大小的文件。目前在實際應用中，HDFS已經能用來存儲管理PB級的數據了。
2）流式的訪問數據
HDFS的設計建立在更多地響應"一次寫入、多次讀取"任務的基礎上。這意味著一個數據集一旦由數據源生成，就會被復制分發到不同的存儲節點中，然後響應各種各樣的數據分析任務請求。在多數情況下，分析任務都會涉及數據集中的大部分數據，也就是說，對HDFS來說，請求讀取整個數據集要比讀取一條記錄更加高效。
3）運行於廉價的商用機器集群上
Hadoop設計對硬體需求比較低，只須運行在低廉的商用硬體集群上，而無需昂貴的高可用性機器上。廉價的商用機也就意味著大型集群中出現節點故障情況的概率非常高。這就要求設計HDFS時要充分考慮數據的可靠性，安全性及高可用性。
缺點：
1）不適合低延遲數據訪問
如果要處理一些用戶要求時間比較短的低延遲應用請求，則HDFS不適合。HDFS是為了處理大型數據集分析任務的，主要是為達到高的數據吞吐量而設計的，這就可能要求以高延遲作為代價。
2）無法高效存儲大量小文件
因為Namenode把文件系統的元數據放置在內存中，所以文件系統所能容納的文件數目是由Namenode的內存大小來決定。一般來說，每一個文件、文件夾和Block需要佔據150位元組左右的空間，所以，如果你有100萬個文件，每一個占據一個Block，你就至少需要300MB內存。當前來說，數百萬的文件還是可行的，當擴展到數十億時，對於當前的硬體水平來說就沒法實現了。還有一個問題就是，因為Map task的數量是由splits來決定的，所以用MR處理大量的小文件時，就會產生過多的Maptask，線程管理開銷將會增加作業時間。舉個例子，處理10000M的文件，若每個split為1M，那就會有10000個Maptasks，會有很大的線程開銷；若每個split為100M，則只有100個Maptasks，每個Maptask將會有更多的事情做，而線程的管理開銷也將減小很多。
1280M 1個文件 10block*150位元組 = 1500 位元組 =1.5KB
1280M 12.8M 100個 100個block*150位元組 = 15000位元組 = 15KB
3）不支持多用戶寫入及任意修改文件
在HDFS的一個文件中只有一個寫入者，而且寫操作只能在文件末尾完成，即只能執行追加操作。目前HDFS還不支持多個用戶對同一文件的寫操作，以及在文件任意位置進行修改。
四、HDFS文件 讀寫流程
4.1 讀文件流程
（1） 打開分布式文件
調用 分布式文件 DistributedFileSystem.open()方法。
（2） 從 NameNode 獲得 DataNode 地址
DistributedFileSystem 使用 RPC 調用 NameNode， NameNode返回存有該副本的 DataNode 地址， DistributedFileSystem 返回一個輸入流 FSDataInputStream對象， 該對象封存了輸入流DFSInputStream。
（3） 連接到DataNode
調用 輸入流 FSDataInputStream 的 read() 方法， 從而輸入流DFSInputStream 連接 DataNodes。
（4） 讀取DataNode
反復調用 read()方法， 從而將數據從 DataNode 傳輸到客戶端。
（5） 讀取另外的DataNode直到完成
到達塊的末端時候， 輸入流 DFSInputStream 關閉與DataNode 連接，尋找下一個 DataNode。
（6） 完成讀取， 關閉連接
即調用輸入流 FSDataInputStream.close() 。
4.2 寫文件流程
（1） 發送創建文件請求： 調用分布式文件系統DistributedFileSystem.create()方法；
（2） NameNode中創建文件記錄： 分布式文件系統DistributedFileSystem 發送 RPC 請求給namenode， namenode 檢查許可權後創建一條記錄， 返回輸出流 FSDataOutputStream， 封裝了輸出流 DFSOutputDtream；
（3） 客戶端寫入數據： 輸出流 DFSOutputDtream 將數據分成一個個的數據包， 並寫入內部隊列。 DataStreamer 根據 DataNode 列表來要求 namenode 分配適合的新塊來存儲數據備份。一組DataNode 構成管線(管線的 DataNode 之間使用 Socket 流式通信)
（4） 使用管線傳輸數據： DataStreamer 將數據包流式傳輸到管線第一個DataNode， 第一個DataNode 再傳到第二個DataNode ,直到完成。
（5） 確認隊列： DataNode 收到數據後發送確認， 管線的DataNode所有的確認組成一個確認隊列。 所有DataNode 都確認， 管線數據包刪除。
（6） 關閉： 客戶端對數據量調用close（） 方法。 將剩餘所有數據寫入DataNode管線， 並聯系NameNode且發送文件寫入完成信息之前等待確認。
（7） NameNode確認
（8） 故障處理： 若過程中發生故障， 則先關閉管線， 把隊列中所有數據包添加回去隊列， 確保數據包不漏。 為另一個正常DataNode的當前數據塊指定一個新的標識， 並將該標識傳送給NameNode, 一遍故障DataNode在恢復後刪除上面的不完整數據塊. 從管線中刪除故障DataNode 並把餘下的數據塊寫入餘下正常的DataNode。 NameNode發現復本兩不足時， 會在另一個節點創建一個新的復本
『貳』 linux系統存儲同一份文件的多個數據塊（block）是如何聯繫到一起的，和數據塊號的使用時如何聯系起來的
在linux文件系統中，一般是採用索引式文件系統，這種類型的文件系統在硬碟格式化的時候，會將硬碟上的數據塊分為兩種類型的塊，第一種是保存文件信息的inode塊，第二種就是實際存儲數據的data塊。data塊就是你所說的存放數據的地方，然後都有對應的編號，這些編號都是按照順序以表格的形式存放在inode塊中，。
因此，當你要讀取一個文件的內容時，它會先查找inode塊里信息，判斷你是否有許可權讀取這個文件，許可權判斷通過後，再去查找data塊編號變，然後根據編號表裡的編號依次查找所有的data塊，按順序拼接起來，就是一個完整文件的內容了。
『叄』 HDFS 為何在大數據領域經久不衰
大數據中最寶貴、最難以代替的就是數據，一切都圍繞數據。
HDFS是最早的大數據存儲系統，存儲著寶貴的數據資產，各種新演算法、框架要想得到廣泛使用，必須支持HDFS，才能獲取已存儲在裡面的數據。所以大數據技術越發展，新技術越多，HDFS得到的支持越多，越離不開HDFS。 HDFS也許不是最好的大數據存儲技術，但依然是最重要的大數據存儲技術 。
HDFS是如何實現大數據高速、可靠的存儲和訪問的呢？
Hadoop分布式文件系統HDFS的設計目標是管理數以千計的伺服器、數以萬計的磁碟，將大規模的伺服器計算資源當作一個單一存儲系統進行管理，對應用程序提供數以PB計的存儲容量，讓應用程序像使用普通文件系統一樣存儲大規模的文件數據。
文件以多副本的方式進行存儲：
缺點：
優點：
HDFS的大容量存儲和高速訪問的實現。
RAID將數據分片後，在多塊磁碟上並發進行讀寫訪問，提高了存儲容量、加快了訪問速度，並通過數據冗餘校驗提高了數據可靠性，即使某塊磁碟損壞也不會丟數據。將RAID的設計理念擴大到整個分布式伺服器集群，就產生了分布式文件系統，這便是Hadoop分布式文件系統的核心原理。
和RAID在多個磁碟上進行文件存儲及並行讀寫的思路一樣，HDFS是在一個大規模分布式伺服器集群上，對數據分片後進行並行讀寫及冗餘存儲。因為HDFS可部署在一個大的伺服器集群，集群中所有服務褲汪裂器的磁碟都可供HDFS使用，所以整個HDFS的存儲空間可以達到PB級。
HDFS是主從架構。一個HDFS集群會有一個NameNode（命名節點，簡稱NN），作為主伺服器（master server）。
HDFS公開了文件系統名稱空間，允許用戶將數據存儲在文件中，就好比我們平時使用os中的文件系統一樣，用戶無需關心底層是如何存儲數據的。 在底層，一個文件會被分成一或多個數據塊，這些資料庫塊會被存儲在一組數據節點中。在CDH中數據塊的默認128M。 在NameNode，可執行文件系統的命名空間操作，如打開，關閉，重命名文件等。這也決定了數據塊到數據節點的映射。
HDFS被設計為可運行在普通的廉價機器上，而這些機器通常運行著一個Linux操作系統。一個典型的HDFS集群部署會有一個專門的機器只能運行 NameNode ，而其他集群中的機器各自運行一個 DataNode 實例。雖然一台機器上也可以運行多個節點，但不推薦。
負責文件數據的存儲和讀寫操作，HDFS將文件數據分割成若干數據塊（Block），每個DataNode存儲一部分Block，這樣文件就分布存儲在整個HDFS伺服器集群中。
應用程序客戶端（Client）可並行訪問這些Block，從而使得HDFS可以在伺服器集群規模上實現數據並行訪問，極大提高訪問速度胡閉。
HDFS集群的DataNode伺服器會有很多台，一般在幾百台到幾千台，每台伺服器配有數塊磁碟，整個集群的存儲容量大概在幾PB~數百PB。
負責整個分布式文件系統的元數據（MetaData）管理，即文件路徑名、數據塊的ID以及存儲位置等信息，類似os中的文件分配表（FAT）。
HDFS為保證數據高可用，會將一個Block復制為多份（默認3份），並將多份相同的Block存儲在不同伺服器，甚至不同機架。當有磁碟損壞或某個DataNode伺服器宕機，甚至某個交換機宕機，導致其存儲的數據塊不能訪問時，客戶端會查找其備份Block訪問。
HDFS中，一個文件會被拆分為一個或多個數據塊。默認每個數據塊有三個副本，每個副本都存放在不同機器，而且每一個副本都有自己唯一的編號：
文件/users/sameerp/data/part-0的復制備份數設為2，存儲的BlockID分別為1、3：
上述任一台伺服器宕機後，每個數據塊都至少還有一個備份存在，不會影響對文件/users/sameerp/data/part-0的訪問。
和RAID一樣，數據分成若干Block後，存儲到不同伺服器，實現數據大容量存儲，並且不同分片的數據能並行進行讀/寫操作，實現數據的高速訪問。
副本陵鎮存放：NameNode節點選擇一個DataNode節點去存儲block副本的過程，該過程的策略是在可靠性和讀寫帶寬間權衡。
《Hadoop權威指南》中的默認方式：
Google大數據「三駕馬車」的第一駕是GFS（Google 文件系統），而Hadoop的第一個產品是HDFS，分布式文件存儲是分布式計算的基礎。
這些年來，各種計算框架、各種演算法、各種應用場景不斷推陳出新，但大數據存儲的王者依然是HDFS。
磁碟介質在存儲過程中受環境或者老化影響，其存儲的數據可能會出現錯亂。
HDFS對存儲在DataNode上的數據塊，計算並存儲校驗和（CheckSum）。在讀數據時，重新計算讀取出來的數據的校驗和，校驗不正確就拋異常，應用程序捕獲異常後就到其他DataNode上讀取備份數據。
DataNode監測到本機的某塊磁碟損壞，就將該塊磁碟上存儲的所有BlockID報告給NameNode，NameNode檢查這些數據塊還在哪些DataNode上有備份，通知相應的DataNode伺服器將對應的數據塊復制到其他伺服器上，以保證數據塊的備份數滿足要求。
DataNode會通過心跳和NameNode保持通信，如果DataNode超時未發送心跳，NameNode就會認為這個DataNode已經宕機失效，立即查找這個DataNode上存儲的數據塊有哪些，以及這些數據塊還存儲在哪些伺服器上，隨後通知這些伺服器再復制一份數據塊到其他伺服器上，保證HDFS存儲的數據塊備份數符合用戶設置的數目，即使再出現伺服器宕機，也不會丟失數據。
NameNode是整個HDFS的核心，記錄著HDFS文件分配表信息，所有的文件路徑和數據塊存儲信息都保存在NameNode，如果NameNode故障，整個HDFS系統集群都無法使用；如果NameNode上記錄的數據丟失，整個集群所有DataNode存儲的數據也就沒用了。
所以，NameNode高可用容錯能力非常重要。NameNode採用主從熱備的方式提供高可用服務：
集群部署兩台NameNode伺服器：
兩台伺服器通過Zk選舉，主要是通過爭奪znode鎖資源，決定誰是主伺服器。而DataNode則會向兩個NameNode同時發送心跳數據，但是只有主NameNode才能向DataNode返回控制信息。
正常運行期，主從NameNode之間通過一個共享存儲系統shared edits來同步文件系統的元數據信息。當主NameNode伺服器宕機，從NameNode會通過ZooKeeper升級成為主伺服器，並保證HDFS集群的元數據信息，也就是文件分配表信息完整一致。
軟體系統，性能差點，用戶也許可接受；使用體驗差，也許也能忍受。但若可用性差，經常出故障不可用，就麻煩了；如果出現重要數據丟失，那開發攤上大事。
而分布式系統可能出故障地方又非常多，內存、CPU、主板、磁碟會損壞，伺服器會宕機，網路會中斷，機房會停電，所有這些都可能會引起軟體系統的不可用，甚至數據永久丟失。
所以在設計分布式系統的時候，軟體工程師一定要綳緊可用性這根弦，思考在各種可能的故障情況下，如何保證整個軟體系統依然是可用的。
## 6 保證系統可用性的策略
任何程序、任何數據，都至少要有一個備份，也就是說程序至少要部署到兩台伺服器，數據至少要備份到另一台伺服器上。此外，稍有規模的互聯網企業都會建設多個數據中心，數據中心之間互相進行備份，用戶請求可能會被分發到任何一個數據中心，即所謂的異地多活，在遭遇地域性的重大故障和自然災害的時候，依然保證應用的高可用。
當要訪問的程序或者數據無法訪問時，需要將訪問請求轉移到備份的程序或者數據所在的伺服器上，這也就是 失效轉移 。失效轉移你應該注意的是失效的鑒定，像NameNode這樣主從伺服器管理同一份數據的場景，如果從伺服器錯誤地以為主伺服器宕機而接管集群管理，會出現主從伺服器一起對DataNode發送指令，進而導致集群混亂，也就是所謂的「腦裂」。這也是這類場景選舉主伺服器時，引入ZooKeeper的原因。ZooKeeper的工作原理，我將會在後面專門分析。
當大量的用戶請求或者數據處理請求到達的時候，由於計算資源有限，可能無法處理如此大量的請求，進而導致資源耗盡，系統崩潰。這種情況下，可以拒絕部分請求，即進行 限流 ；也可以關閉部分功能，降低資源消耗，即進行 降級 。限流是互聯網應用的常備功能，因為超出負載能力的訪問流量在何時會突然到來，你根本無法預料，所以必須提前做好准備，當遇到突發高峰流量時，就可以立即啟動限流。而降級通常是為可預知的場景准備的，比如電商的「雙十一」促銷，為了保障促銷活動期間應用的核心功能能夠正常運行，比如下單功能，可以對系統進行降級處理，關閉部分非重要功能，比如商品評價功能。
HDFS是如何通過大規模分布式伺服器集群實現數據的大容量、高速、可靠存儲、訪問的。
1.文件數據以數據塊的方式進行切分，數據塊可以存儲在集群任意DataNode伺服器上，所以HDFS存儲的文件可以非常大，一個文件理論上可以占據整個HDFS伺服器集群上的所有磁碟，實現了大容量存儲。
2.HDFS一般的訪問模式是通過MapRece程序在計算時讀取，MapRece對輸入數據進行分片讀取，通常一個分片就是一個數據塊，每個數據塊分配一個計算進程，這樣就可以同時啟動很多進程對一個HDFS文件的多個數據塊進行並發訪問，從而實現數據的高速訪問。關於MapRece的具體處理過程，我們會在專欄後面詳細討論。
3.DataNode存儲的數據塊會進行復制，使每個數據塊在集群里有多個備份，保證了數據的可靠性，並通過一系列的故障容錯手段實現HDFS系統中主要組件的高可用，進而保證數據和整個系統的高可用。
『肆』 關於hdfs的物理存儲路徑問題
我沒用過Hive，但HDFS的存儲機制都是一樣的。
你所謂的物理位置指的是在操作系統中的磁碟路徑？
這個路徑是在Hadoop配置的時候寫在hdfs-site.xml文件的dfs.datanode.data.dir欄位里的，在每個datanode的這個文件夾里存著該節點上存儲的所有數據塊block，以blk_打頭。
dfs.namenode.data.dir指定的文件夾在namenode中則存在元數據。
所以即便你知道這個所謂的物理路徑也沒什麼用，數據都是以block形式存在的，大的數據還由好多個block組成，而且每個block還有副本。
『伍』 hdfs工作流程
1. hdfs基本工作流程
1. hdfs初始化目錄結構
hdfs namenode -format 只是初始化了namenode的工作目錄
而datanode的工作目錄是在datanode啟動後自己初始化的
namenode在format初始化的時候會形成兩個標識：
blockPoolId：
clusterId：
新的datanode加入時，會獲取這兩個標識作為自己工作目錄中的標識
一旦namenode重新format後，namenode的身份標識已變，而datanode如果依然
持有原來的id，就不會被namenode識別
2. hdfs的工作機制
hdfs集群分為兩大角色:NameNode,DataNode (Secondary NameNode)
NameNode負責管理整個文件的元數據(命名空間信息，塊信息) 相當於Master
DataNode負責管理用戶的文件數據塊 相當於Salve
文件會按照固定的大小（block=128M）切成若干塊後分布式存儲在若干個datanode節點上
每一個文件塊有多個副本（默認是三個），存在不同的datanode上
DataNode會定期向NameNode匯報自身所保存的文件block信息，而namenode則會負責保持文件副本數量
hdfs的內部工作機制會對客戶的保持透明，客戶端請求方法hdfs都是通過向namenode申請來進行訪問
SecondaryNameNode有兩個作用，一是鏡像備份，二是日誌與鏡像的定期合並
客戶端向namenode通信，請求上傳文件，namenode檢查目標文件是否已經存在，父目錄是否存在
namenode返回給客戶端，告知是否可以上傳
客戶端請求第一個block該傳輸到那些datanode伺服器上
namenode返回3個datanode伺服器abc
客戶端請求3台datanode的一台a上傳數據（本質上是一個rpc調用，建立pipeline），A收到請求後會繼續調用b，然後b調用c，將整個pipeline建立完成，逐級返回客戶端。
客戶端開始忘a上傳第一個block（先從磁碟讀取數據放入本地內存緩存），以packet為單位，a收到一個packet將會傳給b，b傳給c，a每傳一個packet會放入一個應答隊列等待應答
宕一個block傳輸完之後，客戶端再次請求namenode上傳第二個block的伺服器
3. hdfs寫入數據流程
1.客戶端要向hdfs寫入數據，首先要跟namenode通信以確認可以寫文件並獲得接收文件block的datanode，然後，客戶端按照順序將文件block逐個傳給相應datanode，並由接收到block的datanode負責向其他datanode復制block副本
4. 寫入數據步驟詳細解析
『陸』 大數據技術Hadoop筆試題
大數據技術Hadoop筆試題
導讀：Hadoop有高容錯性的特點，並且設計用來部署在低廉的(low-cost)硬體上。以下是由我J.L為您整理推薦的面試筆試題目和山岩乎經驗，歡迎參考閱讀。
單項選擇題
1. 下面哪個程序負責 HDFS 數據存儲。
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
逗悉e)tasktracker
2. HDfS 中的 block 默認保存幾份?
a)3 份
b)2 份
c)1 份
d)不確定
3. 下列哪個程序通常與 NameNode 在一個節點啟動?
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
4. Hadoop 作者
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默認 Block Size
a)32MB
b)64MB
c)128MB
6. 下列哪項通常是集群的最主要瓶頸
a)CPU
b)網路
c)磁碟
d)內存
7. 關於 SecondaryNameNode 哪項是正確的?
a)它是 NameNode 的熱備
b)它對內存沒有要求
c)它的目的是幫助 NameNode 合並編輯日誌，減少 NameNode 啟動時間
d)SecondaryNameNode 應與 NameNode 部署到一個節點
多選題
8. 下列哪項可以作為集群的管理工具
a)Puppet
b)Pdsh
c)Cloudera Manager
d)d)Zookeeper
9. 配置機架感知的下面哪項正確
a)如果一個機架出問題，不會影響數據讀寫
b)寫入數據的時候會寫到不同機架的 DataNode 中
c)MapRece 會根據機架獲取離自己比較近的棗陸網路數據
10. Client 端上傳文件的時候下列哪項正確
a)數據經過 NameNode 傳遞給 DataNode
b)Client 端將文件切分為 Block，依次上傳
c)Client 只上傳數據到一台 DataNode，然後由 NameNode 負責 Block 復制工作
11. 下列哪個是 Hadoop 運行的模式
a)單機版
b)偽分布式
c)分布式
12. Cloudera 提供哪幾種安裝 CDH 的方法
a)Cloudera manager
b)Tar ball
c)Yum d)Rpm
判斷題
13. Ganglia 不僅可以進行監控，也可以進行告警。( )
14. Block Size 是不可以修改的。( )
15. Nagios 不可以監控 Hadoop 集群，因為它不提供 Hadoop 支持。( )
16. 如果 NameNode 意外終止，SecondaryNameNode 會接替它使集群繼續工作。( )
17. Cloudera CDH 是需要付費使用的。( )
18. Hadoop 是 Java 開發的，所以 MapRece 只支持 Java 語言編寫。( )
19. Hadoop 支持數據的隨機讀寫。( )
20. NameNode 負責管理 metadata，client 端每次讀寫請求，它都會從磁碟中讀取或則會寫入 metadata 信息並反饋 client 端。( )
21. NameNode 本地磁碟保存了 Block 的位置信息。( )
22. DataNode 通過長連接與 NameNode 保持通信。( )
23. Hadoop 自身具有嚴格的許可權管理和安全措施保障集群正常運行。( )
24. Slave 節點要存儲數據，所以它的磁碟越大越好。( )
25. hadoop dfsadmin –report 命令用於檢測 HDFS 損壞塊。( )
26. Hadoop 默認調度器策略為 FIFO( )
27. 集群內每個節點都應該配 RAID，這樣避免單磁碟損壞，影響整個節點運行。( )
28. 因為 HDFS 有多個副本，所以 NameNode 是不存在單點問題的。( )
29. 每個 map 槽就是一個線程。( )
30. Maprece 的 input split 就是一個 block。( )
31. NameNode 的 Web UI 埠是 50030，它通過 jetty 啟動的 Web 服務。( )
32. Hadoop 環境變數中的 HADOOP_HEAPSIZE 用於設置所有 Hadoop 守護線程的內存。它默認是 200 GB。( )
33. DataNode 首次加入 cluster 的時候，如果 log 中報告不兼容文件版本，那需要 NameNode執行“Hadoop namenode -format”操作格式化磁碟。( )
別走開，答案在後面哦!
1. 下面哪個程序負責 HDFS 數據存儲。答案C datanode
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默認保存幾份? 答案A默認3分
a)3 份
b)2 份
c)1 份
d)不確定
3. 下列哪個程序通常與 NameNode 在一個節點啟動?答案D
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
此題分析：
hadoop的集群是基於master/slave模式，namenode和jobtracker屬於master，datanode和 tasktracker屬於slave，master只有一個，而slave有多個SecondaryNameNode內存需求和NameNode在一個數量級上，所以通常secondary NameNode(運行在單獨的物理機器上)和NameNode運行在不同的機器上。
JobTracker和TaskTracker
JobTracker 對應於 NameNode
TaskTracker 對應於 DataNode
DataNode 和NameNode 是針對數據存放來而言的
JobTracker和TaskTracker是對於MapRece執行而言的
maprece中幾個主要概念，maprece整體上可以分為這么幾條執行線索：obclient，JobTracker與TaskTracker。
1、JobClient會在用戶端通過JobClient類將應用已經配置參數打包成jar文件存儲到hdfs，並把路徑提交到Jobtracker, 然後由JobTracker創建每一個Task(即MapTask和ReceTask)並將它們分發到各個TaskTracker服務中去執行。
2、JobTracker是一個master服務，軟體啟動之後JobTracker接收Job，負責調度Job的每一個子任務task運行於 TaskTracker上，並監控它們，如果發現有失敗的task就重新運行它。一般情況應該把JobTracker部署在單獨的機器上。
3、TaskTracker是運行在多個節點上的slaver服務。TaskTracker主動與JobTracker通信，接收作業，並負責直接執行每一個任務。TaskTracker都需要運行在HDFS的DataNode上。
4. Hadoop 作者 答案C Doug cutting
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默認 Block Size 答案：B
a)32MB
b)64MB
c)128MB
(因為版本更換較快，這里答案只供參考)
6. 下列哪項通常是集群的最主要瓶頸：答案：C磁碟
a)CPU
b)網路
c)磁碟IO
d)內存
該題解析：
首先集群的目的是為了節省成本，用廉價的pc機，取代小型機及大型機。小型機和大型機有什麼特點?
1.cpu處理能力強
2.內存夠大
所以集群的瓶頸不可能是a和d
3.網路是一種稀缺資源，但是並不是瓶頸。
4.由於大數據面臨海量數據，讀寫數據都需要io，然後還要冗餘數據，hadoop一般備3份數據，所以IO就會打折扣。
7. 關於 SecondaryNameNode 哪項是正確的?答案C
a)它是 NameNode 的熱備
b)它對內存沒有要求
c)它的目的是幫助 NameNode 合並編輯日誌，減少 NameNode 啟動時間
d)SecondaryNameNode 應與 NameNode 部署到一個節點。
多選題：
8. 下列哪項可以作為集群的管理?答案：ABD
a)Puppet
b)Pdsh
c)Cloudera Manager
d)Zookeeper
9. 配置機架感知的下面哪項正確：答案ABC
a)如果一個機架出問題，不會影響數據讀寫
b)寫入數據的時候會寫到不同機架的 DataNode 中
c)MapRece 會根據機架獲取離自己比較近的網路數據
10. Client 端上傳文件的時候下列哪項正確?答案B
a)數據經過 NameNode 傳遞給 DataNode
b)Client 端將文件切分為 Block，依次上傳
c)Client 只上傳數據到一台 DataNode，然後由 NameNode 負責 Block 復制工作
該題分析：
Client向NameNode發起文件寫入的請求。
NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。
Client將文件劃分為多個Block，根據DataNode的地址信息，按順序寫入到每一個DataNode塊中。
11. 下列哪個是 Hadoop 運行的模式：答案ABC
a)單機版
b)偽分布式
c)分布式
12. Cloudera 提供哪幾種安裝 CDH 的方法?答案：ABCD
a)Cloudera manager
b)Tarball
c)Yum
d)Rpm
判斷題：
13. Ganglia 不僅可以進行監控，也可以進行告警。( 正確)
分析：此題的目的是考Ganglia的'了解。嚴格意義上來講是正確。ganglia作為一款最常用的Linux環境中的監控軟體，它擅長的的是從節點中按照用戶的需求以較低的代價採集數據。但是ganglia在預警以及發生事件後通知用戶上並不擅長。最新的ganglia已經有了部分這方面的功能。但是更擅長做警告的還有Nagios。Nagios，就是一款精於預警、通知的軟體。通過將Ganglia和Nagios組合起來，把Ganglia採集的數據作為Nagios的數據源，然後利用Nagios來發送預警通知，可以完美的實現一整套監控管理的系統。
14. Block Size 是不可以修改的。(錯誤 )
分析：它是可以被修改的Hadoop的基礎配置文件是hadoop-default.xml，默認建立一個Job的時候會建立Job的Config，Config首先讀入hadoop-default.xml的配置，然後再讀入hadoop- site.xml的配置(這個文件初始的時候配置為空)，hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統級配置。
15. Nagios 不可以監控 Hadoop 集群，因為它不提供 Hadoop 支持。(錯誤 )
分析：Nagios是集群監控工具，而且是雲計算三大利器之一
16. 如果 NameNode 意外終止，SecondaryNameNode 會接替它使集群繼續工作。(錯誤 )
分析：SecondaryNameNode是幫助恢復，而不是替代，如何恢復，可以查看
17. Cloudera CDH 是需要付費使用的。(錯誤 )
分析：第一套付費產品是Cloudera Enterpris，Cloudera Enterprise在美國加州舉行的 Hadoop 大會 (Hadoop Summit) 上公開，以若干私有管理、監控、運作工具加強 Hadoop 的功能。收費採取合約訂購方式，價格隨用的 Hadoop 叢集大小變動。
18. Hadoop 是 Java 開發的，所以 MapRece 只支持 Java 語言編寫。(錯誤 )
分析：rhadoop是用R語言開發的，MapRece是一個框架，可以理解是一種思想，可以使用其他語言開發。
19. Hadoop 支持數據的隨機讀寫。(錯 )
分析：lucene是支持隨機讀寫的，而hdfs只支持隨機讀。但是HBase可以來補救。HBase提供隨機讀寫，來解決Hadoop不能處理的問題。HBase自底層設計開始即聚焦於各種可伸縮性問題：表可以很“高”，有數十億個數據行;也可以很“寬”，有數百萬個列;水平分區並在上千個普通商用機節點上自動復制。表的模式是物理存儲的直接反映，使系統有可能提高高效的數據結構的序列化、存儲和檢索。
20. NameNode 負責管理 metadata，client 端每次讀寫請求，它都會從磁碟中讀取或則會寫入 metadata 信息並反饋 client 端。(錯誤)
此題分析：
NameNode 不需要從磁碟讀取 metadata，所有數據都在內存中，硬碟上的只是序列化的結果，只有每次 namenode 啟動的時候才會讀取。
1)文件寫入
Client向NameNode發起文件寫入的請求。
NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。
Client將文件劃分為多個Block，根據DataNode的地址信息，按順序寫入到每一個DataNode塊中。
2)文件讀取
Client向NameNode發起文件讀取的請求。
21. NameNode 本地磁碟保存了 Block 的位置信息。( 個人認為正確，歡迎提出其它意見)
分析：DataNode是文件存儲的基本單元，它將Block存儲在本地文件系統中，保存了Block的Meta-data，同時周期性地將所有存在的Block信息發送給NameNode。NameNode返迴文件存儲的DataNode的信息。
Client讀取文件信息。
22. DataNode 通過長連接與 NameNode 保持通信。( )
這個有分歧：具體正在找這方面的有利資料。下面提供資料可參考。
首先明確一下概念：
(1).長連接
Client方與Server方先建立通訊連接，連接建立後不斷開，然後再進行報文發送和接收。這種方式下由於通訊連接一直存在，此種方式常用於點對點通訊。
(2).短連接
Client方與Server每進行一次報文收發交易時才進行通訊連接，交易完畢後立即斷開連接。此種方式常用於一點對多點通訊，比如多個Client連接一個Server.
23. Hadoop 自身具有嚴格的許可權管理和安全措施保障集群正常運行。(錯誤 )
hadoop只能阻止好人犯錯，但是不能阻止壞人干壞事
24. Slave 節點要存儲數據，所以它的磁碟越大越好。( 錯誤)
分析：一旦Slave節點宕機，數據恢復是一個難題
25. hadoop dfsadmin –report 命令用於檢測 HDFS 損壞塊。(錯誤 )
26. Hadoop 默認調度器策略為 FIFO(正確 )
27. 集群內每個節點都應該配 RAID，這樣避免單磁碟損壞，影響整個節點運行。(錯誤 )
分析：首先明白什麼是RAID，可以參考網路磁碟陣列。這句話錯誤的地方在於太絕對，具體情況具體分析。題目不是重點，知識才是最重要的。因為hadoop本身就具有冗餘能力，所以如果不是很嚴格不需要都配備RAID。具體參考第二題。
28. 因為 HDFS 有多個副本，所以 NameNode 是不存在單點問題的。(錯誤 )
29. 每個 map 槽就是一個線程。(錯誤 )
分析：首先我們知道什麼是map 槽,map 槽->map slotmap slot 只是一個邏輯值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是對應著一個線程或者進程
30. Maprece 的 input split 就是一個 block。(錯誤 )
31. NameNode 的 Web UI 埠是 50030，它通過 jetty 啟動的 Web 服務。(錯誤 )
32. Hadoop 環境變數中的 HADOOP_HEAPSIZE 用於設置所有 Hadoop 守護線程的內存。它默認是 200 GB。( 錯誤)
hadoop為各個守護進程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)統一分配的內存在hadoop-env.sh中設置，參數為HADOOP_HEAPSIZE，默認為1000M。
33. DataNode 首次加入 cluster 的時候，如果 log 中報告不兼容文件版本，那需要 NameNode執行“Hadoop namenode -format”操作格式化磁碟。(錯誤 )
分析：
首先明白介紹，什麼ClusterID
ClusterID
添加了一個新的標識符ClusterID用於標識集群中所有的節點。當格式化一個Namenode，需要提供這個標識符或者自動生成。這個ID可以被用來格式化加入集群的其他Namenode。
二次整理
有的同學問題的重點不是上面分析內容：內容如下：
這個報錯是說明 DataNode 所裝的Hadoop版本和其它節點不一致，應該檢查DataNode的Hadoop版本
;