① 四大開源資料庫是哪些
如果打算為項目選擇一款免費、開源的資料庫，那麼你可能會在Mysql與PostgreSQL之間猶豫不定。MySQL與PostgreSQL都是免
費、開源、強大、且功能豐富的資料庫。你主要的問題可能是：哪一個才是最好的開源資料庫，MySQL還是PostgreSQL呢？該選擇哪一個開源資料庫
呢？
在選擇資料庫時，你所做的是個長期的決策，因為後面如果再改變決定將是非常困難且代價高昂的。你希望一開始就選擇正確。兩個流行
的開源資料庫MySQL與PostgreSQL常常成為最後要選擇的產品。對這兩個開源資料庫的高層次概覽將會有助於你選擇最適合自己需要的。
MySQL
MySQL相對來說比較年輕，首度出現在1994年。它聲稱自己是最流行的開源資料庫。MySQL就是LAMP（用於Web開發的軟體包，包括
Linux、Apache及Perl/PHP/Python）中的M。構建在LAMP棧之上的大多數應用都會使用MySQL，包括那些知名的應用，如
WordPress、Drupal、Zend及phpBB等。
一開始，MySQL的設計目標是成為一個快速的Web伺服器後端，使用
快速的索引序列訪問方法（ISAM），不支持ACID。經過早期快速的發展之後，MySQL開始支持更多的存儲引擎，並通過InnoDB引擎實現了
ACID。MySQL還支持其他存儲引擎，提供了臨時表的功能（使用MEMORY存儲引擎），通過MyISAM引擎實現了高速讀的資料庫，此外還有其他的
核心存儲引擎與第三方引擎。
MySQL的文檔非常豐富，有很多質量不錯的免費參考手冊、圖書與在線文檔，還有來自於Oracle和第三方廠商的培訓與支持。
MySQL近幾年經歷了所有權的變更和一些頗具戲劇性的事件。它最初是由MySQL
AB開發的，然後在2008年以10億美金的價格賣給了Sun公司，Sun公司又在2010年被Oracle收購。Oracle支持MySQL的多個版
本：Standard、Enterprise、Classic、Cluster、Embedded與Community。其中有一些是免費下載的，另外一
些則是收費的。其核心代碼基於GPL許可，對於那些不想使用GPL許可的開發者與廠商來說還有商業許可可供使用。
現在，基於最初的
MySQL代碼還有更多的資料庫可供選擇，因為幾個核心的MySQL開發者已經發布了MySQL分支。最初的MySQL創建者之一Michael
"Monty"
Widenius貌似後悔將MySQL賣給了Sun公司，於是又開發了他自己的MySQL分支MariaDB，它是免費的，基於GPL許可。知名的
MySQL開發者Brian Aker所創建的分支Drizzle對其進行了大量的改寫，特別針對多CPU、雲、網路應用與高並發進行了優化。
PostgreSQL
PostgreSQL標榜自己是世界上最先進的開源資料庫。PostgreSQL的一些粉絲說它能與Oracle相媲美，而且沒有那麼昂貴的價格和傲慢的客服。它擁有很長的歷史，最初是1985年在加利福尼亞大學伯克利分校開發的，作為Ingres資料庫的後繼。
PostgreSQL是完全由社區驅動的開源項目，由全世界超過1000名貢獻者所維護。它提供了單個完整功能的版本，而不像MySQL那樣提供了多個
不同的社區版、商業版與企業版。PostgreSQL基於自由的BSD/MIT許可，組織可以使用、復制、修改和重新分發代碼，只需要提供一個版權聲明即
可。
可靠性是PostgreSQL的最高優先順序。它以堅如磐石的品質和良好的工程化而聞名，支持高事務、任務關鍵型應用。
PostgreSQL的文檔非常精良，提供了大量免費的在線手冊，還針對舊版本提供了歸檔的參考手冊。PostgreSQL的社區支持是非常棒的，還有來
自於獨立廠商的商業支持。
數據一致性與完整性也是PostgreSQL的高優先順序特性。PostgreSQL是完全支持ACID特性
的，它對於資料庫訪問提供了強大的安全性保證，充分利用了企業安全工具，如Kerberos與OpenSSL等。你可以定義自己的檢查，根據自己的業務規
則確保數據質量。在眾多的管理特性中，point-in-time
recovery（PITR）是非常棒的特性，這是個靈活的高可用特性，提供了諸如針對失敗恢復創建熱備份以及快照與恢復的能力。但這並不是
PostgreSQL的全部，項目還提供了幾個方法來管理PostgreSQL以實現高可用、負載均衡與復制等，這樣你就可以使用適合自己特定需求的功能
了。
② MySQL存儲引擎是什麼
MySQL有多種存儲引擎，每種存儲引擎有各自的優缺點，可以擇優選擇使用：
MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE。
③ 存儲引擎是什麼意思啊比如mysql的。
臨時表的存儲引擎
在 MySQL 5.6 之前，所有磁碟上的臨時表都默認創建為 MyISAM 類型。臨時表是在內存中，還是在磁碟上創建，具體取決於配置，並在查詢結束時立即刪除。從 MySQL 5.7 開始，它們默認創建為 InnoDB 類型。
新默認值可提升整體性能，大多數情況下都是最佳選擇。
可以使用新的配置項來設置臨時表的存儲引擎：internal_tmp_disk_storage_engine ，可選值為 InnoDB（默認）或 MyISAM。
InnoDB 類型的臨時表存在的潛在問題
盡管使用 InnoDB 是性能最佳的，但可能會出現新的潛在問題。在某些特定情況下，您可能會出現磁碟耗盡和伺服器中斷。
與資料庫中的任何其他 InnoDB 表一樣，臨時表具有自己的表空間文件。新文件與通用表空間一起位於數據目錄中，名稱為 ibtmp1。它存儲所有 tmp 表。不運行手動運行 OPTIMIZE TABLE，表空間文件就會不斷增長。如果你不能使用 OPTIMIZE，那麼唯一能將 ibtmp1 大小縮小為零的方法，就是重新啟動伺服器。幸運的是，即使文件無法減小，在執行查詢後，臨時表也會自動刪除，表空間可回收使用。現在，我們想一想以下情境：
存在未優化的查詢，需要在磁碟上創建非常大的的臨時表
存在優化的查詢，但他們正在磁碟上創建非常大的臨時表，因為你正在對此數據集進行計算（統計，分析）
高並發連接時，運行相同的查詢，伴隨臨時表的創建
沒有很多可用空間
- 在這些情況下，文件 ibtmp1 大大增加，很容易耗盡可用空間。這種情況每天發生幾次，並且必須重啟伺服器才能完全縮小 ibtmp1 表空間。使用不可收縮的文件可以輕松耗盡磁碟空間！
④ 什麼是MySQL存儲引擎
MySQL 可能是最著名的 關系資料庫管理系統 (RDBMS),作為一款免費開源軟體開發，最初由 MYSQL AB 公司提供支持，但現在歸 Oracle 所有。
在 MySQL 中，用於表的「存儲引擎」決定了數據的處理方式。有幾種可用的存儲引擎，但最常用的是 InnoDB 和 MyISAM 。
在本文中，我們將了解它們的顯著特徵以及它們之間的主要區別。
在本教程中，您將學習：
在我們討論兩個主要 MySQL 存儲引擎之間的特性和區別之前，先來了解一下什麼是存儲引擎？
存儲引擎，也稱為「 表處理程序 」，基本上是解釋和管理與資料庫表的 SQL 查詢相關的操作的資料庫部分。
在最新版本的 MySQL 中，可以使用「 可插拔 」架構來組織和管理存儲引擎，存在多種存儲引擎，但最常用的兩個是 InnoDB 和 MyISAM 。
要獲得我們正在使用的資料庫中可用存儲引擎的列表，我們所要做的就是發出一個簡單的 SQL 查詢，因此我們需要做的第一件事就是打開一個 MySQL 互動式提示並使用資料庫用戶登錄及其密碼：
如果登錄成功，提示將變為mysql>，在這里，我們可以運行我們的 SQL 查詢來可視化可用的存儲引擎：
執行查詢後，我們應該獲得類似於以下內容的結果：
在上表中，作為查詢結果生成，我們可以通過查看Support每行列中的值輕鬆了解支持哪些存儲引擎，「YES」值表示存儲引擎可用，否則「NO」。相反，同一列中的「DEFAULT」值表示相應的引擎（在本例中為 InnoDB）是伺服器使用的默認引擎。
「 Transactions 」和「 Savepoints 」列中存在的值分別表示存儲引擎是否支持事務和回滾。正如我們通過查看錶可以看到的，只有 InnoDB 引擎可以。
關於存儲引擎的信息存在於「 INFORMATION_SCHEMA 」資料庫的「 ENGINES 」表中，因此我們也可以發出標準的「SELECT」查詢來獲取我們需要的數據：
我們將獲得與上面看到的相同的結果。
讓我們看看兩個最常用的存儲引擎 InnoDB 和 MyISAM 之間的主要特性和區別是什麼。
正如我們已經說過的， InnoDB 是自 MySQL 以來的默認存儲引擎5.5。
此存儲引擎的一些主要功能如下：
對事務的支持提供了一種安全的方式來執行多個查詢以保持數據一致。
當多個修改數據的操作被執行並且我們想要確保它們只有在所有操作都成功並且沒有錯誤發生時才有效時，我們想要使用事務。
典型的處理方式是啟動事務並執行查詢：如果出現錯誤，則執行回滾，否則提交更改。
當使用 InnoDB 數據鎖定發生在行級別時，因此在事務期間鎖定的數據量是有限的。
InnoDB 有兩種類型的鎖：
一個共享鎖允許誰擁有它讀取該行的交易，而一個排它鎖允許交易執行其修改行的操作，所以要更新或刪除數據。
當一個事務在某行上獲得共享鎖，而另一個事務需要相同的鎖類型時，立即授予；但是，如果第二個事務在同一行上請求排他鎖，它將不得不等待。
如果第一個事務持有該行的排他鎖，則第二個事務將不得不等待該鎖被釋放以獲得共享鎖或排他鎖。
外鍵是一個非常重要的特性，因為它們可用於基於表之間的邏輯關系來強制執行數據完整性。想像一下，我們的資料庫中有三個表（假設它被稱為「testdb」）：一個user包含現有用戶的job表，一個注冊所有可用作業的user_job表，以及一個用於表示用戶和用戶之間存在的多對多關系的表。作業（一個用戶可以有多個作業，多個作業可以與同一個用戶關聯）。
該user_job表就是所謂的連接表或關聯表，因為它的唯一目的是表示用戶-工作關聯。該表有兩列，一個叫user_id和其他job id。表中會存在兩個外鍵約束，強制執行以下規則：user_id列中的值只能引用表id列中的值，列中的user值job_id必須引用表id列中的現有值job.
這將強制執行完整性，因為僅允許現有用戶和作業的 ID 存在於關聯表中。刪除涉及表中一個或多個關聯的用戶或作業user_job也是不允許的，除非為相應的外鍵設置了CASCADE DELETE規則。在這種情況下，當刪除用戶或作業時，它們所涉及的關系也將被刪除。
MyISAM 曾經是默認的 MySQL 存儲引擎，但已被 InnoDB 取代。使用此引擎時，數據鎖定發生在表級別，因此執行操作時鎖定的數據更多。
與 InnoDB 不同，MyISAM 不支持事務回滾和提交，因此必須手動執行回滾。MyISAM 和 InnoDB 之間的另一個很大區別是前者不支持外鍵。MyISAM 更簡單，並且在對有限數據集進行讀取密集型操作時可能具有優勢（有爭議）。
在表上使用 MyISAM 時，會設置一個標志，指示該表是否需要修復，例如在突然關閉之後。稍後可以使用適當的工具執行表修復。
如何知道特定表使用了什麼存儲引擎？我們所要做的就是發出一個簡單的查詢。
例如，要知道user我們在前面的例子中提到的表使用了什麼存儲引擎，我們將運行：
注意上面的查詢我們使用了G，為了讓查詢結果垂直顯示，優化空間。執行查詢後，我們將獲得以下結果：
在這種情況下，通過查看「Engine」列中存儲的值，我們可以清楚地看到該表使用的是「InnoDB」引擎。獲取相同信息的另一種方法是INFORMATION_SCHEMA.TABLES直接查詢表：
上面的查詢將只返回表使用的引擎：
如果我們稍微更改查詢，我們可以獲得資料庫中所有表名的列表以及它們使用的引擎：
如果我們要為一個表設置一個特定的存儲引擎，我們可以在創建時指定它。例如，假設我們正在創建job表，並且出於某種原因我們想要使用 MyISAM 存儲引擎。我們將發出以下 SQL 查詢：
相反，如果我們想要更改用於已存在表的存儲引擎，我們只需要使用ALTERSQL 語句。假設我們要將上一個示例中創建的「job」表所使用的存儲引擎更改為 InnoDB；我們會運行：
在本教程中，我們學習了什麼是資料庫存儲引擎，並且我們看到了兩個最常用的 MySQL 引擎的主要特性： InnoDB 和 MyISAM 。
我們看到了如何檢查哪些引擎可用、哪些引擎用於表以及如何使用 SQL 查詢設置和修改表引擎。
⑤ 開源資料庫有哪些
MSSQL伺服器、MySQL、Oracle、PostgreSQL、MongoDB等等。眾所周知，其中MySQL是目前使用最廣泛最好的免費開源資料庫，此外，還有一些你不知道或者沒用過但又非常出色的開源資料庫，例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。
⑥ 該選擇哪個開源資料庫哪一個更好
如果打算為項目選擇一款免費、開源的資料庫，那麼你可能會在MySQL與PostgreSQL之間猶豫不定。MySQL與PostgreSQL都是免費、開源、強大、且功能豐富的資料庫。你主要的問題可能是：哪一個才是最好的開源資料庫，MySQL還是PostgreSQL呢？該選擇哪一個開源資料庫呢？
在選擇資料庫時，你所做的是個長期的決策，因為後面如果再改變決定將是非常困難且代價高昂的。你希望一開始就選擇正確。兩個流行的開源資料庫MySQL與PostgreSQL常常成為最後要選擇的產品。對這兩個開源資料庫的高層次概覽將會有助於你選擇最適合自己需要的。
MySQL
MySQL相對來說比較年輕，首度出現在1994年。它聲稱自己是最流行的開源資料庫。MySQL就是LAMP（用於Web開發的軟體包，包括Linux、Apache及Perl/PHP/Python）中的M。構建在LAMP棧之上的大多數應用都會使用MySQL，包括那些知名的應用，如WordPress、Drupal、Zend及phpBB等。
一開始，MySQL的設計目標是成為一個快速的Web伺服器後端，使用快速的索引序列訪問方法（ISAM），不支持ACID。經過早期快速的發展之後，MySQL開始支持更多的存儲引擎，並通過InnoDB引擎實現了ACID。MySQL還支持其他存儲引擎，提供了臨時表的功能（使用MEMORY存儲引擎），通過MyISAM引擎實現了高速讀的資料庫，此外還有其他的核心存儲引擎與第三方引擎。
MySQL的文檔非常豐富，有很多質量不錯的免費參考手冊、圖書與在線文檔，還有來自於Oracle和第三方廠商的培訓與支持。
MySQL近幾年經歷了所有權的變更和一些頗具戲劇性的事件。它最初是由MySQL AB開發的，然後在2008年以10億美金的價格賣給了Sun公司，Sun公司又在2010年被Oracle收購。Oracle支持MySQL的多個版本：Standard、Enterprise、Classic、Cluster、Embedded與Community。其中有一些是免費下載的，另外一些則是收費的。其核心代碼基於GPL許可，對於那些不想使用GPL許可的開發者與廠商來說還有商業許可可供使用。
現在，基於最初的MySQL代碼還有更多的資料庫可供選擇，因為幾個核心的MySQL開發者已經發布了MySQL分支。最初的MySQL創建者之一Michael "Monty" Widenius貌似後悔將MySQL賣給了Sun公司，於是又開發了他自己的MySQL分支MariaDB，它是免費的，基於GPL許可。知名的MySQL開發者Brian Aker所創建的分支Drizzle對其進行了大量的改寫，特別針對多CPU、雲、網路應用與高並發進行了優化。
PostgreSQL
PostgreSQL標榜自己是世界上最先進的開源資料庫。PostgreSQL的一些粉絲說它能與Oracle相媲美，而且沒有那麼昂貴的價格和傲慢的客服。它擁有很長的歷史，最初是1985年在加利福尼亞大學伯克利分校開發的，作為Ingres資料庫的後繼。
PostgreSQL是完全由社區驅動的開源項目，由全世界超過1000名貢獻者所維護。它提供了單個完整功能的版本，而不像MySQL那樣提供了多個不同的社區版、商業版與企業版。PostgreSQL基於自由的BSD/MIT許可，組織可以使用、復制、修改和重新分發代碼，只需要提供一個版權聲明即可。
可靠性是PostgreSQL的最高優先順序。它以堅如磐石的品質和良好的工程化而聞名，支持高事務、任務關鍵型應用。PostgreSQL的文檔非常精良，提供了大量免費的在線手冊，還針對舊版本提供了歸檔的參考手冊。PostgreSQL的社區支持是非常棒的，還有來自於獨立廠商的商業支持。
數據一致性與完整性也是PostgreSQL的高優先順序特性。PostgreSQL是完全支持ACID特性的，它對於資料庫訪問提供了強大的安全性保證，充分利用了企業安全工具，如Kerberos與OpenSSL等。你可以定義自己的檢查，根據自己的業務規則確保數據質量。在眾多的管理特性中，point-in-time recovery（PITR）是非常棒的特性，這是個靈活的高可用特性，提供了諸如針對失敗恢復創建熱備份以及快照與恢復的能力。但這並不是PostgreSQL的全部，項目還提供了幾個方法來管理PostgreSQL以實現高可用、負載均衡與復制等，這樣你就可以使用適合自己特定需求的功能了。
⑦ 求對比一下Apache開源列式存儲引擎Parquet和ORC
並不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。當物理內存用完時，Redis可以將一些很久沒用到的value交換到磁碟。
⑧ 大數據三大核心技術：拿數據、算數據、賣數據！
大數據的由來
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
1
麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大數據的應用領域
大數據無處不在，大數據應用於各個行業，包括金融、 汽車 、餐飲、電信、能源、體能和 娛樂 等在內的 社會 各行各業都已經融入了大數據的印跡。
製造業，利用工業大數據提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。
金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。
汽車 行業，利用大數據和物聯網技術的無人駕駛 汽車 ，在不遠的未來將走入我們的日常生活。
互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。
電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出台客戶挽留措施。
能源行業，隨著智能電網的發展，電力公司可以掌握海量的用戶用電信息，利用大數據技術分析用戶用電模式，可以改進電網運行，合理設計電力需求響應系統，確保電網運行安全。
物流行業，利用大數據優化物流網路，提高物流效率，降低物流成本。
城市管理，可以利用大數據實現智能交通、環保監測、城市規劃和智能安防。
體育 娛樂 ，大數據可以幫助我們訓練球隊，決定投拍哪種 題財的 影視作品，以及預測比賽結果。
安全領域，政府可以利用大數據技術構建起強大的國家安全保障體系，企業可以利用大數據抵禦網路攻擊，警察可以藉助大數據來預防犯罪。
個人生活， 大數據還可以應用於個人生活，利用與每個人相關聯的「個人大數據」，分析個人生活行為習慣，為其提供更加周到的個性化服務。
大數據的價值，遠遠不止於此，大數據對各行各業的滲透，大大推動了 社會 生產和生活，未來必將產生重大而深遠的影響。
大數據方面核心技術有哪些？
大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。
數據採集與預處理
對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。
Flume NG
Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費(收集)數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。
NDC
Logstash
Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。
Sqoop
Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業(極其容錯的分布式並行計算)來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。
流式計算
流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。
Strom集群結構是有一個主節點(nimbus)和多個工作節點(supervisor)組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology(包括topology的發布、任務指派、事件處理時重新指派任務等)。supervisor進程等待nimbus分配任務後生成並監控worker(jvm進程)執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出(或被kill掉)，supervisor會嘗試重新生成新的worker進程。
Zookeeper
Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。
數據存儲
Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。
HBase
HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。
Phoenix
Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。
Yarn
Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。
Mesos
Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。
Redis
Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。
Atlas
Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。
Ku
Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。
在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。
數據清洗
MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map(映射)」和」Rece(歸約)」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。
隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。
Oozie
Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成(因為有些大作業可能會執行很久(幾個小時甚至幾天))。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。
Azkaban
Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等;Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。
流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面(開發、運維)的投入，幫助用戶專注於解決產品本身的流計算需求
數據查詢分析
Hive
Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。
Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。
Impala
Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成)，可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。
Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。
Spark
Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
Nutch
Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。
Solr
Solr用Java編寫、運行在Servlet容器(如Apache Tomcat或Jetty)的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引;也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。
Elasticsearch
Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。
還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用;深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。
數據可視化
對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數等。
在上面的每一個階段，保障數據的安全是不可忽視的問題。
基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。
控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。
簡單說有三大核心技術：拿數據，算數據，賣數據。