⑴ 阿里雲rds資料庫是自主研發的嗎
一般rds習慣性指mysql資料庫實例，但其實也包含sqlserver。這兩種資料庫一個是開源的，一個是微軟的，都不算是阿里研發的資料庫。
華為雲 rds-gaussdb系列都是自主研發的。
⑵ 阿里出品otter-同步數據量6億涉及200+個資料庫實例之間的同步
otter已在阿里雲推出商業化版本 數據傳輸服務DTS， 開通即用，免去部署維護的昂貴使用成本。DTS針對阿里雲RDS、DRDS等產品進行了適配，解決了Binlog日誌回收，主備切換、VPC網路切換等場景下的同步高可用問題。同時，針對RDS進行了針對性的性能優化。出於穩定性、性能及成本的考慮，強烈推薦阿里雲用戶使用DTS產品。DTS產品使用文檔
阿里巴巴B2B公司，因為業務的特性，賣家主要集中在國內，買家主要集中在國外，所以衍生出了杭州和美國異地機房的需求，同時為了提升用戶體驗，整個機房的架構為雙A，兩邊均可寫，由此誕生了otter這樣一個產品。
otter第一版本可追溯到04~05年，此次外部開源的版本為第4版，開發時間從2011年7月份一直持續到現在，目前阿里巴巴B2B內部的本地/異地機房的同步需求基本全上了otte4。
名稱：otter ['ɒtə(r)]
譯意： 水獺，數據搬運工
語言： 純java開發
定位： 基於資料庫增量日誌解析，准實時同步到本機房或異地機房的mysql/oracle資料庫. 一個分布式資料庫同步系統
原理描述：
1. 基於Canal開源產品，獲取資料庫增量日誌數據。 什麼是Canal, 請點擊
2. 典型管理系統架構，manager(web管理)+node(工作節點)
a. manager運行時推送同步配置到node節點
b. node節點將同步狀態反饋到manager上
3. 基於zookeeper，解決分布式狀態調度的，允許多node節點之間協同工作.
⑶ 如何保證資料庫緩存的最終一致性
對於互聯網業務來說，傳統的直接訪問資料庫方式，主要通過數據分片、一主多從等方式來扛住讀寫流量，但隨著數據量的積累和流量的激增，僅依賴資料庫來承接所有流量，不僅成本高、效率低、而且還伴隨著穩定性降低的風險。
鑒於大部分業務通常是讀多寫少（讀取頻率遠遠高於更新頻率），甚至存在讀操作數量高出寫操作多個數量級的情況。因此， 在架構設計中，常採用增加緩存層來提高系統的響應能力 ，提升數據讀寫性能、減少資料庫訪問壓力，從而提升業務的穩定性和訪問體驗。
根據 CAP 原理，分布式系統在可用性、一致性和分區容錯性上無法兼得，通常由於分區容錯無法避免，所以一致性和可用性難以同時成立。對於緩存系統來說， 如何保證其數據一致性是一個在應用緩存的同時不得不解決的問題 。
需要明確的是，緩存系統的數據一致性通常包括持久化層和緩存層的一致性、以及多級緩存之間的一致性，這里我們僅討論前者。持久化層和緩存層的一致性問題也通常被稱為雙寫一致性問題，「雙寫」意為數據既在資料庫中保存一份，也在緩存中保存一份。
對於一致性來說，包含強一致性和弱一致性 ，強一致性保證寫入後立即可以讀取，弱一致性則不保證立即可以讀取寫入後的值，而是盡可能的保證在經過一定時間後可以讀取到，在弱一致性中應用最為廣泛的模型則是最終一致性模型，即保證在一定時間之後寫入和讀取達到一致的狀態。對於應用緩存的大部分場景來說，追求的則是最終一致性，少部分對數據一致性要求極高的場景則會追求強一致性。
為了達到最終一致性，針對不同的場景，業界逐步形成了下面這幾種應用緩存的策略。
— 1 —
Cache-Aside
Cache-Aside 意為旁路緩存模式，是應用最為廣泛的一種緩存策略。下面的圖示展示了它的讀寫流程，來看看它是如何保證最終一致性的。在讀請求中，首先請求緩存，若緩存命中（cache hit），則直接返回緩存中的數據；若緩存未命中（cache miss），則查詢資料庫並將查詢結果更新至緩存，然後返回查詢出的數據（demand-filled look-aside ）。在寫請求中，先更新資料庫，再刪除緩存（write-invalidate）。
1、為什麼刪除緩存，而不是更新緩存？
在 Cache-Aside 中，對於讀請求的處理比較容易理解，但在寫請求中，可能會有讀者提出疑問，為什麼要刪除緩存，而不是更新緩存？站在符合直覺的角度來看，更新緩存是一個容易被理解的方案，但站在性能和安全的角度，更新緩存則可能會導致一些不好的後果。
首先是性能 ，當該緩存對應的結果需要消耗大量的計算過程才能得到時，比如需要訪問多張資料庫表並聯合計算，那麼在寫操作中更新緩存的動作將會是一筆不小的開銷。同時，當寫操作較多時，可能也會存在剛更新的緩存還沒有被讀取到，又再次被更新的情況（這常被稱為緩存擾動），顯然，這樣的更新是白白消耗機器性能的，會導致緩存利用率不高。
而等到讀請求未命中緩存時再去更新，也符合懶載入的思路，需要時再進行計算。刪除緩存的操作不僅是冪等的，可以在發生異常時重試，而且寫-刪除和讀-更新在語義上更加對稱。
其次是安全 ，在並發場景下，在寫請求中更新緩存可能會引發數據的不一致問題。參考下面的圖示，若存在兩個來自不同線程的寫請求，首先來自線程 1 的寫請求更新了資料庫（step 1），接著來自線程 2 的寫請求再次更新了資料庫（step 3），但由於網路延遲等原因，線程 1 可能會晚於線程 2 更新緩存（step 4 晚於 step 3），那麼這樣便會導致最終寫入資料庫的結果是來自線程 2 的新值，寫入緩存的結果是來自線程 1 的舊值，即緩存落後於資料庫，此時再有讀請求命中緩存（step 5），讀取到的便是舊值。
2、為什麼先更新資料庫，而不是先刪除緩存？
另外，有讀者也會對更新資料庫和刪除緩存的時序產生疑問，那麼為什麼不先刪除緩存，再更新資料庫呢？在單線程下，這種方案看似具有一定合理性，這種合理性體現在刪除緩存成功。
但更新資料庫失敗的場景下，盡管緩存被刪除了，下次讀操作時，仍能將正確的數據寫回緩存，相對於 Cache-Aside 中更新資料庫成功，刪除緩存失敗的場景來說，先刪除緩存的方案似乎更合理一些。那麼，先刪除緩存有什麼問題呢？
問題仍然出現在並發場景下，首先來自線程 1 的寫請求刪除了緩存（step 1），接著來自線程 2 的讀請求由於緩存的刪除導致緩存未命中，根據 Cache-Aside 模式，線程 2 繼而查詢資料庫（step 2），但由於寫請求通常慢於讀請求，線程 1 更新資料庫的操作可能會晚於線程 2 查詢資料庫後更新緩存的操作（step 4 晚於 step 3），那麼這樣便會導致最終寫入緩存的結果是來自線程 2 中查詢到的舊值，而寫入資料庫的結果是來自線程 1 的新值，即緩存落後於資料庫，此時再有讀請求命中緩存（ step 5 ），讀取到的便是舊值。
另外，先刪除緩存，由於緩存中數據缺失，加劇資料庫的請求壓力，可能會增大緩存穿透出現的概率。
3、如果選擇先刪除緩存，再更新資料庫，那如何解決一致性問題呢？
為了避免「先刪除緩存，再更新資料庫」這一方案在讀寫並發時可能帶來的緩存臟數據，業界又提出了延時雙刪的策略，即在更新資料庫之後，延遲一段時間再次刪除緩存，為了保證第二次刪除緩存的時間點在讀請求更新緩存之後，這個延遲時間的經驗值通常應稍大於業務中讀請求的耗時。
延遲的實現可以在代碼中 sleep 或採用延遲隊列。顯而易見的是，無論這個值如何預估，都很難和讀請求的完成時間點准確銜接，這也是延時雙刪被詬病的主要原因。
4、那麼 Cache-Aside 存在數據不一致的可能嗎？
在 Cache-Aside 中，也存在數據不一致的可能性。在下面的讀寫並發場景下，首先來自線程 1 的讀請求在未命中緩存的情況下查詢資料庫（step 1），接著來自線程 2 的寫請求更新資料庫（step 2），但由於一些極端原因，線程 1 中讀請求的更新緩存操作晚於線程 2 中寫請求的刪除緩存的操作（step 4 晚於 step 3），那麼這樣便會導致最終寫入緩存中的是來自線程 1 的舊值，而寫入資料庫中的是來自線程 2 的新值，即緩存落後於資料庫，此時再有讀請求命中緩存（step 5），讀取到的便是舊值。
這種場景的出現，不僅需要緩存失效且讀寫並發執行，而且還需要讀請求查詢資料庫的執行早於寫請求更新資料庫，同時讀請求的執行完成晚於寫請求。足以見得，這種 不一致場景產生的條件非常嚴格，在實際的生產中出現的可能性較小 。
除此之外，在並發環境下，Cache-Aside 中也存在讀請求命中緩存的時間點在寫請求更新資料庫之後，刪除緩存之前，這樣也會導致讀請求查詢到的緩存落後於資料庫的情況。
雖然在下一次讀請求中，緩存會被更新，但如果業務層面對這種情況的容忍度較低，那麼可以採用加鎖在寫請求中保證「更新資料庫&刪除緩存」的串列執行為原子性操作（同理也可對讀請求中緩存的更新加鎖）。 加鎖勢必會導致吞吐量的下降，故採取加鎖的方案應該對性能的損耗有所預期。
— 2 —
補償機制
我們在上面提到了，在 Cache-Aside 中可能存在更新資料庫成功，但刪除緩存失敗的場景，如果發生這種情況，那麼便會導致緩存中的數據落後於資料庫，產生數據的不一致的問題。
其實，不僅 Cache-Aside 存在這樣的問題，在延時雙刪等策略中也存在這樣的問題。針對可能出現的刪除失敗問題，目前業界主要有以下幾種補償機制。
1、刪除重試機制
由於同步重試刪除在性能上會影響吞吐量，所以常通過引入消息隊列，將刪除失敗的緩存對應的 key 放入消息隊列中，在對應的消費者中獲取刪除失敗的 key ，非同步重試刪除。這種方法在實現上相對簡單，但由於刪除失敗後的邏輯需要基於業務代碼的 trigger 來觸發 ，對業務代碼具有一定入侵性。
鑒於上述方案對業務代碼具有一定入侵性，所以需要一種更加優雅的解決方案，讓緩存刪除失敗的補償機制運行在背後，盡量少的耦合於業務代碼。一個簡單的思路是通過後台任務使用更新時間戳或者版本作為對比獲取資料庫的增量數據更新至緩存中，這種方式在小規模數據的場景可以起到一定作用，但其擴展性、穩定性都有所欠缺。
一個相對成熟的方案是基於 MySQL 資料庫增量日誌進行解析和消費，這里較為流行的是阿里巴巴開源的作為 MySQL binlog 增量獲取和解析的組件 canal（類似的開源組件還有 Maxwell、Databus 等）。
canal sever 模擬 MySQL slave 的交互協議，偽裝為 MySQL slave，向 MySQL master 發送 mp 協議，MySQL master 收到 mp 請求，開始推送 binary log 給 slave （即 canal sever ），canal sever 解析 binary log 對象（原始為 byte 流），可由 canal client 拉取進行消費，同時 canal server 也默認支持將變更記錄投遞到 MQ 系統中，主動推送給其他系統進行消費。
在 ack 機制的加持下，不管是推送還是拉取，都可以有效的保證數據按照預期被消費。當前版本的 canal 支持的 MQ 有 Kafka 或者 RocketMQ。另外， canal 依賴 ZooKeeper 作為分布式協調組件來實現 HA ，canal 的 HA 分為兩個部分：
那麼，針對緩存的刪除操作便可以在 canal client 或 consumer 中編寫相關業務代碼來完成。這樣，結合資料庫日誌增量解析消費的方案以及 Cache-Aside 模型，在讀請求中未命中緩存時更新緩存（通常這里會涉及到復雜的業務邏輯），在寫請求更新資料庫後刪除緩存，並基於日誌增量解析來補償資料庫更新時可能的緩存刪除失敗問題，在絕大多數場景下，可以有效的保證緩存的最終一致性。
另外需要注意的是，還應該隔離事務與緩存，確保資料庫入庫後再進行緩存的刪除操作。 比如考慮到資料庫的主從架構，主從同步及讀從寫主的場景下，可能會造成讀取到從庫的舊數據後便更新了緩存，導致緩存落後於資料庫的問題，這就要求對緩存的刪除應該確保在資料庫操作完成之後。所以，基於 binlog 增量日誌進行數據同步的方案，可以通過選擇解析從節點的 binlog，來避免主從同步下刪除緩存過早的問題。
3、數據傳輸服務 DTS
— 3 —
Read-Through
Read-Through 意為讀穿透模式，它的流程和 Cache-Aside 類似，不同點在於 Read-Through 中多了一個訪問控制層，讀請求只和該訪問控制層進行交互，而背後緩存命中與否的邏輯則由訪問控制層與數據源進行交互，業務層的實現會更加簡潔，並且對於緩存層及持久化層交互的封裝程度更高，更易於移植。
— 4 —
Write-Through
Write-Through 意為直寫模式，對於 Write-Through 直寫模式來說，它也增加了訪問控制層來提供更高程度的封裝。不同於 Cache-Aside 的是，Write-Through 直寫模式在寫請求更新資料庫之後，並不會刪除緩存，而是更新緩存。
這種方式的 優勢在於讀請求過程簡單 ，不需要查詢資料庫更新緩存等操作。但其劣勢也非常明顯，除了上面我們提到的更新資料庫再更新緩存的弊端之外，這種方案還會造成更新效率低，並且兩個寫操作任何一次寫失敗都會造成數據不一致。
如果要使用這種方案， 最好可以將這兩個操作作為事務處理，可以同時失敗或者同時成功，支持回滾，並且防止並發環境下的不一致 。另外，為了防止緩存擾動的頻發，也可以給緩存增加 TTL 來緩解。
站在可行性的角度，不管是 Write-Through 模式還是 Cache-Aside 模式，理想狀況下都可以通過分布式事務保證緩存層數據與持久化層數據的一致性，但在實際項目中，大多都對一致性的要求存在一些寬容度，所以在方案上往往有所折衷。
Write-Through 直寫模式適合寫操作較多，並且對一致性要求較高的場景，在應用 Write-Through 模式時，也需要通過一定的補償機制來解決它的問題。首先，在並發環境下，我們前面提到了先更新資料庫，再更新緩存會導致緩存和資料庫的不一致，那麼先更新緩存，再更新資料庫呢？
這樣的操作時序仍然會導致下面這樣線程 1 先更新緩存，最後更新資料庫的情況，即由於線程 1 和 線程 2 的執行不確定性導致資料庫和緩存的不一致。這種由於線程競爭導致的緩存不一致，可以通過分布式鎖解決，保證對緩存和資料庫的操作僅能由同一個線程完成。對於沒有拿到鎖的線程，一是通過鎖的 timeout 時間進行控制，二是將請求暫存在消息隊列中順序消費。
在下面這種並發執行場景下，來自線程 1 的寫請求更新了資料庫，接著來自線程 2 的讀請求命中緩存，接著線程 1 才更新緩存，這樣便會導致線程 2 讀取到的緩存落後於資料庫。同理，先更新緩存後更新資料庫在寫請求和讀請求並發時，也會出現類似的問題。面對這種場景，我們也可以加鎖解決。
另在，在 Write-Through 模式下，不管是先更新緩存還是先更新資料庫，都存在更新緩存或者更新資料庫失敗的情況，上面提到的重試機制和補償機制在這里也是奏效的。
— 5 —
Write-Behind
Write behind 意為非同步回寫模式，它也具有類似 Read-Through/Write-Through 的訪問控制層，不同的是，Write behind 在處理寫請求時，只更新緩存而不更新資料庫，對於資料庫的更新，則是通過批量非同步更新的方式進行的，批量寫入的時間點可以選在資料庫負載較低的時間進行。
在 Write-Behind 模式下，寫請求延遲較低，減輕了資料庫的壓力，具有較好的吞吐性。但資料庫和緩存的一致性較弱，比如當更新的數據還未被寫入資料庫時，直接從資料庫中查詢數據是落後於緩存的。同時，緩存的負載較大，如果緩存宕機會導致數據丟失，所以需要做好緩存的高可用。顯然，Write behind 模式下適合大量寫操作的場景，常用於電商秒殺場景中庫存的扣減。
— 6 —
Write-Around
如果一些非核心業務，對一致性的要求較弱，可以選擇在 cache aside 讀模式下增加一個緩存過期時間，在寫請求中僅僅更新資料庫，不做任何刪除或更新緩存的操作，這樣，緩存僅能通過過期時間失效。這種方案實現簡單，但緩存中的數據和資料庫數據一致性較差，往往會造成用戶的體驗較差，應慎重選擇。
— 7 —
總結
在解決緩存一致性的過程中，有多種途徑可以保證緩存的最終一致性，應該根據場景來設計合適的方案，讀多寫少的場景下，可以選擇採用「Cache-Aside 結合消費資料庫日誌做補償」的方案，寫多的場景下，可以選擇採用「Write-Through 結合分布式鎖」的方案 ，寫多的極端場景下，可以選擇採用「Write-Behind」的方案。
⑷ 阿里有哪些硬核技術在世界上領先
認真的回答這個問題。沒有。哈哈哈。會不會很失望。但是，事實就是如此。就給你說說吧
1.阿里雲計算這個首先說一下，阿里目前的雲計算技術，排名世界第三。屈居谷歌和微軟之後。不過，你對比一下就會知道有多牛逼了。亞馬遜發展了在什麼地方？微軟成立了多少年。亞馬遜成立於1995年，微軟成立於1975年。阿里成立於1999年。而微軟和亞馬遜都是全球發展的公司。實力有目共睹，阿里這些年的趕超可是花的大力氣。所以，這一點來說阿里的雲計算還是很厲害的。
2.阿里的感測城市技術這個技術實際是一個三維的數字化資料庫的概念，這些年阿里通過高德，支付寶，以及阿里系的各個公司，獲取到了大量的城市底層數據，現在基本可以利用這個技術，把這個城市進行重建，讓一個城市更加宜居，環保，且可持續發展。實際也是可以通過海量數據為一個城市提供大腦虛擬計算，最後做出最優決策。也就是阿里所說的ET城市大腦。
對抗性神經網路在ET城市大腦項目中，阿里巴巴達摩院的科學家使用對抗性神經網路訓練ET城市大腦更好的識別客車、火車、卡車的車牌，將識別精準度提高了10%。此外，科學家還將對抗性神經網路用於雙11中，完成了數億張海報的設計。說句簡單的，就是讓機器能夠擁有一定的思考力和更加快速的反應能力。
一個就是AI技術強大的人工智慧技術，就是讓無數的數據薈聚到一個計算機大腦。讓一個機器大腦能夠擁有大量的知識儲量，並且可以進行深度計算，最後會發展到各種程度，誰都不知道。
另外，就是或者還有阿里沒有公布的技術。這就是我們不知道的了。或者他在憋著大招，沒有放出來，咱誰都不知道。只能說，我相信以後阿里會成為一個合格的 科技 企業， 科技 實力會越來越強。也希望中國有越來越多這樣的企業。這樣才會讓中國的企業在世界有更大的話語權。
謝邀~
從大背景來說，近些年，中國的硬核技術真正做到了起步晚、進步快，是"後來者居上"的典型。在越來越多的新興行業里中國 科技 也早已佔據著巨大的市場份額。而說到世界領先的硬核技術，阿里巴巴作為一家被電商光芒掩蓋 科技 實力的互聯網公司代表，很有一些東西能說道說道的。
當今爆炸式增長的數據量，使得未來 科技 競爭最重要的賽道當屬雲計算。而作為早早入局的阿里雲已經率先突圍，占據頭部。據Gartner最新數據，如今亞馬遜+微軟+阿里占據了全球雲計算市場72%的市場份額，而伴隨著馬太效應的持續演進，頭部玩家的優勢將會越來越大，未來預測雲計算將會持續形成"3A"競爭的三分局面。
值得一提的是，依靠著在亞太地區的強勢表現，阿里雲去年還成功將亞馬遜的王座地位向下拽了兩個百分點，背靠著亞太這個全球最大的市場，阿里雲的崛起勢必還將有一番作為。
此外，諸如大疆的無人機，海康威視的監控、安保設備也都已經站在各自行業的頂端了，不得不說中國 科技 已經從過去的陪跑者變成了如今的競爭者甚至是領先者。
從當年的中華有為到如今的眾帆競航，中國 科技 的崛起想必會讓世界重新認識這個沉睡的東方雄獅。
按慣例，各個擊破。
先說硬核技術， 科技 領域的技術多不勝數，哪些技術才配稱的上是"硬核技術"？個人認為，能決定未來的技術，才能算"硬核"。現在， 科技 屆公認的能改變世界的幾項技術：量子計算、雲計算、晶元、底層操作系統等，都是全球頂尖 科技 公司在啃的"硬菜"。
再說世界領先，得說實績，不能靠"吹"。我們自己說了不完全算，要世界紀錄認可的。
具體來說下阿里。自從誕生了阿里雲之後，阿里"雲"化的速度越來越快，而"雲"化的底氣，來源於幾個：雲計算，底層操作系統，晶元，量子計算。
我們挑2個說說。
大家開玩笑喜歡說"遇事不決，量子力學"，但認真說，量子計算，能量超乎想像。2018年3月，谷歌發布研製全球首個高質量72比特量子計算機的計劃後，就提出要實現"量子霸權"計劃。
業界聽了都笑了
2018年5月，達摩院的量子電路模擬器"太章"就出來打臉了。太章，率先成功模擬了81比特40層作為基準的谷歌隨機量子電路，成為世界最強的量子電路模擬器。
再說一個，雲計算。
雲計算領域，早年都是亞馬遜、谷歌的天下。開始的時候，中國人自己都不信，中國能做出自己的雲計算，比如某度的那個誰，某騰的那個誰，都說雲計算是"異想天開"。結果呢？阿里愣是不信邪，花了十年，作為公有雲計算江湖的後起之秀，阿里雲以全球前三、亞太第一的市場份額趕超一眾老牌雲廠商。現在估值都超過770億美元了。
之前，在最新的斯坦福大學DAWNBench深度學習榜單中，阿里雲打破紀錄，勇奪四項世界第一。不久後，在安全性能權威評比中，又勇奪"全球第二安全的雲"，讓亞馬遜目瞪口呆，這樣夠"硬核"嗎？
說到硬核技術，必須要提的當然是晶元啊！
最近華為、中芯國際、光刻機頻繁上熱搜，晶元的事情鬧得沸沸揚揚的，大家都知道了晶元的重要性！但我覺得阿里最硬核的技術，晶元必須排在首位。
阿里旗下有個公司叫平頭哥，專門搞晶元的。它才成立兩年，旗下第一款晶元—含光800在業界標準的resnet-50測試中，推理性能達到了78563IPS，能效500IPS/W，這兩項能力都是全球第一，而且遠超第二名數倍，著實給中國自研晶元爭了口氣！
不久前，含光800還宣布已經實現量產，我相信中國晶元自主的那一天不會太遠的。
之前，斯坦福大學最新公布的DAWNBench深度學習榜單中，阿里巴巴旗下的阿里雲在訓練時間、訓練成本、推理延遲以及推理成本拿下四項第一，打破了谷歌等企業壟斷榜首的神話，這也意味著，阿里雲可提供全球最快的AI計算服務。
這種理論的東西，可能大家沒什麼興趣，我也一樣。我個人最感興趣的是：阿里通過AI技術，跟物聯網IOT聯系起來，為智能家居提供了更多的新可能。
之前，阿里雲搞過一個給空巢老人的技術，真是暖心：藉助阿雲智能人居平台，為空巢老人量身打造了遠程看護方案，不僅接入多種物聯網設備，還專門定製開發了一個手機APP，所有家人都可以使用。藉助物網感測器，家人可以時刻記錄老人在家裡的所有行為，對異樣的行為進行預警。
其實，阿里的硬核技術，只是中國這些年 科技 崛起的一個縮影。作為中國 科技 公司的代表，阿里技術有今天的成就，也離不開大環境的進步和對 科技 基礎設施的重視。
阿里巴巴作為中國最大的互聯網公司。 在海量數據處理、高並發、雲計算等方面積累了非常多的技術。程序員應該都非常清楚阿里的技術實力 。 著名開源項目Dubbo、RocketMq、Fastjson、Druid、Weex、等都是阿里開源的 。這些項目在全世界各種Java、前端等項目中都有使用。除去這些上層應用方面的技術之外，阿里還有哪些在國際上領先的技術呢？
DAWNBench是深度學習技術的一個框架。用於端到端深度學習訓練和推理的基準套件，它提供了一組常見的深度學習工作負載，用於在不同的優化策略、模型架構、軟體框架、雲和硬體上量化訓練時間、訓練成本、推理延遲和推理成本。此前這項技術一直是谷歌和亞馬遜保持領先的記錄。而在最新一輪的比賽中，阿里雲團隊在訓練時間、訓練成本、推理延遲以及推理成本四項中均取到了世界第一的名次。打破了谷歌多年的記錄。
在資料庫領域，一直是甲骨文的Oracle在全球壟斷。在阿里的OceanBase沒有出現之前，世界上沒有可以與Oracle可以抗衡的資料庫。不管是企業級還是個人軟體項目開發，我們都會第一選擇使用Oracle（當然還有Mysql，Mysql也是甲骨文的資料庫）。甲骨文公司幾乎壟斷了整個資料庫領域。但是阿里巴巴每年的雙十一對於資料庫的吞吐能力提出了更高的挑戰，阿里投入研發的OceanBase就是為了滿足這種高吞吐場景需求的。經過國際TPC-C基準測試，OceanBase的TPS達到了100萬（每秒處理事務數，可理解為訂單數），比Oracle真正高了一倍。
阿里雲大家應該不陌生。從全世界市場佔有額來看，阿里雲目前國內市場佔有額第一，全球市場佔有額第三。在全球市場佔有額中，僅此於亞馬遜和微軟。而相比全球市場，亞太市場增長更快，雲計算市場規模同比增長達50%。
在大眾眼裡，提起阿里巴巴就想起淘寶，天貓，支付寶。實際上阿里巴巴經過這些年的已然發展成為國際一流的技術公司， 在量子計算機，雲計算，人工智慧，晶元研發等硬核技術已經取得了世界領先的成就。
量子計算機技術理論上，量子計算機可以模擬出整個宇宙，不僅僅是原理的模擬，而是整個宏觀體系和微觀細節的模擬。比如，宇宙中的塵埃——地球上，每個生物身上的每個細胞，都可以被模擬出來。 目前，世界范圍內已有兩家公司，在這方面已有突破性進展，那就是谷歌和阿里。目前，阿里雲在超導量子計算方向，發布11比特的雲接入超導量子計算服務。該服務已在量子計算雲平台上線，有興趣可以注冊個賬號體驗下。
人工智慧技術斯坦福大學最新公布的DAWNBench深度學習榜單中， 阿里巴巴旗下的阿里雲在訓練時間、訓練成本、推理延遲以及推理成本拿下四項第一，打破了谷歌等企業壟斷榜首的神話，這也意味著，阿里雲可提供全球最快的AI計算服務。 這些都屬於人工智慧最前沿，最頂尖的技術，阿里不僅立足當下，而且將眼光放眼未來，布局即將到來的人工智慧時代。
阿里晶元技術阿里的晶元技術已經名列世界前茅。 旗下第一款晶元—含光800在業界標準的resnet-50測試中，推理性能達到了78563IPS，能效500IPS/W，這兩項能力都是全球第一，而且遠超第二名數倍。 我們平時經常使用的淘寶「拍立淘」功能，使用含光800，搜索效率可以提升12倍，每天新增圖片10億張，之前的GPU完成搜索任務要1小時，現在只要5分鍾。
結語阿里這些硬核技術，只是本人了解到的，阿里技術團隊一向做事低調如掃地僧。應該還有其他不為大眾所知的硬核技術，只是本人不了解而已，你如果知道，請在評論區賜教，不勝感激！
談到阿里的硬核技術，很多人第一印象肯定是想到了雲計算，基於雲端數據處理和存儲技術，阿里在這方面的成就在世界范圍內都是數一數二的，但這是老生常談，我們暫且不說，今天來說說其他方面，阿里的表現同樣強悍。
一、雲操作系統
雲操作系統指的就是阿里的飛天系統，是由阿里雲自主研發、服務全球的超大規模通用計算操作系統，誕生於2009年，如今經過十年發展，早已今非昔比。飛天分布式系統，如今已經累計服務了200多個國家和地區，讓許多大企業減小了對於硬體的依賴，減少了支出。2017年雙11，飛天更是創下世界記錄，實現了每秒32.5萬筆交易峰值，每秒25.6萬筆支付峰值。強悍如斯，讓人震撼。
二、阿里物聯網平台
阿里自研的物聯網平台，同樣讓人驚艷。2014年，阿里雲自主研發了一站式物聯網使能台阿里雲Link，之後，又相繼推出物聯網操作系統、物聯網雲平台、邊緣計算引擎、一站式開發平台等。基於以上平台和系統，阿里在智能化、雲端化、雲計算展現出驚人優勢，為我們日常的智能生活、智能城市、智能製造，提供了技術和平台支持，為經濟發展提供了極大的便利。
三、AI晶元含光800
阿里巴巴達摩院研發的AI晶元「含光800」，同樣讓人震撼，這款晶元是阿里巴巴第一款自主研發的晶元，它被認為是全球最厲害的智能AI晶元，數據顯示，含光800在晶元測試標准平台Resnet 50上的具體分數是性能78563 IPS，是第二名（15012）的5倍；能效比500 IPS/W，是第二名（150）3.3倍。這款晶元如今已經商用，並在全世界范圍內接受了不少訂單。
阿里其他方面的技術還有很多，譬如「神龍」服務框架、端操作系統等等，但阿里最厲害的還是我們經常說的雲計算，基於這方面的投入也是最大，未來三年，阿里將投入2000億，繼續加大對於雲計算的研發，相信在未來，我們的智能生活體驗中，必定離不開阿里的身影。
如果說阿里雲是世界領先的話，可能有些人感受並不深。那就簡單說一下一個利用阿里雲落地的身邊應用——城市大腦。
發明雲計算最大的作用，可能就是能在這個時代「磅礴浩瀚」的數據量面前處變不驚，這也使得一些以前不敢做甚至於不敢想的東西順利落地。從城市大腦來講，能將整個城市的方方面面映射到一個整體系統上，這是不是和你以前看過的科幻片高度重合起來？阿里雲的誕生使得各類復雜的數據都能夠得到迅速響應、快速計算和實時處理，這也就讓我們等待紅燈的時間靈活調整，出行時間大大縮減，停車難、排隊難、看病難等城市病也都得到了有效解決，這也是為什麼世界上很多城市跑來借鑒的原因所在吧！
看了一些回答，有些小寒心，難道技術非要等到打上西方封禁的標簽才能夠得到證明嗎？不可否認每個時代都有獨特的事物在獨領風騷，而當前以及未來都應該與數字時代脫不開聯系，這也就是為何雲計算崛起後持續受到各個行業關注的原因。
當然，阿里雲當年不顧一切搞自主研發，雖然耗費了大量的人力物力時間，但是如今回頭來看無疑是幸運的，有了核心技術也就無需擔心他人的掣肘，這也是如今阿里雲世界領先的原因。而有了阿里雲為支撐，例如城市大腦、資料庫的OceanBase、平頭哥的含光晶元都紛紛亮相。相比而言，甲骨文也已經撤出中國，亞馬遜和微軟也在一步步讓出自己的市場份額。值得一提的是，阿里身後還有達摩院的一批頂尖科學家做支撐，因此可以想像在未來相當長的時間內，阿里的技術優勢還是會不斷保持。
互聯網經濟，也就是我們說的共享經濟。其他技術也是依靠互聯網的錢收購的。雷聲很大的達摩院也沒見到什麼硬核成果。期待早點見到效果！
⑸ kettle有什麼特點
引言
作為資深的DBA同胞你是否在工作中也存在這樣的情況呢？公司要搭建數據平台，首要的工作就是把舊庫的數據導入到新庫中，雖然各種資料庫都提供了導入導出的工具，但是數據需要存儲到各個地方，MongoDB、HBase、MySQL、Oracle等各種各樣的不同資料庫，同步起來就有一些困難了。那麼如何做好兩個資料庫之間、不同類型的資料庫之間的相互遷移轉換呢？
今天小編就常用的資料庫同步、遷移轉換工具進行一個匯總，以便大家在需要的時候，選擇到合適的工具完成自己的工作~
一、SQLyog
SQLyog簡介
SQLyog是業界著名的Webyog公司出品的一款簡潔高效、功能強大的圖形化MySQL資料庫管理工具。使用SQLyog可以快速直觀地讓你從世界的任何角落通過網路來維護遠端的MySQL資料庫。它也是小編工作一直使用的MySQL管理客戶端工具哦。
SQLyog特點
方便快捷的資料庫同步與資料庫結構同步工具；
易用的資料庫、數據表備份與還原功能；
支持導入與導出XML、HTML、CSV等多種格式的數據；
直接運行批量SQL腳本文件，速度極快；
新版本更是增加了強大的數據遷移
二、Navicat
Navicat簡介
Navicat是一套快速、可靠並且價格相當便宜的資料庫管理工具，Navicat提供多達 7 種語言供客戶選擇，被認為是最受歡迎的資料庫前端用戶界面工具。它可以用來對本地或遠程的 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 資料庫進行管理及開發。
Navicat支持功能
數據模型
數據傳輸
數據同步
結構同步
導入、導出、備份、還原、報表創建工具及計劃以協助管理數據
三、Ottor
Ottor簡介
Otttor是由阿里巴巴開源的一個數據同步產品,它的最初的目的是為了解決跨國異地整個機房的架構為雙A，兩邊均可寫。開發時間長達7年，並持續到現在。目前阿里巴巴B2B內部的本地/異地機房的同步需求基本全上了Otter。Otter基於資料庫增量日誌解析，支持mysql/oracle資料庫進行同步,在最新的v4.2.13已經支持mysql5.7以及阿里雲提供的RDS資料庫。小編已經在實際項目中使用。
Ottor特點
基於Canal開源產品，獲取資料庫增量日誌數據。 （什麼是Canal,詳情查看https://github.com/alibaba/canal）。
典型管理系統架構，manager(web管理)+node(工作節點)，manager運行時推送同步配置到node節點，node節點將同步狀態反饋到manager上。
基於zookeeper，解決分布式狀態調度的，允許多node節點之間協同工作.（otter node依賴於zookeeper進行分布式調度，需要安裝一個zookeeper節點或者集群）。
Ottor運行原理
db : 數據源以及需要同步到的庫
Canal : 用戶獲取資料庫增量日誌，目前主要支持mysql
manager :配置同步規則設置數據源同步源等
zookeeper : 協調node進行協調工作
node : 負責任務處理處理接受到的部分同步工作
四、ESF Database Migration
ESF Database Migration簡介
ESF Database Convert是一款強大的商業資料庫轉換工具。支持常見資料庫之間相互轉換，目前網上能找到「免費」版本，如有不同資料庫相互轉的需求，可以用此工具解決你的問題。
官方地址為：https://www.easyfrom.net/
ESF Database Migration特點
它支持Oracle, MySQL, SQL Server, PostgreSQL, Visual Foxpro, FireBird, InterBase, Access, Excel, Paradox, Lotus, dBase, Text...之間互相轉換
五、DB2DB
DB2DB簡介
DB2DB 是目前經過測試速度最快、最穩定實現多種資料庫之間進行數據轉換的工具。支持 SQL Server、MySQL、SQLite、Access 等多種資料庫類型，通過該工具可以把原來的系統，方便快速地部署在不同的資料庫甚至是雲端資料庫下。在大數據情況下（千萬級別以上），處理速度比國內外同類軟體要高出300%以上。並針對雲端資料庫中使用最多的 MySQL 資料庫進行優化，使得從源資料庫復制到新資料庫時保留更多的數據表屬性設置。這樣大大減少程序員、DBA、實施人員將大型資料庫進行遷移時的等待、測試和調試時間，減少公司為了測試某系統轉換到新資料庫系統時的人力成本。
官方地址：http://www.szmesoft.com/DB2DB
DB2DB支持功能
任意類型資料庫間進行轉換；
資料庫表結構自動同步；
數據表索引自動同步；
數據表欄位默認值自動同步；
支持對二進制欄位數據的同步；
支持各種資料庫中自增型欄位的處理；
支持同步前對數據表進行檢查，避免出現由於資料庫自身限制的原因而導致同步失敗的情況；
支持把同步內容導出為 SQL 文件的功能；
支持自定義選擇需要同步的數據表；
支持將配置保存為方案，以方便日後重新使用；
針對不同的機器配置，可以選擇單線程或多線程同步方式。
通過靈活的方式（可按月/周/天/小時/分鍾）設定程序不限次定時執行同步動作。
六、 Kettle
Kettle簡介
Kettle是一款國外開源的ETL工具，使用突破性的元數據驅動方法提供強大的提取，轉換和載入（ETL）功能。在Windows、Linux、Unix上均可運行，數據抽取高效穩定。Kettle 中文名稱叫水壺，它憑借圖形化，拖放式設計環境以及可擴展、數據集成等特點，越來越成為組織的選擇。
Kettle特點
Kettle這個ETL工具集，它允許你管理來自不同資料庫的數據，通過提供一個圖形化的用戶環境來描述你想做什麼，而不是你想怎麼做。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。
七、SyncNavigator
SyncNavigator簡介
號稱國內做的最好的資料庫同步軟體，傻瓜式同步資料庫，只需要你設置好來源資料庫和目標資料庫的賬號和密碼，一鍵開啟，後台自動同步，斷點續傳，增量同步，幾乎不佔內存和CPU資源。並且還支持異構資料庫，也可以同步部分表或者部分欄位，都可以進行更為精準的設置操作。
syncnavigator特點
是一款專業的SQLSERVER，MySQL資料庫同步軟體，它為你提供一種簡單智能的方式完成復雜的資料庫數據同步，分發操作。
支持同構資料庫同步，異構資料庫同步，定時同步，增量同步，斷點續傳
完整支持Microsoft SQL Server 2000,2005,2008
支持Mysql4.1，5.0，5.4，5.5
支持大容量資料庫快速同步。
八、DataX3.0
DataX3.0特點
DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平台，實現包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各種異構數據源之間高效的數據同步功能。
DataX3.0特點
DataX本身作為離線數據同步框架，採用Framework + plugin架構構建。將數據源讀取和寫入抽象成為Reader/Writer插件，納入到整個同步框架中。
Reader：Reader 為數據採集模塊，負責採集數據源的數據，將數據發送給Framework。
Writer： Writer為數據寫入模塊，負責不斷向Framework取數據，並將數據寫入到目的端。
Framework：Framework用於連接reader和writer，作為兩者的數據傳輸通道，並處理緩沖，流控，並發，數據轉換等核心技術問題。
支持的資料庫：
經過幾年積累，DataX目前已經有了比較全面的插件體系，主流的RDBMS資料庫、NOSQL、大數據計算系統都已經接入。DataX目前支持數據如下：
大家如有更好的工具推薦，歡迎在留言區補充~
⑹ 2019數據架構選型必讀：1月資料庫產品技術解析
本期目錄
DB-Engines資料庫排行榜
新聞快訊
一、RDBMS家族
二、NoSQL家族
三、NewSQL家族
四、時間序列
五、大數據生態圈
六、國產資料庫概覽
七、雲資料庫
八、推出dbaplus Newsletter的想法
九、感謝名單
為方便閱讀、重點呈現，本期Newsletter（2019年1月）將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄https://pan..com/s/13BgipbaHeMfvm0YPtiYviA
DB-Engines資料庫排行榜
以下取自2019年1月的數據，具體信息可以參考http://db-engines.com/en/ranking/，數據僅供參考。
DB-Engines排名的數據依據5個不同的因素：
新聞快訊
1、2018年9月24日，微軟公布了SQL Server2019預覽版，SQL Server 2019將結合Spark創建統一數據平台。
2、2018年10月5日，ElasticSearch在美國紐約證券交易所上市。
3、亞馬遜放棄甲骨文資料庫軟體，導致最大倉庫之一在黃金時段宕機。受此消息影響，亞馬遜盤前股價小幅跳水，跌超2%。
4、2018年10月31日，Percona發布了Percona Server 8.0 RC版本，發布對MongoDB 4.0的支持，發布對XtraBackup測試第二個版本。
5、2018年10月31日，Gartner陸續發布了2018年的資料庫系列報告，包括《資料庫魔力象限》、《資料庫核心能力》以及《資料庫推薦報告》。
今年的總上榜資料庫產品達到了5家，分別來自：阿里雲，華為，巨杉資料庫，騰訊雲，星環 科技 。其中阿里雲和巨杉資料庫已經連續兩年入選。
6、2018年11月初，Neo4j宣布完成E輪8000萬美元融資。11月15日，Neo4j宣布企業版徹底閉源：
7、2019年1月8日，阿里巴巴以1.033億美元（9000萬歐元）的價格收購了Apache Flink商業公司DataArtisans。
8、2019年1月11日早間消息，亞馬遜宣布推出雲資料庫軟體，亞馬遜和MongoDB將會直接競爭。
RDBMS家族
Oracle 發布18.3版本
2018年7月，Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為採用之前發布模式的Oracle Database 12c第2版的第一個補丁集。未來，客戶將不再需要等待多年才能用上最新版Oracle資料庫，而是每年都可以期待新資料庫特性和增強。Database 19c將於2019年Q1率先在Oracle cloud上發布雲版本。
Oracle Database 18c及19c部分關鍵功能：
1、性能
2、多租戶，大量功能增強及改進，大幅節省成本和提高敏捷性
3、高可用
4、數據倉庫和大數據
MySQL發布8.0.13版本
1、賬戶管理
經過配置，修改密碼時，必須帶上原密碼。在之前的版本，用戶登錄之後，就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上資料庫後，中途離開一段時間，那麼非法用戶可能會修改密碼。由參數password_require_current控制。
2、配置
Innodb表必須有主鍵。在用戶沒有指定主鍵時，系統會生成一個默認的主鍵。但是在主從復制的場景下，默認的主鍵，會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key，那麼資料庫會強制用戶在創建表、修改表時，加上主鍵。
3、欄位默認值
BLOB、TEXT、GEOMETRY和JSON欄位可以指定默認值了。
4、優化器
1）Skip Scan
非前綴索引也可以用了。
之前的版本，任何沒有帶上f1欄位的查詢，都沒法使用索引。在新的版本中，它可以忽略前面的欄位，讓這個查詢使用到索引。其實現原理就是把(f1 = 1 AND f2 > 40) 和(f1 = 2 AND f2 > 40)的查詢結果合並。
2）函數索引
之前版本只能基於某個列或者多個列加索引，但是不允許在上面做計算，如今這個限制消除了。
5、SQL語法
GROUP BY ASC和GROUP BY DESC語法已經被廢棄，要想達到類似的效果，請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。
6、功能變化
1）設置用戶變數，請使用SET語句
如下類型語句將要被廢棄SELECT @var, @var:=@var+1。
2）新增innodb_fsync_threshold
該變數是控制文件刷新到磁碟的速率，防止磁碟在短時間內飽和。
3）新增會話級臨時表空間
在以往的版本中，當執行SQL時，產生的臨時表都在全局表空間ibtmp1中，及時執行結束，臨時表被釋放，空間不會被回收。新版本中，會為session從臨時表空間池中分配一個臨時表空間，當連接斷開時，臨時表空間的磁碟空間被回收。
4）在線切換Group Replication的狀態
5）新增了group_replication_member_expel_timeout
之前，如果某個節點被懷疑有問題，在5秒檢測期結束之後，那麼就直接被驅逐出這個集群。即使該節點恢復正常時，也不會再被加入集群。那麼，瞬時的故障，會把某些節點驅逐出集群。
group_replication_member_expel_timeout讓管理員能更好的依據自身的場景，做出最合適的配置（建議配置時間小於一個小時）。
MariaDB 10.3版本功能展示
1、MariaDB 10.3支持update多表ORDER BY and LIMIT
1）update連表更新，limit語句
update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;
MySQL 8.0直接報錯
MariaDB 10.3更新成功
2）update連表更新，ORDER BY and LIMIT語句
update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;
MySQL 8.0直接報錯
MariaDB 10.3更新成功
參考：
https://jira.mariadb.org/browse/MDEV-13911
2、MariaDB10.3增補AliSQL補丁——安全執行Online DDL
Online DDL從名字上看很容易誤導新手，以為不論什麼情況，修改表結構都不會鎖表，理想很豐滿，現實很骨感，注意這個坑！
有以下兩種情況執行DDL操作會鎖表的，Waiting for table metadata lock（元數據表鎖）：
針對第二種情況，MariaDB10.3增補AliSQL補丁-DDL FAST FAIL，讓其DDL操作快速失敗。
例：
如果線上有某個慢SQL對該表進行操作，可以使用WAIT n（以秒為單位設置等待）或NOWAIT在語句中顯式設置鎖等待超時，在這種情況下，如果無法獲取鎖，語句將立即失敗。 WAIT 0相當於NOWAIT。
參考：
https://jira.mariadb.org/browse/MDEV-11388
3、MariaDB Window Functions窗口函數分組取TOP N記錄
窗口函數在MariaDB10.2版本里實現，其簡化了復雜SQL的撰寫，提高了可讀性。
參考：
https://mariadb.com/kb/en/library/window-functions-overview/
Percona Server發布8.0 GA版本
2018年12月21日，Percona發布了Percona Server 8.0 GA版本。
在支持MySQL8.0社區的基礎版上，Percona Server for MySQL 8.0版本中帶來了許多新功能：
1、安全性和合規性
2、性能和可擴展性
3、可觀察性和可用性
Percona Server for MySQL 8.0中將要被廢用功能：
Percona Server for MySQL 8.0中刪除的功能：
RocksDB發布V5.17.2版本
2018年10月24日，RocksDB發布V5.17.2版本。
RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB，RocksDB提供了Column-Family，TTL，Transaction，Merge等方面的支持。目前MyRocks，TiKV等底層的存儲都是基於RocksDB來構建。
PostgreSQL發布11版本
2018年10月18日，PostgreSQL 11發布。
1、PostgreSQL 11的重大增強
2、PostgreSQL 插件動態
1）分布式插件citus發布 8.1
citus是PostgreSQL的一款sharding插件，目前國內蘇寧、鐵總、探探有較大量使用案例。
https://github.com/citusdata/citus
2）地理信息插件postgis發布2.5.1
PostGIS是專業的時空資料庫插件，在測繪、航天、氣象、地震、國土資源、地圖等時空專業領域應用廣泛。同時在互聯網行業也得到了對GIS有性能、功能深度要求的客戶青睞，比如共享出行、外賣等客戶。
http://postgis.net/
3）時序插件timescale發布1.1.1
timescale是PostgreSQL的一款時序資料庫插件，在IoT行業中有非常好的應用。github star數目前有5000多，是一個非常火爆的插件。
https://github.com/timescale/timescaledb
4）流計算插件 pipelinedb 正式插件化
Pipelinedb是PostgreSQL的一款流計算插件，使用這個創建可以對高速寫入的數據進行實時根據定義的聚合規則進行聚合（支持概率計算），實時根據定義的規則觸發事件（支持事件處理函數的自定義）。可用於IoT，監控，FEED實時計算等場景。
https://github.com/pipelinedb/pipelinedb
3、PostgreSQL衍生開源產品動態
1）agensgraph發布 2.0.0版本
agensgraph是兼容PostgreSQL、opencypher的專業圖資料庫，適合圖式關系的管理。
https://github.com/bitnine-oss/agensgraph
2）gpdb發布5.15
gpdb是兼容PostgreSQL的mpp資料庫，適合OLAP場景。近兩年，gpdb一直在追趕PostgreSQL的社區版本，預計很快會追上10的PostgreSQL，在TP方面的性能也會得到顯著提升。
https://github.com/greenplum-db/gpdb
3）antdb發布3.2
antdb是以Postgres-XC為基礎開發的一款PostgreSQL sharding資料庫，亞信主導開發，開源，目前主要服務於亞信自有客戶。
https://github.com/ADBSQL/AntDB
4）遷移工具MTK發布52版本
MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase資料庫遷移到PostgreSQL, PPAS的產品，遷移速度可以達到100萬行/s以上。
https://github.com/digoal/blog/blob/master/201812/20181226_01.md
DB2發布 11.1.4.4版本
DB2最新發布Mod Pack 4 and Fix Pack 4，包含以下幾方面的改動及增強：
1、性能
2、高可用
3、管理視圖
4、應用開發方面
5、聯邦功能
6、pureScale
NoSQL家族
Redis發布5.0.3版本
MongoDB升級更新MongoDB Mobile和MongoDB Stitch
2018年11月21日，MongoDB升級更新MongoDB Mobile和MongoDB Stitch，助力開發人員提升工作效率。
MongoDB 公司日前發布了多項新產品功能，旨在更好地幫助開發人員在世界各地管理數據。通過利用存儲在移動設備和後台資料庫的數據之間的實時、自動的同步特性，MongoDB Mobile通用版本助力開發人員構建更快捷、反應更迅速的應用程序。此前，這只能通過在移動應用內部安裝一個可供選擇或限定功能的資料庫來實現。
MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能，將網路邊界擴展到其物聯網資產范疇。應用系統還可以使用MongoDB Stitch的軟體開發包訪問移動客戶端或後台數據，幫助開發人員通過他們希望的任意方式查詢移動終端數據和物聯網數據，包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現可提供beta版)，用戶可以自動對保存在本地的數據以及後台資料庫的數據進行同步。
本期新秀：Cassandra發布3.11.3版本
2018年8月11日，Cassandra發布正式版3.11.3。
Apache Cassandra是一款開源分布式NoSQL資料庫系統，使用了基於Google BigTable的數據模型，與面向行(row)的傳統關系型資料庫或鍵值存儲key-value資料庫不同，Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同，數據並不存儲在分布式文件系統如GFS或HDFS中，而是直接存於本地。
Cassandra的系統架構與Amazon DynamoDB類似，是基於一致性哈希的完全P2P架構，每行數據通過哈希來決定應該存在哪個或哪些節點中。集群沒有master的概念，所有節點都是同樣的角色，徹底避免了整個系統的單點問題導致的不穩定性，集群間的狀態同步通過Gossip協議來進行P2P的通信。
3.11.3版本的一些bug fix和改進：
NewSQL家族
TiDB 發布2.1.2版本
2018 年 12 月 22 日，TiDB 發布 2.1.2 版，TiDB-Ansible 相應發布 2.1.2 版本。該版本在 2.1.1 版的基礎上，對系統兼容性、穩定性做出了改進。
TiDB 是一款定位於在線事務處理/在線分析處理（ HTAP: Hybrid Transactional/Analytical Processing）的融合型資料庫產品。除了底層的 RocksDB 存儲引擎之外，分布式SQL層、分布式KV存儲引擎（TiKV）完全自主設計和研發。
TiDB 完全開源，兼容MySQL協議和語法，可以簡單理解為一個可以無限水平擴展的MySQL，並且提供分布式事務、跨節點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性；對業務沒有任何侵入性，簡化開發，利於維護和平滑遷移。
TiDB：
PD：
TiKV：
Tools：
1）TiDB-Lightning
2）TiDB-Binlog
EsgynDB發布R2.5版本
2018年12月22日，EsgynDB R2.5版本正式發布。
作為企業級產品，EsgynDB 2.5向前邁進了一大步，它擁有以下功能和改進：
CockroachDB發布2.1版本
2018年10月30日，CockroachDB正式發布2.1版本，其新增特性如下：
新增企業級特性：
新增SQL特性：
新增內核特性：
Admin UI增強：
時間序列
本期新秀：TimescaleDB發布1.0版本
10月底，TimescaleDB 1.0宣布正式推出，官方表示該版本已可用於生產環境，支持完整SQL和擴展。
TimescaleDB是基於PostgreSQL資料庫開發的一款時序資料庫，以插件化的形式打包提供，隨著PostgreSQL的版本升級而升級，不會因為另立分支帶來麻煩。
TimescaleDB架構：
數據自動按時間和空間分片(chunk)
更新亮點：
https://github.com/timescale/timescaledb/releases/tag/1.0.0
大數據生態圈
Hadoop發布2.9.2版本
2018年11月中旬，Hadoop在2.9分支上發布了新的2.9.2版本，該版本進行了204個大大小小的變更，主要變更如下：
Greenplum 發布5.15版本
Greenplum最新的5.15版本中發布了流式數據載入工具。
該版本中的Greenplum Streem Server組件已經集成了Kafka流式載入功能，並通過了Confluent官方的集成認證，其支持的主要功能如下：
國產資料庫概覽
K-DB發布資料庫一體機版
2018年11月7日，K-DB發布了資料庫一體機版。該版本更新情況如下：
OceanBase遷移服務發布1.0版本
1月4日，OceanBase 正式發布OMS遷移服務1.0版本。
以下內容包含 OceanBase 遷移服務的重要特性和功能：
SequoiaDB發布3.0.1新版本
1、架構
1）完整計算存儲分離架構，兼容MySQL協議、語法
計算存儲分離體系以松耦合的方式將計算與存儲層分別部署，通過標准介面或插件對各個模塊和組件進行無縫替換，在計算層與存儲層均可實現自由的彈性伸縮。
SequoiaDB巨杉資料庫「計算-存儲分離」架構詳細示意
用戶可以根據自身業務特徵選擇面向交易的SQL解析器（例如MySQL或PGSQL）或面向統計分析的執行引擎（例如SparkSQL）。眾所周知，使用不同的SQL優化與執行方式，資料庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數據存儲層面進行一體化存儲，在計算層面則利用每種執行引擎的特點針對不同業務場景進行選擇和優化，用戶可以在存儲層進行邏輯與物理的隔離，將面向高頻交易的前端業務與面向高吞吐量的統計分析使用不同的硬體進行存儲，確保在多類型數據訪問時互不幹擾，以真正達到生產環境可用的多租戶與HTAP能力。
2、其他更新信息
1）介面變更：
2）主要特性：
雲資料庫
本期新秀：騰訊發布資料庫CynosDB，開啟公測
1、News
1）騰訊雲資料庫MySQL2018年重大更新：
2）騰訊雲資料庫MongoDB2018年重大更新：
3）騰訊雲資料庫Redis/CKV+2018年重大更新：
4）騰訊雲資料庫CTSDB2018年重大更新：
2、Redis 4.0集群版商業化上線
2018年10月，騰訊雲資料庫Redis 4.0集群版完成邀測、公測、商業化三個迭代，在廣州、上海、北京正式全量商業化上線。
產品特性：
使用場景：
官網文檔：
https://cloud.tencent.com/document/proct/239/18336
3、騰訊自研資料庫CynosDB發布，開啟公測
2018年11月22日，騰訊雲召開新一代自研資料庫CynosDB發布會，業界第一款全面兼容市面上兩大最主流的開源資料庫MySQL和PostgreSQL的高性能企業級分布式雲資料庫。
本期新秀：京東雲DRDS發布1.0版本
12月24日，京東雲分布式關系型資料庫DRDS正式發布1.0版本。
DRDS是京東雲精心自研的資料庫中間件產品，獲得了2018年 」可信雲技術創新獎」。DRDS可實現海量數據下的自動分庫分表，具有高性能，分布式，彈性升級，兼容MySQL等優點，適用於高並發、大規模數據的在線交易， 歷史 數據查詢，自動數據分片等業務場景，歷經多次618，雙十一的考驗，已經在京東集團內大規模使用。
京東雲DRDS產品有以下主要特性
1）自動分庫分表
通過簡單的定義即可自動實現分庫分表，將數據實際存放在多個MySQL實例的資料庫中，但呈現給應用程序的依舊是一張表，對業務透明，應用程序幾乎無需改動，實現了對資料庫存儲和處理能力的水平擴展。
2）分布式架構
基於分布式架構的集群方案，多個對等節點同時對外提供服務，不但可有效規避服務的單點故障，而且更加容易擴展。
3）超強性能
具有極高的處理能力，雙節點即可支持數萬QPS，滿足用戶超大規模處理能力的需求。
4）兼容MySQL
兼容絕大部分MySQL語法，包括MySQL語法、數據類型、索引、常用函數、排序、關聯等DDL，DML語句，使用成本低。
參考鏈接：
https://www.jdcloud.com/cn/procts/drds
RadonDB發布1.0.3版本
2018年12月26日，MyNewSQL領域的RadonDB雲資料庫發布1.0.3版本。
推出dbaplus Newsletter的想法
dbaplus Newsletter旨在向廣大技術愛好者提供資料庫行業的最新技術發展趨勢，為社區的技術發展提供一個統一的發聲平台。為此，我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產資料庫、雲資料庫等幾個版塊。
我們不以商業宣傳為目的，不接受任何商業廣告宣傳，嚴格審查信息源的可信度和准確性，力爭為大家提供一個純凈的技術學習環境，歡迎大家監督指正。
至於Newsletter發布的周期，目前計劃是每三個月左右會做一次跟進， 下期計劃時間是2019年4月14日~4月25日， 如果有相關的信息提供請發送至郵箱：[email protected]
感謝名單
最後要感謝那些提供寶貴信息和建議的專家朋友，排名不分先後。
往期回顧：
↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~
⑺ DataX框架的設計、運行原理詳解
什麼是DataX
DataX 是阿里巴巴開源的一個異構數據源離線同步工具，致力於實現包括關系型資料庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構數據源之間穩定高效的數據同步功能。
方法/步驟
DataX的設計
為了解決異構數據源同步問題，DataX將復雜的網狀的同步鏈路變成了星型數據鏈路，DataX作為中間傳輸載體負責連接各種數據源。當需要接入一個新的數據源的時候，只需要將此數據源對接到DataX，便能跟已有的數據源做到無縫數據同步。
框架設計
DataX本身作為離線數據同步框架，採用Framework + plugin架構構建。將數據源讀取和寫入抽象成為Reader/Writer插件，納入到整個同步框架中。
Reader：數據採集模塊，負責採集數據源的數據，將數據發送給Framework。
Writer：數據寫入模塊，負責不斷向Framework取數據，並將數據寫入到目的端。
Framework：用於連接reader和writer，作為兩者的數據傳輸通道，並處理緩沖，流控，並發，數據轉換等核心技術問題。
運行原理
① DataX完成單個數據同步的作業，我們稱之為Job，DataX接受到一個Job之後，將啟動一個進程來完成整個作業同步過程。DataX Job模塊是單個作業的中樞管理節點，承擔了數據清理、子任務切分(將單一作業計算轉化為多個子Task)、TaskGroup管理等功能。
②DataXJob啟動後，會根據不同的源端切分策略，將Job切分成多個小的Task(子任務)，以便於並發執行。Task便是DataX作業的最小單元，每一個Task都會負責一部分數據的同步工作。
③切分多個Task之後，DataX Job會調用Scheler模塊，根據配置的並發數據量，將拆分成的Task重新組合，組裝成TaskGroup(任務組)。每一個TaskGroup負責以一定的並發運行完畢分配好的所有Task，默認單個任務組的並發數量為5。
④每一個Task都由TaskGroup負責啟動，Task啟動後，會固定啟動Reader—>Channel—>Writer的線程來完成任務同步工作。
⑤DataX作業運行起來之後， Job監控並等待多個TaskGroup模塊任務完成，等待所有TaskGroup任務完成後Job成功退出。否則，異常退出，進程退出值非0
⑻ 科技公司鍾愛的50款開源工具
大數據
1. Hadoop
Apache主持的這個項目是最廣為人知的大數據工具。眾多公司為Hadoop提供相關產品或商業支持，包括亞馬遜網路服務、Cloudera、Hortonworks、IBM、Pivotal、Syncsort和VMware。知名用戶包括：阿里巴巴、美國在線、電子港灣、Facebook、谷歌、Hulu、領英、Spotify、推特和雅虎。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//hadoop.apache.org
2. Hypertable
Hypertable在互聯網公司當中非常流行，它由谷歌開發，用來提高資料庫的可擴展性。用戶包括網路、電子港灣、Groupon和Yelp。它與Hadoop兼容，提供商業支持和培訓。
支持的操作系統：Linux和OS X
相關網站：http：//www.hypertable.com
3. Mesos
Apache Mesos是一種資源抽象工具，有了它，企業就可以鞀整個數據中心當成一個資源池，它在又在運行Hadoop、Spark及類似應用程序的公司當中很流行。使用它的企業組織包括：Airbnb、歐洲原子核研究組織（CERN）、思科、Coursera、Foursquare、Groupon、網飛（Netflix）、推特和優步。
支持的操作系統：Linux和OS X
相關網站：http：//mesos.apache.org
4. Presto
Presto由Facebook開發，自稱是「一款開源分布式SQL查詢引擎，用於對大大小小（從GB級到PB級）的數據源運行互動式分析查詢。」Facebook表示，它將Presto用於對300PB大小的數據倉庫執行查詢，其他用戶包括Airbnb和Dropbox。
支持的操作系統：Linux
相關網站：https：//prestodb.io
5. Solr
這種「快若閃電」的企業搜索平台聲稱高度可靠、擴展和容錯。使用它的公司包括：AT&T、Ticketmaster、康卡斯特、Instagram、網飛、IBM、Adobe和SAP Hybris。
支持的操作系統：與操作系統無關
相關網站：http：//lucene.apache.org/solr/
6. Spark
Apache Spark聲稱，「它在內存中運行程序的速度比Hadoop MapRece最多快100倍，在磁碟上快10倍。」Spark「支持」的企業組織包括：亞馬遜、網路、Groupon、日立解決方案、IBM、MyFitnessPal、諾基亞和雅虎。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//spark.apache.org
7. Storm
正如Hadoop用來處理批量數據，Apache Storm用來處理實時數據。官方網站上顯示用戶包括：天氣頻道、推特、雅虎、WebMD、Spotify、威瑞信（Verisign）、Flipboard和Klout。
支持的操作系統：Linux
相關網站：https：//storm.apache.org
雲計算
8. Cloud Foundry
Cloud Foundry提供用於構建平台即服務的開源工具。它聲稱「由行業領袖為行業領袖構建」，其支持者包括IBM、 Pivotal、惠普企業、VMware、英特爾、SAP和EMC。
支持的操作系統：Linux
相關網站：https：//www.cloudfoundry.org
9. CloudStack
這個交鑰匙IaaS解決方案構成了許多公共雲和私有雲的基礎。它的用戶極多，包括阿爾卡特－朗訊、蘋果、Autodesk、英國電信、冠群科技、思傑、Cloudera、戴爾、富士通、SAP和韋里遜。
支持的操作系統：與操作系統無關
相關網站：http：//cloudstack.apache.org
10. OpenStack
這種很受歡迎的雲計算平台聲稱，「世界上成百上千個大品牌」每天依賴它。支持者包括：AT&T、Ubuntu、惠普企業、IBM、英特爾、Rackspace、紅帽、SUSE、思科、戴爾、EMC、賽門鐵克及另外許多知名科技公司。
支持的操作系統：與操作系統無關
相關網站：http：//www.openstack.org
11. Scalr
這種雲管理平台備受市場研究公司的好評，它簡化了管理多個雲環境的過程。知名用戶包括Expedia、三星、美國宇航局噴氣推進實驗室、埃森哲、索尼和Autodesk。
支持的操作系統：Linux
相關網站：http：//www.scalr.com
容器
12. Docker
Docker在相對新興的容器領域迅速確立起了主導平台這一地位。科技界的許多大牌公司在構建或提供擴展或使用Docker技術的產品，包括亞馬遜、微軟、IBM、惠普企業、紅帽、Rackspace和Canonical。
支持的操作系統：Windows、Linux和OS X
相關網站：https：//www.docker.com
輸入標題 內容管理
13. DNN
這款內容管理解決方案之前名為DotNetNuke，承諾構建豐富的互動式網站時，只要花較少的精力，就能收到顯著的成效。用戶包括佳能、時代華納有線電視、德州儀器和美國銀行。
支持的操作系統：Windows
相關網站：http：//www.dnnsoftware.com
14. Drupal
Drupal聲稱，98000多個開發人員在為這個極其流行的內容管理系統積極貢獻代碼。支持者包括微軟、Zend、Fastly和New Relic，其內容市場有數百家公司參與其中，它們提供了相關的產品和服務。
支持的操作系統：與操作系統無關
相關網站：https：//www.drupal.org
15. Joomla
Joomla為數百萬個網站提供平台，其下載量超過了5000萬人次。許多用戶當中就有這些公司：電子港灣、巴諾書店、MTV和標致。
支持的操作系統：與操作系統無關
相關網站：https：//www.joomla.org
16. MediaWiki
MediaWiki以維基網路使用的軟體而出名，它還為網路、Vistaprint、Novell、英特爾和美國宇航局支持網站。它是構建可編輯網頁的不錯選擇，許多企業組織用它來構建內部知識庫。
支持的操作系統：Windows、Linux/Unix和OS X
相關網站：https：//www.mediawiki.org/wiki/MediaWiki
資料庫
17. Cassandra
這種NoSQL資料庫由Facebook開發，其用戶包括蘋果、歐洲原子核研究組織（CERN）、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、網飛、Reddit及其他科技公司。它支持極其龐大的數據集，聲稱擁有非常高的性能和出色的耐用性和彈性。可通過第三方獲得支持。
支持的操作系統：與操作系統無關
相關網站：http：//cassandra.apache.org
18. CouchDB
CouchDB為Web而開發，這種NoSQL資料庫將數據存儲在JSON文檔中，這類文檔可通過HTTP來加以查詢，並用JavaScript來處理。Cloudant現在歸IBM所有，它提供一款專業人員支持的軟體版本，用戶包括：三星、Akamai、Expedia、微軟游戲工作室及其他公司。
支持的操作系統：Windows、Linux、OS X和安卓
相關網站：http：//couchdb.apache.org
19. MongoDB
MongoDB是一種NoSQL資料庫，聲稱「針對關鍵任務型部署環境進行了優化」，用戶包括Foursquare、《福布斯》、Pebble、Adobe、領英、eHarmony及其他公司。提供收費的專業版和企業版。
支持的操作系統：Windows、Linux、OS X和Solaris
相關網站：http：//www.mongodb.org
20. MySQL
MySQL自稱是「世界上最流行的開源資料庫」，備受眾多互聯網公司的青睞，比如YouTube、貝寶、谷歌、Facebook、推特、電子港灣、領英、優步和亞馬遜。除了免費社區版外，它還有多款收費版。最新更新版聲稱速度比老版本快三倍。
支持的操作系統：Windows、Linux、Unix和OS X
相關網站：http：//www.mysql.com
21. Neo4j
Neo4J自詡為「世界上領先的圖形資料庫」，用於欺詐檢測、推薦引擎、社交網站、主數據管理及更多領域。用戶包括電子港灣、沃爾瑪、思科、惠普、埃森哲、CrunchBase、eHarmony、Care.com及另外許多企業組織。
支持的操作系統：Windows和Linux
相關網站：http：//neo4j.com
開發工具
22. Bugzilla
Bugzilla是開源社區的寵兒，用戶包括Mozilla、Linux基金會、GNOME、KDE、Apache、LibreOffice、Open Office、Eclipse、紅帽、Novell及其他公司。這款軟體缺陷追蹤系統（bugtracker）的重要功能包括：高級搜索功能、電子郵件通知、預定報告、時間追蹤、出色的安全及更多特性。
支持的操作系統：Windows、Linux和OS X
相關網站：https：//www.bugzilla.org
23. Eclipse
Eclipse項目最為知名的是，它是一種大受歡迎的面向Java的集成開發環境（IDE），它還提供面向C/C++和PHP的IDE，此外提供另外一大批開發工具。主要支持者包括冠群科技、谷歌、IBM、甲骨文、紅帽和SAP。
支持的操作系統：與操作系統無關
相關網站：http：//www.eclipse.org
24. Ember.js
這種框架用於「構建野心勃勃的Web應用程序」，旨在為JavaScript開發人員提高工作效率。官方網站上顯示用戶包括雅虎、Square、Livingsocial、Groupon、Twitch、TED、網飛、Heroku和微軟。
支持的操作系統：與操作系統無關
相關網站： http：//emberjs.com
25. Grunt
Grunt是一種JavaScript任務運行工具，有助於自動處理重復性的開發任務。使用它的知名科技公司包括：Adobe、推特、Mozilla、Cloudant和WordPress。
支持的操作系統：與操作系統無關
相關網站：http：//gruntjs.com
26. LoopBack
這個Node.js框架旨在讓用戶很容易構建REST API，並連接到後端數據存儲區。知名用戶包括GoDaddy、美國能源部和賽門鐵克。
支持的操作系統：Windows、Linux、OS X、安卓和iOS
相關網站：http：//loopback.io
27. Node.js
Node.js的成名之處在於，它讓開發人員可以使用JavaScript，編寫伺服器端應用程序。開發工作之前由Joyent管控，現在交由Node.js基金會監管。用戶包括IBM、微軟、雅虎、SAP、領英、貝寶和網飛。
支持的操作系統：Windows、Linux和OS X
相關網站：https：//nodejs.org/en/
28. PhoneGap
Apache Cordova是一種開源框架，讓開發人員可以使用HTML、CSS和JavaScript等Web技術，構建移動應用程序。PhoneGap是最受歡迎的Cordova發行版。使用某一種Cordova發行版的科技公司包括：維基網路、Facebook、 Salesforce、IBM、微軟、Adobe和黑莓。
支持的操作系統：Window、Linux和OS X
相關網站：http：//phonegap.com
29. React Native
React Native由Facebook開發，這種框架可用於使用JavaScript和React JavaScript庫（同樣由Facebook開發），構建原生移動應用程序。其他用戶包括：《探索》頻道和CBS體育新聞網。
支持的操作系統：OS X
相關網站：http：//facebook.github.io/react-native/
30. Ruby on Rails
這個Web開發框架在開發人員當中極其流行，它聲稱「為確保編程員滿意和持續高效地工作進行了優化」。用戶包括Basecamp、推特、Shopify和GitHub等公司。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//rubyonrails.org
31. Sencha Touch
Sencha Touch自稱是「一種用於構建通用移動應用程序的領先的跨平台移動Web應用程序框架，基於HTML5和JavaScript」。它既有開源許可證版本，也有商業許可證版本。據官方網站聲稱，《財富》100強中60%使用它。
支持的操作系統：與操作系統無關
相關網站：https：//www.sencha.com/procts/touch/
32. ZK
索尼、Sun、IBM、Adobe、電子港灣、富士通、夢工廠和優利系統等公司使用這種Java Web框架來構建Web和移動應用程序。提供收費支付及相關工具。
支持的操作系統：與操作系統無關
相關網站：http：//www.zkoss.org
中間件
33. JBoss
紅帽的JBoss中間件包括各種輕量級、對雲計算友好的工具，同時結合、集成和自動化各個企業應用程序和系統。用戶包括：橡樹嶺國家實驗室、日產、思科、冠群科技、AMD及其他公司。
支持的操作系統：Linux
相關網站：http：//www.redhat.com/en/technologies/jboss-middleware
操作系統
34. 紅帽企業版Linux
紅帽最知名的產品就是其旗艦Linux發行版，這需要付費訂購。據該公司聲稱，《財富》全球500強公司中超過90%在使用紅帽產品。
相關網站：http：//www.redhat.com/en/technologies/linux-platforms/enterprise-linux
35. SUSE Linux企業版
這款面向企業的Linux發行版同樣備受大企業的追捧，它也需要付費訂購。該公司聲稱，它有13000多個企業用戶，包括倫敦證券交易所、SAP、天睿（Teradata）和沃爾格林連鎖葯店（Walgreens）。
相關網站：https：//www.suse.com
36. Ubuntu
Ubuntu提供廣受歡迎的Linux發行版，有多個版本：桌面版、伺服器版、雲版、手機版、平板電腦版和物聯網版。聲稱用戶包括亞馬遜、IBM、維基網路和英偉達。
相關網站：http：//www.ubuntu.com/index_kylin
項目管理
37. Project Libre
這個屢獲獎項的項目是微軟Project的替代者，下載量已有近200萬人次。它有一大批用戶，包括IBM、埃森哲、美國能源部、思科、ATI和AMD。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//www.projectlibre.org
存儲
38. FreeNAS
這款開源網路附加存儲（NAS）軟體聲稱，它備受聯合國、迪士尼互動媒體集團、路透社和Dr. Phil等用戶的「喜愛」。它可以安裝到幾乎任何硬體上，而TrueNAS提供的預先構建的設備就基於該技術。
支持的操作系統：FressBSD
相關網站：http：//www.freenas.org
39. Gluster
Gluster是一種可高度擴展的網路文件系統，適合雲計算環境。紅帽提供一款基於該技術的收費產品，用戶包括卡西歐和Intuit。
支持的操作系統：Linux
相關網站：http：//www.gluster.org
40. Lustre
Lustre是另一種可高度擴展的文件系統，旨在支持高性能計算（HPC）環境。一些最早採用它的用戶包括美國的幾大國家實驗室：勞倫斯·利物莫爾國家實驗室、桑迪亞國家實驗室、橡樹嶺國家實驗室和洛斯阿拉莫斯國家實驗室。
支持的操作系統：Linux
相關網站：http：//lustre.org
系統管理工具
41. Ansible
Ansible現在歸紅帽所有，它自稱是「一種異常簡單的IT自動化引擎，可以使雲服務配置、配置管理、應用程序部署、服務內部的編排以及其他許多IT操作實現自動化。」使用它的科技公司包括：思科、瞻博網路、Evernote、推特、威瑞信、GoPro、EA Sports、Atlassian和韋里遜。它既有免費版，也有收費版。
支持的操作系統：Linux
相關網站：http：//www.ansibleworks.com
42. Chef
作為另一款自動化工具，Chef支持開發運維方法，同時改善了速度、協作和安全性。擁有免費版和收費版。官方網站上顯示用戶包括：塔吉特（Target）、諾德斯特龍（Nordstrom）、Facebook、Etsy、IGM、雅虎和彭博社。
支持的操作系統：Windows、Linux和OS X
相關網站：https：//www.chef.io/chef/
43. Hudson
Hudson在使用敏捷和開發運維方法的企業當中很流行，它是一種可擴展的持續集成伺服器系統，可以監控重復作業的執行。這個項目得到了Eclipse基金會、甲骨文、Atlassian和YourKit的支持。
支持的操作系統：與操作系統無關
相關網站：http：//hudson-ci.org
44. Puppet
Puppet號稱「使用最廣泛的開源IT管理系統」，它包括40多個基礎設施管理方面的開源項目。除了開源版本外，它還有一款收費的企業版本。它聲稱，用戶包括25000多家企業，比如迪士尼、沃爾瑪、1-800-Flowers.com、Heartland Payment Systems、蓋蒂圖片社（Getty Images）和Yelp。
支持的操作系統：Windows、Linux、Unix和OS X
相關網站：https：//puppetlabs.com/puppet/open-source-projects
版本控制
45. Bazaar
Bazaar由Canonical管理，被許多開源項目所使用，包括Ubuntu、 GNU基金會、Linux基金會、MySQL、Bugzilla、 Debian和Maria DB。它簡單易學，支持任何工作流程和工作區間模式，承諾存儲效率很高、速度很快。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//bazaar.canonical.com/en/
46. Git
這個版本控制系統已變得極受歡迎，這一方面歸功於GitHub服務的使用日益廣泛。使用它的公司和項目包括：谷歌、Facebook、微軟、推特、領英、網飛、Perl、PostgreSQL、安卓、Rails、QT、Gnome和Eclipse。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//git-scm.com
47. Mercurial
Mercurial是一種分布式源代碼控制管理工具，專注於幫助團隊更輕松、更快速地協同工作。用戶包括OpenJDK和NetBeans等各大項目。
支持的操作系統：Windows、Linux和OS X
相關網站：https：//www.mercurial-scm.org
48. Subversion
這個企業級版本控制系統得到Apache的支持，首次發布於2000年。使用它的企業組織包括Apache軟體基金會自己、Hobby Lobby、Mono、Plone和GNU Enterprise。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//subversion.apache.org
Web伺服器
49. Apache HTTP Server
Apache至今已有20年多的歷史，專利是自1996年以來互聯網上最受歡迎的Web伺服器系統。據W3Techs聲稱，目前所有網站中55.3%是由Apache支持的。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//httpd.apache.org
50. Nginx
Nginx的人氣也極旺，它被互聯網上所有網站中的大約四分之一所使用。除了俄羅斯許多訪問量很大的網站外，用戶還包括網飛和WordPress.com。
支持的操作系統：Windows、Linux和OS X
相關網站：http：//nginx.org
⑼ 阿里資料庫運用范圍
阿里資料庫運用范圍：大數據計算服務（MaxCompute，原ODPS），Data IDE（原BASE），數據集成（原CDP雲道），大數據基礎服務包括 Maxcompute 分析型資料庫等。
無需用戶自己考慮高可用、備份恢復等問題，而且阿里針對開源的資料庫做了部分優化。另外提供一些諸如監控、告警、備份、恢復、調優的手段。就是減輕用戶在業務無關方面的花銷，花小錢省下力氣聚焦在自己的業務上。
阿里資料庫特性：
實例創建快速選擇好需要的套餐後，RDS控制台會根據選擇的套餐優化配置參數，短短幾分鍾一個可以使用的資料庫實例就創建好了。
支持只讀實例RDS只讀實例面向對資料庫有大量讀請求而非大量寫請求的讀寫場景，通過為標准實例創建多個RDS只讀實例，賦予標准實例彈性的讀能力擴展，從而增加用戶的吞吐量。
故障自動切換主庫發生不可預知的故障（如：硬體故障）時，RDS將自動切換該實例下的主庫實例，恢復時間一般<5min。
⑽ 阿里巴巴 用什麼java框架
1、現在的大公司都是有很多積累的，他們都擁有適合自己的框架技術，這些全靠積累。所以阿里巴巴的主流Java框架是自己寫的，同時結合了大量open source的資源。2、WEB層 —— 使用webx框架。主要利用velocity模板技術來展現頁面。3、業務層 —— 主要使用command模式實現。WEB層通過command dispatcher的調用來使用業務邏輯。4、數據訪問層 —— 使用DAO（Data Access Object）模式。底層使用iBatis來訪問資料庫。數據採用的是Oracle。資料庫操作的SQL語句需要你手工書寫相關的SQL代碼（對於復雜的SQL語句需要通過DBA的評審）。5、開發工具，採用IDE和命令行相結合的模式。在命令行上，我們用antx工具來組織項目、build項目、發布項目。但我們多數時間會在eclipse集成環境上，開發、調試應用。6、版本控制，採用了Subversion。但部分項目因為歷史的原因，暫時使用CVS，將來必然會遷移到Subversion上。Subversion有很多種操作方式：通過命令行、通過TortoiseSVN集成工具、通過WEB、通過Eclipse插件。總結：在所有層次上，他們都廣泛使用了Spring framework。因此您需要對Spring有一定的了解才行。阿裡面試時非常考驗基礎知識的，因為他們有自己的技術積累，框架技術已經趨於成熟，所以面試都是一些基礎知識與演算法知識。現在的阿里技術或許已經更加成熟，