1. 工商銀行攜手華為雲，打造金融數據創新應用實踐新標桿
工於至誠，行以致遠。
1984年，中國工商銀行（以下簡稱工行）正式成立。如今，以建設「數字工行」為目標，工行全面布局大數據、人工智慧等創新領域，在 探索 新業務、採用新技術等方面持續 探索 踐行。目前，工行已實現行內外海量金融數據資產要素的融合，全面支持客戶營銷、產品創新、風險控制等多領域智能化創新，服務實體經濟的金融供給能力大幅提升。而在這背後，華為雲大數據有著濃墨重彩的一筆。
始於數據的業務創新
在8月31日舉行的華為雲TechWave大數據專題日上，中國工商銀行軟體開發中心總經理助理劉承岩表示，「工行在大數據創新應用方面的 探索 ，就是一段不斷使用新技術、提升自身數據駕馭能力的歷程。」
從數據角度來看，工行經歷了自動化、數據化、智能化和生態化四個階段。在每個階段里，工行都採用了當時最領先的技術來支撐業務需求與發展，始終走在業界前列。智能化階段，工行正式開啟與華為的合作，引入了華為雲FusionInsight智能數據湖解決方案中的大數據產品，搭建了自主可控的大數據雲平台，真正將數據智能服務由事後快速演進到事前、事中的階段。
生態化階段，工行進一步深化與華為的合作，實現大數據雲平台與華為雲Stack雲基礎設施的融合，進一步提升大數據雲平台的高可用和彈性靈活擴展等能力，全面支撐起數字平台的生態化建設，更好地服務於數字工行的轉型。
劉承岩介紹，通過綜合運用大數據和人工智慧技術，工行實現了風險數據整合，在金融同業中首家推出了大數據風險信息服務產品融安e信，服務了260家金融機構和4.6萬家企業。大數據的應用還改變了傳統意義上「客戶找服務」的金融服務模式，實現了「金融服務找用戶」，通過渠道交易行為數據，工行建立精準客戶畫像，通過數據演算法判斷客戶偏好，進而提供針對性的金融產品與服務。
工行與華為的合作始於大數據，雙方進行了一系列的聯合創新。目前，工行已經有大量的數據放到了基於華為雲FusionInsight構建的金融數據湖中，FusionInsight MRS大數據、GaussDB(DWS)數據倉庫等產品承載了關鍵的金融數據業務，實現不同場景下的運營、管理，以及風控。
風控系統是金融領域的「生命線」。然而隨著金融 科技 的飛速發展，傳統的風控已經無法滿足當前的需求，勢必需要新的技術手段介入。大數據風控系統就是在這種背景下誕生的新技術，在華為全力支持下，工行的風控管理一直保持著業界一流水準。
大數據平台提供的超高頻實時計算能力，幫助工行率先在行業內實現了實時反欺詐防控，在不影響客戶體驗的情況下，實現了對每筆交易的實時欺詐防控，為客戶避免損失約90億元。此外，通過全行風險信息的整合共享，以及前中後模型服務的沉澱與開放，工行實現了金融業務端到端的風險防控，真正實現了一點出險、全面防控的目標。
劉承岩介紹，工行引入華為雲的另一個目的，是希望將原來在IaaS上的一些業務系統遷入到華為雲Stack，並結合華為雲FusionInsight智能數據湖方案，使之成為數據的底座和業務平台的底座。這將是一次規模空前的雲遷移，整體遷移規模將達到75%以上。
目前，雙方正在加快推進工行大數據技術平台與華為雲的融合，構建混布式容器化和存算分離架構，進一步提升大數據平台的高可用、穩定性、資源彈性靈活擴展能力，更好地支撐工行全數據存儲、全數據挖掘、全演算法應用、全場景布署的需要。這個過程預計需要一兩年的時間，而在所有工作完成之後，一朵華為雲支撐起工行整個業務和數據體系的運行與管理。
劉承岩認為，大數據技術平台融合了雲計算、大數據和人工智慧等技術，為工行數據中台生態的創新應用，提供了強大存儲、算力、演算法的保障，是工行數據智能體系的技術底座。
存貸是銀行業的核心業務之一。過去的貸款發放，需要做很多的核驗工作，而現在藉助大數據、人工智慧等技術，工行基本可以做到秒批秒貸，以便捷、高效的金融服務，助力實體經濟的穩健發展。
在高復雜性的人工智慧領域，工行與華為的合作正在不斷加深。目前，工行的數據分析師和業務專家們正在極大受惠於華為雲FusionInsight智能數據湖解決方案的系列產品，以及「普惠AI」的理念，而未來在數據隱私等更深入的領域，雙方還會進一步進行 探索 與合作。
面向未來，工行將不斷加強與華為雲的合作，通過雲計算、人工智慧、區塊鏈、IoT等創新技術，更好地利用數據這一新的生產要素，從 社會 的痛點、難點入手，做好金融數據中台的建設工作，不斷提升自身服務實體經濟的能力。
2020年9月23-26日，華為將於上海舉辦第五屆HUAWEI CONNECT，攜手來自全球的業界思想領袖、商業精英、技術大咖、先鋒企業、生態合作夥伴、應用服務商以及開發者等，共同探討行業數字化的發展方向，展示ICT領域的領先技術、產品和解決方案，分享成功實踐，構築開放、共贏的 健康 產業生態，共創行業新價值。
2. 什麼是靈動的分布式存儲系統
什麼是分布式系統
分布式系統是由一組通過網路進行通信、為了完成共同的任務而協調工作的計算機節點組成的系統。
分布式系統的出現是為了用廉價的、普通的機器完成單個計算機無法完成的計算、存儲任務。其目的是利用更多的機器，處理更多的數據。
首先需要明確的是，只有當單個節點的處理能力無法滿足日益增長的計算、存儲任務的時候，且硬體的提升（加內存、加磁碟、使用更好的CPU）高昂到得不償失的時候，應用程序也不能進一步優化的時候，我們才需要考慮分布式系統。
因為，分布式系統要解決的問題本身就是和單機系統一樣的，而由於分布式系統多節點、通過網路通信的拓撲結構，會引入很多單機系統沒有的問題，為了解決這些問題又會引入更多的機制、協議，帶來更多的問題。
在很多文章中，主要講分布式系統分為分布式計算（computation）與分布式存儲（storage）。
計算與存儲是相輔相成的，計算需要數據，要麼來自實時數據（流數據），要麼來自存儲的數據；而計算的結果也是需要存儲的。
在操作系統中，對計算與存儲有非常詳盡的討論，分布式系統只不過將這些理論推廣到多個節點罷了。
那麼分布式系統怎麼將任務分發到這些計算機節點呢，很簡單的思想，分而治之，即分片（partition）。
對於計算，那麼就是對計算任務進行切換，每個節點算一些，最終匯總就行了，這就是MapRece的思想；對於存儲，更好理解一下，每個節點存一部分數據就行了。當數據規模變大的時候，Partition是唯一的選擇，同時也會帶來一些好處：
（1）提升性能和並發，操作被分發到不同的分片，相互獨立
（2）提升系統的可用性，即使部分分片不能用，其他分片不會受到影響
理想的情況下，有分片就行了，但事實的情況卻不大理想。原因在於，分布式系統中有大量的節點，且通過網路通信。
單個節點的故障（進程crash、斷電、磁碟損壞）是個小概率事件，但整個系統的故障率會隨節點的增加而指數級增加，網路通信也可能出現斷網、高延遲的情況。
在這種一定會出現的「異常」情況下，分布式系統還是需要繼續穩定的對外提供服務，即需要較強的容錯性。
3. 分布式儲能技術優勢是什麼
分布式存儲，無疑是雲計算時代最受關注的一門技術。
到底什麼是分布式存儲？
簡單來說，人多力量大，利用多個存儲伺服器構建存儲池，滿足互聯網時代越來越多的存儲需求。
互聯網行業的發展，數據成指數級增長，人們對存儲的需求越來越大，採用集中式的存儲成為數據中心系統的瓶頸，不能滿足大規模存儲應用的需要。
受益於伺服器技術的發展和成熟，與標准伺服器的分布式存儲開始出現，分布式存儲開始被廣泛的應用起來。
分布式存儲就是將數據分散存儲到多個存儲伺服器上，並將這些分散的存儲資源構成一個虛擬的存儲設備，實際上數據分散的存儲在企業的各個角落。分布式存儲的好處是提高了系統的可靠性、可用性和存取效率，還易於擴展。
1、易於擴展
得益於合理的分布式架構，分布式存儲可預估並且彈性擴展計算、存儲容量和性能。
2、高性能
一個具有高性能的分布式存儲通常能夠高效地管理讀緩存和寫緩存，並且支持自動的分級存儲。
3、支持分級存儲
由於通過網路進行松耦合鏈接，分布式存儲允許高速存儲和低速存儲分開部署，或者任意比例混布。
4、多副本一致性
與傳統的存儲架構使用RAID模式來保證數據的可靠性不同，分布式存儲採用了多副本備份機制，最小化對業務的影響。
5、存儲系統標准化
隨著分布式存儲的發展，存儲行業的標准化進程也不斷推進，分布式存儲優先採用行業標准介面（SMI-S或OpenStackCinder）進行存儲接入，用戶可以實現跨不同品牌、介質地實現容災，從側面降低了存儲采購和管理成本。
▉最後總結
分布式存儲是一個大的概念，其包含的種類繁多，除了傳統意義上的分布式文件系統、分布式塊存儲和分布式對象存儲外，還包括分布式資料庫和分布式緩存等。
4. 分布式存儲有什麼好
分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。
5. 百度Paddle會和Python一樣，成為最流行的深度學習引擎嗎
網路 PaddlePaddle
在和幾款最常用的深度學習框架TensorFlow、Torch、Caffe比較之前，我們先重點介紹新出現的PaddlePaddle。
Paddle其實已經有多年歷史了。早在 2013
年，網路就察覺到傳統的基於單GPU的訓練平台，已經無法滿足深度神經網路在搜索、廣告、文本、語音、圖像等領域的訓練需求，於是在徐偉的帶領下開始搭建Paddle——一個多機並行的CPU/GPU混布的異構計算平台。Paddle從最早的開發到如今的開源，就一直以大規模數據處理和工業化的要求不斷改進。我們可以看到PaddlePaddle有很多優異的特性。
Github上介紹，PaddlePaddle有以下特點：
· 靈活
PaddlePaddle支持大量的神經網路架構和優化演算法，支持任意復雜RNNs結構，高效處理batch，無需數據填充。簡單書寫配置文件即可實現復雜模型，比如擁有注意力(Attention)機制、外圍記憶層(External
Memory)或者用於神經機器翻譯模型的深度時序快進網路。
· 高效
為了利用異構計算資源的能力，PaddlePaddle中的每一級都會進行優化，其中包括計算、內存、架構和通信。以下是幾個例子：
1.使用SSE/AVX內聯函數、BLAS資料庫(例如MKL、ATLAS、cuBLAS)和定製化的CPU/GPU Kernal來優化數學運算。
2.高度優化RNNs網路，在沒有Padding的情況下，也能處理不同長度的序列。
3.優化的本地和分布式訓練，同時支持高緯稀疏模型。
· 可擴展
有了PaddlePaddle，使用多個CPU和GPU以及機器來加速訓練可以變得很輕松。 PaddlePaddle能通過優化通信，獲得高吞吐量和性能。
· 與產品的連接
PaddlePaddle的部署也很簡單。在網路，PaddlePaddle已經被用於產品和服務中，擁有大量用戶。應用場景包括預估外賣的出餐時間、預判網盤故障時間點、精準推薦用戶所需信息、海量圖像識別分類、字元識別(OCR)、病毒和垃圾信息檢測、機器翻譯和自動駕駛等等。
在PaddlePaddle簡單、可擴展的邏輯下，徐偉評價說：「這將使工程師們能夠快速、輕松地將深度學習技術應用到他們的產品當中，我們想讓更多的人使用人工智慧，人工智慧對於我們的未來生活是非常重要的。」
6. bookkeeper如何手動觸發GC(數據清理)
開啟bookkeeper對應配置：vim conf/bk_server.confhttpServerEnabled=truehttpServerPort=8080 #如果是和pulsar混布的，這個埠需要改下，因為pulsar默認也是8080埠
觸發命令：curl -X PUT -d '' http://localhost:8080/api/v1/bookie/gc
1. 單獨部署auto recovery服務時，如果開啟了http配置的話，會在auto recovery進程內部啟動一個http服務；
2. 在bookkeeper進程內部啟動auto recovery線程服務；
3. 在storage sevice裡面會啟動auto recovery服務，storage sevice應該是一個table service api；
更多http介面命令使用見（懶得重新排版了😂）： https://note.you.com/s/2Sw9yf1E
7. 分布式存儲是什麼
分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
分布式和集中式存儲
集中存儲的優缺點是，物理介質集中布放;視頻流上傳到中心對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。
分布存儲，集中管理的優缺點是，物理介質分布到不同的地理位置;視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。
鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑，推進專業學位研究生產學研結合培養模式改革，構建應用型、復合型人才培養體系。
8. 分布式文件存儲系統通過什麼方式提高可用性和安全性
分布式存儲的六大優點
1. 高性能
一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存，並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中，來提高系統響應速度;一旦這些區域不再是熱點，那麼存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能，按照一定的策略，先將數據寫入高速存儲，再在適當的時間進行同步落盤。
2. 支持分級存儲
由於通過網路進行松耦合鏈接，分布式存儲允許高速存儲和低速存儲分開部署，或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下，分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後，從冷池提取數據的粒度太大，導致延遲高，從而給造成整體的性能的抖動的問題。
3. 多副本的一致性
與傳統的存儲架構使用RAID模式來保證數據的可靠性不同，分布式存儲採用了多副本備份機制。在存儲數據之前，分布式存儲對數據進行了分片，分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性，分布式存儲通常採用的是一個副本寫入，多個副本讀取的強一致性技術，使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候，系統可以通過從其他副本讀取數據，重新寫入該副本進行恢復，從而保證副本的總數固定;當數據長時間處於不一致狀態時，系統會自動數據重建恢復，同時租戶可設定數據恢復的帶寬規則，最小化對業務的影響。
4. 容災與備份
在分布式存儲的容災中，一個重要的手段就是多時間點快照技術，使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是，多時間點快照技術支持同時提取多個時間點樣本同時恢復，這對於很多邏輯錯誤的災難定位十分有用，如果用戶有多台伺服器或虛擬機可以用作系統恢復，通過比照和分析，可以快速找到哪個時間點才是需要回復的時間點，降低了故障定位的難度，縮短了定位時間。這個功能還非常有利於進行故障重現，從而進行分析和研究，避免災難在未來再次發生。多副本技術，數據條帶化放置，多時間點快照和周期增量復制等技術為分布式存儲的高可靠性提供了保障。
5. 彈性擴展
得益於合理的分布式架構，分布式存儲可預估並且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性：
1) 節點擴展後，舊數據會自動遷移到新節點，實現負載均衡，避免單點過熱的情況出現;
2) 水平擴展只需要將新節點和原有集群連接到同一網路，整個過程不會對業務造成影響;
3) 當節點被添加到集群，集群系統的整體容量和性能也隨之線性擴展，此後新節點的資源就會被管理平台接管，被用於分配或者回收。
6. 存儲系統標准化
隨著分布式存儲的發展，存儲行業的標准化進程也不斷推進，分布式存儲優先採用行業標准介面(SMI-S或OpenStack Cinder)進行存儲接入。在平台層面，通過將異構存儲資源進行抽象化，將傳統的存儲設備級的操作封裝成面向存儲資源的操作，從而簡化異構存儲基礎架構的操作，以實現存儲資源的集中管理，並能夠自動執行創建、變更、回收等整個存儲生命周期流程。基於異構存儲整合的功能，用戶可以實現跨不同品牌、介質地實現容災，如用中低端陣列為高端陣列容災，用不同磁碟陣列為快閃記憶體陣列容災等等，從側面降低了存儲采購和管理成本。
9. 分布式存儲的優點有哪些
分布式存儲的六大優點
分布式存儲往往採用分布式的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率，還易於擴展，將通用硬體引入的不穩定因素降到最低。優點如下：
1. 高性能
一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存，並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中，來提高系統響應速度;一旦這些區域不再是熱點，那麼存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能，按照一定的策略，先將數據寫入高速存儲，再在適當的時間進行同步落盤。
2. 支持分級存儲
由於通過網路進行松耦合鏈接，分布式存儲允許高速存儲和低速存儲分開部署，或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下，分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後，從冷池提取數據的粒度太大，導致延遲高，從而給造成整體的性能的抖動的問題。
3. 一致性
與傳統的存儲架構使用RAID模式來保證數據的可靠性不同，分布式存儲採用了多副本備份機制。在存儲數據之前，分布式存儲對數據進行了分片，分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性，分布式存儲通常採用的是一個副本寫入，多個副本讀取的強一致性技術，使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候，系統可以通過從其他副本讀取數據，重新寫入該副本進行恢復，從而保證副本的總數固定;當數據長時間處於不一致狀態時，系統會自動數據重建恢復，同時租戶可設定數據恢復的帶寬規則，最小化對業務的影響。
4. 容災性
在分布式存儲的容災中，一個重要的手段就是多時間點快照技術，使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是，多時間點快照技術支持同時提取多個時間點樣本同時恢復，這對於很多邏輯錯誤的災難定位十分有用，如果用戶有多台伺服器或虛擬機可以用作系統恢復，通過比照和分析，可以快速找到哪個時間點才是需要回復的時間點，降低了故障定位的難度，縮短了定位時間。這個功能還非
5. 擴展性
6. 存儲系統標准化