1. 工商银行携手华为云，打造金融数据创新应用实践新标杆
工于至诚，行以致远。
1984年，中国工商银行（以下简称工行）正式成立。如今，以建设“数字工行”为目标，工行全面布局大数据、人工智能等创新领域，在 探索 新业务、采用新技术等方面持续 探索 践行。目前，工行已实现行内外海量金融数据资产要素的融合，全面支持客户营销、产品创新、风险控制等多领域智能化创新，服务实体经济的金融供给能力大幅提升。而在这背后，华为云大数据有着浓墨重彩的一笔。
始于数据的业务创新
在8月31日举行的华为云TechWave大数据专题日上，中国工商银行软件开发中心总经理助理刘承岩表示，“工行在大数据创新应用方面的 探索 ，就是一段不断使用新技术、提升自身数据驾驭能力的历程。”
从数据角度来看，工行经历了自动化、数据化、智能化和生态化四个阶段。在每个阶段里，工行都采用了当时最领先的技术来支撑业务需求与发展，始终走在业界前列。智能化阶段，工行正式开启与华为的合作，引入了华为云FusionInsight智能数据湖解决方案中的大数据产品，搭建了自主可控的大数据云平台，真正将数据智能服务由事后快速演进到事前、事中的阶段。
生态化阶段，工行进一步深化与华为的合作，实现大数据云平台与华为云Stack云基础设施的融合，进一步提升大数据云平台的高可用和弹性灵活扩展等能力，全面支撑起数字平台的生态化建设，更好地服务于数字工行的转型。
刘承岩介绍，通过综合运用大数据和人工智能技术，工行实现了风险数据整合，在金融同业中首家推出了大数据风险信息服务产品融安e信，服务了260家金融机构和4.6万家企业。大数据的应用还改变了传统意义上“客户找服务”的金融服务模式，实现了“金融服务找用户”，通过渠道交易行为数据，工行建立精准客户画像，通过数据算法判断客户偏好，进而提供针对性的金融产品与服务。
工行与华为的合作始于大数据，双方进行了一系列的联合创新。目前，工行已经有大量的数据放到了基于华为云FusionInsight构建的金融数据湖中，FusionInsight MRS大数据、GaussDB(DWS)数据仓库等产品承载了关键的金融数据业务，实现不同场景下的运营、管理，以及风控。
风控系统是金融领域的“生命线”。然而随着金融 科技 的飞速发展，传统的风控已经无法满足当前的需求，势必需要新的技术手段介入。大数据风控系统就是在这种背景下诞生的新技术，在华为全力支持下，工行的风控管理一直保持着业界一流水准。
大数据平台提供的超高频实时计算能力，帮助工行率先在行业内实现了实时反欺诈防控，在不影响客户体验的情况下，实现了对每笔交易的实时欺诈防控，为客户避免损失约90亿元。此外，通过全行风险信息的整合共享，以及前中后模型服务的沉淀与开放，工行实现了金融业务端到端的风险防控，真正实现了一点出险、全面防控的目标。
刘承岩介绍，工行引入华为云的另一个目的，是希望将原来在IaaS上的一些业务系统迁入到华为云Stack，并结合华为云FusionInsight智能数据湖方案，使之成为数据的底座和业务平台的底座。这将是一次规模空前的云迁移，整体迁移规模将达到75%以上。
目前，双方正在加快推进工行大数据技术平台与华为云的融合，构建混布式容器化和存算分离架构，进一步提升大数据平台的高可用、稳定性、资源弹性灵活扩展能力，更好地支撑工行全数据存储、全数据挖掘、全算法应用、全场景布署的需要。这个过程预计需要一两年的时间，而在所有工作完成之后，一朵华为云支撑起工行整个业务和数据体系的运行与管理。
刘承岩认为，大数据技术平台融合了云计算、大数据和人工智能等技术，为工行数据中台生态的创新应用，提供了强大存储、算力、算法的保障，是工行数据智能体系的技术底座。
存贷是银行业的核心业务之一。过去的贷款发放，需要做很多的核验工作，而现在借助大数据、人工智能等技术，工行基本可以做到秒批秒贷，以便捷、高效的金融服务，助力实体经济的稳健发展。
在高复杂性的人工智能领域，工行与华为的合作正在不断加深。目前，工行的数据分析师和业务专家们正在极大受惠于华为云FusionInsight智能数据湖解决方案的系列产品，以及“普惠AI”的理念，而未来在数据隐私等更深入的领域，双方还会进一步进行 探索 与合作。
面向未来，工行将不断加强与华为云的合作，通过云计算、人工智能、区块链、IoT等创新技术，更好地利用数据这一新的生产要素，从 社会 的痛点、难点入手，做好金融数据中台的建设工作，不断提升自身服务实体经济的能力。
2020年9月23-26日，华为将于上海举办第五届HUAWEI CONNECT，携手来自全球的业界思想领袖、商业精英、技术大咖、先锋企业、生态合作伙伴、应用服务商以及开发者等，共同探讨行业数字化的发展方向，展示ICT领域的领先技术、产品和解决方案，分享成功实践，构筑开放、共赢的 健康 产业生态，共创行业新价值。
2. 什么是灵动的分布式存储系统
什么是分布式系统
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。
首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、使用更好的CPU）高昂到得不偿失的时候，应用程序也不能进一步优化的时候，我们才需要考虑分布式系统。
因为，分布式系统要解决的问题本身就是和单机系统一样的，而由于分布式系统多节点、通过网络通信的拓扑结构，会引入很多单机系统没有的问题，为了解决这些问题又会引入更多的机制、协议，带来更多的问题。
在很多文章中，主要讲分布式系统分为分布式计算（computation）与分布式存储（storage）。
计算与存储是相辅相成的，计算需要数据，要么来自实时数据（流数据），要么来自存储的数据；而计算的结果也是需要存储的。
在操作系统中，对计算与存储有非常详尽的讨论，分布式系统只不过将这些理论推广到多个节点罢了。
那么分布式系统怎么将任务分发到这些计算机节点呢，很简单的思想，分而治之，即分片（partition）。
对于计算，那么就是对计算任务进行切换，每个节点算一些，最终汇总就行了，这就是MapRece的思想；对于存储，更好理解一下，每个节点存一部分数据就行了。当数据规模变大的时候，Partition是唯一的选择，同时也会带来一些好处：
（1）提升性能和并发，操作被分发到不同的分片，相互独立
（2）提升系统的可用性，即使部分分片不能用，其他分片不会受到影响
理想的情况下，有分片就行了，但事实的情况却不大理想。原因在于，分布式系统中有大量的节点，且通过网络通信。
单个节点的故障（进程crash、断电、磁盘损坏）是个小概率事件，但整个系统的故障率会随节点的增加而指数级增加，网络通信也可能出现断网、高延迟的情况。
在这种一定会出现的“异常”情况下，分布式系统还是需要继续稳定的对外提供服务，即需要较强的容错性。
3. 分布式储能技术优势是什么
分布式存储，无疑是云计算时代最受关注的一门技术。
到底什么是分布式存储？
简单来说，人多力量大，利用多个存储服务器构建存储池，满足互联网时代越来越多的存储需求。
互联网行业的发展，数据成指数级增长，人们对存储的需求越来越大，采用集中式的存储成为数据中心系统的瓶颈，不能满足大规模存储应用的需要。
受益于服务器技术的发展和成熟，与标准服务器的分布式存储开始出现，分布式存储开始被广泛的应用起来。
分布式存储就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散的存储在企业的各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率，还易于扩展。
1、易于扩展
得益于合理的分布式架构，分布式存储可预估并且弹性扩展计算、存储容量和性能。
2、高性能
一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。
3、支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。
4、多副本一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制，最小化对业务的影响。
5、存储系统标准化
随着分布式存储的发展，存储行业的标准化进程也不断推进，分布式存储优先采用行业标准接口（SMI-S或OpenStackCinder）进行存储接入，用户可以实现跨不同品牌、介质地实现容灾，从侧面降低了存储采购和管理成本。
▉最后总结
分布式存储是一个大的概念，其包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等。
4. 分布式存储有什么好
分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。
5. 百度Paddle会和Python一样，成为最流行的深度学习引擎吗
网络 PaddlePaddle
在和几款最常用的深度学习框架TensorFlow、Torch、Caffe比较之前，我们先重点介绍新出现的PaddlePaddle。
Paddle其实已经有多年历史了。早在 2013
年，网络就察觉到传统的基于单GPU的训练平台，已经无法满足深度神经网络在搜索、广告、文本、语音、图像等领域的训练需求，于是在徐伟的带领下开始搭建Paddle——一个多机并行的CPU/GPU混布的异构计算平台。Paddle从最早的开发到如今的开源，就一直以大规模数据处理和工业化的要求不断改进。我们可以看到PaddlePaddle有很多优异的特性。
Github上介绍，PaddlePaddle有以下特点：
· 灵活
PaddlePaddle支持大量的神经网络架构和优化算法，支持任意复杂RNNs结构，高效处理batch，无需数据填充。简单书写配置文件即可实现复杂模型，比如拥有注意力(Attention)机制、外围记忆层(External
Memory)或者用于神经机器翻译模型的深度时序快进网络。
· 高效
为了利用异构计算资源的能力，PaddlePaddle中的每一级都会进行优化，其中包括计算、内存、架构和通信。以下是几个例子：
1.使用SSE/AVX内联函数、BLAS数据库(例如MKL、ATLAS、cuBLAS)和定制化的CPU/GPU Kernal来优化数学运算。
2.高度优化RNNs网络，在没有Padding的情况下，也能处理不同长度的序列。
3.优化的本地和分布式训练，同时支持高纬稀疏模型。
· 可扩展
有了PaddlePaddle，使用多个CPU和GPU以及机器来加速训练可以变得很轻松。 PaddlePaddle能通过优化通信，获得高吞吐量和性能。
· 与产品的连接
PaddlePaddle的部署也很简单。在网络，PaddlePaddle已经被用于产品和服务中，拥有大量用户。应用场景包括预估外卖的出餐时间、预判网盘故障时间点、精准推荐用户所需信息、海量图像识别分类、字符识别(OCR)、病毒和垃圾信息检测、机器翻译和自动驾驶等等。
在PaddlePaddle简单、可扩展的逻辑下，徐伟评价说：“这将使工程师们能够快速、轻松地将深度学习技术应用到他们的产品当中，我们想让更多的人使用人工智能，人工智能对于我们的未来生活是非常重要的。”
6. bookkeeper如何手动触发GC(数据清理)
开启bookkeeper对应配置：vim conf/bk_server.confhttpServerEnabled=truehttpServerPort=8080 #如果是和pulsar混布的，这个端口需要改下，因为pulsar默认也是8080端口
触发命令：curl -X PUT -d '' http://localhost:8080/api/v1/bookie/gc
1. 单独部署auto recovery服务时，如果开启了http配置的话，会在auto recovery进程内部启动一个http服务；
2. 在bookkeeper进程内部启动auto recovery线程服务；
3. 在storage sevice里面会启动auto recovery服务，storage sevice应该是一个table service api；
更多http接口命令使用见（懒得重新排版了😂）： https://note.you.com/s/2Sw9yf1E
7. 分布式存储是什么
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式和集中式存储
集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。
分布存储，集中管理的优缺点是，物理介质分布到不同的地理位置;视频流就近上传，对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低;小容量设备分布部署，对机房环境要求低。
链乔教育在线旗下学硕创新区块链技术工作站是中国教育部学校规划建设发展中心开展的“智慧学习工场2020-学硕创新工作站 ”唯一获准的“区块链技术专业”试点工作站。专业站立足为学生提供多样化成长路径，推进专业学位研究生产学研结合培养模式改革，构建应用型、复合型人才培养体系。
8. 分布式文件存储系统通过什么方式提高可用性和安全性
分布式存储的六大优点
1. 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。
2. 支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。
3. 多副本的一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复，从而保证副本的总数固定;当数据长时间处于不一致状态时，系统会自动数据重建恢复，同时租户可设定数据恢复的带宽规则，最小化对业务的影响。
4. 容灾与备份
在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还非常有利于进行故障重现，从而进行分析和研究，避免灾难在未来再次发生。多副本技术，数据条带化放置，多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。
5. 弹性扩展
得益于合理的分布式架构，分布式存储可预估并且弹性扩展计算、存储容量和性能。分布式存储的水平扩展有以下几个特性：
1) 节点扩展后，旧数据会自动迁移到新节点，实现负载均衡，避免单点过热的情况出现;
2) 水平扩展只需要将新节点和原有集群连接到同一网络，整个过程不会对业务造成影响;
3) 当节点被添加到集群，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被管理平台接管，被用于分配或者回收。
6. 存储系统标准化
随着分布式存储的发展，存储行业的标准化进程也不断推进，分布式存储优先采用行业标准接口(SMI-S或OpenStack Cinder)进行存储接入。在平台层面，通过将异构存储资源进行抽象化，将传统的存储设备级的操作封装成面向存储资源的操作，从而简化异构存储基础架构的操作，以实现存储资源的集中管理，并能够自动执行创建、变更、回收等整个存储生命周期流程。基于异构存储整合的功能，用户可以实现跨不同品牌、介质地实现容灾，如用中低端阵列为高端阵列容灾，用不同磁盘阵列为闪存阵列容灾等等，从侧面降低了存储采购和管理成本。
9. 分布式存储的优点有哪些
分布式存储的六大优点
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下：
1. 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。
2. 支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。
3. 一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复，从而保证副本的总数固定;当数据长时间处于不一致状态时，系统会自动数据重建恢复，同时租户可设定数据恢复的带宽规则，最小化对业务的影响。
4. 容灾性
在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还非
5. 扩展性
6. 存储系统标准化