❶ 攀登比珠穆朗玛更高的山峰，数据存储技术的突破之路
文： 科技 商业 于洪涛
在物理世界，山峰是自然力量的象征；而在数字世界里，数据则是智慧力量的来源。
或许正是因为如此，华为将其聚焦在数据基础技术的科研大奖命名为Olympus Mons，即奥林帕斯大奖，专门用于重奖那些在数据存储领域实现技术突破的科研工作者。
设立奖项只是一种形式。在奥林帕斯大奖的背后，是华为通过汇聚产学研各方能力，来推动数据技术实现突破性发展的雄心，从而为数字经济发展提供更好的数据基础设施。
随着数字化时代的到来，数据的价值越来越突出，正在日益成为国家、企业、甚至个人的核心资产。
与传统经济相比，数字经济的本质就是数据的流通，数据也成为智能 社会 的主要生产要素。IDC的调研显示，2020年全球共创造了59ZB的数据，到2025年则将达到163ZB。
如此巨量的数据资产，需要经过数据采集、数据存储、数据分析等流程才能产生价值，其中数据存储无疑是基础。在数据中心里，存储也与计算和网络一道，成为关键基础设施，为整个数字化进程提供支持。
在数据量高速成长的同时，数据的形态也日益多样化，视频、图片、音频等非结构化数据已经成为数据的主体。这些复杂的数据要想充分发挥价值，就需要更加高效的数据存储和数据管理。
有统计显示，如今只有2%的数据被保存，保存下来的数据也只有10%得到分析利用。华为数据存储与机器视觉产品线总裁周跃峰介绍说，数据在企业数字化转型中扮演着越来越重要的角色，然而企业却面临海量数据存不下、流不动、管不好的问题。
为了满足客户日益增长的数据存储需求， 华为主张构建端到端的数据能力，包括计算、存储、利用和AI等能力，让数据在全生命周期内实现每比特价值最大，每比特成本最优。
华为的努力，已经收到了成效，如今越来越多的政企使用华为的数据存储解决方案，来实现对数据资产的管理。
甘肃敦煌研究院，正在利用华为的海量存储解决方案，通过 计算机技术和数字图像技术，实现敦煌石窟文物的永久保存、永续利用。
然而，整个敦煌莫高窟拥有735个洞窟、4.5万平方米壁画、2415尊泥质彩塑，要把这么多文物数字化，达成构建数字敦煌博物馆的目标，意味着需要大量的投资和海量的存储设备。 显然，要想解决这一问题，仅靠华为自身的努力还不够，而需要各个方面的共同参与，通过打造产业技术生态，来实现存储技术的新突破。这也正是华为设立“奥林帕斯奖”的初衷。
据了解，华为“奥林帕斯奖”，每年都聚焦于数据领域的两个主要技术难题来寻求解决方案。在去年底的全球数据存储教授论坛上，第二届的“2021年奥林帕斯悬红”两大难题已经确定：一是构建每比特极致性价比的数据存储，二是实现下一代存储产业根技术突破。对于每个难题，华为都给出了高达100万元的悬红，
华为希望通过“奥林帕斯奖”的设立，与学术界在 Cloud-Oriented多云存储服务、Data-Centric新型数据应用存储系统、AI-Driven存储软件架构、创新体系架构等技术方向共同攻坚，构筑更好的数据存储系统。
我们都知道，妨碍电动 汽车 推广普及的主要制约因素是电池的能量密度，其决定了电动 汽车 的可用性。在数据中心里，数据的存储密度则将成为未来的核心挑战，决定着我们智能 社会 的成色。
科学家们已经明确了下一步的发展目标：在有限的资源下实现100x性能密度和100x容量密度的数据存储。要实现存储能力的提升，压缩算法是核心技术之一，可以降低 数据的存储成本，帮助用户缓解数据规模爆炸性增长带来的成本压力。
然而，作为存储技术中的重磅难题，压缩算法多年来未有突出成果。
为了突破压缩算法面临的瓶颈，激发数据压缩领域的活力，自2020年起，华为与莫斯科国立大学合作，举办全球数据压缩大赛，以促进数据压缩根技术的研究。
今年的第二届全球数据压缩大赛，邀请了压缩领域享有盛誉的技术专家担任评委；使用电子显微镜、遥感等高性能计算数据，更贴近前沿、更贴近实际场景。大赛设计了五种类型的数据集（赛事项目）：定量数据压缩、定性数据压缩、混合数据压缩、小块数据压缩和熵编码优化。
同时，大赛还增设了面向高校学生、难度相对较小的编码算法优化项目，以吸引更多校园算法高手参与比赛。在奖项设置方面，进一步体现多维激励，增设领先奖、特等奖和学生参与奖。
本届数据压缩大赛，已于6月15日正式开赛，接收参赛作品截止到11月底，将于12月底公布获奖结果。截至7月中旬，开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请。
伴随着奥林帕斯大奖和全球数据压缩大赛相继进入第二届，“奥林帕斯”已经成为华为数据存储正在着力打造的新品牌，专门用来加强产学研合作，联合学界一起推动数据存储产业的进步。
从第一届奥林帕斯大奖得主那里，我们已经看到科研界在数据技术创新领域的突破。
获得 百万悬红大奖的清华大学舒继武老师团队的“持久性内存存储系统构建与关键技术”， 创新地提出了持久性内存文件系统与键值存储的设计方法和分布式持久性共享内存框架，攻克了其数据结构、内存管理、一致性与安全等方面的一系列难题，解决了基于新型内存介质的高效数据存储问题。
此外，上海交通大学的陈榕团队的 “基于新型异构硬件的高效数据处理系统”， 华中 科技 大学的冯丹团队的 “NVM（新型非易失存储）高效可靠技术”，也具有较高的创新性和先进性， 具备产业价值和应用前景。
同样，在第一届 全球数据压缩大赛上，也涌现出了很多令人瞩目的成果。
比如获奖选手Peter Thamm设计的pglz算法在压缩率和性能上，打破了快速压缩算法的一般认知，指引了压缩算法优化方向；Konstantinos Agiannis的参赛算法，在文本场景测试中的压缩率和压缩性能，均超过业界公认的标杆算法；Andreas Debski的快速图像压缩算法，达到了业界公认标杆算法120%的压缩率，展现了深厚的图像压缩算法功底。
过去一年的成功，也让我们对今年的 “奥林帕斯”有了更高的期待。对这个太阳系最高峰的攀登，意味着整个数据存储技术领域的参与者，首次能够团结一致，共同牵引基础理论研究方向，突破关键技术难题，加速科研成果产业化，实现产学研合作共赢。
在此进程中，华为一方面发挥了产业引领者的角色，大力推动产学研的合作进程；另一方面也积极投身其中，通过 Data Fabric、智能存储、内存型存储、数据缩减、视频存储等五大创新实验室，通过4000多名研发工程师的协同努力，围绕下一代存储的介质、网络、架构和管理等进行系统化创新。
我们也有理由相信，通过全球、全领域的协同创新，我们一定能够迎来数据存储技术的突破，通过技术重构实现更好的数据存储效能，让全世界共享数字技术红利，进而推动千行百业的智能化升级。
❷ 区块链技术发展现状与展望
区块链技术发展现状与展望
区块链技术起源于2008年由化名为 “中本聪” （Satoshi Nakamoto）的学者在密码学邮件组发表的奠基性论文《比特币：一种点对点电子现金系统》。近两年来，区块链技术的研究与应用呈现出爆发式增长态势，被认为是继大型机、个人电脑、互联网、移动/社交网络之后计算范式的第五次颠覆式创新，是人类信用进化史上继血亲信用、贵金属信用、央行纸币信用之后的第四个里程碑。区块链技术是下一代云计算的雏形，有望像互联网一样彻底重塑人类社会活动形态，并实现从目前的信息互联网向价值互联网的转变。区块链的技术特点
区块链具有去中心化、时序数据、集体维护、可编程和安全可信等特点。 去中心化：区块链数据的验证、记账、存储、维护和传输等过程均是基于分布式系统结构，采用纯数学方法而不是中心机构来建立分布式节点间竖宏的信任关系，从而形成去中心化的可信任的分布式系统； 时序数据：区块链采用带有时间戳的链式区块结构存储数据，从而为数据增加了时间维度，具有极强的可验证性和可追溯性； 集体维护：区块链系统采用特定的经济激励机制来保证分布式系统中所有节点均可参与数据区块的验证过程（如比特币的“挖矿”过程），并通过共识算法来选择特定的节点将新区块添加到区块链； 可编程：区块链技术可提供灵活的脚本代码系统，支持用户创建高级的智能合约、货币或其它去中心化应用； 安全可信：区块链技术采用非对称密码学原理对数据进行加密，同时借助分布式系统各节点的工作量证明等共识算法形成的强大算力来抵御外部攻击、保证区块链数据不可篡改和不可伪造，因而具有较高的安全性。区块链与比特币 比特币是迄今为止最为成功的区块链应用场景，区块链技术为比特币系统解决了数字加密货币领域长期以来所必需面对的双重支付问题和拜占庭将军问题。与传统中心机构（如中央银行）的信用背书机制不同的是，比特币区块链形成的是软件定义的信用，这标志着中心化的国家信用向去中心化的算法信用的根本性变革。近年来，比特币凭借其先发优势，目前已经形成体系完备的涵盖发行、流通和金融衍生市场的生态圈与产业链，这也是其长期占据绝大多数数字加密货币市场份额的主要原因。区块链的发展脉络与趋势
区块链技术是具有普适性的底层技术框架，可以为金融、经济、科技甚至政治等各领域带来深刻变革余亏册。按照目前区块链技术的发展脉络，区块链技术将会经历以可编程数字加密货币体系为主要特征的区块链1.0模式，以可编程金融系统为主要特征的区块链2.0模式和以可编程社会为主要特征的区块链3.0模式。然而，上述模式实际上是平行而非演进式发展的，区块链1.0模式的数字加密货币体系仍然远未成熟，距离其全球货币一体化的愿景实际上更远、更困难。目前，区块链领域已经呈现出明显的技术和产业创新驱动的发展态势，相关学术研究严重滞后、亟待跟进。区块链的基础模型与关键技术
一般说来，区块链系统由数据层、网络层、共识层、激励层、合约层和应用层组成。其中，数据层封装了底层数据区块以及相关的数据加密和时间戳等技术；网络层则包括分布式组网机制、数据传播机制和数据验证机制等；共识层主要封装网络节点的各类共识算法；激励层将经济因素集成到区块链技术体系中来，主要包括经济激励的发行机制和分配机制等；合约层主要封装各类脚本、算法和智能合约，是区块链可编程特性的基础；应用层则封装了区块链的各种应用场景和案例。该模型中，基于时间戳的链式区块结构、分布式节点的共识机制、基于共识算力的经济激励和灵活可编程的智能合约是区块链技术最具代表性的创新点。区块链技术的应用场景
区块链技术不仅可以成功应用于空伍数字加密货币领域，同时在经济、金融和社会系统中也存在广泛的应用场景。根据区块链技术应用的现状，本文将区块链目前的主要应用笼统地归纳为数字货币、数据存储、数据鉴证、金融交易、资产管理和选举投票共六个场景：数字货币：以比特币为代表，本质上是由分布式网络系统生成的数字货币，其发行过程不依赖特定的中心化机构。数据存储：区块链的高冗余存储、去中心化、高安全性和隐私保护等特点使其特别适合存储和保护重要隐私数据，以避免因中心化机构遭受攻击或权限管理不当而造成的大规模数据丢失或泄露。数据鉴证：区块链数据带有时间戳、由共识节点共同验证和记录、不可篡改和伪造，这些特点使得区块链可广泛应用于各类数据公证和审计场景。例如，区块链可以永久地安全存储由政府机构核发的各类许可证、登记表、执照、证明、认证和记录等。金融交易：区块链技术与金融市场应用有非常高的契合度。区块链可以在去中心化系统中自发地产生信用，能够建立无中心机构信用背书的金融市场，从而在很大程度上实现了“金融脱媒”；同时利用区块链自动化智能合约和可编程的特点，能够极大地降低成本和提高效率。资产管理：区块链能够实现有形和无形资产的确权、授权和实时监控。无形资产管理方面已经广泛应用于知识产权保护、域名管理、积分管理等领域；有形资产管理方面则可结合物联网技术形成“数字智能资产”，实现基于区块链的分布式授权与控制。选举投票：区块链可以低成本高效地实现政治选举、企业股东投票等应用，同时基于投票可广泛应用于博彩、预测市场和社会制造等领域。区块链技术的现存问题
安全性威胁是区块链迄今为止所面临的最重要的问题。其中，基于PoW共识过程的区块链主要面临的是51%攻击问题，即节点通过掌握全网超过51%的算力就有能力成功篡改和伪造区块链数据。其他问题包括新兴计算技术破解非对称加密机制的潜在威胁和隐私保护问题等。 区块链效率也是制约其应用的重要因素。区块链要求系统内每个节点保存一份数据备份，这对于日益增长的海量数据存储来说是极为困难的。虽然轻量级节点可部分解决此问题，但适用于更大规模的工业级解决方案仍有待研发。比特币区块链目前每秒仅能处理7笔交易，且交易确认时间一般为10分钟，这极大地限制了区块链在大多数金融系统高频交易场景中的应用。 PoW共识过程高度依赖区块链网络节点贡献的算力，这些算力主要用于解决SHA256哈希和随机数搜索，除此之外并不产生任何实际社会价值，因而一般意义上认为这些算力资源是被“浪费”掉了，同时被浪费掉的还有大量的电力资源。如何能有效汇集分布式节点的网络算力来解决实际问题，是区块链技术需要解决的重要问题。 区块链网络作为去中心化的分布式系统，其各节点在交互过程中不可避免地会存在相互竞争与合作的博弈关系，例如比特币矿池的区块截留攻击博弈等。区块链共识过程本质上是众包过程，如何设计激励相容的共识机制，使得去中心化系统中的自利节点能够自发地实施区块数据的验证和记账工作，并提高系统内非理性行为的成本以抑制安全性攻击和威胁，是区块链有待解决的重要科学问题。智能合约与区块链技术
智能合约是一组情景-应对型的程序化规则和逻辑，是部署在区块链上的去中心化、可信共享的程序代码。通常情况下，智能合约经各方签署后，以程序代码的形式附着在区块链数据（例如一笔比特币交易）上，经P2P网络传播和节点验证后记入区块链的特定区块中。智能合约封装了预定义的若干状态及转换规则、触发合约执行的情景（如到达特定时间或发生特定事件等）、特定情景下的应对行动等。区块链可实时监控智能合约的状态，并通过核查外部数据源、确认满足特定触发条件后激活并执行合约。 智能合约对于区块链技术来说具有重要的意义。一方面，智能合约是区块链的激活器，为静态的底层区块链数据赋予了灵活可编程的机制和算法，并为构建区块链2.0和3.0时代的可编程金融系统与社会系统奠定了基础；另一方面，智能合约的自动化和可编程特性使其可封装分布式区块链系统中各节点的复杂行为，成为区块链构成的虚拟世界中的软件代理机器人，这有助于促进区块链技术在各类分布式人工智能系统中的应用，使得基于区块链技术构建各类去中心化应用（Decentralized application, Dapp）、去中心化自治组织（Decentralized Autonomous Organization, DAO）、去中心化自治公司（Decentralized Autonomous Corporation, DAC）甚至去中心化自治社会（Decentralized Autonomous Society, DAS）成为可能。 区块链和智能合约技术的主要发展趋势是由自动化向智能化方向演化。现存的各类智能合约及其应用的本质逻辑大多仍是根据预定义场景的“ IF-THEN”类型的条件响应规则，能够满足目前自动化交易和数据处理的需求。未来的智能合约应具备根据未知场景的“ WHAT-IF”推演、计算实验和一定程度上的自主决策功能，从而实现由目前“自动化”合约向真正的“智能”合约的飞跃。区块链驱动的平行社会
近年来，基于CPSS（Cyber-Physical-SocialSystems）的平行社会已现端倪，其核心和本质特征是虚实互动与平行演化。区块链是实现CPSS平行社会的基础架构之一，其主要贡献是为分布式社会系统和分布式人工智能研究提供了一套行之有效的去中心化的数据结构、交互机制和计算模式，并为实现平行社会奠定了坚实的数据基础和信用基础。 就数据基础而言，管理学家爱德华戴明曾说过：除了上帝，所有人必须以数据说话。然而在中心化社会系统中，数据通常掌握在政府和大型企业等“少数人”手中，为少数人“说话”，其公正性、权威性甚至安全性可能都无法保证。区块链数据则通过高度冗余的分布式节点存储，掌握在“所有人”手中，能够做到真正的“数据民主”。就信用基础而言，中心化社会系统因其高度工程复杂性和社会复杂性而不可避免地会存在“默顿系统”的特性，即不确定性、多样性和复杂性，社会系统中的中心机构和规则制定者可能会因个体利益而出现失信行为；区块链技术有助于实现软件定义的社会系统，其基本理念就是剔除中心化机构、将不可预测的行为以智能合约的程序化代码形式提前部署和固化在区块链数据中，事后不可伪造和篡改并自动化执行，从而在一定程度上能够将“默顿”社会系统转化为可全面观察、可主动控制、可精确预测的“牛顿”社会系统。 ACP（人工社会Artificial Societies、计算实验Computational Experiments和平行执行ParallelExecution）方法是迄今为止平行社会管理领域唯一成体系化的、完整的研究框架，是复杂性科学在新时代平行社会环境下的逻辑延展和创新。 ACP方法可以自然地与区块链技术相结合，实现区块链驱动的平行社会管理。首先，区块链的P2P 组网、分布式共识协作和基于贡献的经济激励等机制本身就是分布式社会系统的自然建模，其中每个节点都将作为分布式系统中的一个自主和自治的智能体（agent）。随着区块链生态体系的完善，区块链各共识节点和日益复杂与自治的智能合约将通过参与各种形式的Dapp，形成特定组织形式的DAC和DAO，最终形成DAS，即ACP中的人工社会。其次，智能合约的可编程特性使得区块链可进行各种“ WHAT-IF” 类型的虚拟实验设计、场景推演和结果评估，通过这种计算实验过程获得并自动或半自动地执行最优决策。最后，区块链与物联网等相结合形成的智能资产使得联通现实物理世界和虚拟网络空间成为可能，并可通过真实和人工社会系统的虚实互动和平行调谐实现社会管理和决策的协同优化。不难预见，未来现实物理世界的实体资产都登记为链上智能资产的时候，就是区块链驱动的平行社会到来之时。
❸ 每天有那么多人在朋友圈发视频和照片，腾讯的服务器为什么可以储存那么大的数据
腾讯微信用户超过9亿，每天产生的数据量都是数亿tb，马化腾在一次数博会上透露，腾讯保存着18年用户的数据，数据量超过1000个pb。就在前不久腾讯公司宣布它的用户已经突破九亿人。用户信息最久都已经保存了近二十年。为什么不论用户在何时何地打开软件都可以找到自己上传的信息，而且还能非常寻迅速的下载下来。这些功能都是如何实现的呢？
而且，分布式存储也能起到很好的保密作用，除非经过用户的请求允许，不然是很难拿到用户的完整数据。因此完全可以。
❹ 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议
我国数据存储核心技术长期落后，大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”，节省未来海量数据存储占地空间，系统化整合资源解决当前中国大数据存储技术产品的容量问题，建议国家立项 开展微型数据存储技术创新研发 。
我国数据储存的现状和面临的问题
计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储，以便计算机系统进行读写等处理，数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展，可以预见未来的数据量必将呈现爆炸式增长，随之而来的海量数据存储瓶颈问题必然日趋严重，加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中，容量困境，首当其冲。
当前痛点。 为了满足数据存储容量日益增长的需求，大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设，由于数据存储基础核心技术缺位，流行的模式是不可持续的“ 科技 房地产”，即单纯拓展占地面积盖楼建设数据中心，进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间，一般只能保留一个月左右，相关的数据应用严重受制。
应用基石。 底层数据存储是信息产业发展的基石，数据存储技术产品是信息应用系统的架构基础，也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景：人工智能，信息安全，智慧城市，大数据，云计算，区块链，城市大脑，雪亮工程，城市管理视频监控，医学影像识别，等等。
严峻局面。 追溯信息技术百年来的发展轨迹，中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新，数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队，没有关键理论 探索 ；沿袭陈旧的发展思路，习于外购器件设备；底层技术积累短缺，核心创新能力薄弱；严峻的局面至今没有重大改变。
危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑，遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境，一旦遭遇卡脖子，如外购存储产品断货或核心技术交流封锁，举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度，掣肘 社会 前进步伐，削弱国家治理能力，进而危及影响到国家的政治和 社会 稳定。
时不我待。 我们需要立即行动起来，通过立项开展微型数据存储技术创新研发，凝聚国内外数据存储领域资源力量，构建数据存储专业核心技术团队；从研发软件定义的存储（数据去重）技术产品入手，填补国内技术产品领域空白；启动研发微型化（原子级）数据存储设备，抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。
开展微型数据存储技术创新研发的思路
我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机，凝聚国内外资源力量，构建中国数据存储专业核心技术团队。近期：研发部署模块化数据去重技术产品，压缩海量数据存储空间需求，填补国内底层数据存储管理技术空白。远期：启动研发微型数据存储设备，抢占未来数据存储技术领域的制高点。
从开展微型数据存储技术创新研发入手，聚焦国际存储技术领域的战略性前沿技术趋势；联手科研院所、高等院校、生产企业、大型用户的资源，建设国家级核心技术团队；积极引进/培养数据存储技术人才，研发自主可控系列产品。
1.近期跟踪行业动态
对标国际顶级数据存储技术产品，砥砺学习底层模块级数据存储去重技术，压缩海量数据存储空间需求，实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块，然后优化存储多个重复数据模块中的单一模块，以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量，降低采购部署数据存储设备的增量。
2.远期重点突出推进
探索 下一代数据存储技术，整合跨学科资源启动开展研发微型存储器，力图将现有基于磁盘/光盘/磁带的计算机数据存储器，转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据，试图由单个原子状态变化来表征。于是，可以将现有数据存储设备体积缩小数十万乃至百万倍，最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。
3.研发工作开展建议
开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。
延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。
构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式，积累培育国内数据存储技术力量。
结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司，共享数据存储底层技术知识。
注册成立企业运营机构。开发软件定义存储（数据去重）技术产品，服务数据用户市场，遵循商务运作规律。
融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金，吸引专业投资基金加盟。首期投资约需10亿元人民币（参考国际相关工程估值：美国IBM公司同类项目投资约600亿美元/10年）。
推动微型数据存储技术创新研发的建议
我国在开展新型基础设施建设的同时，应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机，建立数据存储技术的自主知识产权体系，填补国内空白，保障数字中国建设长远规划实施，推进国产数据存储产品崛起，为相关产业发展铺路。
2.建议远期紧跟世界主流研发创新步伐，聚焦研发原子级微型化数据存储技术产品（2020-2040年），在2040年前研发出原子级大数据存储技术，并逐步实现产业化。
3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台，建设国家级重点实验室。依托科研院所/高等院校/相关企业，奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。
4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。
5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验，引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程，搭建完善的国内人才培养体系。
6.建议立项过程不宜采用常规项目申报、审批流程，亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中，国内现有技术力量薄弱分散，评估体系资源匮乏。
7.建议项目推进应当低调快速务实：不重造势，不扬虚名，不谋近利。主要是基于当前复杂敏感的国际政治经济形势，预计本项目势将关联国家核心产业战略布局，影响未来数十年中国数字经济命脉与发展。
作 者：中央 财经 大学中国互联网经济研究院研究员 欧阳日辉
通讯员：李 翀
战略性新兴产业专题报道 办事，“刷脸”就行
张家口敢闯敢试、先行先试，积极 探索 氢能产业创新发展的有益路径
“东数西算”正式启动，枢纽网络如何建设？
“十四五”浪潮下如何构建城市数据中心网络？
“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南
大美密云 助推新兴产业发展
东方测控：打造智能制造示范工厂，引领矿山行业新未来
❺ 大数据爆发性增长 存储技术面临难题
大数据爆发性增长 存储技术面临难题
随着大数据应用的爆发性增长，大数据已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。从目前技术发展的情况来看，大数据存储技术的发展正面临着以下几个难题：
1、容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。
“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。
2、延迟问题
“大数据”应用还存在实时性的问题。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。
3、并发访问
一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。
4、安全问题
某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。
5、成本问题
成本问题“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。
对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。
6、数据的积累
许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。
7、数据的灵活性
大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。
存储介质正在改变，云计算倍受青睐
存储之于安防的地位，其已经不仅是一个设备而已，而是已经升华到了一个解决方案平台的地步。作为图像数据和报警事件记录的载体，存储的重要性是不言而喻的。
安防监控应用对存储的需求是什么？首先，海量存储的需求。其次，性能的要求。第三，价格的敏感度。第四，集中管理的要求。第五，网络化要求。安防监控技术发展到今天经历了三个阶段，即：模拟化、数字化、网络化。与之相适应，监控数据存储也经历了多个阶段，即：VCR模拟数据存储、DVR数字数据存储，到现在的集中网络存储，以及发展到云存储阶段，正是在一步步迎合这种市场需求。在未来，安防监控随着高清化，网络化，智能化的不断发展，将对现有存储方案带来不断挑战，包括容量、带宽的扩展问题和管理问题。那么，基于大数据战略的海量存储系统--云存储就倍受青睐了。
基于大数据战略的安防存储优势明显
当前社会对于数据的依赖是前所未有的，数据已变成与硬资产和人同等重要的重要资料。如何存好、保护好、使用好这些海量的大数据，是安防行业面临的重要问题之一。那么基于大数据战略的安防存储其优势何在？
目前的存储市场上，原有的视频监控方案容量、带宽难以扩展。客户往往需要采购更多更高端的设备来扩充容量，提高性能，随之带来的是成本的急剧增长以及系统复杂性的激增。同时，传统的存储模式很难在完全没有业务停顿的情况下进行升级，扩容会对业务带来巨大影响。其次，传统的视频监控方案难于管理。由于视频监控系统一般规模较大，分布特征明显，大多独立管理，这样就把整个系统分割成了多个管理孤岛，相互之间通信困难，难以协调工作，以提高整体性能。除此之外，绿色、安全等也是传统视频监控方案所面临的突出问题。
基于大数据战略的云存储技术与生俱来的高扩展、易管理、高安全等特性为传统存储面临的问题带来了解决的契机。利用云存储，用户可以方便的进行容量、带宽扩展，而不必停止业务，或改变系统架构。同时，云存储还具有高安全、低成本、绿色节能等特点。基于云存储的视频监控解决方案是客户应对挑战很好的选择。王宇说，进入二十一世纪，云存储作为一种新的存储架构，已逐步走入应用阶段，云存储不仅轻松突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，这对于拥有大量数据的安防监控用户来说是一个新选择。
以英特尔推出的Hadoop分布式文件系统（HDFS）为例，其提供了一个高度容错性和高吞吐量的海量数据存储解决方案。目前已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为海量数据存储的事实标准。
随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。HDFS通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆性的发展。最重要的是，其可以满足以下特性：可自我修复的分布式文件存储系统，高可扩展性，无需停机动态扩容，高可靠性，数据自动检测和复制，高吞吐量访问，消除访问瓶颈，使用低成本存储和服务器构建。
以上是小编为大家分享的关于大数据爆发性增长 存储技术面临难题的相关内容，更多信息可以关注环球青藤分享更多干货
❻ 数字经济时代，高性能数据分析存储迎来新机遇
数字经济时代，数据已成为新的核心生产要素，其重要战略资源地位和核心科学决策作用已日渐凸显。数据潜能的激发，有赖于数据的采集、存储、计算、管理和应用，其中，作为数据采集后进行处理的第一道关口，数据存储无疑是数字经济最重要的“底盘”。
海量数据爆发，数据存储成关键
当前，数据呈现指数级增长，数据规模已经从之前的GB、TB、PB，上升到EB级、甚至ZB级。据Hyperion预测，到2025年，全球数据空间将增长到163ZB，这是2011年HPC产生数据16.1ZB的10倍。爆炸式增长的数据，哺育了数字技术发展和应用，但是同时也对计算和存储提出了更高的要求。
在高性能计算（HPDA）中，计算、存储、网络三大部件缺一不可。以前，产业创新的焦点都在追求更高的算力。而随着大数据、多样性算力等相关技术的快速发展，高性能计算的重心开始从以计算为核心，向以数据为中心的计算演进；传统HPC开始向高性能数据分析（HPDA）方向演进。据IDC统计，全球67%的高性能计算中心（HPC）已经在使用AI、大数据相关技术，HPC与AI、大数据加速融合，走向以数据密集型为典型特征的高性能数据分析HPDA时代。
HPDA时代下，各行业数据量迎来了井喷式增长。地震勘探从二维向三维的演进中，数据量增加了10-20倍；电影渲染从2K升级到8K的革命中，数据量增长16倍；卫星测绘领域，探测精准度由20米缩小到2米，数据量同比增长近70倍。
数据规模激增之外，业务模型复杂以及分析效率较低等挑战，也都在呼唤着更高效率的存储。
存储作为数据的承载者，逐步成为推动HPC产业发展的新动能。然而，传统的HPC存储在混合负载性能、成本、跨协议访问等多方面存在壁垒，无法匹配HPDA场景的需求。如何打破存储性能、成本、效率的限制，充分释放数据潜能，成为制约HPC产业升级换代的掣肘。
高性能数据分析存储，加速HPC产业发展
当前，作为数据应用和数据分析的支撑平台，以及 科技 强国的关键基础设施，数据存储已成为国之重器，在金融核心交易、新型油气勘探、基因测序、自动驾驶、气象预测、宇宙 探索 等领域发挥重要作用。数据的存储与处理能力已经成为提升政府管理水平、提高企业经营效率、增强企业发展韧性的关键，数据存储正成为加速数字化转型的坚实底座。
新的产业变化以及数据存储的重要地位，对高端存储提出了新的挑战，同时也在加速存储技术的革新——从HPC部分场景向HPC/HPDA全场景扩展，存储开始承担起加速产业向“数据密集型”转型的重任。根据国际权威分析师机构Hyperion Research 2020年针对HPC市场空间的数据显示，数据存储的增速第一，远高于整体市场平均增速。
高性能数据分析（HPDA）存储，能够匹配各HPDA场景的高端存储，可以让基因测序、气象海洋、超算中心、能源勘探、科研与工业创新、智能医疗、深度学习、人脸识别等数据密集型HPDA应用场景，在效率、品质、性价比等方面实现飞跃式提升。
值得注意的是，华为OceanStor Pacific系列下一代高性能数据分析（HPDA）存储，可以高效应对超高密设计、混合负载设计以及多协议互通上的关键挑战，推动HPC产业向数据密集型升级。目前已经成功应用于自动驾驶、基因测序、气象预测、卫星遥感等众多国内外高性能计算场景企业及机构。
存储作为高性能数据分析的重要引擎，正全面释放HPC的应用价值，驱动着HPC产业不断进步，跨越“计算密集型”到“数据密集型”的鸿沟，持续推动人类 社会 繁荣 健康 发展。
❼ 云端存储技术未来的发展前景如何
海量数据催生新型的存储模式——云存储
近年来，大数据发展浪潮席卷全球，企业对信息存储提出了新的需求，云存储由此而诞生。云存储是基于云计算相关技术延伸和发展而来的全新的产品形态。
云存储的核心技术主要包括虚拟化技术、重复数据删除技术、分布式存储技术、数据备份技术、内容分发网络技术和存储加密技术。云存储利用这些核心技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，从而保证数据的安全性，并节约存储空间。
云存储往企业级方向发展，市场规模持续扩大
我国云存储行业的发展可以追溯到2007年，云计算、云存储的概念在国内开始出现。2011年，云计算、云存储的概念落地;2012年，国家将云计算列为重点发展的战略性新兴产业，各大互联网企业纷纷推出自己的云存储应用，类Dropbox和类Evernote的应用层出不穷。该阶段云存储的发展以个人云存储发展为主。
2016年，监管政策收紧导致大批网盘企业关停，致使个人云存储用户规模急剧下降。企业云存储迎来高速发展期，国家积极鼓励企业上云。同时伴随着海量数据的增长，市场对信息存储的安全提出了更高的要求，各大企业也纷纷推出了存储容灾、专属企业存储等服务。
据统计，目前企业云存储占据了98.63%的云存储市场规模，个人云存储市场规模占比仅在1.37%左右。
从整体市场规模看，2015年我国云存储市场规模约为115亿元，2019年我国云存储市场规模已经达到了326亿元。2020年，海量数据的持续增长进一步推动了我国企业对云存储的需求，2020年我国云存储市场规模预计接近400亿元。
万物互联将催生更大云存储市场
未来，我国5G的发展与云计算交织并进，5G时代网络速度的提升带来万物互联，而其背后大量的数据需要有云计算强大的计算和存储能力支撑，我国云存储市场发展空间大，市场规模在未来几年仍将保持较快的增速增长，2026年有望突破1800亿元。
❽ 如何评价华为9月6日发布的首款鸿蒙家庭存储该产品有哪些亮点
华为9月6号发布的首款哄哄家庭存储可以发现这也是性能上的再一步升级能够有更多的存储空间，这个产品的主要亮点就是存储方面的一些问题解决。
而9月6号最新研发的系列，有家庭存储功能，这是一款存储的终端产品，能够让手机的PC达到进一步的扩容，还会有AI相册智慧搜索以及金融级的隐私保护，这些功能都是非常吸引人的，也扮演着家庭数据收纳箱这样的角色。因为有这样的改变容量变得越来越大，大家不用再担心移动设备存储空间出现不足这样的情况，并且是双硬盘设置数据会自动同步，还会有无缝流转这些功能。
❾ 分段存储管理方式如何应对数据段动态增长的问题
在分段存储管理悔罩空方式中，数据被分为多个段，每个段碧瞎的长度可以动态的增闷升长。为了应对数据段的动态增长问题，可以实现动态分配内存的方式。当一个段的数据增长到达一定程度时，可以通过调用动态内存分配函数，增加该段的内存大小，确保该段能够继续存储数据。同时，可以设置一些容错机制，当内存不足时，及时提示用户清理无用数据或为系统增加更多的内存。这样，就可以满足数据段的动态增长需求，并且提高系统运行的效率。