㈠ 大数据的存储和搜索面临很大挑战
大数据的存储和搜索面临很大挑战
大数据并非是一个全新的概念，早在1980年，阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”，并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而，大数据真正流行起来是在2011年之后，数据量呈几何指数上升，物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降，促使大数据一时间成为了各方视线的焦点。
首先，伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化，数据量呈现出爆发式的增长，数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为，还可以通过各类传感设备的数据来记录实体经济的运行状况。
其次，数据的种类也愈发丰富，不仅包含文本内容，还包括图片、音频、视频等非结构化数据，为数据的存储和搜索带来了很大挑战，这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。
第三，大数据蕴含着巨大的价值，但相比于庞大的数据规模，其价值密度却是非常稀疏的，可谓是“浪里淘沙、弥足珍贵”。例如，公安视频监控系统需要7×24小时的记录，但用于犯罪证据获取的也许只是短短数秒；对于零售产业的推荐系统，也只有通过海量数据的分析，才能进行较为精准的预测。
第四，大数据需要实时的记录与响应，如动态的股价、路况信息以及电子商务的交易数据等，都需要实时的调用和处理，才能够充分体现出数据的价值所在。此外，社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器，这是因为人们已经不可避免地镶嵌于人际关系网络中，个体的影响力会经由社交网络快速蔓延。
不久前，作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性，在其社交基因组（Social Genome）计划中整合了用户在Facebook、Twitter中的关系数据，用以更精准地推测消费者的偏好。 综上所述，大数据的基本特征可以概括为规模化（Volume）、多样性（Variety）、高价值（Value）、速度快（Velocity）以及社会化（Social）等五个特点，即“4V 1S”的特点。这样的大数据浪潮，也深刻的影响了各个传统行业的发展轨迹，变革一触即发。
㈡ 攀登比珠穆朗玛更高的山峰，数据存储技术的突破之路
文： 科技 商业 于洪涛
在物理世界，山峰是自然力量的象征；而在数字世界里，数据则是智慧力量的来源。
或许正是因为如此，华为将其聚焦在数据基础技术的科研大奖命名为Olympus Mons，即奥林帕斯大奖，专门用于重奖那些在数据存储领域实现技术突破的科研工作者。
设立奖项只是一种形式。在奥林帕斯大奖的背后，是华为通过汇聚产学研各方能力，来推动数据技术实现突破性发展的雄心，从而为数字经济发展提供更好的数据基础设施。
随着数字化时代的到来，数据的价值越来越突出，正在日益成为国家、企业、甚至个人的核心资产。
与传统经济相比，数字经济的本质就是数据的流通，数据也成为智能 社会 的主要生产要素。IDC的调研显示，2020年全球共创造了59ZB的数据，到2025年则将达到163ZB。
如此巨量的数据资产，需要经过数据采集、数据存储、数据分析等流程才能产生价值，其中数据存储无疑是基础。在数据中心里，存储也与计算和网络一道，成为关键基础设施，为整个数字化进程提供支持。
在数据量高速成长的同时，数据的形态也日益多样化，视频、图片、音频等非结构化数据已经成为数据的主体。这些复杂的数据要想充分发挥价值，就需要更加高效的数据存储和数据管理。
有统计显示，如今只有2%的数据被保存，保存下来的数据也只有10%得到分析利用。华为数据存储与机器视觉产品线总裁周跃峰介绍说，数据在企业数字化转型中扮演着越来越重要的角色，然而企业却面临海量数据存不下、流不动、管不好的问题。
为了满足客户日益增长的数据存储需求， 华为主张构建端到端的数据能力，包括计算、存储、利用和AI等能力，让数据在全生命周期内实现每比特价值最大，每比特成本最优。
华为的努力，已经收到了成效，如今越来越多的政企使用华为的数据存储解决方案，来实现对数据资产的管理。
甘肃敦煌研究院，正在利用华为的海量存储解决方案，通过 计算机技术和数字图像技术，实现敦煌石窟文物的永久保存、永续利用。
然而，整个敦煌莫高窟拥有735个洞窟、4.5万平方米壁画、2415尊泥质彩塑，要把这么多文物数字化，达成构建数字敦煌博物馆的目标，意味着需要大量的投资和海量的存储设备。 显然，要想解决这一问题，仅靠华为自身的努力还不够，而需要各个方面的共同参与，通过打造产业技术生态，来实现存储技术的新突破。这也正是华为设立“奥林帕斯奖”的初衷。
据了解，华为“奥林帕斯奖”，每年都聚焦于数据领域的两个主要技术难题来寻求解决方案。在去年底的全球数据存储教授论坛上，第二届的“2021年奥林帕斯悬红”两大难题已经确定：一是构建每比特极致性价比的数据存储，二是实现下一代存储产业根技术突破。对于每个难题，华为都给出了高达100万元的悬红，
华为希望通过“奥林帕斯奖”的设立，与学术界在 Cloud-Oriented多云存储服务、Data-Centric新型数据应用存储系统、AI-Driven存储软件架构、创新体系架构等技术方向共同攻坚，构筑更好的数据存储系统。
我们都知道，妨碍电动 汽车 推广普及的主要制约因素是电池的能量密度，其决定了电动 汽车 的可用性。在数据中心里，数据的存储密度则将成为未来的核心挑战，决定着我们智能 社会 的成色。
科学家们已经明确了下一步的发展目标：在有限的资源下实现100x性能密度和100x容量密度的数据存储。要实现存储能力的提升，压缩算法是核心技术之一，可以降低 数据的存储成本，帮助用户缓解数据规模爆炸性增长带来的成本压力。
然而，作为存储技术中的重磅难题，压缩算法多年来未有突出成果。
为了突破压缩算法面临的瓶颈，激发数据压缩领域的活力，自2020年起，华为与莫斯科国立大学合作，举办全球数据压缩大赛，以促进数据压缩根技术的研究。
今年的第二届全球数据压缩大赛，邀请了压缩领域享有盛誉的技术专家担任评委；使用电子显微镜、遥感等高性能计算数据，更贴近前沿、更贴近实际场景。大赛设计了五种类型的数据集（赛事项目）：定量数据压缩、定性数据压缩、混合数据压缩、小块数据压缩和熵编码优化。
同时，大赛还增设了面向高校学生、难度相对较小的编码算法优化项目，以吸引更多校园算法高手参与比赛。在奖项设置方面，进一步体现多维激励，增设领先奖、特等奖和学生参与奖。
本届数据压缩大赛，已于6月15日正式开赛，接收参赛作品截止到11月底，将于12月底公布获奖结果。截至7月中旬，开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请。
伴随着奥林帕斯大奖和全球数据压缩大赛相继进入第二届，“奥林帕斯”已经成为华为数据存储正在着力打造的新品牌，专门用来加强产学研合作，联合学界一起推动数据存储产业的进步。
从第一届奥林帕斯大奖得主那里，我们已经看到科研界在数据技术创新领域的突破。
获得 百万悬红大奖的清华大学舒继武老师团队的“持久性内存存储系统构建与关键技术”， 创新地提出了持久性内存文件系统与键值存储的设计方法和分布式持久性共享内存框架，攻克了其数据结构、内存管理、一致性与安全等方面的一系列难题，解决了基于新型内存介质的高效数据存储问题。
此外，上海交通大学的陈榕团队的 “基于新型异构硬件的高效数据处理系统”， 华中 科技 大学的冯丹团队的 “NVM（新型非易失存储）高效可靠技术”，也具有较高的创新性和先进性， 具备产业价值和应用前景。
同样，在第一届 全球数据压缩大赛上，也涌现出了很多令人瞩目的成果。
比如获奖选手Peter Thamm设计的pglz算法在压缩率和性能上，打破了快速压缩算法的一般认知，指引了压缩算法优化方向；Konstantinos Agiannis的参赛算法，在文本场景测试中的压缩率和压缩性能，均超过业界公认的标杆算法；Andreas Debski的快速图像压缩算法，达到了业界公认标杆算法120%的压缩率，展现了深厚的图像压缩算法功底。
过去一年的成功，也让我们对今年的 “奥林帕斯”有了更高的期待。对这个太阳系最高峰的攀登，意味着整个数据存储技术领域的参与者，首次能够团结一致，共同牵引基础理论研究方向，突破关键技术难题，加速科研成果产业化，实现产学研合作共赢。
在此进程中，华为一方面发挥了产业引领者的角色，大力推动产学研的合作进程；另一方面也积极投身其中，通过 Data Fabric、智能存储、内存型存储、数据缩减、视频存储等五大创新实验室，通过4000多名研发工程师的协同努力，围绕下一代存储的介质、网络、架构和管理等进行系统化创新。
我们也有理由相信，通过全球、全领域的协同创新，我们一定能够迎来数据存储技术的突破，通过技术重构实现更好的数据存储效能，让全世界共享数字技术红利，进而推动千行百业的智能化升级。
㈢ 详解大数据存储：哪些问题最容易出现
数据是重要的生产要素
信息时代，数据俨然已成为一种重要的生产要素，如同资本、劳动力和原材料等其他要素一样，而且作为一种普遍需求，它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果，尽可能的降低成本，提高产品质量、提高生产效率以及创造新的产品。例如，通过分析直接从产品测试现场收集的数据，能够帮助企业改进设计。此外，一家公司还可以通过深入分析客户行为，对比大量的市场数据，从而超越他的竞争对手。
存储技术必须跟上
随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。
从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。
容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。
“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。
延迟问题
“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。
有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。
并发访问 一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。
㈣ 华为突破分布式数据库和存储技术，打通数字化转型“雄关漫道”
2019年，我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段，需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出：IDC自2014年提出数字化转型以来，看到企业在数字化转型层面已经投入了大量人力物力，但是效果并不理想，有一些企业已经成功屹立在潮头，有一些企业在向上游进发，还有一些企业只能在浪潮的挟裹中被动前行。
对于企业来说，数字化转型是“雄关漫道”。IDC认为，目前阶段来看，企业亟待解决的是数字化能力提升，包括：与业务的深入结合能力；数据处理和挖掘能力；以及IT技术运营和管理能力。特别是数据处理和挖掘能力，因为数字化转型推进企业从以流程为核心向以数据为核心转型，对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提，对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高，企业IT技术运营和管理能力是提升企业“IT生产力”的关键。
攻关数字化转型的“雄关漫道”，需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化，智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合；智能主要指平台智能化和智能化能力输出；可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的，就是新一代分布式企业级技术。
2019年5月15日，华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0，作为新一代数据基础设施，诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示，千行百业正在加速智能化进程，越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施，加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来，这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中，保证数据存储、调用等操作的高可靠、高可用、高稳定，特别是满足金融级事物处理的ACID（原子性、一致性、隔离性和耐久性）要求，为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移，数据库技术也面临转型。
2018年，基于云计算技术的分布式数据库成为了业界的热点。简单理解，云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务，要分散到上百甚至上千台X86服务器上，而且还可能跨数据中心操作，挑战可想而之。特别是在线支付等金融级业务，不能在断网或网络连接有问题时出错，也不能因响应速度慢而影响用户体验。
2018年8月，中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”，与业界厂商和用户共商核心数据库分布式转型之路，同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进，为分布式数据库进入企业关键业务系统，提供了产业化支撑。而华为作为企业ICT解决方案供应商，早在2012年就开始研发面向大数据分析的数据仓库，在基于传统关系型数据库SQL引擎和事务强一致性等基础上，进行了分布式、并行计算的改造，历时6年打造了面向PB级海量数据分析的分布式数据库。
在OLAP数据仓库之外，华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年，华为与招商银行合作成立了分布式数据库联合创新实验室，研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
本次发布的GaussDB数据库新品包括：联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节，可实现基于AI的自调优、自诊断自愈、自运维，让数据库更高效、更智能，引领数据库架构的发展。
更进一步，本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构，华为引入AI管理和智能加速能力，率先推出了智能服务器FusionServer Pro；基于ARM64打造了业界性能最强的TaiShan服务器；基于Ascend芯片的Atlas智能计算，实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合，大幅提升数据库性能。
汪涛强调，作为全球首款AI-Native数据库，GaussDB有两大革命性突破：第一，首次将人工智能技术引入数据库的全生命周期流程，实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下，基于最优化理论，首创深度强化学习自调优算法，把业界平均性能提升60%。第二，支持异构计算，充分发挥X86/ARM/GPU/NPU多样性算力优势，最大化数据库性能，在权威标准测试集TPC-DS上，华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
在以云计算为代表的分布式计算环境中，数据管理解决方案除了需要分布式数据库外，为了更好的扩缩容以及满足多样化数据存储需求，计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构，就是要支持计算、存储分离和多租户等架构设计要求。
GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库，本次发布的FusionStorage 8.0则是分布式存储架构，创新地实现一套系统同时支持块、文件、对象、HDFS协议，1套存储支持4类存储能力，适用于全业务场景混合负载，最终让“一个数据中心一套存储”成为可能。
IDC发布的《中国软件定义存储（SDS）及超融合存储（HCI）系统市场季度跟踪报告，2018年第四季度》显示，2018年，软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升，分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可，在2018年中国软件定义存储市场排名第一。
FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速，使IOPS提升 20%，结合华为AI Fabric无损网络，时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累，FusionStorage 8.0在SPC-1的性能测试中，单节点性能达到了16.8万IOPS以及1ms以内时延，成为承载企业关键应用的新选择。
此外，通过华为云的云上训练及本地AI芯片，FusionStorage 8.0将智能管理贯穿业务使用的全生命周期，如业务上线前对存储资源的规划，使用过程中的风险预判及故障定位，大幅提升存储效率，帮助行业客户应对智能时代的数据新挑战。
汪涛在发布会上强调，新一代智能分布式存储FusionStorage 8.0通过重定义存储架构，从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升，引领存储智能化。首先，“Storage for AI”通过融合共享，让AI分析更高效。其次，“AI in Storage”率先将AI融入存储全生命周期管理，从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商，辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展，辽宁移动关键数据库的应用也向云化方向发展，分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后，首先在边缘开发测试业务小规模试点分布式存储，进行了大量的实验和测试后性能和可靠性都达到了预期，最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性，顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作，助力辽宁移动的存储架构迈入新的 历史 阶段。
值得一提的是，华为分布式数据库与华为分布式存储深度结合，把数据库的操作下沉到存储节点，极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术，华为帮助用户提升数据中心的吞吐量，提升网络应用的可伸缩性，并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外，华为也积极与客户、伙伴在数据库与存储领域，从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面，华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作；在平台和工具层面，华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新；在标准组织和社区层面，华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
总结来说，华为全线分布式数据库和分布式存储产品的发布，是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合，能消除企业各业务系统数据孤岛，构建面向行业场景的数据建模、分析和价值挖掘能力，对多源异构的数据进行汇聚、整合和分析，形成统一的全量数据和数据底座，实现数据价值挖掘和共享。而基于AI的智能化，可对基础设施进行高效的管理，为行业应用开发和迭代赋能，全面帮助企业突破关键应用上云的“雄关漫道”。（文/宁川）
㈤ 多媒体在数据库中如何存储
SQL Server可以存储，类型可以用image。但是建议不要这样做，因为电影网站需要在线观看，存储在数据库中不方便。
㈥ 磁带介质存储数据安全管理
唐卫
(中国地质调查局广州海洋地质调查局)
摘要 随着数据量的增长，大容量数据存储介质的需求大幅增加。数据存储也成为大家共同关注的问题。磁带存储技术是一种安全、可靠、易使用和相对投资小的备份方式，是档案存储备份之首选。但对长时间保存的磁带怎样保障其数据的安全性是档案行业最为关注的重要问题之一。本文从磁带保存、转储等实际管理过程中遇到的问题出发，介绍怎样保障存储在磁带介质上数据的安全并提出初步建议。
关键词 磁带 数据存储 数据安全
随着社会的发展，档案资料的存储形式呈现多样化，电子数据的存储问题越来越突出，电子文件长期安全保存问题已引起我们的高度重视。磁带存储技术是一种安全、可靠、易使用和相对投资小的备份方式，是档案存储备份之首选。本文从磁带保存、转储等实际管理过程中遇到的问题出发，介绍怎样保障存储在磁带介质上数据的安全并提出初步建议。
1 磁带介质简介
1.1 磁带介质的特点
磁带是一种顺序存取的存储介质，与磁盘相比，磁带的价格很便宜。除了驱动器和介质成本，磁带保存在库中，不消耗电能，不需要使用昂贵的数据中心存储空间。
磁带具有存储海量数据的绝对优势，虽然磁带读取速度相对较慢，但磁带技术的发展，在大文件、大容量数据的存取上具有较大优势，速度甚至比磁盘还要快。在数据安全性方面，磁带可以离站携带，并可以离线保护，以免数据受到在线攻击，因此使用磁带进行离线备份的优势就逐渐凸显出来。另外，磁带具有30年的有效期(视存储环境而定)，非常可靠，具有高级伺服系统、一流的磁头和介质模式、写入验证后的读取功能等。磁带应当是档案存储备份之首选介质。《GB/T 18894—2002 电子文件归档与管理规范》中规定，磁带是档案存储载体的形式之一。
1.2 磁带的类型
在选择合适的归档存储介质时，有许多因素需要考虑，如为什么需要归档? 归档数据的属性、数据量大小、归档数据需要保存的期限、访问档案的可能性和频率以及需要的搜索能力、预算如何等。
目前根据要储存的数据特点以及发展的需要，主要磁带类型有：8mm磁带、DV磁带、3480、3490、3590 B、3592等。
1.3 磁带存储环境要求
磁带存储应远离强磁场、强热源，并与有害气体隔离，环境温度选定合适的范围。长期保存的磁带，库房温度应控制在15～22℃，库房相对湿度应控制在40%～60%，同时磁带应保存在清洁的环境和洁净的空气中，注意防灰尘和有害气体。另外，磁场对磁带影响极大，据资料报道，磁带档案上的信息随磁场强弱和距离而变化。总之，应严格按照磁带的特点和对环境的特殊要求，建立良好的保存环境。
2 广州海洋地质调查局磁带存储数据安全现状及原因分析
2.1 安全现状
到目前为止，广州海洋地质调查局(以下简称广海局)馆藏有各类原始电子数据和成果电子数据的磁带2万多盒。广海局配有精密空调移机加湿机等设备，从环境上保障磁带储存要求，还配备有专用的倒带机，对磁带进行读带和检测评价。根据制度要求，广海局每年按照要求对磁带进行抽检，检验磁带是否正常，及时发现问题，及时进行数据备份，对长时间保存的磁带进行评价和转储工作。虽然广海局采取了一定的保障措施，但仍有部分磁带因保存年代久远、野外以及早期库房存放等因素，导致其某些数据发生损坏、丢失等问题。
2.2 原因分析
磁带发生损破或数据丢失问题的主要表现为磁带层间粘连、磁带盒物理结构损坏、磁带数据丢失等。这些问题磁带如不能有效处理，会使得磁带机加载时磁带的张力系数大于磁带伺服系统释放的反张力系数，造成张力与反张力不能匹配，严重时会导致磁带拉伸变形后果或现象。根据广海局的实际工作情况，主要包括下列情况：
1)早期库房软硬件环境无法达到磁带标准存放要求。
2)磁带使用年限过长，个别磁带磁粉脱落导致磁性减弱或数据丢失。
3)磁带保存年限过久导致其物理结构老化，个别部件运行过程无法恢复至正常位置。
对于当前出现的问题，解决的方法之一就是转录。
3 磁带存储数据的转录
3.1 转录的意义和作用
磁带存储数据的有效期视存储环境而定，另外由于磁带存储介质的发展，从最早的九轨磁带、3480、3490、3590到目前普遍使用的到3592磁带，如果只是单纯地进行读带、倒带等基本工作，很难保障数据的长久安全，很有必要将原来的磁带存储介质转储成当前比较普遍使用的存储介质，以保证磁带数据的存储安全。
在保管的磁带中，有些磁带虽然经过多次清洗和倒带处理，都不能正确地被读取，造成了数据的丢失。为了解决磁带保管年代久远、磁粉脱落等客观原因，造成数据不完整等问题，应该定期对磁带存储数据进行数据转录工作。
3.2 转录前检查
核对工作包括磁带编号、文件个数、MD5码(每盘磁带转储后系统会生成一个MD5码，如数据在上传、下载等过程中数据发生变化时，此MD5码会发生改变系统会自动报警)等一系列数据内容进行一致性检查。对此次项目所有磁带核对后，除原始磁带本身存在问题的磁带外(此类磁带经过多种恢复处理手段后，只有个别数据块无法读取)，其余磁带检查均与原始磁带内实际数据一致。
3.3 磁带的转录过程
在磁带转录过程中，采用数据拷贝、数据解析、检测处理以及恢复处理等模块对磁带数据进行相关的分析以及处理，并按照MD5 模块格式进行数据校验检测等。对于二进制文本文件，数据检查工具有：TXT记事本或写字板文件；FlexHEX.exe软件等。对于海底摄像磁带数据检查工具：采用流行的播放工具Media Player软件，QQ影音，Quicktime Player等播放软件。
在保管的磁带中，原始数据磁带格式为SEG-D和SEG-Y，成果磁带数据格式为SEG-Y，按照《SY/T6550—2003 地震勘探数据转储》要求，原始磁带应将SEG-D 格式解编后转换为SEG-Y 格式输出。但在实际中发现SEG-D格式数据解编后会丢失部分数据头段信息。因此，为保持数据的完整性，原始磁带数据(SEG-D)转录时不进行数据格式转换，所有磁带做无损拷贝转储。
3.4 磁带转录输出存储
磁带库现有的磁带类型包括3480、3490、3590及8mm磁带。目前广海局野外船只上采集系统配置的是IBM 3592磁带机，为与野外磁带类型互相兼容，选用3592磁带作为磁带转储的输出磁带介质，这样在磁带机及磁带的配置选型方面都是比较合理的，同时为了数据存储安全进行了双备份磁带输出。
4 结论
磁带作为数据存储的主要载体，在日常管理中必须加强安全管理工作，对磁带存储介质的定期检查工作，如发现问题应及时采取恢复措施。为保证磁带数据的存储安全，磁带转录工作将是一个常态的过程。只有科学有效地正确理解和掌握磁带的使用、管理、清洁和存储环境等方面要求，才能保证磁带的长久安全和有效。
参考文献
[1]张晶晶.论磁带存储系统在档案备份存储中的适用性[J].浙江档案，2008(2).
[2]王伟红.对做好新型载体海洋档案保护技术工作的几点思考[J].海洋信息，2010(4).
[3]秦书凰.数字磁带在档案数字化存储中的应用技巧[J].机电兵船档案，2004(5).
㈦ 大数据时代 安防行业如何保证数据存储安全
作为大数据时代海量数据的来源之一，安防视频监控产生了巨大的信息数据。特别是近几年随着平安城市、智能交通、智能楼宇等行业的快速发展，大集成、大联网推动安防行业进入大数据时代。
安防行业大数据的存在已经被越来越多的人熟知，特别是安防行业海量的非结构化视频数据，以及飞速增长的特征数据(卡口过车数据、人像抓拍数据、异常行为数据等)，安防行业的数据存储、数据安全等一系列问题，吸引着人们对安防行业的关注。
大数据引发安防行业的数据存储、数据安全问题
对于安防行业，监控技术如今正面临日新月异的变革，模拟视频监控正在向IP网络监控转变，巨大转变的同时对数据存储、数据安全性提出了更高的要求。我们探讨数据安全，包括产品本身的物理安全和产生数据的安全。所以，大数据时代引发安防行业数据存储、数据安全的问题有以下几点：
第一、基础设备的风险：包括监控中心的存储设备、服务器和前端节点设备的安全性、网络设备的安全性、传输线缆的安全性等。设备的安全可靠是整个大数据安防系统安全运行的基础。
第二、信息存取的风险：包括用户非法访问、数据丢失、数据被篡改等。系统信息的安全，主要运用各种加密技术、存储技术、及备份方案来达到系统信息的安全。
第三、信息在网络上传输的风险：包括视频信息、录像数据信息、用户信息等在传输过程中保密性、完整性的保障以及传输链路上的节点设备的安全。另外还包括前端采集设备、社会监控资源接入公安监控专网的安全。
第四、系统运行的风险：包括接入设备的识别和认证、设备运行故障、软件病毒、恶意代码、以及设备控制的优先级调度等。系统运行时的风险控制主要依靠视频监控软件平台来保障，该软件平台可以完成设备管理、故障监控、访问控制、用户管理、鉴权机制等一系列的功能来保障整个系统的安全运行。
大数据催生安防行业存储方式的变革
由于国内视频监控市场每年都在以超过20%的速度增长，随着平安城市等大型联网监控项目的普遍建设，高清IP监控产品得到广泛应用，系统点位容量和行业需求不断激增，越来越多的用户认识到安防监控平台软件是整个系统综合实力的重要表现。
在功能上：绝大多数平台软件都具备视频预览、录像回放、设备管理、地图显示等功能。
在标准上：主流平台软件均支持业界成熟标准，除了通过私有协议兼容多种主流品牌的设备接入外，ONVIF和GB/T28181已经成为平台兼容前端以及不同品牌平台互联的主要依据。
在规模上：虽然大多宣称支持上万路摄像头的大型组网，但由于各家软件内部底层设计和存储转发转码等技术水平差异，还需要实际应用案例和运营状况的事实支撑。
毋庸置疑，监控管理平台软件已经树立了在系统中的核心价值，并得到从用户、工程商到厂商的广泛认可，特别是以IP监控和行业解决方案为市场战略的今天，很多硬件生产厂商纷纷开始重视平台软件产品的配套，或合作或自研，以提高前后端产品的一致性和完整性。
治安监控平台软件面临尴尬境遇
从监控技术的发展历史来看，治安监控大致经历三代系统的发展历程：第一代是模拟闭路电视监控(CCTV)系统，第二代是数字化监控系统，第三代是网络视频监控系统。今天我们谈乱的网络视频监控系统。
谈及系统管理，首先不得不先谈谈视频监控系统产品的市场现状分析及预测。目前，视频监控产品所占安防市场比例大约在40～50%之间。传统国外监控企业产品在市场中的份额不断缩减，民族品牌的数字化监控产品逐步占据市场。而仅仅几年的光景，网络型的监控产品发展过速，网络存储设备已在悄然改变着DVR的市场应用状况。
随着城市报警监控网络建设和平安城市建设的深入，平台软件技术加速发展，IT行业中的实力企业大举进入安防行业。安防系统智能化、集成化的应用、大安防理念的推进，导致安防服务的内容和形式都发生了变化，围绕终端用户的个性化解决方案的服务理念也被更多企业认知和实践，安防行业是服务行业的定位和服务功能的作用越来越清晰。这一切都强烈冲击着传统安防应用格局和方式，IT行业的实力企业涌入安防，也快速带动了安防行业的革新的变化，从而导致市场形态的巨大变化。
而在全数字化的浪潮下，治安监控管理平台软件除了最基本的音视频操作功能以外，面临的主要问题是要对大型网络环境下分散场所的监控设备统一管理，对统一系统不同类型的视频采集设备、报警设备和门禁设备进行统一管理，对不同部门不同权限用户不同业务需求进行统一管理，构建面向应用服务的综合管理平台软件。
重要性不言而喻，但在国内安防行业中却面临着认知度不足、市场规模不大、价值无法充分体现等问题。近年来，平台软件虽然也有较大发展，但跟整个行业市场相比，还存在一定差距，主要体现在：
一、缺乏持续健康的生存环境。重硬件轻软件，很多厂商和工程商都把软件作为硬件销售的配套附属产品，基本定位于能用就行。在产品规划和技术突破上认识不足，缺乏长期投入；对用户需求响应不及时，缺乏内在动力。
二、平台软件为项目而主，难以产业化。很多专业软件公司都依赖大型项目，以满足用户需求为核心，通过投入大量研发资源不断迭代开发，打造为该项目量身定做的软件系统，形成技术壁垒和封闭垄断，同类产品难以互通和替换。
三、对行业化有心无力，经验不足。由于大多数安防厂商从硬件产品起步，软件基因匮乏，从顶层设计到模块化开发，缺乏统筹规划和项目管理，所以只能负责视频接入转发存储部分的软件开发，由第三方软件开发公司负责业务功能。
四、长期目标不明确，软件质量不高。平台软件的产品质量依赖以下因素：高效可靠的开发流程保障、对行业业务的深刻理解、从用户角度设计产品应用的易用性和可用性。目前安防软件企业水平参差不齐，虽然有一些针对硬件和软件整体集成实施交付的企业，但应用范围及规模化程度都不大，高水平的专业平台提供商数量不多。
基于以上原因，目前市场上的综合管理平台软件，要么功能貌似很多但不实用，要么架构复杂，成本居高不下，要么运行所需环境简单，无法提供健壮的扩展性，要么操作复杂难以上手，凡此种种，不一而足。
视频监控管理平台的市场发展趋势
从宏观上看，安防平台软件未来的两大发展方向，一是针对安保监控内部的横向集成，将视频监控、报警处理、门禁控制、地理信息等系统资源统一管理；二是安保系统与用户其他其他业务系统的纵向集成，扩大监控在安全生产、社会治安等各个层面的应用，提高安全管理业务的水平。
具体看，摄像头数量多、监控区域范围大、系统架构复杂、业务面宽等正成为软件平台面临的主要问题，带来如下趋势：
趋势一、联网共享。不仅是单一系统内的摄像机头数量激增，而且多个系统之间的图像信息也需要互通复用。
趋势二：兼容开放。平台软件与监控设备特别是摄像头的兼容性是长期存在的矛盾，由于没有统一标准，现有的产品专用或是软硬件被绑定，不能实现兼容。
趋势四：智能应用。随着高清视频技术的成熟和网络链路建设的加速，视频监控已经从看得发展到看得清，下一步就是看得懂。
趋势五：人性化交互。视频监控软件面对的是许多不熟悉软件甚至不太懂计算机的安保人员，对专业术语、界面结构及菜单布置的熟悉掌握有一定难度，设计不合理的软件操作不符合用户习惯，影响使用情绪，难以得到用户认同。
趋势六：安防行业化渐渐的发展，使安防系统的使用也朝着业务部门多元化、需求多样化、管理机构的多层次，必须选用支持多业务应用、灵活的系统架构、易于管理维护的管理平台软件来运行和操作，不同的行业其应用软件也有较大的区别。安防软件逐渐的大多数业内人士认可，未来发展走向融合、开放。
以上由物联传媒转载，如有侵权联系删除