‘壹’ 存储器的发展史
存储器设备发展
1.存储器设备发展之汞延迟线
汞延迟线是基于汞在室温时是液体，同时又是导体，每比特数据用机械波的波峰（1）和波谷（0）表示。机械波从汞柱的一端开始，一定厚度的熔融态金属汞通过一振动膜片沿着纵向从一端传到另一端，这样就得名“汞延迟线”。在管的另一端，一传感器得到每一比特的信息，并反馈到起点。设想是汞获取并延迟这些数据，这样它们便能存储了。这个过程是机械和电子的奇妙结合。缺点是由于环境条件的限制，这种存储器方式会受各种环境因素影响而不精确。
1950年，世界上第一台具有存储程序功能的计算机EDVAC由冯.诺依曼博士领导设计。它的主要特点是采用二进制，使用汞延迟线作存储器，指令和程序可存入计算机中。
1951年3月，由ENIAC的主要设计者莫克利和埃克特设计的第一台通用自动计算机UNIVAC-I交付使用。它不仅能作科学计算，而且能作数据处理。
2.存储器设备发展之磁带
UNIVAC-I第一次采用磁带机作外存储器，首先用奇偶校验方法和双重运算线路来提高系统的可靠性，并最先进行了自动编程的试验。
磁带是所有存储器设备发展中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存，近年来，由于采用了具有高纠错能力的编码技术和即写即读的通道技术，大大提高了磁带存储的可靠性和读写速度。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录（数据流）技术、DLT技术以及比较先进的LTO技术。
根据读写磁带的工作原理，磁带机可以分为六种规格。其中两种采用螺旋扫描读写方式的是面向工作组级的DAT（4mm）磁带机和面向部门级的8mm磁带机，另外四种则是选用数据流存储技术设计的设备，它们分别是采用单磁头读写方式、磁带宽度为1/4英寸、面向低端应用的Travan和DC系列，以及采用多磁头读写方式、磁带宽度均为1/2英寸、面向高端应用的DLT和IBM的3480/3490/3590系列等。
磁带库是基于磁带的备份系统，它能够提供同样的基本自动备份和数据恢复功能，但同时具有更先进的技术特点。它的存储容量可达到数百PB，可以实现连续备份、自动搜索磁带，也可以在驱动管理软件控制下实现智能恢复、实时监控和统计，整个数据存储备份过程完全摆脱了人工干涉。
磁带库不仅数据存储量大得多，而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中，磁带库通过SAN（Storage Area Network，存储区域网络）系统可形成网络存储系统，为企业存储提供有力保障，很容易完成远程数据访问、数据存储备份或通过磁带镜像技术实现多磁带库备份，无疑是数据仓库、ERP等大型网络应用的良好存储设备。
3.存储器设备发展之磁鼓
1953年，随着存储器设备发展，第一台磁鼓应用于IBM 701，它是作为内存储器使用的。磁鼓是利用铝鼓筒表面涂覆的磁性材料来存储数据的。鼓筒旋转速度很高，因此存取速度快。它采用饱和磁记录，从固定式磁头发展到浮动式磁头，从采用磁胶发展到采用电镀的连续磁介质。这些都为后来的磁盘存储器打下了基础。
磁鼓最大的缺点是利用率不高， 一个大圆柱体只有表面一层用于存储，而磁盘的两面都利用来存储，显然利用率要高得多。 因此，当磁盘出现后，磁鼓就被淘汰了。
4.存储器设备发展之磁芯
美国物理学家王安1950年提出了利用磁性材料制造存储器的思想。福雷斯特则将这一思想变成了现实。
为了实现磁芯存储，福雷斯特需要一种物质，这种物质应该有一个非常明确的磁化阈值。他找到在新泽西生产电视机用铁氧体变换器的一家公司的德国老陶瓷专家，利用熔化铁矿和氧化物获取了特定的磁性质。
对磁化有明确阈值是设计的关键。这种电线的网格和芯子织在电线网上，被人称为芯子存储，它的有关专利对发展计算机非常关键。这个方案可靠并且稳定。磁化相对来说是永久的，所以在系统的电源关闭后，存储的数据仍然保留着。既然磁场能以电子的速度来阅读，这使交互式计算有了可能。更进一步，因为是电线网格，存储阵列的任何部分都能访问，也就是说，不同的数据可以存储在电线网的不同位置，并且阅读所在位置的一束比特就能立即存取。这称为随机存取存储器（RAM），在存储器设备发展历程中它是交互式计算的革新概念。福雷斯特把这些专利转让给麻省理工学院，学院每年靠这些专利收到1500万～2000万美元。
最先获得这些专利许可证的是IBM，IBM最终获得了在北美防卫军事基地安装“旋风”的商业合同。更重要的是，自20世纪50年代以来，所有大型和中型计算机也采用了这一系统。磁芯存储从20世纪50年代、60年代，直至70年代初，一直是计算机主存的标准方式。
5.存储器设备发展之磁盘
世界第一台硬盘存储器是由IBM公司在1956年发明的，其型号为IBM 350 RAMAC（Random Access Method of Accounting and Control）。这套系统的总容量只有5MB，共使用了50个直径为24英寸的磁盘。1968年，IBM公司提出“温彻斯特/Winchester”技术，其要点是将高速旋转的磁盘、磁头及其寻道机构等全部密封在一个无尘的封闭体中，形成一个头盘组合件（HDA），与外界环境隔绝，避免了灰尘的污染，并采用小型化轻浮力的磁头浮动块，盘片表面涂润滑剂，实行接触起停，这是现代绝大多数硬盘的原型。1979年，IBM发明了薄膜磁头，进一步减轻了磁头重量，使更快的存取速度、更高的存储密度成为可能。20世纪80年代末期，IBM公司又对存储器设备发展作出一项重大贡献，发明了MR（Magneto Resistive)磁阻磁头，这种磁头在读取数据时对信号变化相当敏感，使得盘片的存储密度比以往提高了数十倍。1991年，IBM生产的3.5英寸硬盘使用了MR磁头，使硬盘的容量首次达到了1GB，从此，硬盘容量开始进入了GB数量级。IBM还发明了PRML（Partial Response Maximum Likelihood）的信号读取技术，使信号检测的灵敏度大幅度提高，从而可以大幅度提高记录密度。
目前，硬盘的面密度已经达到每平方英寸100Gb以上，是容量、性价比最大的一种存储设备。因而，在计算机的外存储设备中，还没有一种其他的存储设备能够在最近几年中对其统治地位产生挑战。硬盘不仅用于各种计算机和服务器中，在磁盘阵列和各种网络存储系统中，它也是基本的存储单元。值得注意的是，近年来微硬盘的出现和快速发展为移动存储提供了一种较为理想的存储介质。在闪存芯片难以承担的大容量移动存储领域，微硬盘可大显身手。目前尺寸为1英寸的硬盘，存储容量已达4GB，10GB容量的1英寸硬盘不久也会面世。微硬盘广泛应用于数码相机、MP3设备和各种手持电子类设备。
另一种磁盘存储设备是软盘，从早期的8英寸软盘、5.25英寸软盘到3.5英寸软盘，主要为数据交换和小容量备份之用。其中，3.5英寸1.44MB软盘占据计算机的标准配置地位近20年之久，之后出现过24MB、100MB、200MB的高密度过渡性软盘和软驱产品。然而，由于USB接口的闪存出现，软盘作为数据交换和小容量备份的统治地位已经动摇，不久会退出存储器设备发展历史舞台。
6. 存储器设备发展之光盘
光盘主要分为只读型光盘和读写型光盘。只读型指光盘上的内容是固定的，不能写入、修改，只能读取其中的内容。读写型则允许人们对光盘内容进行修改，可以抹去原来的内容，写入新的内容。用于微型计算机的光盘主要有CD-ROM、CD-R/W和DVD-ROM等几种。
上世纪60年代，荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年，他们的研究获得了成功，1978年投放市场。最初的产品就是大家所熟知的激光视盘（LD，Laser Vision Disc）系统。
从LD的诞生至计算机用的CD-ROM，经历了三个阶段，即LD-激光视盘、CD-DA激光唱盘、CD-ROM。下面简单介绍这三个存储器设备发展阶段性的产品特点。
LD-激光视盘，就是通常所说的LCD，直径较大，为12英寸，两面都可以记录信息，但是它记录的信号是模拟信号。模拟信号的处理机制是指，模拟的电视图像信号和模拟的声音信号都要经过FM（Frequency Molation）频率调制、线性叠加，然后进行限幅放大。限幅后的信号以0.5微米宽的凹坑长短来表示。
CD-DA激光唱盘 LD虽然取得了成功，但由于事先没有制定统一的标准，使它的开发和制作一开始就陷入昂贵的资金投入中。1982年，由飞利浦公司和索尼公司制定了CD-DA激光唱盘的红皮书（Red Book）标准。由此，一种新型的激光唱盘诞生了。CD-DA激光唱盘记录音响的方法与LD系统不同，CD-DA激光唱盘系统首先把模拟的音响信号进行PCM（脉冲编码调制）数字化处理，再经过EMF（8～14位调制）编码之后记录到盘上。数字记录代替模拟记录的好处是，对干扰和噪声不敏感，由于盘本身的缺陷、划伤或沾污而引起的错误可以校正。
CD-DA系统取得成功以后，使飞利浦公司和索尼公司很自然地想到利用CD-DA作为计算机的大容量只读存储器。但要把CD-DA作为计算机的存储器，还必须解决两个重要问题，即建立适合于计算机读写的盘的数据结构，以及CD-DA误码率必须从现有的10-9降低到10-12以下，由此就产生了CD-ROM的黄皮书(Yellow Book)标准。这个标准的核心思想是，盘上的数据以数据块的形式来组织，每块都要有地址，这样一来，盘上的数据就能从几百兆字节的存储空间上被迅速找到。为了降低误码率，采用增加一种错误检测和错误校正的方案。错误检测采用了循环冗余检测码，即所谓CRC，错误校正采用里德－索洛蒙(Reed Solomon)码。黄皮书确立了CD-ROM的物理结构，而为了使其能在计算机上完全兼容，后来又制定了CD-ROM的文件系统标准，即ISO 9660。
在上世纪80年代中期，光盘存储器设备发展速度非常快，先后推出了WORM光盘、磁光盘（MO）、相变光盘（Phase Change Disk，PCD）等新品种。20世纪90年代，DVD-ROM、CD-R、CD-R/W等开始出现和普及，目前已成为计算机的标准存储设备。
光盘技术进一步向高密度发展，蓝光光盘是不久将推出的下一代高密度光盘。多层多阶光盘和全息存储光盘正在实验室研究之中，可望在5年之内推向市场。
7.存储器设备发展之纳米存储
纳米是一种长度单位，符号为nm。1纳米=1毫微米，约为10个原子的长度。假设一根头发的直径为0.05毫米，把它径向平均剖成5万根，每根的厚度即约为1纳米。与纳米存储有关的主要进展有如下内容。
1998年，美国明尼苏达大学和普林斯顿大学制备成功量子磁盘，这种磁盘是由磁性纳米棒组成的纳米阵列体系。一个量子磁盘相当于我们现在的10万～100万个磁盘，而能源消耗却降低了1万倍。
1988年，法国人首先发现了巨磁电阻效应，到1997年，采用巨磁电阻原理的纳米结构器件已在美国问世，它在磁存储、磁记忆和计算机读写磁头等方面均有广阔的应用前景。
2002年9月，美国威斯康星州大学的科研小组宣布，他们在室温条件下通过操纵单个原子，研制出原子级的硅记忆材料，其存储信息的密度是目前光盘的100万倍。这是纳米存储材料技术研究的一大进展。该小组发表在《纳米技术》杂志上的研究报告称，新的记忆材料构建在硅材料表面上。研究人员首先使金元素在硅材料表面升华，形成精确的原子轨道；然后再使硅元素升华，使其按上述原子轨道进行排列；最后，借助于扫瞄隧道显微镜的探针，从这些排列整齐的硅原子中间隔抽出硅原子，被抽空的部分代表“0”，余下的硅原子则代表“1”，这就形成了相当于计算机晶体管功能的原子级记忆材料。整个试验研究在室温条件下进行。研究小组负责人赫姆萨尔教授说，在室温条件下，一次操纵一批原子进行排列并不容易。更为重要的是，记忆材料中硅原子排列线内的间隔是一个原子大小。这保证了记忆材料的原子级水平。赫姆萨尔教授说，新的硅记忆材料与目前硅存储材料存储功能相同，而不同之处在于，前者为原子级体积，利用其制造的计算机存储材料体积更小、密度更大。这可使未来计算机微型化，且存储信息的功能更为强大。
以上就是本文向大家介绍的存储器设备发展历程的7个关键时期
‘贰’ 三大技术推动大数据分析平台的发展
三大技术推动大数据分析平台的发展
在互联网技术横行的时代，数据即价值，数据即资源。大数据分析工具的职责就是规整数据，挖掘价值。因此，大数据分析平台的发展在一定程度上代表着大数据的发展。而在现阶段，云存储技术、感知技术、数据可视化技术成为大数据应用技术中不可或缺的组成部分。
云存储技术
大数据可以抽象的分为大数据存储和大数据分析，这两者的关系是：大数据存储的目的是支撑大数据分析。大数据存储致力于研发可以扩展至PB甚至EB级别的大数据分析平台；大数据分析关注在最短时间内处理大量不同类型的数据集。
根据着名的“摩尔定律”，18个月集成电路的复杂性就增加一倍。所以，存储器的成本大约每18-24个月就下降一半。这意味着云存储技术的潜力巨大，同时对于大数据分析平台而言意味着更大的数据存储量和功能更强的线上大数据分析平台。如国云数据开发的大数据魔镜云平台版本，实用且免费的设定让其迅速在中国数据市场占据了重要的一席。
数据抓取技术
现在大多数的大数据分析平台的数据抓取功能还停留在对固定数据库的数据处理和整合上。但是随着互联网技术的应用拓展，直接从互联网甚至是行为个体上直接抓取数据并非是不可能的，在技术上也是可行的。
大数据的采集和数据抓取技术的发展是紧密联系的。以传感器技术，指纹识别技术，RFID技术，坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。而随着智能手机的普及，感知技术可谓迎来了发展的高峰期。大数据分析平台未来极有可能整合数据抓取技术，变被动分析为主动寻找，从而迈上大数据分析技术发展的新高峰。
数据可视化技术
数据可视化技术是当下最热门的大数据应用数据，除了末端展示的需要，数据可视化也是数据分析时不可或缺的一部分，即返回数据时的二次分析。而数据可视化也利于大数据分析平台的学习功能建设，让没有技术背景和初学者也能很快掌握大数据分析平台的操作。
未来的大数据分析平台的承载平台也不可能固定在某一类平台，但是无论哪一类平台，数据分析和分析结果的末端展示都离不开数据可视化技术。其实与其说数据可视化技术是大数据应用技术发展的需要，不如说数据可视化技术简化了数据分析技术，从而让更多人可以走进大数据，使用大数据。
在大数据应用技术发展的历程中，还有许多技术伴随左右，但都没有以上者三大技术重要，因为它们直接勾勒了大数据分析平台的未来甚至是人类的未来。而绝知此事要躬行，要想了解大数据，还是要亲自参与，操作一些类似于大数据魔镜这样的新锐大数据分析平台，无论体验如何，你终将会从中学到很多。
‘叁’ 大数据时代的安防数据存储安全
大数据时代的安防数据存储安全
近几年随着平安城市、智能交通、智能楼宇等行业的快速发展，大集成、大联网推动安防行业进入了大数据时代。安防行业大数据的存在已经被越来越多的人熟知，特别是安防行业海量的非结构化视频数据，以及飞速增长的特征数据(卡口过车数据、人像抓拍数据、异常行为数据等)，带动了大数据的数据安全一系列问题，吸引着行业的关注。
大数据引发监控数据安全性问题突出
大数据的本质是系统通过处理采集到的所有数据，去提取其特征和共性的信息。通过大数据的处理使得所有的数据都有价值。通过大数据的处理，把传统认为没有价值的信息也能够产生非常有价值的信息，这就叫做数据挖掘。同样的数据摆在我们面前不同的挖掘方法，不同的挖掘目标可以为各种各样的业务的应用产生有价值的信息。对于安防行业，监控技术如今正面临日新月异的变革，模拟视频监控正在向IP网络监控转变，巨大转变的同时对安全性也提出了更高的要求。我们探讨数据安全，包括产品本身的物理安全和产生数据的安全。所以，大数据时代引发监控数据安全性问题有以下几点：
1、基础设备的风险：包括监控中心的存储设备、服务器和前端节点设备的安全性、网络设备的安全性、传输线缆的安全性等。设备的安全可靠是整个大数据安防系统安全运行的基础。
2、信息存取的风险：包括用户非法访问、数据丢失、数据被篡改等。系统信息的安全，主要运用各种加密技术、存储技术、及备份方案来达到系统信息的安全。
3、信息在网络上传输的风险：包括视频信息、录像数据信息、用户信息等在传输过程中保密性、完整性的保障以及传输链路上的节点设备的安全。另外还包括前端采集设备、社会监控资源接入公安监控专网的安全。
4、系统运行的风险：包括接入设备的识别和认证、设备运行故障、软件病毒、恶意代码、以及设备控制的优先级调度等。系统运行时的风险控制主要依靠视频监控软件平台来保障，该软件平台可以完成设备管理、故障监控、访问控制、用户管理、鉴权机制等一系列的功能来保障整个系统的安全运行。
基于以上4点，从存储设备的角度我们主要谈及前面两点。
大数据也催生监控存储方式变革
在一个时代下，必然会发生诸多变革。
视频监控的存储技术和介质从VCR模拟存储、DVR数字存储，逐渐向NVR、NAS、SAN等网络存储发展。而在存储方式上，主要有集中式存储和分布式存储两种。大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者。为此，我们关注点是，大数据下的信息安全问题将衍生新的机遇，提升安防的价值。
随着安防形势的复杂多变和大数据时代的来临，对视频录像文件分析的需求越来越多。视频监控系统中也越来越多的使用了高级的数据存储设备和系统，例如专业的磁盘阵列系统等等。同理，安防行业使用这些专业存储设备时，需要充分了解这些软硬件的特性，而不要仅仅把它们当作超级外接大硬盘来使用。在系统设计和实施过程中可以充分利用这些设备中自带的一些数据保护软件来保护自己的数据。常用和流行的数据安全保护技术主要有以下七种：
磁盘阵列：磁盘阵列是指把多个类型、容量、接口甚至品牌一致的专用磁盘或普通硬盘连成一个阵列，使其以更快的速度、准确、安全的方式读写磁盘数据，从而加快数据读取速度、提高数据保存的安全性。
SAN：SAN允许服务器在共享存储装置的同时仍能高速传送数据。这一方案具有带宽高、可用性高、容错能力强的优点，而且它可以轻松升级，容易管理，有助于改善整个系统的总体成本状况。我们推荐FCSAN方案，它能为大数据时代的视频监控，相较于IPSAN方案，大幅减少存储设备台数，从而大幅降低成本，在数据安全方面由于自身设备超高的稳定性和性能来得以保障。
数据备份：备份管理包括数据备份的计划，自动操作，备份日志的保存。
双机容错：双机容错的目的在于保证系统数据和服务的在线性，即当某一系统发生故障时，仍然能够正常的向网络系统提供数据和服务，使得系统不至于停顿，双机容错的目的在于保证数据不丢失和系统不停机。
NAS解决方案通常配置为作为文件服务的设备，由工作站或服务器通过网络协议和应用程序来进行文件访问，大多数NAS链接在工作站客户机和NAS文件共享设备之间进行。这些链接依赖于企业的网络基础设施来正常运行;NAS提供视频监控系统后期视频文件批量处理分析的基本可能。
数据迁移：由在线存储设备和离线存储设备共同构成一个协调工作的存储系统，该系统在在线存储和离线存储设备间动态的管理数据，使得访问频率高的数据存放于性能较高的在线存储设备中，而访问频率低的数据存放于较为廉价的离线存储设备中;视频录像的归档可以充分利用高级存储设备的数据迁移手段;分层存储有效降低存储系统的整体成本。
异地容灾：以异地实时备份为基础的、高效的、可靠的远程数据存储，在各单位的IT系统中，必然有核心部分，通常称之为生产中心。往往给生产中心配备一个备份中心，改备份中心是远程的，并且在生产中心的内部已经实施了各种各样的数据保护。不管怎么保护，当火灾、地震这种灾难发生时，一旦生产中心瘫痪了，备份中心会接管生产，继续提供服务;视频监控的多中心配置越来越多，各个中心的系统和数据容灾应该借鉴IT的容灾技术考虑。
结束语
大数据是继云计算、物联网之后信息产业当前科技创新、产业政策及国家安全领域的又一次知识新增长点。在大数据的背景下信息安全面临着很多的挑战，特别是现阶段视频监控已有的信息安全手段已经不能满足大数据时代的信息安全的实际要求，因此研究大数据时代视频监控所面临的信息安全问题具有重要意义。
以上是小编为大家分享的关于大数据时代的安防数据存储安全的相关内容，更多信息可以关注环球青藤分享更多干货
‘肆’ 大数据未来的发展前景怎么样
大数据技术目前正处在落地应用的初期，从大数据自身发展和行业发展的趋势来看，大数据未来的前景还是不错的，具体原因有以下几点
一：大数据自身能够创造出更多的价值。大数据相关技术紧紧围绕数据价值化展开，数据价值化将开辟出广大的市场空间，重点在于数据本身将为整个信息化社会赋能。随着大数据的落地应用，大数据的价值将逐渐得到体现。目前在互联网领域，大数据技术已经得到了较为广泛的应用。
第二：大数据推动科技领域的发展。大数据的发展正在推动科技领域的发展进程，大数据的影响不仅仅体现在互联网领域，也体现在金融、教育、医疗等诸多领域。在人工智能研发领域，大数据也起到了重要的作用，尤其在机器学习、计算机视觉和自然语言处理等方面，大数据正在成为智能化社会的基础。
第三：大数据产业链逐渐形成。经过近些年的发展，大数据已经初步形成了一个较为完整的产业链，包括数据采集、整理、传输、存储、分析、呈现和应用，众多企业开始参与到大数据产业链中，并形成了一定的产业规模，相信随着大数据的不断发展，相关产业规模会进一步扩大。
第四：产业互联网将推动大数据落地。当前互联网正在经历从消费互联网向产业互联网过渡，产业互联网将利用大数据、物联网、人工智能等技术来赋能广大的传统产业，可以说产业互联网的发展空间非常大，而大数据则是产业互联网发展的一个重点，大数据能否落地到传统行业，关乎产业互联网的发展进程，所以在产业互联网阶段，大数据将逐渐落地，也必然落地。
通过以上分析可以得出，未来大数据领域的发展空间还是比较大的，而且目前大数据领域的人才缺口比较大。
‘伍’ 当前存储器系统的发展概况
发展趋势
存储器的发展都具有更大、更小、更低的趋势，这在闪速存储器行业表现得尤为淋漓尽致。随着半导体制造工艺的发展，主流闪速存储器厂家采用0�18μm，甚至0.15μm的制造工艺。借助于先进工艺的优势，Flash Memory的容量可以更大：NOR技术将出现256Mb的器件，NAND和AND技术已经有1Gb的器件；同时芯片的封装尺寸更小：从最初DIP封装，到PSOP、SSOP、TSOP封装，再到BGA封装，Flash Memory已经变得非常纤细小巧；先进的工艺技术也决定了存储器的低电压的特性，从最初12V的编程电压，一步步下降到5V、3.3V、2�7V、1.8V单电压供电。这符合国际上低功耗的潮流，更促进了便携式产品的发展。
另一方面，新技术、新工艺也推动Flash Memory的位成本大幅度下降：采用NOR技术的Intel公司的28F128J3价格为25美元，NAND技术和AND技术的Flash Memory将突破1MB 1美元的价位，使其具有了取代传统磁盘存储器的潜质。
世界闪速存储器市场发展十分迅速，其规模接近DRAM市场的1/4，与DRAM和SRAM一起成为存储器市场的三大产品。Flash Memory的迅猛发展归因于资金和技术的投入，高性能低成本的新产品不断涌现，刺激了Flash Memory更广泛的应用，推动了行业的向前发展。
‘陆’ 数据挖掘中数据存储的重要性
随着互联网的蓬勃兴起，物联网，云计算，大数据，人工智能在大众视野出现的越来越频繁了。
云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。
人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。
而物联网是互联网的应用拓展，类似以前的“互联网+”，也就是结合互联网的业务和应用，核心是以用户体验为核心的应用创新。
我们主要讲一下其中的“大数据”。
大数据的定义
在 2001 年左右，Gartner 就大数据提出了如下定义（目前仍是关于大数据的权威解释）：大数据指高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义表明大数据具有 3V 特性。
简而言之，大数据指越来越庞大、越来越复杂的数据集，特别是来自全新数据源的数据集，其规模之大令传统数据处理软件束手无策，却能帮助我们解决以往非常棘手的业务难题。
大数据的价值和真实性
在过去几年里，大数据的定义又新增加了两个 "V"：价值 (Value) 和 真实性 (Veracity)。
首先，数据固然蕴含着价值，但是如果不通过适当方法将其价值挖掘出来，数据就毫无用处。其次，只有真实、可靠的数据才有意义。
如今，大数据已成为一种资本，全球各个大型技术公司无不基于大数据工作原理，在各种大数据用例中通过持续分析数据提高运营效率，促进新产品研发，他们所创造的大部分价值无不来自于他们掌握的数据。
目前，众多前沿技术突破令数据存储和计算成本呈指数级下降。相比过去，企业能够以更低的经济投入更轻松地存储更多数据，而凭借经济、易于访问的海量大数据，您可以轻松做出更准确、更精准的业务决策。
然而，从大数据工作原理角度来讲，大数据价值挖掘是一个完整的探索过程而不仅仅是数据分析，它需要富有洞察力的分析师、业务用户和管理人员在大数据用例中有针对性地提出有效问题、识别数据模式、提出合理假设并准确开展行为预测。
大数据的历史
虽然大数据这个概念是最近才提出的，但大型数据集的起源却可追溯至 1960 - 70 年代。当时数据世界正处于萌芽阶段，全球第一批数据中心和首个关系数据库便是在那个时代出现的。
2005 年左右，人们开始意识到用户在使用 Facebook、YouTube 以及其他在线服务时生成了海量数据。同一年，专为存储和分析大型数据集而开发的开源框架 Hadoop 问世，NoSQL 也在同一时期开始慢慢普及开来。
Hadoop 及后来 Spark 等开源框架的问世对于大数据的发展具有重要意义，正是它们降低了数据存储成本，让大数据更易于使用。在随后几年里，大数据数量进一步呈爆炸式增长。时至今日，全世界的“用户”— 不仅有人，还有机器 — 仍在持续生成海量数据。
随着物联网 (IoT) 的兴起，如今越来越多的设备接入了互联网，它们大量收集客户的使用模式和产品性能数据，而机器学习的出现也进一步加速了数据量的增长。
然而，尽管已经出现了很长一段时间，人们对大数据的利用才刚刚开始。今天，云计算进一步释放了大数据的潜力，通过提供真正的弹性 / 可扩展性，它让开发人员能够轻松启动 Ad Hoc 集群来测试数据子集。
大数据和数据分析的优势：
1.大数据意味着更多信息，可为您提供更全面的洞察。
2.更全面的洞察意味着更高的可靠性，有助于您开发全新解决方案。
其次，大数据还具有大量、高速、多样化、密度低四大特性。
大量性：大数据与传统数据最大的差异在于资料量，资料量远大于传统数据，例如抖音数据流、网络点击流，面对的是海量低密度的数据，大数据的数据量通常高达数十PB。也因为资料量大，无法以传统的方式储存处理，因此衍生出大数据这一新兴科学。
高速性：大数据与传统数据最大的不同点，就是生成速度快。由于网际网路兴起与资讯设备普及，以用户突破20亿人的脸书为例，如果每个用户每天发一条消息，就会有20亿笔资料。每一个人随时随地都可以创造数据，数据生成的速度已非过去可比拟。
多样性：多样化是指可用的数据类型众多，随着大数据的兴起，文本、音频和视频等数据类型不断涌现，它们需要经过额外的预处理操作才能真正提供洞察和支持性元数据。由于形式多元复杂，大数据储存也需要不同于传统数据的储存技术。
密度低：数据价值密度相对较低，随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。
大数据的挑战
1.安全挑战
尽管大数据由于应用范围广泛，已成为各领域的发展趋势，但数据的公布有时会伴随使用者隐私的曝光，比如FaceBook资料外泄、Google+个人外泄风波等因数据外泄而引发隐私问题的事件层出不穷。用户的哪些数据是可以获取、哪些是不允许读取，始终存在侵犯用户隐私的法律风险。
2..技术创新
大数据需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑，无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，对开源技术和相关生态系统的影响力仍然较弱，总体上难以满足各行各业大数据应用需求。
3.成本过高
运营商需要处理的数据量巨大，基本都是以PB为单位，处理这些数据需要巨大的投入。
4.实时性
具有实时性的数据才有价值，存储的数据数据时间越长，数据的价值就越低。在如今这个快节奏的社会，每一天的市场都瞬息万变，品牌商通过大数据分析用户的需求，如果得到的用户数据太过陈旧，参考这些数据来规划产品的方向，可能会对企业的发展造成毁灭性的打击。
无论哪个行业，想要在当今的形势下取得成功，都必须能够不断地从数据中挖掘业务价值，因此数据的保护离不开存储器，当下市面上用于大数据的存储器主要有固态硬盘，混合硬盘，传统硬盘。
固态硬盘(SSD)，由控制单元和存储单元，组成。固态硬盘的接口规格、定义、功能和用途与普通硬盘相同，形状和尺寸也与普通硬盘相同。广泛应用于军事、车辆、工业控制、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。
优点：读写速度快；震动；低功耗。无噪音；工作温度范围广；缺点：容量小；寿命有限；价格高。
混合硬盘是一种由传统硬盘和闪存模块组成的大容量存储设备。闪存处理存储器中最常写入或恢复的数据。许多公司都在提供不同的技术，他们希望这些技术能在高端系统中流行起来，特别是笔记本电脑和掌上电脑。
与传统硬盘相比，混合硬盘具有许多优势：更快的数据存储和恢复应用程序，如文字处理器；缩短系统启动时间；降低功耗；减少热量产生；延长硬盘寿命；笔记本电脑和笔记本电脑电池寿命；降低噪音水平：
传统硬盘指的是机械硬盘（HDD），电脑最基本的内存，我们常说电脑硬盘C盘，D盘是磁盘分区，属于硬盘。目前普通硬盘的容量有80G、128g、160g、256g、320g、500g、750g、1TB、2TB等，按容量可分为3.5英寸、2.5英寸、1.8英寸、5400rpm/7200rpm/10000rpm等。
通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务，这一切所产生的数据承载者——存储器，在第四次工业革命进化的方向中，存储行业也将是一颗亮眼的星。
‘柒’ 存储技术发展历史
最早的外置存储器可以追溯到19世纪末。为了解决人口普查的需要，霍列瑞斯首先把穿孔纸带改造成穿孔卡片。
他把每个人所有的调查项目依次排列于一张卡片，然后根据调查结果在相应项目的位置上打孔。在以后的计算机系统里，用穿孔卡片输入数据的方法一直沿用到20世纪70年代，数据处理也发展成为电脑的主要功能之一。
2、磁带
UNIVAC-I第一次采用磁带机作外存储器，首先用奇偶校验方法和双重运算线路来提高系统的可靠性，并最先进行了自动编程的试验。此时这个磁带长达1200英寸、包含8个磁道，每英寸可存储128bits，每秒可记录12800个字符，容量也达到史无前例的184KB。从 此之后，磁带经历了迅速发展，后来广泛应用了录音、影像领域。
3、软盘（见过这玩意的一定是80后）
1967年 IBM公司推出世界上第一张“软盘”，直径32英寸。随着技术的发展，软盘的尺寸一直在减小，容量也在不断提升，大小从8英寸，减到到5.25英寸软盘，以及到后来的3.5英寸软盘，容量却从最早的81KB到后来的1.44MB。在80-90年代3.5英寸软盘达到了巅峰。直到CD-ROM、USB存储设备出现后，软盘销量才逐渐下滑。
4、CD
CD也就是我们常说的光盘、光盘，诞生于1982年，最早用于数字音频存储。1985年，飞利浦和索尼将其引入PC，当时称之为CD-ROM（只 读），后来又发展成CD-R（可读）。因为声频CD的巨大成功，今天这种媒体的用途已经扩大到进行数据储存，目的是数据存档和传递。
5、磁盘
第一台磁盘驱动器是由IBM于1956年生产，可存储5MB数据，总共使用了50个24英寸盘片。到1973年，IBM推出第一个现代“温彻斯特”磁盘驱动器3340，使用了密封组件、润滑主轴和小质量磁头。此后磁盘的容量一度提升MB到GB再到TB。
6、DVD
数字多功能光盘，简称DVD，是一种光盘存储器。起源于上世纪60年代，荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年，他们的研究获得了成功，1978年投放市场。最初的产品就是大家所熟知的激光视盘（LD，Laser Vision Disc）系统。它们的直径多是120毫米左右。容量目前最大可到17.08GB。
7、闪存
浅谈存储器的进化历程
闪存（Flash Memory）是一种长寿命的非易失性（在断电情况下仍能保持所存储的数据信+息）的存储器。包含U盘、SD卡、CF卡、记忆棒等等种类。在1984年，东芝公司的发明人舛冈富士雄首先提出了快速闪存存储器（此处简称闪存）的概念。与传统电脑内存不同，闪存的特点是非易失性（也就是所存储的数据在主机掉电后不会丢失），其记录速度也非常快。Intel是世界上第一个生产闪存并将其投放市场的公司。到目前为止闪存形态多样，存储容量也不断扩展到256GB甚至更高。
随着存储器的更新换代，存储容量越来越大，读写速度也越来越快，企业级硬盘单盘容量已经达到10TB以上，目前使用的SSD固态硬盘，读速度达：3000+MB/s，写速度达：1700MB/s，用起来美滋滋啊。
‘捌’ 移动大数据的四个发展趋势
移动大数据的四个发展趋势
如果我告诉你，你可以做到从海量数据来源（包括各种各样的移动设备）中把数据提取到一个系统，然后只用少量的程序行数描述所需的信息就可以让结果轻松呈现，还可以做到实时处理这些数据，并且保持系统同时运行，你相信吗？
不用怀疑，你可以做到。
这首先要归功于信息爆炸时代移动数据的飞速发展。移动应用不停地产生大量信息，比如用户行为的信息（包括对话开始、事件发生、事务处理等），然后设备生成数据（崩溃数据、应用日志、位置数据、网络日志等）。这些数据的意义在于它们给大数据提供了源源不断的信息源去识别和分析手机用户一天的所见所闻。
不得不说，移动大数据时代是应运而生。而为了收集智能手机的数据，就不得不面临数据收集、分析和运行的挑战。毫无疑问，能够利用移动数据的企业和移动设备开发者在市场竞争中更有竞争力和业务优势。因为他们可以在一开始就准确地识别出影响用户行为的因素，有效地将客户需求分级，从而能够既有创造力又有效率地实现客户需求。
而在大数据实时分析的竞争中能否决胜的关键是内存数据库。内存数据库保证了大数据的动态分析——用指数级的速度处理以喷发状态产生的大量数据，然后及时产生结果。内存数据库能为以不同速度为移动设备进行实时和动态的内存数据处理，还可以导入其他数据来源例如汽车和家庭系统的数据。
大数据的分布式处理能够在计算机上实现跨集群操作，扩展到成千上万种设备上，比如Hadoop就用分布式处理方式完成了多项任务。然而对于这个高速运转、信息不停喷发的移动时代来说，分散处理并不是最有效最经济的方式。内存数据库的产生无疑给企业提供了利用实时数据的新工具：尽可能快地在数据产生之初就进行分析，发现其趋势并更快地做出反应，实现降低服务成本和提高收益的目标。那些企业级的流式数据库，比如StreamBase和KDB，包括CEPs和混合式，内存数据库开始利用新的算法和可视化技术来填充实时处理技术的缺口。移动大数据的提供者正在试图将内存数据库、动态处理技术、算法与可视化技术融为一体，让企业能够运用移动大数据，让它成为一种业务驱动力。
移动应用团队更能理解同步分析数据的重要性。为了留住用户，开发者要能够预见误差，了解误差对用户行为的影响，衡量新产品的效益，识别用户的参与趋势，检测客户端，这样才能赶在问题暴露在消极用户面前之前消灭它。
下面是我们观察到的移动大数据的四个发展趋势：
1. 事务处理最重要
“移动”最关键的就是交互活动和对其的监控。用户选择应用是出于不同的目的：娱乐、购物、学习、分享等；而一旦有任何因素干扰或者减慢他们实现目的的体验过程，用户很容易就会产生消极情绪。利用应用软件监控事务处理，让企业能对用户体验进行评估和回应，尽量避免用户卸载软件或者给出差评。如今对事务性数据和功能性数据的监控都很重要，也不能没有一个适应移动发展时代的战略了。
2. 三驾马车，三个“V”
Business Insider的最新报道指出，大数据有三个特点：大量（volume）、多样（variety）、高速（velocity），我们把它们概括成三个“V”。数据本身的产生非常快，而且形式多样，大小不一，数量还很大。更别提移动数据了，数量都是成倍地增长。而Cisco最近的报告表明，有数以百万计的人只通过移动设备连接互联网，很明显，这些设备产生了大量的数据。KashRangan说，有很多互动被忽略了没有得到分析，而这些就是被忽视的机会。更有趣的是，数据的多样性恰恰是由移动设备造成的。从用户跟踪到崩溃报告，有各种各样五花八门详细的应用数据，包括商业贸易、情感反应、心跳测量、住宿记录，甚至包括风象报告。移动应用越来越多地影响了人们的生活方式，结果是数据增长的速度也在不断上升。只要想想一个手机用户比如你我每天都被手机牢牢套住的情况就可以理解了。
3. 测度是关键
面对大数据用户的一个挑战是考虑经营的影响因素。如果定位不好、收益不好，大数据可能反而会成为一种牵绊。如何鉴别哪种信息能够帮助更好地进行经营决策，而哪种信息却毫无用处呢？在企业投身移动数据的热潮之前，必须要弄清楚他们的关键度量指标是什么，不然就会被困在一堆派不上用场的数据里，进退两难。
4. 先监控，再提问
这听来好像跟我们的直觉不一样，但实际上企业都应该采用这种策略，先对应用进行监控并收集数据，然后回答关键的业务问题，再去探索从数据里发现的新的发展机会。去了解应用发展的情况是能否驾驭大数据的决定性的一步。在基本了解以后，企业和开发者们就可以深入研究关键性因素了。移动大数据提供者也让各种规模的公司有了让移动数据为他们所用的能力，无论是独立经营者还是大企业都是一样。现在，内存数据库已经有了，移动大数据提供者们又开始为下一个目标努力：通过最大化地提升数据的收集和传输效率来优化移动方面的东西，同时关注新的挑战，例如电池消耗、3G数据使用、连接速度慢、隐私问题和局部存储器的问题，还要扩展通信量并控制可预见的通信量激增。这场竞赛的关键已经不再是谁的移动设备革新速度快，而是谁对移动设备所产生数据的反应速度更快。
‘玖’ 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议
我国数据存储核心技术长期落后，大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”，节省未来海量数据存储占地空间，系统化整合资源解决当前中国大数据存储技术产品的容量问题，建议国家立项 开展微型数据存储技术创新研发 。
我国数据储存的现状和面临的问题
计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储，以便计算机系统进行读写等处理，数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展，可以预见未来的数据量必将呈现爆炸式增长，随之而来的海量数据存储瓶颈问题必然日趋严重，加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中，容量困境，首当其冲。
当前痛点。 为了满足数据存储容量日益增长的需求，大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设，由于数据存储基础核心技术缺位，流行的模式是不可持续的“ 科技 房地产”，即单纯拓展占地面积盖楼建设数据中心，进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间，一般只能保留一个月左右，相关的数据应用严重受制。
应用基石。 底层数据存储是信息产业发展的基石，数据存储技术产品是信息应用系统的架构基础，也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景：人工智能，信息安全，智慧城市，大数据，云计算，区块链，城市大脑，雪亮工程，城市管理视频监控，医学影像识别，等等。
严峻局面。 追溯信息技术百年来的发展轨迹，中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新，数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队，没有关键理论 探索 ；沿袭陈旧的发展思路，习于外购器件设备；底层技术积累短缺，核心创新能力薄弱；严峻的局面至今没有重大改变。
危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑，遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境，一旦遭遇卡脖子，如外购存储产品断货或核心技术交流封锁，举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度，掣肘 社会 前进步伐，削弱国家治理能力，进而危及影响到国家的政治和 社会 稳定。
时不我待。 我们需要立即行动起来，通过立项开展微型数据存储技术创新研发，凝聚国内外数据存储领域资源力量，构建数据存储专业核心技术团队；从研发软件定义的存储（数据去重）技术产品入手，填补国内技术产品领域空白；启动研发微型化（原子级）数据存储设备，抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。
开展微型数据存储技术创新研发的思路
我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机，凝聚国内外资源力量，构建中国数据存储专业核心技术团队。近期：研发部署模块化数据去重技术产品，压缩海量数据存储空间需求，填补国内底层数据存储管理技术空白。远期：启动研发微型数据存储设备，抢占未来数据存储技术领域的制高点。
从开展微型数据存储技术创新研发入手，聚焦国际存储技术领域的战略性前沿技术趋势；联手科研院所、高等院校、生产企业、大型用户的资源，建设国家级核心技术团队；积极引进/培养数据存储技术人才，研发自主可控系列产品。
1.近期跟踪行业动态
对标国际顶级数据存储技术产品，砥砺学习底层模块级数据存储去重技术，压缩海量数据存储空间需求，实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块，然后优化存储多个重复数据模块中的单一模块，以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量，降低采购部署数据存储设备的增量。
2.远期重点突出推进
探索 下一代数据存储技术，整合跨学科资源启动开展研发微型存储器，力图将现有基于磁盘/光盘/磁带的计算机数据存储器，转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据，试图由单个原子状态变化来表征。于是，可以将现有数据存储设备体积缩小数十万乃至百万倍，最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。
3.研发工作开展建议
开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。
延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。
构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式，积累培育国内数据存储技术力量。
结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司，共享数据存储底层技术知识。
注册成立企业运营机构。开发软件定义存储（数据去重）技术产品，服务数据用户市场，遵循商务运作规律。
融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金，吸引专业投资基金加盟。首期投资约需10亿元人民币（参考国际相关工程估值：美国IBM公司同类项目投资约600亿美元/10年）。
推动微型数据存储技术创新研发的建议
我国在开展新型基础设施建设的同时，应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机，建立数据存储技术的自主知识产权体系，填补国内空白，保障数字中国建设长远规划实施，推进国产数据存储产品崛起，为相关产业发展铺路。
2.建议远期紧跟世界主流研发创新步伐，聚焦研发原子级微型化数据存储技术产品（2020-2040年），在2040年前研发出原子级大数据存储技术，并逐步实现产业化。
3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台，建设国家级重点实验室。依托科研院所/高等院校/相关企业，奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。
4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。
5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验，引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程，搭建完善的国内人才培养体系。
6.建议立项过程不宜采用常规项目申报、审批流程，亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中，国内现有技术力量薄弱分散，评估体系资源匮乏。
7.建议项目推进应当低调快速务实：不重造势，不扬虚名，不谋近利。主要是基于当前复杂敏感的国际政治经济形势，预计本项目势将关联国家核心产业战略布局，影响未来数十年中国数字经济命脉与发展。
作 者：中央 财经 大学中国互联网经济研究院研究员 欧阳日辉
通讯员：李 翀
战略性新兴产业专题报道 办事，“刷脸”就行
张家口敢闯敢试、先行先试，积极 探索 氢能产业创新发展的有益路径
“东数西算”正式启动，枢纽网络如何建设？
“十四五”浪潮下如何构建城市数据中心网络？
“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南
大美密云 助推新兴产业发展
东方测控：打造智能制造示范工厂，引领矿山行业新未来