当前位置:首页 » 服务存储 » 湖南存储料线设计
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

湖南存储料线设计

发布时间: 2023-06-01 08:31:53

‘壹’ 存储器的发展史

存储器设备发展

1.存储器设备发展之汞延迟线

汞延迟线是基于汞在室温时是液体,同时又是导体,每比特数据用机械波的波峰(1)和波谷(0)表示。机械波从汞柱的一端开始,一定厚度的熔融态金属汞通过一振动膜片沿着纵向从一端传到另一端,这样就得名“汞延迟线”。在管的另一端,一传感器得到每一比特的信息,并反馈到起点。设想是汞获取并延迟这些数据,这样它们便能存储了。这个过程是机械和电子的奇妙结合。缺点是由于环境条件的限制,这种存储器方式会受各种环境因素影响而不精确。

1950年,世界上第一台具有存储程序功能的计算机EDVAC由冯.诺依曼博士领导设计。它的主要特点是采用二进制,使用汞延迟线作存储器,指令和程序可存入计算机中。

1951年3月,由ENIAC的主要设计者莫克利和埃克特设计的第一台通用自动计算机UNIVAC-I交付使用。它不仅能作科学计算,而且能作数据处理。

2.存储器设备发展之磁带

UNIVAC-I第一次采用磁带机作外存储器,首先用奇偶校验方法和双重运算线路来提高系统的可靠性,并最先进行了自动编程的试验。

磁带是所有存储器设备发展中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存,近年来,由于采用了具有高纠错能力的编码技术和即写即读的通道技术,大大提高了磁带存储的可靠性和读写速度。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录(数据流)技术、DLT技术以及比较先进的LTO技术。

根据读写磁带的工作原理,磁带机可以分为六种规格。其中两种采用螺旋扫描读写方式的是面向工作组级的DAT(4mm)磁带机和面向部门级的8mm磁带机,另外四种则是选用数据流存储技术设计的设备,它们分别是采用单磁头读写方式、磁带宽度为1/4英寸、面向低端应用的Travan和DC系列,以及采用多磁头读写方式、磁带宽度均为1/2英寸、面向高端应用的DLT和IBM的3480/3490/3590系列等。

磁带库是基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB,可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。

磁带库不仅数据存储量大得多,而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中,磁带库通过SAN(Storage Area Network,存储区域网络)系统可形成网络存储系统,为企业存储提供有力保障,很容易完成远程数据访问、数据存储备份或通过磁带镜像技术实现多磁带库备份,无疑是数据仓库、ERP等大型网络应用的良好存储设备。

3.存储器设备发展之磁鼓

1953年,随着存储器设备发展,第一台磁鼓应用于IBM 701,它是作为内存储器使用的。磁鼓是利用铝鼓筒表面涂覆的磁性材料来存储数据的。鼓筒旋转速度很高,因此存取速度快。它采用饱和磁记录,从固定式磁头发展到浮动式磁头,从采用磁胶发展到采用电镀的连续磁介质。这些都为后来的磁盘存储器打下了基础。

磁鼓最大的缺点是利用率不高, 一个大圆柱体只有表面一层用于存储,而磁盘的两面都利用来存储,显然利用率要高得多。 因此,当磁盘出现后,磁鼓就被淘汰了。

4.存储器设备发展之磁芯

美国物理学家王安1950年提出了利用磁性材料制造存储器的思想。福雷斯特则将这一思想变成了现实。

为了实现磁芯存储,福雷斯特需要一种物质,这种物质应该有一个非常明确的磁化阈值。他找到在新泽西生产电视机用铁氧体变换器的一家公司的德国老陶瓷专家,利用熔化铁矿和氧化物获取了特定的磁性质。

对磁化有明确阈值是设计的关键。这种电线的网格和芯子织在电线网上,被人称为芯子存储,它的有关专利对发展计算机非常关键。这个方案可靠并且稳定。磁化相对来说是永久的,所以在系统的电源关闭后,存储的数据仍然保留着。既然磁场能以电子的速度来阅读,这使交互式计算有了可能。更进一步,因为是电线网格,存储阵列的任何部分都能访问,也就是说,不同的数据可以存储在电线网的不同位置,并且阅读所在位置的一束比特就能立即存取。这称为随机存取存储器(RAM),在存储器设备发展历程中它是交互式计算的革新概念。福雷斯特把这些专利转让给麻省理工学院,学院每年靠这些专利收到1500万~2000万美元。

最先获得这些专利许可证的是IBM,IBM最终获得了在北美防卫军事基地安装“旋风”的商业合同。更重要的是,自20世纪50年代以来,所有大型和中型计算机也采用了这一系统。磁芯存储从20世纪50年代、60年代,直至70年代初,一直是计算机主存的标准方式。

5.存储器设备发展之磁盘

世界第一台硬盘存储器是由IBM公司在1956年发明的,其型号为IBM 350 RAMAC(Random Access Method of Accounting and Control)。这套系统的总容量只有5MB,共使用了50个直径为24英寸的磁盘。1968年,IBM公司提出“温彻斯特/Winchester”技术,其要点是将高速旋转的磁盘、磁头及其寻道机构等全部密封在一个无尘的封闭体中,形成一个头盘组合件(HDA),与外界环境隔绝,避免了灰尘的污染,并采用小型化轻浮力的磁头浮动块,盘片表面涂润滑剂,实行接触起停,这是现代绝大多数硬盘的原型。1979年,IBM发明了薄膜磁头,进一步减轻了磁头重量,使更快的存取速度、更高的存储密度成为可能。20世纪80年代末期,IBM公司又对存储器设备发展作出一项重大贡献,发明了MR(Magneto Resistive)磁阻磁头,这种磁头在读取数据时对信号变化相当敏感,使得盘片的存储密度比以往提高了数十倍。1991年,IBM生产的3.5英寸硬盘使用了MR磁头,使硬盘的容量首次达到了1GB,从此,硬盘容量开始进入了GB数量级。IBM还发明了PRML(Partial Response Maximum Likelihood)的信号读取技术,使信号检测的灵敏度大幅度提高,从而可以大幅度提高记录密度。

目前,硬盘的面密度已经达到每平方英寸100Gb以上,是容量、性价比最大的一种存储设备。因而,在计算机的外存储设备中,还没有一种其他的存储设备能够在最近几年中对其统治地位产生挑战。硬盘不仅用于各种计算机和服务器中,在磁盘阵列和各种网络存储系统中,它也是基本的存储单元。值得注意的是,近年来微硬盘的出现和快速发展为移动存储提供了一种较为理想的存储介质。在闪存芯片难以承担的大容量移动存储领域,微硬盘可大显身手。目前尺寸为1英寸的硬盘,存储容量已达4GB,10GB容量的1英寸硬盘不久也会面世。微硬盘广泛应用于数码相机、MP3设备和各种手持电子类设备。

另一种磁盘存储设备是软盘,从早期的8英寸软盘、5.25英寸软盘到3.5英寸软盘,主要为数据交换和小容量备份之用。其中,3.5英寸1.44MB软盘占据计算机的标准配置地位近20年之久,之后出现过24MB、100MB、200MB的高密度过渡性软盘和软驱产品。然而,由于USB接口的闪存出现,软盘作为数据交换和小容量备份的统治地位已经动摇,不久会退出存储器设备发展历史舞台。

6. 存储器设备发展之光盘

光盘主要分为只读型光盘和读写型光盘。只读型指光盘上的内容是固定的,不能写入、修改,只能读取其中的内容。读写型则允许人们对光盘内容进行修改,可以抹去原来的内容,写入新的内容。用于微型计算机的光盘主要有CD-ROM、CD-R/W和DVD-ROM等几种。

上世纪60年代,荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年,他们的研究获得了成功,1978年投放市场。最初的产品就是大家所熟知的激光视盘(LD,Laser Vision Disc)系统。

从LD的诞生至计算机用的CD-ROM,经历了三个阶段,即LD-激光视盘、CD-DA激光唱盘、CD-ROM。下面简单介绍这三个存储器设备发展阶段性的产品特点。

LD-激光视盘,就是通常所说的LCD,直径较大,为12英寸,两面都可以记录信息,但是它记录的信号是模拟信号。模拟信号的处理机制是指,模拟的电视图像信号和模拟的声音信号都要经过FM(Frequency Molation)频率调制、线性叠加,然后进行限幅放大。限幅后的信号以0.5微米宽的凹坑长短来表示。

CD-DA激光唱盘 LD虽然取得了成功,但由于事先没有制定统一的标准,使它的开发和制作一开始就陷入昂贵的资金投入中。1982年,由飞利浦公司和索尼公司制定了CD-DA激光唱盘的红皮书(Red Book)标准。由此,一种新型的激光唱盘诞生了。CD-DA激光唱盘记录音响的方法与LD系统不同,CD-DA激光唱盘系统首先把模拟的音响信号进行PCM(脉冲编码调制)数字化处理,再经过EMF(8~14位调制)编码之后记录到盘上。数字记录代替模拟记录的好处是,对干扰和噪声不敏感,由于盘本身的缺陷、划伤或沾污而引起的错误可以校正。

CD-DA系统取得成功以后,使飞利浦公司和索尼公司很自然地想到利用CD-DA作为计算机的大容量只读存储器。但要把CD-DA作为计算机的存储器,还必须解决两个重要问题,即建立适合于计算机读写的盘的数据结构,以及CD-DA误码率必须从现有的10-9降低到10-12以下,由此就产生了CD-ROM的黄皮书(Yellow Book)标准。这个标准的核心思想是,盘上的数据以数据块的形式来组织,每块都要有地址,这样一来,盘上的数据就能从几百兆字节的存储空间上被迅速找到。为了降低误码率,采用增加一种错误检测和错误校正的方案。错误检测采用了循环冗余检测码,即所谓CRC,错误校正采用里德-索洛蒙(Reed Solomon)码。黄皮书确立了CD-ROM的物理结构,而为了使其能在计算机上完全兼容,后来又制定了CD-ROM的文件系统标准,即ISO 9660。

在上世纪80年代中期,光盘存储器设备发展速度非常快,先后推出了WORM光盘、磁光盘(MO)、相变光盘(Phase Change Disk,PCD)等新品种。20世纪90年代,DVD-ROM、CD-R、CD-R/W等开始出现和普及,目前已成为计算机的标准存储设备。

光盘技术进一步向高密度发展,蓝光光盘是不久将推出的下一代高密度光盘。多层多阶光盘和全息存储光盘正在实验室研究之中,可望在5年之内推向市场。

7.存储器设备发展之纳米存储

纳米是一种长度单位,符号为nm。1纳米=1毫微米,约为10个原子的长度。假设一根头发的直径为0.05毫米,把它径向平均剖成5万根,每根的厚度即约为1纳米。与纳米存储有关的主要进展有如下内容。

1998年,美国明尼苏达大学和普林斯顿大学制备成功量子磁盘,这种磁盘是由磁性纳米棒组成的纳米阵列体系。一个量子磁盘相当于我们现在的10万~100万个磁盘,而能源消耗却降低了1万倍。

1988年,法国人首先发现了巨磁电阻效应,到1997年,采用巨磁电阻原理的纳米结构器件已在美国问世,它在磁存储、磁记忆和计算机读写磁头等方面均有广阔的应用前景。

2002年9月,美国威斯康星州大学的科研小组宣布,他们在室温条件下通过操纵单个原子,研制出原子级的硅记忆材料,其存储信息的密度是目前光盘的100万倍。这是纳米存储材料技术研究的一大进展。该小组发表在《纳米技术》杂志上的研究报告称,新的记忆材料构建在硅材料表面上。研究人员首先使金元素在硅材料表面升华,形成精确的原子轨道;然后再使硅元素升华,使其按上述原子轨道进行排列;最后,借助于扫瞄隧道显微镜的探针,从这些排列整齐的硅原子中间隔抽出硅原子,被抽空的部分代表“0”,余下的硅原子则代表“1”,这就形成了相当于计算机晶体管功能的原子级记忆材料。整个试验研究在室温条件下进行。研究小组负责人赫姆萨尔教授说,在室温条件下,一次操纵一批原子进行排列并不容易。更为重要的是,记忆材料中硅原子排列线内的间隔是一个原子大小。这保证了记忆材料的原子级水平。赫姆萨尔教授说,新的硅记忆材料与目前硅存储材料存储功能相同,而不同之处在于,前者为原子级体积,利用其制造的计算机存储材料体积更小、密度更大。这可使未来计算机微型化,且存储信息的功能更为强大。

以上就是本文向大家介绍的存储器设备发展历程的7个关键时期

‘贰’ 存储器设计方法:使用128M×8位SRAM芯片设计一个512M×32位的存储器

需要16片128M*8位的芯片!

‘叁’ 存储器可分为哪三类

存储器不仅可以分为三类。因为按照不同的划分方法,存储器可分为不同种类。常见的分类方法如下。

一、按存储介质划分

1. 半导体存储器:用半导体器件组成的存储器。

2. 磁表面存储器:用磁性材料做成的存储器。

二、按存储方式划分

1. 随机存储器:任何存储单元的内容都能被随机存取,且存取时间和存储单元的物理位置无关。

2. 顺序存储器:只能按某种顺序来存取,存取时间和存储单元的物理位置有关。

三、按读写功能划分

1. 只读存储器(ROM):存储的内容是固定不变的,只能读出而不能写入的半导体存储器。

2. 随机读写存储器(RAM):既能读出又能写入的存储器。

二、选用各种存储器,一般遵循的选择如下:

1、内部存储器与外部存储器

一般而言,内部存储器的性价比最高但灵活性最低,因此用户必须确定对存储的需求将来是否会增长,以及是否有某种途径可以升级到代码空间更大的微控制器。基于成本考虑,用户通常选择能满足应用要求的存储器容量最小的微控制器。

2、引导存储器

在较大的微控制器系统或基于处理器的系统中,用户可以利用引导代码进行初始化。应用本身通常决定了是否需要引导代码,以及是否需要专门的引导存储器。

3、配置存储器

对于现场可编程门阵列(FPGA)或片上系统(SoC),可以使用存储器来存储配置信息。这种存储器必须是非易失性EPROM、EEPROM或闪存。大多数情况下,FPGA采用SPI接口,但一些较老的器件仍采用FPGA串行接口。

4、程序存储器

所有带处理器的系统都采用程序存储器,但是用户必须决定这个存储器是位于处理器内部还是外部。在做出了这个决策之后,用户才能进一步确定存储器的容量和类型。

5、数据存储器

与程序存储器类似,数据存储器可以位于微控制器内部,或者是外部器件,但这两种情况存在一些差别。有时微控制器内部包含SRAM(易失性)和EEPROM(非易失)两种数据存储器,但有时不包含内部EEPROM,在这种情况下,当需要存储大量数据时,用户可以选择外部的串行EEPROM或串行闪存器件。

6、易失性和非易失性存储器

存储器可分成易失性存储器或者非易失性存储器,前者在断电后将丢失数据,而后者在断电后仍可保持数据。用户有时将易失性存储器与后备电池一起使用,使其表现犹如非易失性器件,但这可能比简单地使用非易失性存储器更加昂贵。

7、串行存储器和并行存储器

对于较大的应用系统,微控制器通常没有足够大的内部存储器。这时必须使用外部存储器,因为外部寻址总线通常是并行的,外部的程序存储器和数据存储器也将是并行的。

8、EEPROM与闪存

存储器技术的成熟使得RAM和ROM之间的界限变得很模糊,如今有一些类型的存储器(比如EEPROM和闪存)组合了两者的特性。这些器件像RAM一样进行读写,并像ROM一样在断电时保持数据,它们都可电擦除且可编程,但各自有它们优缺点。

参考资料来源:网络——存储器

‘肆’ 硬盘的存储原理

硬盘是一种采用磁介质的数据存储设备,数据存储在密封于洁净的硬盘驱动器内腔的若干个磁盘片上。这些盘片一般是在以的片基表面涂上磁性介质所形成,在磁盘片的每一面上,以转动轴为轴心、以一定的磁密度为间隔的若干个同心圆就被划分成磁道(track),每个磁道又被划分为若干个扇区(sector),数据就按扇区存放在硬盘上。

硬盘的第一个扇区(0道0头1扇区)被保留为主引导扇区。在主引导区内主要有两项内容:主引导记录和硬盘分区表。主引导记录是一段程序代码,其作用主要是对硬盘上安装的操作系统进行引导;硬盘分区表则存储了硬盘的分区信息。

计算机启动时将读取该扇区的数据,并对其合法性进行判断(扇区最后两个字节是否为0x55AA或0xAA55 ),如合法则跳转执行该扇区的第一条指令。所以硬盘的主引导区常常成为病毒攻击的对象,从而被篡改甚至被破坏。可引导标志:0x80为可引导分区类型标志;0表示未知;1为FAT12;4为FAT16;5为扩展分区等等。

(4)湖南存储料线设计扩展阅读:

数据存储原理

既然要进行数据的恢复,当然数据的存储原理我们不能不提,在这之中,我们还要介绍一下数据的删除和硬盘的格式化相关问题……

操作系统从目录区中读取文件信息(包括文件名、后缀名、文件大小、修改日期和文件在数据区保存的第一个簇的簇号),我们这里假设第一个簇号是0023。

操作系统从0023簇读取相应的数据,然后再找到FAT的0023单元,如果内容是文件结束标志(FF),则表示文件结束,否则内容保存数据的下一个簇的簇号,这样重复下去直到遇到文件结束标志。

‘伍’ 存储芯片设计难度大吗

存储芯片设计难度大。根据查询相关公开信息,存储芯片设计难度大世培。存储芯片,是嵌入式系统芯片的概念在存储行业的具体应用。因此,无论是系统芯片还是存储芯片,都是通过在单一芯片中嵌入软件,实现多功能和高性能,以及对多种协议、多种硬件和不同应用的支持。对于存储和数据容灾,薯姿虚拟化、数据保护、数据安全(加密)、数据压缩、重复数据删除、自动精简配置等功能日益成为解决方案的标准功能。用更少的资源管理更多的数据正在成为市场的必然趋势。以上提及的这些优化功能都需要消搜手唯耗大量的CPU资源。如何快速实现多功能的产品化进程,保证优化后系统的高性能,是存储芯片发展的市场驱动力。

‘陆’ 层次化存储器结构的设计是依据什么原理

层次化存储器凳信结构设计的依据是访问局部性原理。为了解决存储容量、存取速度和价格之间的矛盾,把各种不同存储容量手粗并、不同存取速度的存储毕迹器,按一定的体系结构组织起来,形成一个统一整体的存储系统。层次化存储器结构设计的依据是访问局部性原理。

‘柒’ 大数据下的地质资料信息存储架构设计

颉贵琴 胡晓琴

(甘肃省国土资源信息中心)

摘要 为推进我国地质资料信息服务集群化产业化工作,更大更好地发挥地质资料信息的价值,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。

关键词 大数据 地质资料 存储 NoSQL 双数据库

0 引言

新中国成立60多年来,我国形成了海量的地质资料信息,为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题,使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力,充分发挥地质资料信息的服务功能,扩大服务领域,国土资源部根据国内外地质工作的先进经验,做出了全面推进地质资料信息服务集群化产业化工作的部署。

目前,全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理,并对其中重要地质资料进行数字化和存储工作。然而,由于我国地质资源丰富,经过几十年的积累,已经形成了海量的地质资料,数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中,随着共享数据量的不断增大,传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题,需要设计更加先进的数据存储架构来实现海量地质资料的存储。

而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据,科技工作者在不断的研究中,设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,提出一种海量地质资料存储架构,改进现有系统存储架构,以便于我国全面推进地质资料信息服务集群化产业化工作。

1 工作现状

1.1 国内外地质资料信息的存储现状

在美国,主要有两大地质资料公共服务平台,分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS),其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初,澳大利亚出台了国家地球科学填图协议,采用先进的科学方法和技术进行数据存储,从而形成了第二代澳大利亚陆地地质图。

目前,我国地质资料信息服务集群化产业化工作刚刚起步,虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台,并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致,因此各地方所使用的存储系统也不尽相同,主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展,同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而,该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题,也没有给出明确的解决方案。

1.2 大数据的存储架构介绍

大数据是近年在云计算领域中出现的一种新型数据,具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持,转而采用灵活的、分布式的数据存储方式管理数据,从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念,以键值对进行存储,采用的数据字的结构不固定,每一个元组可以有不一样的字段,且每个元组可以根据自己的需要增加一些自己的键值对,可以减少一些检索时间和存储空间。目前,应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大数据下的地质资料信息存储架构设计

根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署,国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台,实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。

为了与现有系统和现有的工作进行对接,并为将来地质资料进入大数据时代后的存储工作做准备,本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。

整个系统可以根据不同的用户等级分为不同的用户管理层,由于图幅限制,在图1 中仅仅展示了3级:国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。

每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器;甘肃省国土资源信息中心可以单独管理一个服务器,陕西省国土资源信息中心可以单独管理一个服务器;甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。

在服务器上分别安装两套数据库管理系统,一套是原有的MySQL数据库管理系统,另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件,用于进行用户层和数据库的通信以及两套数据库之间的通信。

由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时,他所影响的数据库仅仅是本地数据库,存储效率较高;当用户需要从多个数据库读取数据时,顶层的共享服务平台会根据用户需求进行任务分解,将任务分发给下层的管理层进行数据库读取,由于各个数据库并行读取,从而提高了数据库读取效率。

图1 大数据下的地质资料信息存储架构框图

2.1 用户管理层

用户管理层根据权限范围,分为多层(本文以3层为例)。

位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。

用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。

与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料,还要存储注册用户信息等数据。

下级管理层任务分配是指如果用户需要访问多个下层数据库,用户只需要输入查询这几个下层数据库的命令,而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图,则用户只需要输入这几个地方及铁矿等查询条件,系统将自动把各个省的数据库查询任务分派到下级管理层。

同理,位于下层的省级管理层和市级管理层除了没有用户访问权限功能外,其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。

2.2 MySQL和NoSQL的融合

MySQL是关系型数据库,它支持SQL查询语言,而NoSQL是非关系型数据库,它不支持SQL查询语言。用户要想透明地访问这两套数据库,必须要设计数据库管理器中间件,作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。

图2 数据库管理器模型

服务器管理器通过用户程序接口与应用程序进行通讯,通过MySQL数据库接口与MySQL服务器通讯,通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后,交由数据库访问命令解析器进行命令解析,从而形成MySQL访问命令或者NoSQL访问命令,通过相应的数据库接口访问数据库;数据库返回访问结果后经过汇总,由应用程序接口返回给应用程序。

两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中,从而便于系统的升级和优化。

2.3 系统的存储和检索模式

在本存储框架设计中,系统采用分布式网络存储模式,即采用可扩展的存储结构,利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力,提高了系统的可靠性和可用性,还易于进行系统扩展。另外,由于地质资料信息存储的特殊性,各地方用户的数据存储工作基本都是在本地服务器进行,很少通过网络进行远程存储,所以数据存储效率较高。

在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统,分别用于存储地质资料信息中的结构化数据和非结构化数据。其中,NoSQL型数据库作为主数据库,用于存储一部分结构化数据和全部的非结构化数据;而MySQL数据库作为辅助数据库,用于存储一部分结构化的数据,以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储,因此系统具有很好的适应性和灵活性。

2.4 安全性设计

地质资料信息是国家的机密,地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后,地质资料常常在计算机以及网络上进行传输,地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。

数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能,以保障地质信息在数据库中的存储安全;当用户登录系统访问数据库时,必须进行用户甄别和实名认证,这主要是对用户的身份进行有效的识别,防止非法用户访问数据库;在对地质资料进行网络传输时,应该首先将数据进行加密,然后再进行网络传输,以防止地质信息在传输过程中被窃取。

3 结语

提高地质资料数字化信息化水平,是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建,具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。

参考文献

[1]吴金朋.一种大数据存储模型的研究与应用[D].北京:北京邮电大学计算机学院,2012.

[2]吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统[J].计算机研究与发展,2012,49(Suppl):1~5.

[3]黄

,易晓东,李姗姗,等.面向高性能计算机的海量数据处理平台实现与评测[J].计算机研究与发展,2012,49(Suppl):357~361.

‘捌’ 存储的架构有哪些

目前市场上的存储架构如下:
(1)基于嵌入式架构的存储系统
节点NVR架构主要面向小型高清监控系统,高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房,存储容量相对较小,用户体验度、系统功能集成度要求较高。在市场应用层面,超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
(2)基于X86架构的存储系统
平台SAN架构主要面向中大型高清监控系统,前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分,前端监控数据通过录像存储管理模块存储到SAN中。
此种架构接入高清前端路数相对节点NVR有了较高提升,具备快捷便利的可扩展性,技术成熟。对于IPSAN而言,虽然在ISCSI环节数据并发读写传输速率有所消耗,但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点,仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多,比如县级或地级市高清监控项目,大数据量的并发读写对千兆网络交换提出了较大的挑战,但应用FCSAN构建相对独立的存储子系统,可以有效解决上述问题。
(3)基于云技术的存储方案
当前,安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化,存储和管理的视频数据量已有海量之势,云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务,在未来安防监控行业有着客观的应用前景。
与传统存储设备不同,云存储不仅是一个硬件,而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心,通过应用层软件对外提供数据存储和业务服务。

‘玖’ 存储器设计的模拟部分是什么

存储器设计的模拟部分通常指存储器输出端的模拟电路。根据查询相关资袭友料信息显示,在数字系统中,存储器扮演着重要的角色。它能够存储和处理大量的数字信息,并在需要时将其读取出来。由于数字信号具有高速、稳定、精确等优点,因此存储器的输入和输出信号通常是以数字形式进行传输和处理的。然而,在实际电路中,存储器的输出信号往往需要与其他部分的电路进行连接和通讯,而这些电路拍锋槐可能采用模拟信号进行处理。为了实现数字基败信号到模拟信号的转换,存储器设计中的模拟部分非常重要。这部分包括输出端的数模转换电路以及输出缓冲器等模拟电路,用于将数字信号转化为模拟信号输出。模拟电路的设计需要考虑运放、电容、电阻等元器件的选择和电路拓扑结构的优化,以保证存储器的输出信号精度和稳定性,从而提升整个数字系统的可靠性和性能。