⑴ 数据仓库与数据挖掘技术—特点及元数据
数据仓库具有以下特点
数据仓库中的数据是面向主题组织的
在较高层次上对分析对象的数据做一个完整的、一致的描述,能有效地刻画出分析对象所涉及的各项数据及数据间的联系。主题通常在一个较高层次上将数据归类的标准,每个主题对应一个宏观分析领域。数据仓库中应重新组织数据,完成业务数据向主题数据的转换。主题的抽取则应根据分析的要求进行确定,根据所需要的信息,分不同类别、不同角度等主题把数据整理之后存储起来
数据仓库的数据是集成的
事务处理系统中的操作型数据在进入数据仓库之前,必须经过统一和综合,演变为分析性数据。需要完成的工作包括:处理字段的同名异义,异义同名,单位不统一,长度不一致等问题,然后对源数据进行综合和计算,生成面向主题分析的高层、综合的数据
数据仓库的数据是稳定的
数据仓库中存放的是供分析决策用的历史数据,而不是联机事务处理的当前数据。涉及的数据操作主要是数据查询,一般不进行数据的增删改操作
数据仓库的数据是随时间不断变化的
数据仓库系统需要不断获取联机事务处理系统不同时刻的数据,经集成后追加到数据仓库中
数据仓库中的数据分为四个级别、早期细节级,当前细节级,轻度综合级,高度综合级
首先进入当前细节级,并根据具体需要进一步的综合,从而进入轻度综合级,乃至高度综合级。老化的数据进入早期细节级,数据仓库中存在着搭念不同的综合级别,一般则雹称之为粒度。粒度越大,表示细节程度越低,综合程度越高
元数据是“关于数据的数据”,是新一轮迭代开发和数据仓库维护的主要技术手册。如同数据仓库的导航器,快速高效的定位信息,实现数据检索和挖掘
1、技术元数孙枝帆据
存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。它主要包括数据仓库结构的描述、业务系统、数据仓库和数据集市的体系结构及模式以及汇总用的算法和操作环境到数据仓库环境的映射
2、业务元数据
业务元数据从业务角度表述了数据仓库中的数据
数据仓库的建立过程一般有两种方法,“自顶而下”和“自底而上”。
自顶而下:先建立一个企业级数据仓库,然后再在其基础上建立部门级数据集市。
自底向上:优先建立一些数据集市,最后再把它们汇集成一个企业级数据仓库。
⑵ 数据产品工作指北(3)-实时数仓分层
按照业务实际,数仓区分为ODS、DW、SCD、RPT层,DIM维度层会贯穿所有层使用,为方便后台查询会放到RPT层。
ODS层存放的是从业务源系统同步过来的数据,表名增加【ODS_业务简写_】前缀,表结构和数据结构保持与源系统一致。ODS表的分区策略是表数据量小于2万以下的常用表建成维度表,表数据量大于2万、或者非常用的表建成分区表。
DW存放的是经过初步加工的,标准的,带有时间特征的明细数据,表名为范围【DW_业雹核务简写_业务名称_(RT/NRT)】,以后缀RT(实时)和NRT(非实时)作为实时数据和非实时数据(刷新频率以日计)的区分。
DW表的字段必须是规范的,命名和类型都要参照下面的命名规范,不能无脑照搬源表字段。
DW数据的处理原则是去空(对空值补NULL_ID或0值)、标准化(转换非标数据类型和非标准的表示方法)、预关联(关联出明细粒度上有用的维度和其他逻辑信息)。
DW表的扩展原则是支持字段(column)上的扩展而不是行(row)上的扩展。意味着设计DW模型的时候就要确定业务的数据范围,在列的设计上尽量采取最小可用的原则,保持模型的简洁。
DW表的更新策略常用的有两种:时间增量更新和主键更新。时间增量在非实时数仓使用得源简掘比较多,一般采用的是DELETE-->INSERT-->EXCEPTION(ROLLBACK)的方式运行,保持数据执行的幂等性。数据批量产生批量插入更新,逻辑简单,但缺点是可能会涉及到大量未更新数据的处理。主键更新是检测到某行数据发生变化之后,才执行的更新行为,涉及到的更新数据量会比较小。优点是数据更新迅速,处理量小,缺点是必须保持数据有唯一性主键,而且在有多源更新、数据物理删除时处理逻辑会变得复杂。
DW表不能直接作为最终报表的查询表。DW表的建设目的不是直接为了业务主题,奔着业务主体的目标去开发DW表,结果是只会开发出一张自己能用的中间表。
如无必要,勿增实体(奥卡姆剃刀原则)。DW表尽量通用,不要为了某些特殊的剔除逻辑又衍生出新的同质DW表,正确的做法是常用逻辑可以增加剔除标识字段,不常用逻辑则直接写在下游业务逻辑中剔除。要考虑在横向列上扩展,而不是新增模型粗暴解咐猜决。
SCD表命名规范为【SCD_业务简写_业务名称】
SCD缓慢变化维的概念旨在记录数据的变化情况,我们采取的是拉链表的方式存储。原则上可以针对数据的时刻变化进行记录,但一般只是针对统计周期的最小粒度做记录。
SCD常用的用途其实是针对维表的特定字段发生变化进行记录,只是我们为了达到减少变化数据的存储量,在一些事实数据上也使用了这一技术。
SCD表的字段最好不要出现NULL值,否则对比的时候可能会出错。
RPT是面向报表层的,包括报表查询用到的汇总表(某些查询维度较少时可以用)、明细表。RPT表的命名规范是(RPT_业务简写_业务名称_(DAY/MON/WEEK/QTR/YEAR),其后缀表示表中数据的最小主时间粒度。
⑶ 数据仓库在技术上的工作过程是
数据的抽取、存储和管理、数据的表现、数据仓库设计。数据仓库,是为企业所有级别的决策制定过程,提供所闷做乱胡扒有类型数据支持的战略集合。数据仓库在技术上的工作过程是数据的抽取、存储和管理、数据的表蚂档现、数据仓库设计。
⑷ 实时数仓数据量一般多大
数据弯饥量一般每天百万首岁到千万级。
从数据量而言,流量和特征数仓都是海量数据,每天十亿级以上,而业务数仓的数据量一般每天百万到千万级。从数据更新频率而言,流量数据极少更新。
数据仓库是伴随着企业信息化发展起来的,在企业信息化的过埋芹返程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。
⑸ 数据仓库与数据挖掘技术—数据光滑
噪声是被测量的变量的随机误差或方差。
数据光滑技术:
1、分箱:通过考察数据的近邻(即周围的值)来光滑有序数据的值。升轿睁有序值分布到一些“桶”或箱中,由于分箱方法考察近邻的值,因此进行局部光滑。一般来说,宽度越大光滑效果越大。
2、回归:可以用一个函数(如回归函吵岁数)拟合数据来光滑数据。线性回归涉及找出拟合两个属性的“最佳”线,使得一个属性可以用来预测另一个。多元线性回归是线性回归的扩展,其中涉及的属性有多个,并且数据拟合到一个多维曲面。
3、聚类:可以通过聚类检测离群点,将类似的值组织成群或簇。直观地,落在簇集合之外的值视为离群点。
4、人工检测
数据集成合并多个数据源中的数据,存放在一致的数据存储。在数据集成时,首先需要考虑的是模式集成和对象匹配问题。冗余是在数据集成,是另一个需要考虑的重要问题。
有些冗余可以被相关分析检测到。相关并不意味因果关系,也就是说如果A和B是相关的并不意味,A导致B或B导致A。
数据变换把数据转换成适于挖掘的形式。
1、光滑:去掉数据中的噪声。这种技术包括分箱、回归和聚类等
按箱平均值平滑分箱:箱中每个值都按箱中的平均值替换
按箱中值替换:箱中的每一个值,按箱中的中值替换
按箱边界平滑:箱中的最大值和最小值被视为边箱边界。箱中的每一个值被最近帆喊的边界替换
2、聚集。队数据进行汇总或聚集
3、数据泛化:使用概念分层,用高层概念替换底层或“原始”数据。例如分类的属性,如街道,可以泛化为较高层的概念。如城市或国家
4、规范化:把数据归一化、指数化或标准化,把不同的属性进行比例缩放,使它们的值落在大致相同的范围内。常用的有三种:最小—最大规范化、z- score规范化和按小数定标规范化
5、属性构造:由给定的属性添加新的属性
数据贵约技术可以用来得到数据集的归约表示,它小的多,但仍接近保持原数据的完整性。对归约后的数据集挖掘更有效。并产生几乎相同的分析结果
数据立方体存储多维聚集信息,每个单元存放一个聚集值,对应于多维空间的一个数据点,每个属性可能存在概念分层,允许多个抽象层进行数据分析
数据立方体为在线分析处理的上钻、下钻等操作提供了可以快速访问的汇总数据
数据立方体聚集的基础是概念分层
⑹ 基于flink sql构建实时数据仓库
根据目前大数据这一块的发展,已经不局限于离线的分析,挖掘数据潜在的价值,数据的时效性最近几年变得刚需,实时处理的框架有storm,spark-streaming,flink等。想要做到实时数据这个方案可行,需要考虑以下几点:1、状态机制 2、精确一次语义 3、高吞吐量 4、可弹性伸缩的应用 5、容错机制,刚好这几点,flink都完美的实现了,并且支持flink sql高级API,减少了开发成本,可用实现快速迭代,易维护等优点。
离线数仓的架构图:
实时数仓架构图:
目前是将实时维度表和DM层数据存于hbase当中,实时公共层都存于kafka当中,并且以写滚动日志的方式写入HDFS(主要是用于校验数据)。其实在这里可以做的工作还有很多,kafka集群,flink集群,hbase集群相互独立,这对整个实时数据仓库的稳定性带来一定的挑战。
一个数据仓库想要成体系,成资产,离不开数据域的划分。所以参考着离线的数据仓库,想着在实时数仓做出这方面的探索,理论上来讲,离线可以实现的,实时也是可以实现的。 并且目前已经取得了成效,目前划分的数据域跟离线大致相同,有流量域,交易域,营销域等等。当然这里面涉及到维表,多事务事实表,累计快照表,周期性快照表的设计,开发,到落地这里就不详述了。
维度表也是整个实时数据仓库不可或缺的部分。从目前整个实时数仓的建设来看,维度表有着数据量大,但是变更少的特点,我们试想过构建全平台的实时商品维度表或者是实时会员维度表,但是这类维度表太过于复杂,所以针对这类维度表下面介绍。还有另外一种就是较为简单的维度表,这类维度可能对应着业务系统单个mysql表,或者只需要几个表进行简单ETL就可以产出的表,这类维表是可以做成实时的。以下有几个实施的关键点:
如下是离线数据同步架构图:
实时数据的接入其实在底层架构是一样的,就是从kafka那边开始不一样,实时用flink的UDTF进行解析,而离线是定时(目前是小时级)用camus拉到HDFS,然后定时load HDFS的数据到hive表里面去,这样来实现离线数据的接入。实时数据的接入是用flink解析kafka的数据,然后在次写入kafka当中去。
由于目前离线数据已经稳定运行了很久,所以实时接入数据的校验可以对比离线数据,但是离线数据是小时级的hive数据,实时数据存于kafka当中,直接比较不了,所以做了相关处理,将kafka的数据使用flink写HDFS滚动日志的形式写入HDFS,然后建立hive表小时级定时去load HDFS中的文件,以此来获取实时数据。
完成以上两点,剩余还需要考虑一点,都是小时级的任务,这个时间卡点使用什么字段呢?首先要确定一点就是离线和实时任务卡点的时间字段必须是一致的,不然肯定会出问题。目前离线使用camus从kafka将数据拉到HDFS上,小时级任务,使用nginx_ts这个时间字段来卡点,这个字段是上报到nginx服务器上记录的时间点。而实时的数据接入是使用flink消费kafka的数据,在以滚动日志的形式写入HDFS的,然后在建立hive表load HDFS文件获取数据,虽然这个hive也是天/小时二级分区,但是离线的表是根据nginx_ts来卡点分区,但是实时的hive表是根据任务启动去load文件的时间点去区分的分区,这是有区别的,直接筛选分区和离线的数据进行对比,会存在部分差异,应当的做法是筛选范围分区,然后在筛选nginx_ts的区间,这样在跟离线做对比才是合理的。
目前实时数据接入层的主要时延是在UDTF函数解析上,实时的UDTF函数是根据上报的日志格式进行开发的,可以完成日志的解析功能。
解析流程图如下:
解析速率图如下:
该图还不是在峰值数据量的时候截的,目前以800记录/second为准,大概一个记录的解析速率为1.25ms。
目前该任务的flink资源配置核心数为1,假设解析速率为1.25ms一条记录,那么峰值只能处理800条/second,如果数据接入速率超过该值就需要增加核心数,保证解析速率。
介绍一下目前离线维度表的情况,就拿商品维度表来说,全线记录数将近一个亿,计算逻辑来自40-50个ods层的数据表,计算逻辑相当复杂,如果实时维度表也参考离线维度表来完成的话,那么开发成本和维护成本非常大,对于技术来讲也是很大的一个挑战,并且目前也没有需求要求维度属性百分百准确。所以目前(伪实时维度表)准备在当天24点产出,当天的维度表给第二天实时公共层使用,即T-1的模式。伪实时维度表的计算逻辑参考离线维度表,但是为了保障在24点之前产出,需要简化一下离线计算逻辑,并且去除一些不常用的字段,保障伪实时维度表可以较快产出。
实时维度表的计算流程图:
目前使用flink作为公司主流的实时计算引擎,使用内存作为状态后端,并且固定30s的间隔做checkpoint,使用HDFS作为checkpoint的存储组件。并且checkpoint也是作为任务restart以后恢复状态的重要依据。熟悉flink的人应该晓得,使用内存作为状态后端,这个内存是JVM的堆内存,毕竟是有限的东西,使用不得当,OOM是常有的事情,下面就介绍一下针对有限的内存,如果完成常规的计算。
⑺ 数据中台和数据仓库的区别是什么
数据中台与数据仓库的区别还不能简单概括,它们在数据来源、建模方法、场景应用等方面,区别还是挺大的,大概可归纳为以下四点:
1、数据来源不同
传统数据仓库以业务数据库的结构化数据为主,也就是具备行和列结构数据,比如表格;而数据中台既不是工具又不是存储,它可以包戚竖含数据仓库。
2、建模方法不同
数据仓库往往采用自顶向下的建设模式,需要以明确的业裤掘务分析驱动,延续性不高,而数据中台采用自底向上的方式,能结合业务需求变化不断迭代升级,离业务侧更近。
3、建设目标不同
数据仓库以输出某个业务主题BI报表和决策为主,目的性单一,数据中台则主张打通全域数据孤岛,消除数据标准和口径不一致的问题,释放业务方数据应用价值。
4、数据应用不同
数据仓库主要针对管理决策等分析类场景,在其他方面则存在局限性,比如数据建模、数据追踪与探查、深度挖掘等。数据中台通过将数据服务化之后提供给业务系统,在数据应用上不仅限于分析型场景,也适用于交易类场景,比如营销推荐、风险评估等。
我们再回归到两者的官方定义:
数据仓库:位于多个数据库上的大容量存储库,它的作用在于存储大量的结构化数据,并能进行频繁和可重复的分析,帮助企业构建商业智能(BI)。
数据中台:广义上是包含胡仔核了顶层数据战略、数据治理体系以及数据管理及运营、数据文化培养和组织架构支撑,是一套持续管理和运营的体系。
⑻ 简述数据库数据仓库和数据挖掘三者之间的关系
先说说数据仓库和数据挖掘的关系,再说说数据库与数据仓库的关系
数据仓库与数据挖掘的联系
(1)数据仓库为数据挖掘提供了更好的、更广泛的数据源。
(2)数据仓库为数据挖掘提供了新的支持平台。
(3)数据仓库为更好地使用数据挖掘这个工具提供了方便。
(4)数据挖掘为数据仓库提供了更好的决策支持。
(5)数据挖掘对数据仓库的数据组织提出了更高的要求。
(6)数据挖掘还为数据仓库提供了广泛的技术支持。
数据仓库与数据挖掘的差别
(1)数据仓库是一种数据存储和数据组织技术,提供数据源。
(2)数据挖掘是一种数据分析技术,可针对数据仓库中的数据进行分析。
1、数据库:是一种逻辑概念,用配岁枝来存放数据的仓库,通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里面有很多字段。字段一字排开,对数据就一行一行的写入表中。数据库的表,在于能够用二维表现多维的关系。如:oracle、DB2、MySQL、Sybase、MSSQLServer等。
2、数据仓库:是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数培敏据分析,辅助领导做决策;
区别主要总结为以下几点:
1.数据库只存放在当前值,数据仓库存放历史值;
2.数据库内数据是动态变化的,只要有业务发生,数据就会被更新,而数据仓库则是静态的历史数据,只能定期添加、刷新;
3.数据库中的数据结构比较复杂,有各种结构以适合业务处理系统的雀早需要,而数据仓库中的数据结构则相对简单;
4.数据库中数据访问频率较高,但访问量较少,而数据仓库的访问频率低但访问量却很高;
5.数据库中数据的目标是面向业务处理人员的,为业务处理人员提供信息处理的支持,而数据仓库则是面向高层管理人员的,为其提供决策支持;
6.数据库在访问数据时要求响应速度快,其响应时间一般在几秒内,而数据仓库的响应时间则可长达数几小时
⑼ 什么是数据仓库中的操作数据存储
ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。 根据Bill.Inmon的定义, “数据仓库是面向主题的数据仓库是面向主题的数据仓库是面向主题的数据仓库是面向主题的、集成的集成的集成的集成的、稳定的稳定的稳定的稳定的、、随时间变化的随时间变化的随时间变化的随时间变化的,主要用于决策支持的数据库系统” 在Kimball的的的的<<数据仓库生命周期工具集数据仓库生命周期工具集数据仓库生命周期工具集数据仓库生命周期工具集The Data WareHouse Liftcycle Toolkit,他是这样定义的: 1. 是操作型系统中的集成,用于当前,历史以及其它细节查询(业务系统的一部分) 2. 为决策支持提供当前细节数据(数据仓库的一部分) 因此操作数据存储(ODS) 是用于支持企业日常的全局应用的数据集合,ODS的数据具有面向主题、集成的、可变的和数据是当前的或是接近当前的4个基本特征。 同样也可以看出ODS是介于DB和DW 之间的一种数据存储技术,和原来面向应用的分散的DB相比,ODS中的数据组织方式和数据仓库(DW)一样也是面向主题的和集成的,所以对进入ODS的数 据也象进入数据仓库的数据一样进行集成处理。 另外ODS只是存放当前或接近当前的数据,如果需要的话还可以对ODS中的数据进行增、删和更新等操 作,虽然DW中的数据也是面向主题和集成的,但这些数据一般不进行修改, 所以ODS和DW的区别主要体现数据的可变性、当前性、稳定性、汇总度上。 由于ODS仍然存储在普通的关系数据库中,出于性能、存储和备份恢复等数据库的角度以及对源数据库的性能影响角度,个人不建议ODS保存相当长周期的数据,同样ODS中的数据也尽量不做转换, 而是原封不动地与业务数据库保持一致。 即ODS只是业务数据库的一个备份或者映像,目的是为了使数据仓库的处理和决策支持要求与OLTP系统相隔离,减少决策支持要求对OLTP系统的影响。 一般在带有ODS的系统体系结构中的ODS都具备如下几都具备如下几个作用: 1) 在业务系统和数据仓库之间形成一个隔离层。 一般的数据仓库应用系统都具有非常复杂的数据来源,这些数据存放在不同的地理位置、不同的数据库、不同的应用之中,从这些业务系统对数据进行抽取并不是一件 容易的事。因此,ODS用于存放从业务系统直接抽取出来的数据,这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致,因此在抽取过程中极 大降低了数据转化的复杂性,而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。 2) 转移一部分业务系统细节查询的功能 在数据仓库建立之前,大量的报表、分析是由业务系统直接支持的,在一些比较复杂的报表 生成过程中,对业务系统的运行产生相当大的压力。ODS的数据从粒度、 组织方式等各个方面都保持了与业务系统的一致,那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行,从而降低业务系统的查询压力。 3) 完成数据仓库中不能完成的一些功能。 一般来说,带有ODS的数据仓库体系结构中,DW层所存储的数据都是进行汇总过的数据和运营指标,并不存储每笔交易产生的细节数据,但是在某些特殊的应用中,可能需要 对交易细节数据进行查询,这时就需要把细节数据查询的功能转移到ODS来完成,而且ODS的数据模型按照面向主题的方式进行存储,可以方便地支持多维分析 等查询功能。即数据仓库从宏观角度满足企业的决策支持要求,而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求。 在一个没有ODS层的数据仓库应用系统体系结构中,数据仓库中存储的数据粒度是根据需要而确定的,但一般来说,最为细节的业务数据也是需要保留的,实际上 也就相当于ODS,但与ODS所不同的是,这时的细节数据不是“当前、不断变化的”数据,而是“历史的,不再变化的”数据。这样的数据仓库的存储压力和性能压力都是比较大的,因此对数据仓库的物理设计和逻辑设计提出了更高的要求。
⑽ 实时数据库系统
实时数据库系统是开发实时控制系统、数据采集系统、CIMS系统等的支撑软件。在流程行业中,大量使用实时数据库系统进行控制系统监控,系统先进控制和优化控制,并为企业的生产管理和调度、数据分析、决桥孙梁策支持及远程在线浏览提供实时数凯者据服务和多种数据管理功能。实时数据库已经成为企业信息化的基础数据平台,可直接实时采集、获取企业运行过程中的各种数据,并将其转化为对各类业务有效的公共信息,满足企业生产管理、企业过程监控、企业经营管理之间对实时信息完整性、一致性、安全共享的需求,可为企业自动化系统与管理信息系统间建立起信息沟通的桥梁。帮助企业的各专业管理部门利用这些关键的实时信息,提高生产销售的营运效率。
北京开运联合信息技术股份有限公司-实时性工业数据库软件(CreatRunDatabase)
实时性工业数据库软件(CreatRunDatabase)是什么?
1、实时性工业数据库软件(CreatRunDatabase)是开运联合公司针对行业应用,独立研发的,拥有全部自主知识产权的企业级实时/历史数据库平台。为企业监控生产情况、计算性能指标、进行事故分析和对设备启停分析诊断、故障预防等提供重要的数据保障。
2、实时性工业数据库软件(CreatRunDatabase)可广泛用于工业控制自动化数据的高速采集和存储,提供高速、海量数据存储和基础分析能力。
3、实时性工业数据库软件(CreatRunDatabase)可随时观察以及在线分析生产过程。长期保存的历史数据不仅可以重现历史生产情况,也使大规模数据挖掘成为可能。提供企业生产信息管理解决方案,可以有效应对“从小到大”“由近及远”的各种企业级数据应用。
4、CreatRunDatabase可在线按照时间序列以毫秒级精度自动采集企业的各类过程自动化系统中的生产数据,高效压缩并存储。同时可向用户和应用程序提供实时和历史数据,使得用户可随时观察以及在线分析生产过程。长期保存的历史数据不仅可以重现历史生产情况,也使大规模数据挖掘成为可能。
【工业软件开发】实时性工业数据库软件(CreatRunDatabase)系统主要技术指标:
支持数据类型:digital、int16、int32、float16、float32、float64、String等类型
标签容量:200,000Tag
数据容量:TB级
客户端并发用户数:500个
生产过程数据采集时间响应速度:<500毫秒
时间戳分辨率:毫秒
存储速度:>100,000输入值/秒
存档数据回取事务吞吐量:>2,000,000输出值/秒
实时性工业数据库软件(CreatRunDatabase)系统特性——高可用性:
1、高效的数据存储策略及压缩算法“死区例外可变斜率压缩算法”,精确到每个Tag的压缩配置,有效提高了历史数据存储性能,节约磁盘空间.
2、高速的数据缓存机制,使并行访问锁域粒度精确到“Block(1KBytes)”,实现了并行访问能力的最大化。使历史数据访问路由复杂度“最小化、
均衡化,扁平化”,不界定“冷热”数据,所有数据敏运访问时间成本一致,同时提供均衡访问特性和最大远程数据访问友好度。
3、CreatRUNSMT系统管理工具,以图形化方式提供测点管理、系统配置管理、数据管理和安全管理等功能,方便用户使用和维护。通过脚本语言形式实现对计算点的支持,不局限于传统的函数变换和公式,支持循环、判断与分支等逻辑运算等,计算点的定义灵活多样,可实现自定义的复杂逻辑计算。
4、内置运营级传输平台,兼容工业现场中网络隔离安全模型,可穿越网络隔离装置,进行
实时、历史数据传输,支持本地化操作,提供灵活高效的Tag
6条件模糊查询机制,为用户提供最佳的数据UI,具备完善的Licence管理机制,版本发布可以精确到“点”,用户采购可获得高度的灵活性。
【工业软件开发】实时性工业数据库软件(CreatRunDatabase)系统图:
【工业软件开发】实时性工业数据库软件(CreatRunDatabase)应用客户: