❶ 数据库的发展简史
数据库技术是本世纪60年代开始兴起的一门信息管理自动化的新兴学科,是计算机科学中的一个重要分支。随着计算机应用的不断发展,在计算机应用领域中,数据处理越来越占主导
地位,数据库技术的应用也越来越广泛。
数据库是数据管理的产物。数据管理是数据库的核心任务,内容包括对数据的分类、组织、编码、储存、检索和维护。随着计算机硬件和软件的发展,数据库技术也不断地发展。从数据管理的角度看,数据库技术到目前共经历了人工管理阶段、文件系统阶段和数据库系统阶段。
A.人工管理阶段
人工管理阶段是指计算机诞生的初期(即20世纪50年代后期之前),这个时期的计算机主要用于科学计算。从硬件看,没有磁盘等直接存取的存储设备;从软件看,没有操作系统和管理数据的软件,数据处理方式是批处理。
这个时期数据管理的特点是:
1. 数据不保存
该时期的计算机主要应用于科学计算,一般不需要将数据长期保存,只是在计算某一课题 时将数据输入,用完后不保存原始数据,也不保存计算结果。
2. 没有对数据进行管理的软件系统
程序员不仅要规定数据的逻辑结构,而且还要在程序中设计物理结构,包括存储结构、存取方法、输入输出方式等。因此程序中存取数据的子程序随着存储的改变而改变,数据与程序不具有一致性。
3. 没有文件的概念
数据的组织方式必须由程序员自行设计。
4. 一组数据对应于一个程序,数据是面向应用的
即使两个程序用到相同的数据,也必须各自定义、各自组织,数据无法共享、无法相互利用和互相参照,从而导致程序和程序之间有大量重复的数据。
B.文件系统阶段
文件系统阶段是指计算机不仅用于科学计算,而且还大量用于管理数据的阶段(从50年代后期到60年代中期)。在硬件方面,外存储器有了磁盘、磁鼓等直接存取的存储设备。在软件方面,操作系统中已经有了专门用于管理数据的软件,称为文件系统。
这个时期数据管理的特点是:
1. 数据需要长期保存在外存上供反复使用
由于计算机大量用于数据处理,经常对文件进行查询、修改、插入和删除等操作,所以数据需要长期保留,以便于反复操作。
2. 程序之间有了一定的独立性
操作系统提供了文件管理功能和访问文件的存取方法,程序和数据之间有了数据存取的接口,程序可以通过文件名和数据打交道,不必再寻找数据的物理存放位置,至此,数据有了物理结构和逻辑结构的区别,但此时程序和数据之间的独立性尚还不充分。
3. 文件的形式已经多样化
由于已经有了直接存取的存储设备,文件也就不再局限于顺序文件,还有了索引文件、链表文件等,因而,对文件的访问可以是顺序访问,也可以是直接访问。
4. 数据的存取基本上以记录为单位
❷ 历史数据库整合
1995年至1997年,由航遥中心牵头,省局参加,对过去由航遥中心和省航测队负责完成的全国航磁资料(模拟记录)进行了数字化,用FoxPro(Windows版)建立了省级航磁数据库。2000年,航遥中心在Windows系统上,采用sql Server数据库技术建立了航空物探调查工作程度数据库。2000年至2002年,航遥中心完成近万份航磁查证异常登记表和检查卡片的相关信息整理工作,基于MapGIS平台建立了航空物探异常属性数据库。2002年,航遥中心对我国2000年以前的航电校正后的数据进行整理,并在Windows系统上,采用SQL Server数据库技术建立了数据库。这4个数据库的建立为航空物探数据资料信息化管理奠定了基础。
随着信息技术快速发展,当时可能较先进数据库技术和软件开发技术现已过时,每个数据库的管理软件只能管理当时确定的数据,无法扩展。因此,用户使用不同的数据库要分别安装其数据库管理软件,很不方便。各个数据库建设所采用的技术不同,也没采用信息化标准,很难统一集成。
在本项目研究开始之初,就将上述数据库纳入本项目研发工作之列。在信息系统需求调研时,又进一步对其存在问题进行调研和分析,确定了将原省级航磁数据库数据整合到本系统航磁校正后数据数据库、原航空物探调查工作程度数据库整合到本系统项目概况数据库、原航空物探异常属性数据库(仅有航磁异常)整合到本系统航空物探异常数据库、原全国航电数据库整合到本系统航电校正后数据数据库的整合方案。本信息系统的数据库表包含该4个数据库表中的全部信息(但不一定是在同一张库表中,可能原来一张表被拆分到新库的几张表中,这是由本信息系统数据库结构设计确定的)。采用原数据库软件导出其数据,按本信息系统要求进行信息标准化处理,再使用本信息系统采集软件导入到本系统相应数据库表中,实现原数据库整合和统一管理。
❸ 如何利用ODBC访问WINCC的历史数据库
WINCC
作为一个工控软件,有着工控软件的一系列特征:能显示实时数据,历史数据,生
成实时数据曲线与历史数据曲线,
并能生成报表。
然而
WINCC
与其它的工控软件包有不同
的地方:
它的数据是保存在标准的及功能强大的
Sybase SQL Anywhere
数据库中
,
所以,
我们
可以像访问一般的数据库一样,通过
ODBC
直接访问
WINCC
的历史数据库。
一、
通过
Sybase Central 4.0
访问显示数据
Wincc
在安装时就把
Sysbase
数据引擎与
Sybase
Central
4.0
一同安装到系统中,你可以在
Program
Files\Sybase\Shared\
中找到
Sybase
Central
4.0
,你可在在其目录下
\java\
中发
现
scjview.exe
,该程序功能相当于
SQL
server
的企业管理器。你可以通过其查看你在
WinCC
中的归档数据。
使用方法:
1)
运行
WINCC
,这时
WINCC
会在
ODBC
中添加两条数据源:
CC_FY_02-10-16_10:40:18
CC_FY_02-10-16_10:40:18R
其中
CC_FY_02-10-16_10:40:18R
是可以通过
Sybase
Central
4.0
及别的一些工具不用
用户名与密码读取的。这就是我们
WinCC
的历史数据库。
注意:这两条
ODBC
名不是一成不变的,它是结构如下
CC_FY_02-10-16_10:40:18R
CC
:
固有的,指明是
WinCC
生成的
ODBC
。
FY
:
项目名,这是我这个
WinCC
项目名称
02-10-16
:最后一次修改的日期。
10:40:18
:最后一次修改的时间。
R
:
表示是运行库。
2
)
、运行
scjview.exe
,点击
Adaptive
Server
AnyWhere
7
按右键,选择
Connect
。将会弹出
Connect
配置界面。
在
Identification
的页面,选中
ODBC SOURCE NAME
点
BROWSE
则会列出所有对
Sybase
数据引擎的
ODBC
名,选择
CC_FY_02-10-16_10:40:18R
,点击“
OK
“、
“
OK
“即可。
这时在
Adaptive Server AnyWhere 7
下面会出现你的计算机名,并已连通了你的
WINCC
历
史数据库。
好了,我们现在可以查看
WinCC
的历史数据了。
展开:
Adaptive Server AnyWhere 7
(
DBA
)
展开:
TABLE
我们现在可以看到数据库的表名与表结构了:
表名:
PDE#HQZ#GAS_PRE
组成方式如下
PDE
:固有
HQZ
:归档名称
GAS_PRE:
变量名。
表结构:有三个字段:
T, V
, F
T
:时间
V
:值
F
:标志
由于没有可靠的资料可查,其
F
的名值表示的含义就不得而知,不过,在我的使用中,我
将
F
值
8392705
作为一个合法值,
在
WINCC
的处理中没有出过错,
但别的
FLAG
值的含义,
只能问西门子公司了。
二、
利用
VB
编写程序访问
WINCC
历史数据库。
上面已明确描述了
WINCC
的历史数据库的结构组成与表结构,
那么我们就可以通过编程访
问
WINCC
的历史数据库。如其它通过
ODBC
访问的数据一样。如下面的小例子
在
VB
中,先引用
ADO
组件。并声明
ADO
变量。
Private cn As ADODB.Connection
Private rs As ADODB.Recordset
Const dsn = “CC_FY_02
-10-
16_10:40:18R”
Private sub insertData(nowV
alue as double)
Dim nowtime as string
Nowtime =now
cn.Open dsn, "", ""
sqlstr=”
insert
into
PDE#HQZ#GAS_PRE(T,V
,F)
V
alues(„”+
Nowtime
+”‟,”+
nowV
alue
+”,
8392705) ”
cn.Execute sqlstr
cn.close
End sub
本程序中的子程序只处理了数据插入,其它读出就更为简单,与其它的
ADO
访问是一模一
样的,这里就不多说了。
三、
结语
能通过
ODBC
访问
WINCC
的历史数据,给我们提供了更多了解决办法,特别是在企业信
息化平台上使用非实时数据方面,可以人为给
WINCC
添加正确的历史数据,使
WINCC
的
功能更为强大。
由于
ODBC
名与项目的修改时间有关,所以在项目频繁变化时,请不要使用这个功能。
WinCC
在启动时自动添加
ODBC
名,在关闭时自动删除,所以,在
WINCC
关闭后,不能
再通过
ODBC
访问
ODBC
。
❹ 如何实现大数据量数据库的历史数据归档
使用工具pt-archiver
原理解析
作为MySQL DBA,可以说应该没有不知道pt-archiver了,作为pt-toolkit套件中的重要成员,往往能够轻松帮助DBA解决数据归档的问题。例如线上一个流水表,业务仅仅只需要存放最近3个月的流水数据,三个月前的数据做归档即可,那么pt-archiver就可以轻松帮你完成这件事情,甚至你可以配置成自动任务,无需人工干预。
作为DBA,我们应该知其然更应该知其所以然,这样我们也能够放心地使用pt工具。相信很多DBA都研究过pt-online-schema-change的原理,那么今天我们深入刨一刨pt-archiver的工作原理。
一、原理观察
土人有土办法,我们直接开启general log来观察pt-archiver是如何完成归档的。
命令
pt-archiver --source h=127.0.0.1,u=xucl,p=xuclxucl,P=3306,D=xucl,t=t1 --dest h=127.0.0.1,P=3306,u=xucl,p=xuclxucl,D=xucl_archive,t=t1 --progress 5000 \
--statistics --charset=utf8mb4 --limit=10000 --txn-size 1000 --sleep 30
常用选项
--analyze
指定工具完成数据归档后对表执行'ANALYZE TABLE'操作。指定方法如'--analyze=ds',s代表源端表,d代表目标端表,也可以单独指定。
--ask-pass
命令行提示密码输入,保护密码安全,前提需安装模块perl-TermReadKey。
--buffer
指定缓冲区数据刷新到选项'--file'指定的文件并且在提交时刷新。
只有当事务提交时禁用自动刷新到'--file'指定的文件和刷新文件到磁盘,这意味着文件是被操作系统块进行刷新,因此在事务进行提交之前有一些数据隐式刷新到磁盘。默认是每一行操作后进行文件刷新到磁盘。
--bulk-delete
指定单个语句删除chunk的方式来批量删除行,会隐式执行选项'--commit-each'。
使用单个DELETE语句删除每个chunk对应的表行,通常的做法是通过主键进行逐行的删除,批量删除在速度上会有很大的提升,但如果有复杂的'WHERE'条件就可能会更慢。
--[no]bulk-delete-limit
默认值:yes
指定添加选项'--bulk-delete'和'--limit'到进行归档的语句中。
--bulk-insert
使用LOAD DATA LOCAL INFILE的方法,通过批量插入chunk的方式来插入行(隐式指定选项'--bulk-delete'和'--commit-each')
而不是通过逐行单独插入的方式进行,它比单行执行INSERT语句插入的速度要快。通过隐式创建临时表来存储需要批量插入的行(chunk),而不是直接进行批量插入操作,当临时表中完成每个chunk之后再进行统一数据加载。为了保证数据的安全性,该选项会强制使用选项'--bulk-delete',这样能够有效保证删除是在插入完全成功之后进行的。
--channel
指定当主从复制环境是多源复制时需要进行归档哪个主库的数据,适用于多源复制中多个主库对应一个从库的情形。
--charset,-A
指定连接字符集。
--[no]check-charset
默认值:yes
指定检查确保数据库连接时字符集和表字符集相同。
--[no]check-columns
默认值:yes
指定检查确保选项'--source'指定的源端表和'--dest'指定的目标表具有相同的字段。
不检查字段在表的排序和字段类型,只检查字段是否在源端表和目标表当中都存在,如果有不相同的字段差异,则工具报错退出。如果需要禁用该检查,则指定'--no-check-columns'。
--check-slave-lag
指定主从复制延迟大于选项'--max-lag'指定的值之后暂停归档操作。默认情况下,工具会检查所有的从库,但该选项只作用于指定的从库(通过DSN连接方式)。
--check-interval
默认值:1s
如果同时指定了选项'--check-slave-lag',则该选项指定的时间为工具发现主从复制延迟时暂停的时间。每进行操作100行时进行一次检查。
--columns,-c
指定需要归档的表字段,如有多个则用','(逗号)隔开。
--commit-each
指定按每次获取和归档的行数进行提交,该选项会禁用选项'--txn-size'。
在每次获取表数据并进行归档之后,在获取下一次数据和选项'--sleep'指定的休眠时间之前,进行事务提交和刷新选项'--file'指定的文件,通过选项'--limit'控制事务的大小。
--host,-h
指定连接的数据库IP地址。
--port,-P
指定连接的数据库Port端口。
--user,-u
指定连接的数据库用户。
--password,-p
指定连接的数据库用户密码。
--socket,-S
指定使用SOCKET文件连接。
--databases,-d
指定连接的数据库
--source
指定需要进行归档操作的表,该选项是必须指定的选项,使用DSN方式表示。
--dest
指定要归档到的目标端表,使用DSN方式表示。
如果该选项没有指定的话,则默认与选项'--source'指定源端表为相同表。
--where
指定通过WHERE条件语句指定需要归档的数据,该选项是必须指定的选项。不需要加上'WHERE'关键字,如果确实不需要WHERE条件进行限制,则指定'--where 1=1'。
--file
指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。
文件内容与MySQL中SELECT INTO OUTFILE语句使用相同的格式,文件命名选项如下所示:
%Y:年,4位数(Year, numeric, four digits)
%m:月,2位数(Month, numeric (01..12))
%d:日,2位数(Day of the month, numeric (01..31))
%H:小时(Hour (00..23))
%i:分钟(Minutes, numeric (00..59))
%s:秒(Seconds (00..59))
%D:数据库名(Database name)
%t:表名(Table name)
二、原理解析
根据general log的输出,我们整理出时序表格如下
三、其他说明
咋一看这个过程貌似也没有什么问题,但是,假如在原表扫描出数据,插入到新表的过程中,旧数据发生了变化怎么办?
带着这个疑问,我们进行了源码的跟踪,我们在pt-archiver的6839行打上了断点
然后我分别在几个session窗口做了如下动作
最后pt-archiver输出如下:
# A software update is available:
TIME ELAPSED COUNT
2020-04-08T09:13:21 0 0
2020-04-08T09:13:21 0 1
Started at 2020-04-08T09:13:21, ended at 2020-04-08T09:13:51
Source: A=utf8mb4,D=xucl,P=3306,h=127.0.0.1,p=...,t=t1,u=xucl
Dest: A=utf8mb4,D=xucl_archive,P=3306,h=127.0.0.1,p=...,t=t1,u=xucl
SELECT 1
INSERT 1
DELETE 1
Action Count Time Pct
sleep 1 30.0002 99.89
inserting 1 0.0213 0.07
commit 2 0.0080 0.03
select 2 0.0017 0.01
deleting 1 0.0005 0.00
other 0 0.0008 0.00
很明显,id=3这条记录并没有进行归档(我们这里是改了条件列,实际生产中可能是更改了其他列,造成归档数据不准确)
那么如何来解决这种情况的发生呢?
显然,数据库在数据库中可以通过加排它锁来防止其他程序修改对应的数据,pt-archiver其实早就已经帮我们考虑到了这样的情况,pt-archiver提供了两种选择
--for-update:Adds the FOR UPDATE modifier to SELECT statements
--share-lock:Adds the LOCK IN SHARE MODE modifier to SELECT statements
四、总结
pt-archiver作为归档工具无疑是MySQL DBA日常运维的大利器之一,在使用过程中在知道如何使用的基础上也能够知晓其原理
归档过程中最好能对归档记录进行加锁操作,以免造成归档数据不准确
在主从环境中,归档过程最好控制速度,以免造成主从延迟
尽量控制好chunk的大小,不要过大,造成大事务
❺ 怎么查询SQL数据库的历史数据,并调用出来做报表
SQL关键字 where,类型转换Convert
历史数据,多久后的数据,假如有表A,有2个字段a,b
a 为int 类型,b 为日期类型
转换日期以及日期范围SQL 如下:
select * from A where b between convert(datetime,'2015-08-01 08:08:08' ) and convert(datetime,'2015-08-01 08:12:08')
以上SQL 就是查询历史记录,日期为'2015-08-01 08:08:08'与 '2015-08-01 08:12:08'
之间的数据
创建报表可以通过MicrosoftSQLServer2008R2中的创建,也可以在Microsoftvisualstudio中通过使用ReportView控件来创建报表。本实例采用MicrosoftSQLServer2008R2中的创建报表。
创建报表服务器项目
在制作报表之前,要先创建一个报表服务器项目,在其中可以存放若干报表供用户调用。在中创建报表服务器项目的操作步骤如下。
选择【开始】|【所有程序】|【MicrosoftSQLServer2008R2】|【】,启动商业智能开发环境。在菜单栏中选择【文件】|【新建】|【项目】命令,弹出【新建项目】对话框。在【项目类型】列表中选择【商业智能项目】选项,在【模板】列表中选择【报表服务器项目向导】选项,在【名称】文本框中输入【报表项目4】,单击【确定】按钮以创建项目。
❻ 如何设计带有历史记录功能的文章的数据库表结构
客户信息和车辆信息以及接触历史信息都来自不同的数据库表,你有好几个数据库?这个貌似不符合实际设计吧?还有,你既然把数据都读取到了dataset中了,用所以从dataset的datatable中从row 0开始一行一行往下读取不就行了?
❼ 在mcgs软件历史表格中无法打开数据库设置对话框,在合并表元项中,所选区域无法出现反斜杠。
如图所示,双击历史表格,然后右键——连接,在连接中合并单元格,就有斜线了。
望采纳。。。。。
❽ oracle如何将表的历史数据归档
归档日志(ArchiveLog)是非活动的重做日志备份.通过使用归档日志,可以保留所有重做历史记录,当数据库处于ARCHIVELOG模式并进行日志切换式,后台进程ARCH会将重做日志的内容保存到归档日志中.当数据库出现介质失败时,使用数据文件备份,归档日志和重做日志可以完全恢复数据库.
日志操作模式:ARCHIVELOGNOARCHIVELOG
1,改变日志操作模式:
检查当前日志操作模式
SELECTlog_modefromv$database;
关闭数据库,然后装载数据库
SHUTDOWNIMMEDIATE
STARTUPMOUNT
改变日志操作模式,然后打开数据库
ALTERDATABASEARCHIVELOG;
ALTERDATABASEOPEN;
2,执行手工归档
从oracledatabase10g开始,当将日志操作模式转变未ARCHIVELOG模式时,oracle会自动启动ARCH进程.如果要使用手工归档.那么在改变日志操作模式时必须使用命令ALTERDATABASEARCHIVELOGMANUAL.
需要注意,使用手工归档方式,数据库管理员必须手工执行归档命令.如果没有执行手工归档命令,日志组的原有内容将不能被覆盖.ALTERDATABASEARCHIVELOGMANUAL命令是为了与先前的版本兼容而保留的,.将来的oracle版本会淘汰该命令,使用手工归档方式是,数据库管理员可以执行以下命令归档重做日志:
SLTERSYSTEMARCHIVELOGALL;
3,配置归档进程
初始化参数LOG_ARCHIVE_MAX_PROCESSES用于指定例程初始启动的最大归档进程个数,当将数据库转变为ARCHIVELOG模式时,默认情况下oracle会自动启动两个归档进程.通过改变初始化参数LOG_ARCHIVE_MAX_PROCESS的值,可以动态地增加或降低归档进程的个数:
ALTERSYSTEMSETLOG_ARCHIVE_MAX_PROCESSES=3;
配置归档位置和文件格式
当数据库处于ARCHIVELOG模式时,如果进行日志切换,后台进程将自动生成归档日志,归档日志的默认位置为%oracle_home%rdbms,在oracledatabase10g中,归档日志的默认文件格式为ARC%S_%R.%T.为了改变归档日志的位置和名称格式,必须改变相应的初始化参数,
1,初始化参数LOG_ARCHIVE_FORMAT用于指定归档日志的文件名格式,设置该初始化参数时,可以指定以下匹配符:
%s:日志序列号:
%S:日志序列号(带有前导0)
%t:重做线程编号.
%T:重做线程编号(带有前导0)
%a:活动ID号
%d:数据库ID号
%rRESETLOGS的ID值.
从10g开始,配置归档日志文件格式时,必须带有%s,%t和%r匹配符,配置了归档文件格式后,必须重启数据库.
2,使用LOG_ARCHIVE_DEST配置归档位置
如果不使用备用数据库,只需要将归档日志存放到本地目录.配置本地归档位置可以使用初始化参数LOG_ARCHIVE_DEST和LOG_ARCHIVE_DUPLEX_DEST,其中,第一个参数用于设置第一个归档位置,第二个参数用于指定第二个归档位置.
ALTERSYSTEMSETlog_archive_dest=’d:demoarchive1’;
ALTERSYSTEMSETlog_archive_plex_dest=’d:demoarchive2’;
3,使用LOG_ARCHIVE_DEST_n配置多个归档位置.
初始化参数LOG_ARCHIVE_DEST_n用于指定多个归档位置,该参数最多可以指定10个归档位置.通过使用初始化参数LOG_ARCHIVE_DEST_n,不仅可以配置本地归档位置,还可以配置远程归档位置.
如果既要在主节点上生成归档日志,又要将归档日志传递到备用节点,那么必须使用参数LOG_ARCHIVE_DEST_n.该参数与LOG_ARCHIVE_DEST具有如下区别;
初始化参数LOG_ARCHIVE_DEST_n可以配置本地归档位置和远程归档位置,而初始化参数LOG_ARCHIVE_DEST和LOG_ARCHIVE_DUPLEX_DEST只能配置本地归档位置.
初始化参数LOG_ARCHIVE_DEST_n可以配置多达10个归档位置,而初始化参数LOG_ARCHIVE_DEST和LOG_ARCHIVE_DUPLEX_DEST最多只能配置两个归档位置.
初始化参数LOG_ARCHIVE_DEST_n不能与初始化参数LOG_ARCHIVE_DEST和LOG_ARCHIVE_DUPLEX_DEST同时使用.
因为初始化参数LOG_ARCHIVE_DEST_n不能与初始化参数LOG_ARCHIVE_DEST和LOG_ARCHIVE_DUPLEX_DEST同时使用,所以必须禁用初始化参数LOG_ARCHVE_DEST和LOG_ARCHIVE_DUPLEX_DEST.当使用初始化参数LOG_ARCHIVE_DEST_n配置本地归档位置时,需要指定LOCALTION选项.当配置远程归档位置时,需要指定SERVICE选项.
示例如下:
ALTERSYSTEMSETlog_archive_plex_dest=’’;
ALTERSYSTEMSETlog_archive_dest=’’;
ALTERSYSTEMSETlog_archive_dest_1=’location=d:demoarchive1’;
ALTERSYSTEMSETlog_archive_dest_2=’location=d:demoarchive2’;
ALTERSYSTEMSETlog_archive_dest_3=’location=d:demoarchive3’;
ALTERSYSTEMSETlog_archive_dest_4=’service=standby’;
配置远程归档位置时,SERVICE选项需要指定远程数据库的网络服务名(在tnsnames.ora文件中配置)
4,使用LOG_ARCHIVE_DEST_n选项
使用初始化参数LOG_ARCHIVE_DEST_n配置归档位置时,可以在归档位置上指定OPTIONAL或MANDATORY选项.指定MANDATORY选项时,可以设置REOPEN属性.
OPTIONAL:该选项是默认选项.使用该选项时,无论归档是否成功,都可以覆盖重做日志.
MANDATORY:强制归档.使用该选项时,只有在归档成功之后,重做日志才能被覆盖.
REOPEN:该属性用于指定重新归档的时间间隔,默认值为300秒,必须跟在MANDATORY后.
例:
Altersystemsetlog_archive_dest_1=’location=d:demoarchive1mandatory’;
Altersystemsetlog_archive_dest_2=’location=d:demoarchive2mandatoryreopen=500’;
Altersystemsetlog_archive_dest_3=’location=d:demoarchive3optional’;
5,控制本地归档成功的最小个数.
使用初始化参数LOG_ARCHIVE_MIN_SUCCEED_DEST控制本地归档的最小成功个数
Altersystemsetlog_archive_min_succeed_dest=2;
6,使用初始化参数LOG_ARCHIVE_DEST_STATE_n控制归档位置的可用性.设置该参数为ENABLE(默认值),表示会激活相应的归档位置;设置该参数为DEFER,表示禁用相应归档位置.当归档日志所在磁盘损坏或填满时,DBA需要暂时禁用该归档位置.
Altersystemsetlog_archive_dest_state_3=defer;(禁用)
Altersystemsetlog_archive_dest_state_3=enable;(启用)
显示归档日志信息
1,使用ARCHIVELOGLIST命令可以显示日志操作模式,归档位置,自动归档机器要归档的日志序列号等信息.
2显示日志操作模式
SELECTname,log_modeFROMv$database;
3,显示归档日志信息.
Colnameformata40
Selectname,swquence#,first_change#FROMv$archived_log;
Name用于表示归档日志文件名,sequence#用于表示归档日志对应的日志序列号,firs_change#用于标识归档日志的起始SCN值.
4执行介质恢复时,需要使用归档日志文件,此四必须准确定位归档日志的存放位置.通过查询动态性能视图v$archive_dest可以取得归档日志所在目录.
SELECTdestinationFROMv$archivedest;
5,显示日志历史信息
SELECT*FROMv$loghist;
THREAD#用于标识重做线程号,SEQUNCE#用于标识日志序列号,FIRST_CHANGE#用于标识日志序列号对应的起始SCN值,FIRST_TIME用于标识起始SCN的发生时间.SWICTH_CHANGE#用于标识日志切换的SCN值.
6.显示归档进程信息.
进行日志切换时,ARCH进程会自动将重做日志内容复制到归档日志中,为了加快归档速度,应该启用多个ARCH进程.通过查询动态性能视图V$ARCHIVE_PROCESSES可以显示所有归档进程的信息!
SELECT*FROMv$archive_processes;
Porcess用于标识ARCH进程的编号,status用于标识ARCH进程的状态(ACTIVE:活动,STOPPED:未启动),log_sequence用于标识正在进行归档的日志序列号,state用于标识ARCH进程的工作状态
❾ 数据库要可以查询历史数据怎么设计
select * from 表名 这事查找该表的所有数据
select * from 表名 where tdate='日期'查找莫一时间的数据,你的问题描述不清楚呀,如果调出来,可把查出来的数据复制出来即可
❿ 实时历史数据库的实时数据库结构
一个实时数据库系统的优劣,主要体现在它提供的功能是否齐备,系统性能是否优越,能否完成有效的数据存取,各种数据操作、查询处理、存取方法、完整性检查,保证相关的事务管理,事务的概念、调度与并发控制、执行管理及存取控制,安全性检验。
以下是力控的系统结构图系统组成:由采集站DA、数据服务器、 WEB服务器、客户端组成,同时和关系数据库进行有效的数据交换,DCS的数据经过DA进行采集,由DA SERVER送到数据服务器,数据服务器再有效的送给其它客户端。
pSpace实时数据库服务器主要由以下几部分构成:
pSpace Server:
负责整个pSpaceTM应用系统的实时数据处理、历史数据存储、统计数据处理、数据服务请求、事件触发器管理、调度管理、资源管理、系统配置等。
pSpace Data Service:
为第三方厂家的软件访问pSpaceTM Server时提供数据服务功能,包括:OPC Server、DDE Server、ODBC Router、Base API接口等
pSpace COM SDK:
COM SDK为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口。
pSpace Visual ActiveX:
是一组开放的控件,如:数据控件、文本控件、棒图控件、趋势控件等,控件可以直接访问实时数据库和关系数据库的数据。
pSpace DA Server数据采集器:
pSpaceTM DA server是数据采集站的设备通讯管理服务程序,用于系统和DCS、PLC等数据源之间的数据交换,具有自动网络通信负荷平衡功能和断线数据缓冲功能。
pSpace的Web服务器
使用IIS作为Web管理服务器,用图形客户端生成Web网页;
使用pSpace Visual ActiveX自行创建Web服务器和Web网页;
使用pSpace Webserver,用图形客户端生成Web网页;
pSpace 客户端
监控组态软件:力控Forcecontrol系列;
Microsoft Excel:采用标准EXCEL加载宏方式通过网络访问数据库;
“瘦”客户端:Microsoft Internet Explorer 5.0或以上版本的浏览器;
Visual ActiveX:pSpace可视化控件工具包是为建立客户端连接而提供的客户端产品;它包括一组ActiveX控件,如:数据控件、文本控件、棒图控件、趋势控件等;
二次开发工具及访问接口
标准访问接口供客户端程序调用或第三方软件访问使用,因此接口的完整性、开放性决定实时数据库二次开发的性能的优劣,pSpace访问接口及开发工具主要包括以下几种:
1)DBI API
DBI是一套实时数据库访问接口,给用户提供底层编程接口,通过它可以与客户端连接,对数据库进行数据读写,满足继线重连功能,可以获取数据库结构信息,动态控制变化数据集,DBI接口采用了快速数据访问机制,数据访问吞吐量可达到11万次/秒,可以适合过程仿真、优化控制、专家诊断等多种行业应用。
2)COM SDK
SDK是为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口,用COM SDK编写的一个实例可以同时连接多个Server,也可以用COM SDK同时建立多个实例,提供面向对象的类库供用户开发应用程序,用户使用该工具编程可以提高开发效率,该工具可以在VC++,VB,VBScript,.net等开发环境下使用。
3)OLE DB Provider
应用程序提供pSpace Server数据库的ADO访问接口。
4)DAI SDK
pSpace的数据源采集接口的开放工具,DAI采集接口软件都可以单独运行在一台网络结点机,并可在远程对其进行配置与监控,具备以下功能:
DAI 可以直接利用原有的力控组态软件的驱动程序;
DAI 具备断线缓存功能;另外DAInterface还要增加几个接口;
DAI 支持XML、CSV文件接口,可采集离线数据源。
实时数据库性能指标:
从实时数据库运行环境来看,实时数据库系统的除了自身的软件性能外,还取决于所使用的操作系统、硬件环境等。
单台服务器容量可达12,0000点以上;
历史数据库支持unix linux windows等64位操作系统;
完整的事件记录系统,所有操作员的动作均被检查并记录,可作为跟踪依据;
功能强大的压缩算法:按高压缩格式保存数据,采用死区和变化率压缩,压缩比为1:30;
支持优化旋转门算法对历史数据进行压缩;
专用的磁盘存贮算法来保证对长年形成的海量历史数据的快速查询;
支持的浮点型、布尔型、字符串型、等常见数据类型及“任意”类型;
数据库吞吐量支持每秒写入/查询20,000个数据点;
支持历史数据库在线备份,多服务器并发处理;
支持数据库冗余;
IO数据采集断线重连:通讯故障能够自动恢复,I/O时间同步;自动补偿 PC 时钟偏差。
构建企业信息门户
力控pSpace可以为企业在创建基于Internet/Intranet的网络信息门户时提供完整的软件解决方案,同时支持PDA掌上终端访问力控的WEB服务器。
对pSpaceTM Server的数据进行Web管理有以下几种方式:
使用IIS作为Web管理服务器,将通用流程画面转换为Web网页,整个系统与WIN系统无缝集成,基于WEB组态的工具控件包通过相应的检索便可以进行查询,能够直接生成WEB页面;
使用组态软件创建Web服务器和Web网页然后发布;
用户使用pSpaceTM Visual ActiveX自行创建Web服务器和Web网页;
用户可以使用自己熟悉的网站开发工具如:FrontPage、Dreamweaver、ASP等创建主页,设立网站,并在网页中嵌入pSpace Visual ActiveX中的控件建立pSpaceTM Server的数据显示。
特点如下:
Web页面与过程画面的高度同步
pSpace Web Server实现了服务器端与客户端画面的高度同步, 在浏览器上可以同时浏览多个过程画面, 看到的图形界面与通用组态软件生成的过程画面效果完全相同,数据采用变化传输的方式,具有更快的运行与数据更新速度。
企业级Web服务器
pSpace Web Server专为构建企业级Web服务器而设计,具备高容量的数据吞吐能力和良好的健壮性,力控Web Server支持多达500的客户端的同时访问。
完善的安全机制
pSpace Web Server提供完善的安全管理机制。只有授权的用户才能修改过程参数。使用pSpace Web Server时,管理员尽可安心,不必担心非法或未授权的修改。
客户端
力控实时历史数据库管理系统提供了基本的客户端组态工具,开放的接口可以高级应用中的资产管理、设备诊断等管理客户端的开发,每个客户端应用软件都可以与pSpace Server运行在同一台计算机上,也可以分布式地运行在其它网络结点机上。
1)管理工具Admin
pSpace系统配置工具。包括:在线配置数据库点、采集接口、监控服务器和采集器状态,启、停远程服务等。
2)Forcecontrol组态软件
完成生产调度系统的实时监控,曲线分析、生产报表、报警、事件等。
3)Excel Add-In:Excel加载宏,完成功能包括:
查询原始数据;
查询当前数据;
利用索引点查询过滤数据;
查询数据的采样值;
查询统计值(最小值、最大值、平均值、标准方差、累计值、计数值);
显示、导入、导出标签;
导入、导出数据;
显示、导入、导出消息;
显示采集接口;
4)pBatch
批量生产工艺数据的检索和表示,可跟踪与批量生产相关的各种信息。
5)Alarm Server
报警服务器。
6)SNMP Agent:
网络管理工具,可以在线诊断网络设备。
上层应用工具
报表工具:
可以在力控®的万能报表工具中获取实时数据库的各种过程数据,完成数据的查询与计算;建立易用、灵活、强大的报表系统。
设备运行诊断工具:
生产设备运行诊断工具可以方便地了解运行设备故障事件发生的时间、地点、状态和原因,从而降低设备维护成本。
趋势组记录工具:
提供了非常丰富的趋势记录功能,实时趋势和历史趋势记录允许趋势曲线多层重叠,可以通过颜色区分好数据和坏数据,可以显示数据的采样周期、数值精度和曲线变化情况。
图形分析工具:
包括直方图、饼图、面积图等十种图形分析工具,非常方便数据的显示与比较。图形具有透明性,从而更加容易地观察到数据之间的差别。
趋势曲线放大镜:
利用趋势曲线的放大镜工具,可以放大任何时间的实时和历史曲线,非常方便地分析时间序列的数据。通过趋势曲线的滚动按钮,可以前后滚动查看趋势曲线的变化情况。
成本核算工具:
内嵌成本核算模板工具,包括核算体系(生产基本单位核算、财务核算及其报表)、预算和考核体系、信息实时查询(收率、消耗、能耗等)、成本统计报表。
质量分析工具:
提供质量分析模板工具,将生产过程的实时数据和质量点的采样数据进行比较,在线进行评估,以便生产管理人员及时掌握各个产品的质量数据。长期保存质检数据,便于质量分析。
安全性及用户管理
网络安全
在进行项目设计时,在数据采集站可进行双网卡配置以保证生产网和管理网的物理隔离,DA SERVER采集站软件设计中可以保证数据单项传输,防止管理网的干扰生产网。
用户管理
实时数据库提供了完备的安全保护机制,以保证生产过程的安全可靠,用户管理具备多个级别,并可根据级别限制对重要工艺参数的修改,以有效避免生产过程中的误操作。
实时数据库提供了安全区的概念,同级别,不同安全区的数据不可以互相操作,保证了数据的分布式的管理。
提供基于远程的用户管理,增加更多的用户级别及安全区,管理所有用户的远程登陆信息。
加密管理:
支持工程加密,用户可以通过加密锁自己定义工程密码,没有此加密锁任何非法用户无法侵入,保护了自己的工程结构;
操作事件:
可以详细的记录操作事件和系统事件,方便事故追忆;
开机自动运行设置、有效的屏蔽系统键盘,可以防止非法用户入侵;
数据采集器DA SERVER
DA SERVER 是Server 与各种数据源之间的接口,DA SERVER具有自动网络通信负荷平衡功能和断线数据缓冲功能,DA SERVER可以和Server运行在同一服务器内,也可以运行在不同的前端机上,通过TCP/IP与Server通信。
DA SERVER主要有以下几种:
DA SERVER:专用的数据采集服务器,通过它中心服务器可以采集各种DCS、PLC、FCS等I/O设备的数据,DA SERVER可以集成HMI/SCADA组态软件的数据采集接口,对于已经安装运行了组态软件的SCADA工作站,通过该数据采集器可以很方便地将SCADA数据采集到Server中。
MOPC:通过该数据采集器,Server可以采集其他各种第三方的OPC Server的数据。
性能
支持通过RS232、RS422、RS485、电台、电话轮巡拨号、以太网、移动GPRS、CDMA、GSM网络等方式和设备进行通讯;
开发环境下具备在线诊断设备通讯功能,可以动态的打开、关闭设备,通讯故障后具备自动恢复功能;
支持控制设备和控制网络冗余,控制设备进行切换时,通讯会自动切换;
支持多种协议的设备挂在一条通讯链路上与DA SERVER进行通讯,方便电台等远程通讯;
支持与设备采取主从、主主、从主等多种交互机制来进行通讯,比如对MODBUS标准协议设备,支持主与从2种方式与设备通讯;
可以采集带时间戳的数据,毫秒级数据采集速率,实现历史数据向实时数据库的回插功能,可以采集记录仪、录波器数据,支持SOE,完成事件监视。
支持的设备种类
支持主流的DCS、PLC、DDC、现场总线、智能仪表等1000多种厂家设备的通讯;也可以按照用户提出的通信协议和硬件接口,在较短时间内开发新的驱动程序。
无所不在的移动通讯
所有设备的驱动程序支持通过移动GPRS、CDMA网络与控制设备进行通讯,DA SERVER节点与其远程DA SERVER节点也可以进行移动通讯;
DA SERVER移动数据服务器与远程设备的通讯为并发处理、完全透明的解决方案,消除了一般软件采用虚拟串口方式造成数据传输不稳定的隐患,有效的流量控制机制保证了远程应用中节省通讯费用;
支持设备主动通过GPRS上传数据的方式进行数据传输。
典型企业信息化应用
胜利油田油气集输公司是胜利油田从事油气集输的专业化生产企业,主要担负胜利油田原油外输、天然气生产集输及轻烃生产任务。管理着9个气田,187口气井,24座集配气站,总长240公里的天然气输气管道和220公里的输油管道,8座大中型输油站库,2座压气站和3套轻烃回收装置。所辖13个三级单位,具有点多、线长、面广、易燃易爆、高温高压的特点。
该系统对油田的原油库和压气站等身产装置进行网络信息处理。该信息系统集成了多种设备,信息集成使用了OPC、DDE、ODBC、PROFIBUS、MODBUS、RS485等多种网络采集方式进行数据处理,是一个典型的分布式采集,集中管理的大型网络信息化系统。
胜利油田原油库控制系统主要选用了SIEMENS 控制系统,在压气站中, 50万岗位使用Honeywell的S9000型号的DCS控制系统;SW64岗位是美国库伯公司的RR控制器;二次增压岗位使用日本Omron的控制器;离心机岗位是横河CS1000型号的DCS控制系统;配气岗位是美国SIXNET公司的ST-GT-1210控制器;热煤炉岗位控制系统是三菱的PLC;配电岗位设有许继的配电保护及监控系统。
pSpace在应用中有效的集成了以上系统,从监测和考核原材料及水、电、气、风的用量入手,减少能耗物耗,对优化生产过程,提高生产运行效率起到了关键的作用。
典型先进控制方案
pSpace支持与国外的各种数据库进行数据交互,比如INFOPLUS、PI、PHD等,通过pSpace SERVER可以在国内外的各种平台上进行上层应用、专家诊断、先进控制等,下面是一个电厂设备诊断的应用,pSpace SERVER通过各种接口将现有SIS系统、小神探系统、新增的断路器和各种辅机监测系统集成为一个整体,其中,状态检修系统需要的绝大部分实时数据都取自SIS系统的PI实时数据库,因此,PI数据库和力控实时数据库之间的接口是整个系统集成的关键,接口Gateway的性能将直接决定整个状态检修系统的性能。