当前位置:首页 » 数据仓库 » logminer跨数据库
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

logminer跨数据库

发布时间: 2023-07-03 03:12:51

‘壹’ 数据库系统中的常见故障有哪些

新增archives 时的状况:
条件和假设:自上次镜像备份以来已经生成新的archive log(s); Archivelog Mode; 有同步的datafile(s) 和control file(s) 的镜像(冷)拷贝;archive log(s) 可用。
恢复步骤:
1. 如果数据库尚未关闭,则首先把它关闭: $ svrmgrl svrmgrl> connect internal
svrmgrl> shutdown abort
2. 将备份文件抄送回原始地点: 所有Database Files
所有Control Files(没有archive(s) 或redo(s) 的情况下,control files 的更新无任何意义)
所有On-Line Redo Logs (Not archives) init.ora file(选项)
3. 启动数据库: $ svrmgrl
svrmgrl> connect internal
svrmgrl> startup
数据文件, 重作日志和控制文件同时丢失或损坏:
条件和假设:Archivelog Mode; 有同步的所有所失文件的镜像(冷)拷贝;archive log(s) 可用
恢复步骤(必须采用不完全恢复的手法):
1. 如果数据库尚未关闭,则首先把它关闭: $ svrmgrl svrmgrl> connect internal
svrmgrl> shutdown abort
2. 将备份文件抄送回原始地点:
所有Database Files
所有Control Files
所有On-Line Redo Logs(Not archives)

init.ora file(选项)

3. 启动数据库然而并不打开:

svrmgrl>startup mount

4. 做不完全数据库恢复,应用所有从上次镜像(冷)备份始积累起来的archives:

svrmgrl> recover database until cancel using backup controlfile;

......

......

cancel

5. Reset the logfiles (对启动而言不可省略):

svrmgrl> alter database open resetlogs;

6. 关闭数据库并做一次全库冷备份。

数据文件和控制文件同时丢失或损坏:

条件和假设:Archivelog Mode; 有同步的datafile(s) 和control file(s) 的冷拷贝;archive log(s) 可用

恢复步骤:

1. 将冷拷贝的datafiles(s) 和control file(s) 抄送回原始地点:

$ cp /backup/good_one.dbf /orig_loc/bad_one.dbf

$ cp /backup/control1.ctl /disk1/control1.ctl

2. 以mount 选项启动数据库:

$ svrmgrl

svrmgrl> connect internal

svrmgrl> startup mount

3. 以旧的control file 来恢复数据库:

svrmgrl> recover database until cancel using backup controlfile;

*** 介质恢复完成

(须在应用完最后一个archive log 后cancel )

4. Reset the logfiles (对启动而言不可省略):

svrmgrl> alter database open resetlogs;

重作日志和控制文件同时丢失或损坏时:

条件和假设:Control Files 全部丢失或损坏;Archivelog Mode; 有Control Files 的镜像(冷)拷贝

恢复步骤:

1. 如果数据库尚未关闭,则首先把它关闭:

$ svrmgrl

svrmgrl> connect internal

svrmgrl> shutdown abort

svrmgrl>exit

2. 以Control File 的镜像(冷)拷贝覆盖损坏了的Control File:

$ cp /backup/control1.ctl /disk1/control1.ctl

3. 启动数据库然而并不打开:

$ svrmgrl

svrmgrl> connect internal

svrmgrl> startup mount

4. Drop 坏掉的redo log (排除硬件故障):

svrmgrl> alter database drop logfile group 2;

5. 重新创建redo log:

svrmgrl> alter database add logfile group 2 '/orig_loc/log2.dbf' size 10M;

6. 以旧的control file 来恢复数据库:

svrmgrl> recover database until cancel using backup controlfile;

(必须马上cancel )

7. Reset the logfiles (对启动而言不可省略):

svrmgrl> alter database open resetlogs;

8. 关闭数据库并做一次全库冷备份

只发生归档重作日志丢失或损坏时:

根据不同环境和情况,选择下述手段之一:

a. 马上backup 全部datafiles (如果系统采用一般热备份或RMAN 热备份)

b. 马上正常关闭数据库并进行冷备份(如果系统采用冷备份)

c. 冒险前进!不做备份而让数据库接着跑,直等到下一个备份周期再做备份。这是在赌数据库在下一个备份周期到来之前不会有需要恢复的错误发生。

注意:冒险前进的选择:如果发生错误而需要数据库恢复,则最多只能恢复到出问题archive log 之前的操作现场。从另一个角度讲,archive log(s) 出现问题时,数据库若不需要恢复则其本身并没有任何问题。

Oracle逻辑结构故障的处理方法:

逻辑结构的故障一般指由于人为的误操作而导致重要数据丢失的情况。在这种情况下数据库物理结构是完整的也是一致的。对于这种情况采取对原来数据库的全恢复是不合适的,我们一般采用三种方法来恢复用户数据。

采用exp/imp工具来恢复用户数据:

如果丢失的数据存在一个以前用exp命令的备份,则可以才用这种方式。

1. 在数据库内创建一个临时用户:

svrmgrl>create user test_user identified by test;

svrmgrl>grant connect,resource to test_user;

2. 从以前exp命令备份的文件中把丢失数据的表按照用户方式倒入测试用户:

$imp system/manager file=export_file_name tables=(lost_data_table_name…) fromuser=lost_data_table_owner touser=test_user constraint=n;

3. 用相应的DML语句将丢失的数据从测试用户恢复到原用户。

4. 将测试用户删除:

svrmgrl>drop user test_user cascede;

采用logminer来恢复用户数据:

Logminer是oracle提供的一个日志分析工具。它可以根据数据字典对在线联机日志、归档日志进行分析,从而可以获得数据库的各种DML操作的历史记录以及各种DML操作的回退信息。根据这些用户就可以将由于误操作而丢失的数据重新加入数据库内。

1. 确认数据库的utl_file_dir参数已经设置,如果没有则需要把这个参数加入oracle的初始化参数文件,然后重新启动数据库。下面例子中假设utl_file_dir=’/opt/oracle/db01’;

2. 创建logminer所需要的数据字典信息,假设生成的数据字典文本文件为dict.ora:

svrmgrl>execute dbms_logmnr_d.build(dictionary_filename=>'dict.ora', dictionary_location=>'/opt/oracle/db01’);

3. 确定所需要分析的日志或者归档日志的范围。这可以根据用户误操作的时间来确定大概的日志范围。假设用户误操作时可能的日志文件为/opt/oracle/db02/oradata/ORCL/redo3.log和归档日志’/opt/oracle/arch/orcl/orclarc_1_113.ora’。

4. 创建要分析的日志文件列表,按日志文件的先后顺序依次加入:

svrmgrl>execute dbms_logmnr.add_logfile(logfilename=>’/opt/oracle/arch/orcl/orclarc_1_113.ora’,options=>dbms_logmnr.NEW);

svrmgrl> execute dbms_logmnr.add_logfile(logfilename=>’ /opt/oracle/db02/oradata/ORCL/redo3.log’,options=>dbms_logmnr.ADDFILE);

5. 开始日志分析,假设需要分析的时间在’2003-06-28 12:00:00’和’2003-06-28 13:00:00’之间:

svrmgrl>execute dbms_logmnr.start_logmnr(dictfilename=>’ /opt/oracle/db01/dict.ora’,starttime=>to_date(’ 2003-06-28 12:00:00’,’YYYY-MM-DD HH:MI:SS’),endtime=>to_date(to_date(‘2003-06-28 13:00:00’,’YYYY-MM-DD HH:MI:SS’));

6. 获取分析结果:

svrmgrl>select operation,sql_redo,sql_undo from v$logmnr_contents;

7. 根据分析结果修复数据。

8.结束logmnr:

svrmgrl>dbms_logmnr.end_logmnr;

9. 用适当的方法对原数据库进行数据库全备份。

利用备份恢复用户数据:

采用这种方法时并不是在原数据库进行恢复,而是利用数据库备份在新的机器上重新建立一个新的数据库。通过备份恢复在新机器上将数据库恢复到用户误操作前,这样就可以获得丢失的数据将其恢复到原数据库。

1. 在新的机器上安装数据库软件。

2. 对于采用带库备份的现场,需要在新的数据库服务器上安装调试相应的备份管软件。

3. 根据用户误操作的时间点进行基于时间点的数据库恢复操作。对于没有采用带库备份的现场,可以选取用户误操作前最近的备份磁带进行恢复;对于才用带库备份的点可以通过基于时间恢复点恢复的rman脚本来进行恢复。

4.重新打开数据库:

svrmgrl>alter database open resetlogs;

5. 从新的数据库中获取丢失的用户数据,通过DML操作将其恢复到原数据库中。

6. 用适当的方法对原数据库进行数据库全备份。

‘贰’ 深入分析Oracle数据库日志文件(1)

作为Oracle DBA 我们有时候需要追踪数据误删除或用户的拍则恶意操作情况 此时我们不仅需要查出执行这些操作的数据库账号 还需要知道操作是由哪台客户端(IP地址等)发出的 针对这些问题 一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件 本文将就Oracle日志分析技术做深入探讨 一 如何分析即LogMiner解释 从目前来看 分析Oracle日志的唯一方法就是使用Oracle公司提供的LogMiner来进行 Oracle数据库的所有更改都记录在日志中 但是原始的日志信息我们根本无法看懂 而LogMiner就是让我们看懂日志信息的工具 从这一点上看 它和tkprof差不多 一个是用来分析日志信息 一个则是格式化跟踪文件 通过对日志的分析我们可以实现下面的目的 查明数据库的逻辑更改 侦察并更正用户的误操作 执行事后审计 执行变化分析 不仅如此 日志中记录的信息还包括 数据库的更改历史 更改类型(INSERT UPDATE DELETE DDL等) 更改对应的SCN号 以及执行这些操作的用户信息等 LogMiner在分析日志时 将重构等价的SQL语句和UNDO语句(分别记录在V$LOGMNR_CONTENTS视图的SQL_REDO和SQL_UNDO中) 这里需要注意的是等价语句 而并非原始SQL语句 例如 我们最初执行的是 delete a where c <> cyx ; 而LogMiner重构的是等价的 条DELETE语句 所以我们应该意识到V$LOGMNR_CONTENTS视图中显示的并非是原版的现实 从数据库角度来讲这是很容易理解的 它记录的是元操作 因为同样是 delete a where c <> cyx ; 语句 在不同的环境中 实际删除的记录数可能各不相同 因此记录这样的语句实际上并没有什么实际意义 LogMiner重构的是在实际情况下转化成元操作的多个单条语句 另外由于Oracle重做日志中记录的并非原始的对象(如表以及其中的列)名称 而只是它们在Oracle数据库中的内部编号(对于表来说是它们在数据库中的对象ID 而对于表中的列来说 对应的则是该列在表中的排列序号 COL COL 等) 因此为了使LogMiner重构出的SQL语句易于识别 我们需要将这些编号转化成相应的名称 这就需要用到数据字典(也就说LogMiner本身是可以不用数据字典的 详见下面的分析过程) LogMiner利用DBMS_LOGMNR_D BUILD()过程来提吵链取数据字典信息 LogMiner包含两个PL/SQL包和几个视图 dbms_logmnr_d包 这个包只包括一个用于提取数据字典信息的过程 即dbms_logmnr_d build()过程 dbms_logmnr包 它有三个过程 add_logfile(name varchar options number) 用来添加/删除用于分析的日志文件 start_logmnr(start_scn number end_scn number start_time number end_time number dictfilename varchar options number) 用来开启日志分析 同时确定分析的时间/SCN窗升贺孙口以及确认是否使用提取出来的数据字典信息 end_logmnr() 用来终止分析会话 它将回收LogMiner所占用的内存 与LogMiner相关的数据字典 v$logmnr_dictionary LogMiner可能使用的数据字典信息 因logmnr可以有多个字典文件 该视图用于显示这方面信息 v$logmnr_parameters 当前LogMiner所设定的参数信息 v$logmnr_logs 当前用于分析的日志列表 v$logmnr_contents 日志分析结果 二 Oracle i LogMiner的增强 支持更多数据/存储类型 链接/迁移行 CLUSTER表操作 DIRECT PATH插入以及DDL操作 在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句(CREATE USER除外 其中的密码将以加密的形式出现 而不是原始密码) 如果TX_AUDITING初始化参数设为TRUE 则所有操作的数据库账号将被记录 提取和使用数据字典的选项 现在数据字典不仅可以提取到一个外部文件中 还可以直接提取到重做日志流中 它在日志流中提供了操作当时的数据字典快照 这样就可以实现离线分析 允许对DML操作按事务进行分组 可以在START_LOGMNR()中设置MITTED_DATA_ONLY选项 实现对DML操作的分组 这样将按SCN的顺序返回已经提交的事务 支持SCHEMA的变化 在数据库打开的状态下 如果使用了LogMiner的DDL_DICT_TRACKING选项 Oracle i的LogMiner将自动对比最初的日志流和当前系统的数据字典 并返回正确的DDL语句 并且会自动侦察并标记当前数据字典和最初日志流之间的差别 这样即使最初日志流中所涉及的表已经被更改或者根本已经不存在 LogMiner同样会返回正确的DDL语句 在日志中记录更多列信息的能力 例如对于UPDATE操作不仅会记录被更新行的情况 还可以捕捉更多前影信息 支持基于数值的查询 Oracle i LogMiner在支持原有基于元数据(操作 对象等)查询的基础上 开始支持基于实际涉及到的数据的查询 例如涉及一个工资表 现在我们可以很容易地查出员工工资由 变成 的原始更新语句 而在之前我们只能选出所有的更新语句 三 Oracle i/ i的日志分析过程 LogMiner只要在实例起来的情况下都可以运行 LogMiner使用一个字典文件来实现Oracle内部对象名称的转换 如果没有这个字典文件 则直接显示内部对象编号 例如我们执行下面的语句 delete from C A where C = gototop and ROWID = AAABg AAFAAABQaAAH ;如果没有字典文件 LogMiner分析出来的结果将是 delete from UNKNOWN OBJ# where COL = HEXTORAW( d a d ae ) and ROWID = AAABg AAFAAABQaAAH ; 如果想要使用字典文件 数据库至少应该出于MOUNT状态 然后执行dbms_logmnr_d build过程将数据字典信息提取到一个外部文件中 下面是具体分析步骤 确认设置了初始化参数 UTL_FILE_DIR 并确认Oracle对改目录拥有读写权限 然后启动实例 示例中UTL_FILE_DIR参数如下 SQL> show parameter utlNAME TYPEvalue utl_file_dir string/data /cyx/logmnr 这个目录主要用于存放dbms_logmnr_d build过程所产生的字典信息文件 如果不用这个 则可以不设 也就跳过下面一步 生成字典信息文件 exec dbms_logmnr_d build(dictionary_filename => dic ora dictionary_location => /data /cyx/logmnr ); 其中dictionary_location指的是字典信息文件的存放位置 它必须完全匹配UTL_FILE_DIR的值 例如 假设UTL_FILE_DIR=/data /cyx/logmnr/ 则上面这条语句会出错 只因为UTL_FILE_DIR后面多了一个 / 而在很多其它地方对这一 / 是不敏感的 dictionary_filename指的是放于字典信息文件的名字 可以任意取 当然我们也可以不明确写出这两个选项 即写成 exec dbms_logmnr_d build( dic ora /data /cyx/logmnr ); 如果你第一步的参数没有设 而直接开始这一步 Oracle会报下面的错误 ERROR at line :ORA : initialization parameter utl_file_dir is not setORA : at SYS DBMS_LOGMNR_D line ORA : at SYS DBMS_LOGMNR_D line ORA : at line 需要注意的是 在oracle for Windows版中会出现以下错误 : : SQL> execute dbms_logmnr_d build( oradict ora c:oracleadminoralog );BEGIN dbms_logmnr_d build( oradict ora c:oracleadminoralog ); END;*ERROR at line :ORA : Subscript outside of limitORA : at SYS DBMS_LOGMNR_D line ORA : at line 解决办法 编辑 $ORACLE_HOME/rdbms/admindbmslmd sql 文件 把其中的TYPE col_desc_array IS VARRAY( ) OF col_description;改成 TYPE col_desc_array IS VARRAY( ) OF col_description; 保存文件 然后执行一遍这个脚本 : : SQL> @c:oracleora dbmsadmindbmslmd sqlPackage created Package body created No errors Grant succeeded 然后重新编译DBMS_LOGMNR_D包 : : SQL> alter package DBMS_LOGMNR_D pile body;Package body altered 之后重新执行dbms_logmnr_d build即可 : : SQL> execute dbms_logmnr_d build( oradict ora c:oracleadminoralog );PL/SQL procere successfully pleted 添加需要分析的日志文件 SQL>exec dbms_logmnr add_logfile( logfilename=> /data /cyx/rac arch/arch_ _ arc options=>dbms_logmnr new);PL/SQL procere successfully pleted 这里的options选项有三个参数可以用 NEW 表示创建一个新的日志文件列表 ADDFILE 表示向这个列表中添加日志文件 如下面的例子 REMOV lishixin/Article/program/Oracle/201311/18949

‘叁’ 如何查询oracle数据库操作日志记录

方法1:使用LogMiner工具
优点:可以完全挖掘日志内容,找出所有执行过的SQL语句
缺点:
1. 如果没有启用归档日志,则只能对联机日志进行挖掘
2. 需要掌握LogMiner的用法

访法2:查看HIST视图
优点:简单,只要使用普通的select语句查询
缺点:Oracle保留约1周的历史,所以要查太早的就不可能了
-- 找出哪个数据库用户用什么程序在最近三天执行过delete或truncate table的操作

举例如下:
SELECT c.username,
a.program,
b.sql_text,
b.command_type,
a.sample_time
FROM dba_hist_active_sess_history a
JOIN dba_hist_sqltext b
ON a.sql_id = b.sql_id
JOIN dba_users c
ON a.user_id = c.user_id
WHERE a.sample_time BETWEEN SYSDATE - 3 AND SYSDATE
AND b.command_type IN (7, 85)
ORDER BY a.sample_time DESC;

‘肆’ 如何对oracle11g日志分析

logminer作为相关的日志分析工具集成与oracle中,我们可通过该工具清楚的分析重做相关日志和归档日志中的所有事物变化,并且可以准确的确定各种DML和DDL操作的具体时间和SCN值。
通过logminer我们可以实现:
1,确定数据的逻辑损坏的时间
2,跟踪用户执行的事务变化操作
3,跟踪表的DML操作
如果我们要分析归档日志,我们首先修改oracle归档日志的模式,我们要把默认的归档路径改成我们自己的路径:
start mount;
alter database archivelog;
alter database open;
alter system set log_archive_dest_1='location=d:\oracle' scope=spfile;
alter system set log_archive_format='arch_%t_%s_%r.trc' scope=spfile;
查看我们修改过的归档路径:
archive log list;
查看归档日志:
select name,dest_id from v$archived_log;
如果查询的没有更改,我们需要重启一下数据库
安装logminer,安装logminer需要我们安装下面的几个包:
$ORACLE_HOME/rdbms/admin/dbmslm.sql
$ORACLE_HOME/rdbms/admin/dbmslmd.sql
$ORACLE_HOME/rdbms/admin/dbmslms.sql
这几个脚本必须是sys用户运行
@$ORACLE_HOME/rdbms/admin/dbmslm.sql
@$ORACLE_HOME/rdbms/admin/dbmslmd.sql
@$ORACLE_HOME/rdbms/admin/dbmslms.sql
添加数据字典,需要添加参数utl_file_dir,
alter system set utl_file_dir='/home/oracle/dir' scope=spfile;
添加supplement logging
首先查看
select name,supplemental_log_data_min from v$database;是否是yes
YES为打开状态,会记录session_info,username等信息
NO为关闭状态,不会记录sesion_info,username等信息
添加
alter database add supplemental log data;
关闭
alter database drop supplemental log data;
重启数据库,这样我们刚才的两个参数就会生效;
查看数据字典:
show parameter utl;
添加数据字典:
SQL> begin
2 dbms_logmnr_d.build(
3 dictionary_filename=>'logminer_dict.dat',
4 dictionary_location=>'/home/oracle/logminer');
5 end;
6 /
PL/SQL procere successfully completed.
或是:
execute dbms_logmnr_d.build(dictionary_filename=>'logminer_dict.dat',dictionary_location=>'/home/oracle/logminer');
创建登录触发器:
SQL> create or replace trigger on_logon_tigger
2 after logon on database
3 begin
4 dbms_application_info.set_client_info(sys_context('userenv','ip_address'));
5 end;
6 /
Trigger created.
我们就可以在V$SESSION视图的CLIENT_INFO列中看到新登录的客户端IP地址了。那么现在就可以在
添加要分析的归档日志文件
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_6_758944049_1.trc',options=>dbms_logmnr.new);
4 end;
5 /
PL/SQL procere successfully completed.

SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.addfile);
5 end;
6 /
PL/SQL procere successfully completed.

切换归档日志:
alter system switch logfile;
开启分析:
execute dmbs_logmnr.start_logmnr(dictfilename='/home/oracle/logminer/logminer_dict.dat');
或是:
execute dbms_logmnr.start_logmnr;
查询归档日志:
SQL> select name from v$archived_log;
NAME
--------------------------------------------------------------------------------
/home/oracle/arch/arch_6_758944049_1.trc
/home/oracle/arch/arch_7_758944049_1.trc
/home/oracle/arch/arch_8_758944049_1.trc
为了节约pga的空间,当我们分析完日志后,移除不需要的日志:
SQL> begin
2 dbms_logmnr.add_logfile(
3 logfilename=>'/home/oracle/arch/arch_7_758944049_1.trc',
4 options=>dbms_logmnr.removefile);
5 end;
6 /
PL/SQL procere successfully completed.

查询结果在v$logmnr_contents;
查询数据库上面的操作
select scn,sql_redo,timestamp from v$logmnr.contents;
关闭分析
execute dbms_logmnr.stop_logmnr;
查询的时候最好使用plsql查询。