博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oracle Logminer 日志挖掘
阅读量:7012 次
发布时间:2019-06-28

本文共 6718 字,大约阅读时间需要 22 分钟。

生产环境中考虑到数据库的性能问题,很少会打开数据的审计功能,应用层也不会记录SQL的执行信息;但是生产上经常会遇到某张表的某几条被修改掉,但是应用又查不到是哪个接口修改的记录,这时候Logminer 就派上用场了。
Logminer 8i之后的一款免费日志分析工具:通过分析在线日志文件或者归档日志文件,返回数据库DDL/DML操作语句、执行时间、用户等等可以追查的信息,快速定位问题。
使用Logminer 工具,数据库需要开启强制日志和归档模式
数据库配置
# 开启强制日志模式# 查看当前数据库日志模式SQL> SELECT supplemental_log_data_min, force_logging FROM v$database;# 如果返回结果为NO,则SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;SQL> ALTER DATABASE FORCE LOGGING;# 确认是否已经修改,输出为YESSQL> SELECT supplemental_log_data_min, force_logging FROM v$database;# 切换系统日志SQL> ALTER SYSTEM SWITCH LOGFILE;# 数据库处于归档模式SQL> archive log listDatabase log mode           Archive ModeAutomatic archival           EnabledArchive destination           USE_DB_RECOVERY_FILE_DESTOldest online log sequence     107Next log sequence to archive   109Current log sequence           109# 默认归档日志路径SQL> show parameter db_recoverNAME                     TYPE     VALUE------------------------------------ ----------- ------------------------------db_recovery_file_dest             string     /u01/app/oracle/fast_recovery_areadb_recovery_file_dest_size         big integer 4977M# 若数据库处于非归档模式,则需要# 干净的关闭掉数据库SQL> shutdown immediate# 打开至mount状态SQL> startup mount# 设置为归档模式SQL> alter database archivelog;# 开启数据库SQL> alter database open;
Logminer 配置
# 首先安装 logminer 使用到的包,将创建用于分析的过程和视图SQL> @$ORACLE_HOME/rdbms/admin/dbmslm.sqlSQL> @$ORACLE_HOME/rdbms/admin/dbmslmd.sql# 参数配置,用于创建字典文件SQL> show parameter utlNAME                     TYPE     VALUE------------------------------------ ----------- ------------------------------utl_file_dir                 string     /u01/app/oracle/logminer# 如果VALUE 为 NULL,那么需要在线修改并重启实例生效SQL> alter system set utl_file_dir='/u01/app/oracle/logminer' scope=spfile;#  创建字典文件SQL> CREATE DIRECTORY utlfile AS '/u01/app/oracle/logminer';SQL> EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'/u01/app/oracle/logminer');SQL> !ls  /u01/app/oracle/logminerdictionary.ora
对测试数据表进行操作
#  创建临时表SQL>  create table u_logminer.dba_objects as select * from all_objects;# 更新操作SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';STATUS    OWNER                   OBJECT_NAME------- ------------------------------ --------------------INVALID U_LOGMINER               ALL_OBJECTSINVALID U_LOGMINER               ALL_OBJECTSINVALID U_LOGMINER               ALL_OBJECTSINVALID U_LOGMINER               ALL_OBJECTS # update 更新SQL> update U_LOGMINER.dba_objects set STATUS = 'VALID' where owner = 'U_LOGMINER';4 rows updated.SQL> commit;Commit complete.SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';STATUS    OWNER                   OBJECT_NAME------- ------------------------------ --------------------VALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTS# insert 插入SQL> insert into U_LOGMINER.dba_objects select * from dba_objects where owner = 'U_LOGMINER';4 rows created.SQL> commit;Commit complete.SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';STATUS    OWNER                   OBJECT_NAME------- ------------------------------ --------------------VALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTSVALID    U_LOGMINER               ALL_OBJECTS8 rows selected.# delete 删除SQL> delete from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';8 rows deleted.SQL> commit;Commit complete.
使用Logminer 分析归档日志
# 添加日志文件进行分析,第一个文件 dbms_logmnr.NEW,后面的文件dbms_logmnr.ADDFILESQL> BEGIN  2  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_106_dshlmn6r_.arc',options=>dbms_logmnr.NEW);  3  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_107_dshlmoo2_.arc',options=>dbms_logmnr.ADDFILE);  4  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_108_dshm5n1x_.arc',options=>dbms_logmnr.ADDFILE);  5  end;  6  /PL/SQL procedure successfully completed.# 开始分析,当前是完整分析日志文件的内容,可以操作时间、SCN等过滤需要分析的内容SQL> EXECUTE dbms_logmnr.start_logmnr(dictfilename =>'/u01/app/oracle/logminer/dictionary.ora');# 或者SQL> EXECUTE dbms_logmnr.start_logmnr(DictFileName =>'/u01/app/oracle/logminer/dictionary.ora', StartTime =>to_date('2017-8-19 00:00:00','YYYY-MM-DD HH24:MI:SS'),EndTime =>to_date('2017-8-19 17:00:00','YYYY-MM-DD HH24:MI:SS '));# 或者SQL> SQL> EXECUTE dbms_logmnr.start_logmnr(DictFileName =>'/u01/app/oracle/logminer/dictionary.ora', StartScn>=20, EndScn<= 50);PL/SQL procedure successfully completed.# 结果放在视图中,注意当会话结束,临时表会被删除SQL> SELECT count(*) FROM v$logmnr_contents;   COUNT(*)----------     42118# 将临时表数据备份至物理表中SQL> create table u_logMIner.logminer_tmp as select * from  v$logmnr_contents; Table created.
日志文件分析完成,接下来就看看对表到底做了什么操作
# 根据事务开始时间进行排序,查询数据表的变更记录SQL > SELECT START_TIMESTAMP,COMMIT_TIMESTAMP,sql_redo,sql_undo,machine_name,os_username,username,table_name FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;# sql_redo 更改数据的SQL# sql_undo 回滚数据的SQL# machine_name,os_username,username 三位一体定位执行更新的机器、数据库用户名# 如下:SQL> SELECT sql_redo FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;SQL_REDO--------------------------------------------------------------------------------update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'INVALID' where "STATUS" = 'VALID' and ROWID = 'AAAD8EAAIAAAAJAAAf';update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'INVALID' where "STATUS" = 'VALID' and ROWID = 'AAAD8EAAIAAAAKHAAv';…………# 如下:SQL> SELECT sql_undo FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;SQL_UNDO--------------------------------------------------------------------------------update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVALID' and ROWID = 'AAAD8EAAIAAAAJAAAf';update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVALID' and ROWID = 'AAAD8EAAIAAAAKHAAv';update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVALID' and ROWID = 'AAAD8EAAIAAAAPoAA0';………………
SQL拿出来了,就可以定位问题,但是能不能立刻回滚到生产环境,还需要和业务部门进行沟通。
建议在创建数据库时,就打开强制日志、归档模式,配置 utl_file_dir 参数,避免数据库重启对线上的影像
当然也可以直接下其他环境下的数据库做日志分析工作,有两个点需要注意:数据字典和日志文件,其他和在本机处理没什么两样。

转载地址:http://ehxtl.baihongyu.com/

你可能感兴趣的文章
【Oracle】How to Rename or Move Datafiles and Logfiles 之一
查看>>
CYQ.Data 轻量数据访问层(六) 构造数据表
查看>>
iOS系统声音列表
查看>>
Linux0.11内核剖析--初始化程序(init)
查看>>
大数据网红发现神器
查看>>
[置顶]【原创】.NET开源压缩组件介绍与入门
查看>>
IOS开发之音频--录音
查看>>
JS魔法堂:那些困扰你的DOM集合类型
查看>>
手把手玩转win8开发系列课程(11)
查看>>
Spring AOP源码分析(八)SpringAOP要注意的地方
查看>>
SparkContext的初始化(季篇)——测量系统、ContextCleaner等组件介绍
查看>>
一千零一夜:检查数组包含某一目标元素的几种方法分析
查看>>
poj 1273 Drainage Ditches
查看>>
SoC嵌入式软件架构设计
查看>>
[LeetCode]38.Count and Say
查看>>
网络协议系列之八:TCP差错控制
查看>>
《Apache Velocity用户指南》官方文档
查看>>
docker network case with customized bridge
查看>>
3月10日SLB、CDP、OCS、OSS升级公告
查看>>
用JDK开发web service
查看>>