Oracle 数据库启动报ORA-00600 [kkdlcob-objn-exists]的故障处理

1，故障现象
今天一个客户的数据库在启动时报ORA-00600 [kkdlcob-objn-exists], [37]错误，数据库不能打开，同时伴随着有ORA-00704的不错，请求紧急救援。
报错说明：
kkdlcob-objn-exists表示dataobj#已经存在。
37代表dataobj#的值。
如果在数据库启动阶段报错，同时伴随着有ORA-00704的错误，那么说明数据库在bootstrap阶段报错，也意识着在创建系统自带对象时报错。
报错的详细代码如下：

2，分析过程
2.1 查看trace文件

查看D:\APP\ADMINISTRATOR\diag\rdbms\orcl\orcl\incident\incdir_39811\orcl_ora_6864_i39811.trc文件内容

在日志文件中，可以看到如下的信息：

*** 2020-05-06 15:47:40.272
dbkedDefDump(): Starting incident default dumps (flags=0x2, level=3, mask=0x0)
----- Current SQL Statement for this session (sql_id=8urmvm9u914ww) -----
CREATE UNIQUE INDEX I_OBJ2 ON OBJ$(OWNER#,NAME,NAMESPACE,REMOTEOWNER,LINKNAME,SUBNAME,TYPE#,SPARE3,OBJ#) PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE (  INITIAL 16K NEXT 104K MINEXTENTS 1 MAXEXTENTS 2147483645 PCTINCREASE 0 OBJNO 37 EXTENTS (FILE 1 BLOCK 344))

----- Abridged Call Stack Trace -----
ksedsts()+585<-kjzdssdmp()+329<-kjzduptcctx()+288<-kjzdpcrshnfy()+77<-kstdmp()+364<-dbkedDefDump()+16515<-ksedmp()+43<-ksfdmp()+87<-dbgexPhaseII()+1819<-dbgexProcessError()+3008<-dbgeExecuteForError()+65<-dbgePostErrorKGE()+2269<-dbkePostKGE_kgsf()+77<-kgeadse()+349
<-kgerinv_internal()+76<-kgerinv()+49<-kgeasnmierr()+64<-kkdlcob()+2197<-kdicwpre()+2143<-kdicrws()+1062

此SQL语句就是出发ORA-00600 [kkdlcob-objn-exists], [37]报错的语句，通过关键字OBJNO 37也可以发现，也就是系统在启动时创建I_OBJ2时报错,系统中已经存储OBJNO 37的对象。

我们知道OBJNO 37是系统在启动过程中从bootstrap$表中读取出来的信息，并且这个表的内容是固定的。

所以我们猜测是有人故意修改bootstrap$内容导致的。

继续向下看日志内容：

继续分析trace，可以看到报错前访问的block，1/523属于bootstrap$

BH (0x00000009CFD3DAB0) file#: 1 rdba: 0x0040020b (1/523) class: 1 ba: 0x00000009CB5EC000
  set: 37 pool: 3 bsz: 8192 bsi: 0 sflg: 2 pwc: 0,0
  dbwrid: 0 obj: 59 objn: 59 tsn: 0 afn: 1 hint: f
  hash: [0x0000000AD19BF560,0x0000000AD19BF560] lru: [0x0000000B02416BB8,0x0000000B02416BB8]
  ckptq: [NULL] fileq: [NULL] objq: [0x0000000ACECC2340,0x0000000ACECC2340] objaq: [0x0000000ACECC2330,0x0000000ACECC2330]
  st: XCURRENT md: NULL fpin: ‘kdswh11: kdst_fetch‘ tch: 1
  flags: only_sequential_access
  LRBA: [0x0.0.0] LSCN: [0x0.0] HSCN: [0xffff.ffffffff] HSUB: [65535]
  buffer tsn: 0 rdba: 0x0040020b (1/523)
  scn: 0x0000.01565fa3 seq: 0x01 flg: 0x06 tail: 0x5fa30601
  frmt: 0x02 chkval: 0x0ea2 type: 0x06=trans data
Hex dump of block: st=0, typ_found=1
Dump of memory from 0x00000009CB5EC000 to 0x00000009CB5EE000
9CB5EC000 0000A206 0040020B 01565FA3 06010000  [_V.....]
9CB5EC010 00000EA2 00000001 0000003B 01565FA2  [........;...._V.]
9CB5EC020 00000000 00030001 00000000 001D000A  [................]
9CB5EC030 0001D51A 00C00241 0014616B 00002002  [....A...ka... ..]
9CB5EC040 01565FA3 000F0100 0030FFFF 0DC40AAD  [._V.......0.....]
9CB5EC050 00000DC4 1D30000F 1B481C56 19AB1A82  [......0.V.H.....]
9CB5EC060 17C1189C 0AAD16F8 112012EA 0F891051  [.......... .Q...]
9CB5EC070 0DF50EC0 00000000 00000000 00000000  [................]
9CB5EC080 00000000 00000000 00000000 00000000  [................]
        Repeat 166 times
9CB5ECAF0 03012C00 0205C102 3CFE05C1 45524303  [.,.........<.CRE]
9CB5ECB00 20455441 4C424154 41542045 22282442  [ATE TABLE TAB$("]
9CB5ECB10 234A424F 554E2022 5245424D 544F4E20  [OBJ#" NUMBER NOT]
9CB5ECB20 4C554E20 44222C4C 4F415441 22234A42  [ NULL,"DATAOBJ#"]
9CB5ECB30 4D554E20 2C524542 23535422 554E2022  [ NUMBER,"TS#" NU]
9CB5ECB40 5245424D 544F4E20 4C554E20 46222C4C  [MBER NOT NULL,"F]
9CB5ECB50 23454C49 554E2022 5245424D 544F4E20  [ILE#" NUMBER NOT]
9CB5ECB60 4C554E20 42222C4C 4B434F4C 4E202223  [ NULL,"BLOCK#" N]
9CB5ECB70 45424D55 4F4E2052 554E2054 222C4C4C  [UMBER NOT NULL,"]
9CB5ECB80 4A424F42 4E202223 45424D55 54222C52  [BOBJ#" NUMBER,"T]
9CB5ECB90 22234241 4D554E20 2C524542 4C4F4322  [AB#" NUMBER,"COL]
9CB5ECBA0 4E202253 45424D55 4F4E2052 554E2054  [S" NUMBER NOT NU]
9CB5ECBB0 222C4C4C 43554C43 22534C4F 4D554E20  [LL,"CLUCOLS" NUM]
9CB5ECBC0 2C524542 54435022 45455246 4E202224  [BER,"PCTFREE$" N]
9CB5ECBD0 45424D55 4F4E2052 554E2054 222C4C4C  [UMBER NOT NULL,"]
9CB5ECBE0 55544350 24444553 554E2022 5245424D  [PCTUSED$" NUMBER]
9CB5ECBF0 544F4E20 4C554E20 49222C4C 5254494E  [ NOT NULL,"INITR]
9CB5ECC00 22534E41 4D554E20 20524542 20544F4E  [ANS" NUMBER NOT ]
9CB5ECC10 4C4C554E 414D222C 41525458 2022534E  [NULL,"MAXTRANS" ]
9CB5ECC20 424D554E 4E205245 4E20544F 2C4C4C55  [NUMBER NOT NULL,]
9CB5ECC30 414C4622 20225347 424D554E 4E205245  ["FLAGS" NUMBER N]
9CB5ECC40 4E20544F 2C4C4C55 44554122 22245449  [OT NULL,"AUDIT$"]
9CB5ECC50 52415620 52414843 38332832 4F4E2029  [ VARCHAR2(38) NO]
9CB5ECC60 554E2054 222C4C4C 43574F52 2022544E  [T NULL,"ROWCNT" ]
9CB5ECC70 424D554E 222C5245 434B4C42 2022544E  [NUMBER,"BLKCNT" ]
9CB5ECC80 424D554E 222C5245 43504D45 2022544E  [NUMBER,"EMPCNT" ]
9CB5ECC90 424D554E 222C5245 53475641 20224350  [NUMBER,"AVGSPC" ]
9CB5ECCA0 424D554E 222C5245 434E4843 2022544E  [NUMBER,"CHNCNT" ]
9CB5ECCB0 424D554E 222C5245 52475641 20224E4C  [NUMBER,"AVGRLN" ]
9CB5ECCC0 424D554E 222C5245 53475641 465F4350  [NUMBER,"AVGSPC_F]
9CB5ECCD0 2022424C 424D554E 222C5245 43424C46  [LB" NUMBER,"FLBC]
9CB5ECCE0 2022544E 424D554E 222C5245 4C414E41  [NT" NUMBER,"ANAL]
9CB5ECCF0 54455A59 22454D49 54414420 53222C45  [YZETIME" DATE,"S]
9CB5ECD00 4C504D41 5A495345 4E202245 45424D55  [AMPLESIZE" NUMBE]
9CB5ECD10 44222C52 45524745 4E202245 45424D55  [R,"DEGREE" NUMBE]
9CB5ECD20 49222C52 4154534E 5345434E 554E2022  [R,"INSTANCES" NU]
9CB5ECD30 5245424D 4E49222C 4C4F4354 4E202253  [MBER,"INTCOLS" N]
9CB5ECD40 45424D55 4F4E2052 554E2054 222C4C4C  [UMBER NOT NULL,"]
9CB5ECD50 4E52454B 4F434C45 2022534C 424D554E  [KERNELCOLS" NUMB]
9CB5ECD60 4E205245 4E20544F 2C4C4C55 4F525022  [ER NOT NULL,"PRO]
9CB5ECD70 54524550 4E202259 45424D55 4F4E2052  [PERTY" NUMBER NO]
9CB5ECD80 554E2054 222C4C4C 47495254 47414C46  [T NULL,"TRIGFLAG]
9CB5ECD90 554E2022 5245424D 5053222C 31455241  [" NUMBER,"SPARE1]
9CB5ECDA0 554E2022 5245424D 5053222C 32455241  [" NUMBER,"SPARE2]
9CB5ECDB0 554E2022 5245424D 5053222C 33455241  [" NUMBER,"SPARE3]
9CB5ECDC0 554E2022 5245424D 5053222C 34455241  [" NUMBER,"SPARE4]
9CB5ECDD0 41562022 41484352 31283252 29303030  [" VARCHAR2(1000)]
9CB5ECDE0 5053222C 35455241 41562022 41484352  [,"SPARE5" VARCHA]
9CB5ECDF0 31283252 29303030 5053222C 36455241  [R2(1000),"SPARE6]
9CB5ECE00 41442022 20294554 524F5453 20454741  [" DATE) STORAGE ]
9CB5ECE10 4F202028 4F4E4A42 20373320 4E424154  [(  OBJNO 37 TABN] --标红
9CB5ECE20 2931204F 554C4320 52455453 4F5F4320  [O 1) CLUSTER C_O]
9CB5ECE30 28234A42 234A424F 03002C29 0239C102  [BJ#(OBJ#),....9.]
9CB5ECE40 43C139C1 54414552 4E492045 20584544  [.9.CREATE INDEX ]
9CB5ECE50 44435F49 20344645 43204E4F 24464544  [I_CDEF4 ON CDEF$]
9CB5ECE60 414E4528 44454C42 43502029 45524654  [(ENABLED) PCTFRE]
9CB5ECE70 30312045 494E4920 4E415254 20322053  [E 10 INITRANS 2 ]
9CB5ECE80 5458414D 534E4152 35353220 4F545320  [MAXTRANS 255 STO]
9CB5ECE90 45474152 20202820 54494E49 204C4149  [RAGE (  INITIAL ]
9CB5ECEA0 204B3436 5458454E 32303120 4D204B34  [64K NEXT 1024K M]

9CB5EDB40 20312053 4558414D 4E455458 32205354  [S 1 MAXEXTENTS 2]
9CB5EDB50 34373431 34363338 43502035 434E4954  [147483645 PCTINC]
9CB5EDB60 53414552 20302045 4E4A424F 3833204F  [REASE 0 OBJNO 38]
9CB5EDB70 54584520 53544E45 49462820 3120454C  [ EXTENTS (FILE 1]
9CB5EDB80 4F4C4220 33204B43 29293235 0203002C  [ BLOCK 352)),...]
9CB5EDB90 C10226C1 0102FE26 41455243 55204554  [.&..&...CREATE U]
9CB5EDBA0 5551494E 4E492045 20584544 424F5F49  [NIQUE INDEX I_OB]
9CB5EDBB0 4F20324A 424F204E 4F28244A 52454E57  [J2 ON OBJ$(OWNER]
9CB5EDBC0 414E2C23 4E2C454D 53454D41 45434150  [#,NAME,NAMESPACE]
9CB5EDBD0 4D45522C 4F45544F 52454E57 4E494C2C  [,REMOTEOWNER,LIN]
9CB5EDBE0 4D414E4B 55532C45 4D414E42 59542C45  [KNAME,SUBNAME,TY]
9CB5EDBF0 2C234550 52415053 4F2C3345 29234A42  [PE#,SPARE3,OBJ#)]
9CB5EDC00 54435020 45455246 20303120 54494E49  [ PCTFREE 10 INIT]
9CB5EDC10 534E4152 4D203220 52545841 20534E41  [RANS 2 MAXTRANS ]
9CB5EDC20 20353532 524F5453 20454741 49202028  [255 STORAGE (  I]
9CB5EDC30 4954494E 31204C41 4E204B36 20545845  [NITIAL 16K NEXT ]
9CB5EDC40 4B343031 4E494D20 45545845 2053544E  [104K MINEXTENTS ]
9CB5EDC50 414D2031 54584558 53544E45 34313220  [1 MAXEXTENTS 214]
9CB5EDC60 33383437 20353436 49544350 4552434E  [7483645 PCTINCRE]
9CB5EDC70 20455341 424F2030 204F4E4A 45203733  [ASE 0 OBJNO 37 E] --标红
9CB5EDC80 4E455458 28205354 454C4946 42203120  [XTENTS (FILE 1 B]
9CB5EDC90 4B434F4C 34343320 002C2929 25C10203  [LOCK 344)),....%]
9CB5EDCA0 D025C102 41455243 55204554 5551494E  [..%.CREATE UNIQU]
9CB5EDCB0 4E492045 20584544 424F5F49 4F20314A  [E INDEX I_OBJ1 O]
9CB5EDCC0 424F204E 4F28244A 2C234A42 454E574F  [N OBJ$(OBJ#,OWNE]
9CB5EDCD0 542C2352 23455059 43502029 45524654  [R#,TYPE#) PCTFRE]
9CB5EDCE0 30312045 494E4920 4E415254 20322053  [E 10 INITRANS 2 ]
9CB5EDCF0 5458414D 534E4152 35353220 4F545320  [MAXTRANS 255 STO]

从trace中可以看到当I_OBJ2创建之前，tab$先被创建并且OBJ#正好是37。对bootstrap核心对象比较熟悉的朋友应该知道TAB$的obj#应该是4才对。

所以可有人估计修改bootstrap$导致的。

2.2 查看块的内容
通过块的dump信息，确认快的信息是被修改过。

Block header dump:  0x0040020b
 Object id on Block? Y
 seg/obj: 0x3b  csc: 0x00.1565fa2  itc: 1  flg: O  typ: 1 - DATA
     fsl: 0  fnx: 0x0 ver: 0x01

 Itl           Xid                  Uba         Flag  Lck        Scn/Fsc
0x01   0x000a.01d.0001d51a  0x00c00241.616b.14  --U-    2  fsc 0x0000.01565fa3  --Lck为2，有2行记录曾经被修改
bdba: 0x0040020b

tab 0, row 8, @0xaad
tl: 840 fb: --H-FL-- lb: 0x1  cc: 3 --lb为1，说明该行被修改
col  0: [ 2]  c1 05
col  1: [ 2]  c1 05     --OBJ#=4
col  2: [828]
 43 52 45 41 54 45 20 54 41 42 4c 45 20 54 41 42 24 28 22 4f 42 4a 23 22 20
 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55 4c 4c 2c 22 44 41 54 41 4f 42 4a 23
 22 20 4e 55 4d 42 45 52 2c 22 54 53 23 22 20 4e 55 4d 42 45 52 20 4e 4f 54
 20 4e 55 4c 4c 2c 22 46 49 4c 45 23 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20
 4e 55 4c 4c 2c 22 42 4c 4f 43 4b 23 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20
 4e 55 4c 4c 2c 22 42 4f 42 4a 23 22 20 4e 55 4d 42 45 52 2c 22 54 41 42 23
 22 20 4e 55 4d 42 45 52 2c 22 43 4f 4c 53 22 20 4e 55 4d 42 45 52 20 4e 4f
 54 20 4e 55 4c 4c 2c 22 43 4c 55 43 4f 4c 53 22 20 4e 55 4d 42 45 52 2c 22
 50 43 54 46 52 45 45 24 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55 4c 4c
 2c 22 50 43 54 55 53 45 44 24 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55
 4c 4c 2c 22 49 4e 49 54 52 41 4e 53 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20
 4e 55 4c 4c 2c 22 4d 41 58 54 52 41 4e 53 22 20 4e 55 4d 42 45 52 20 4e 4f
 54 20 4e 55 4c 4c 2c 22 46 4c 41 47 53 22 20 4e 55 4d 42 45 52 20 4e 4f 54
 20 4e 55 4c 4c 2c 22 41 55 44 49 54 24 22 20 56 41 52 43 48 41 52 32 28 33
 38 29 20 4e 4f 54 20 4e 55 4c 4c 2c 22 52 4f 57 43 4e 54 22 20 4e 55 4d 42
 45 52 2c 22 42 4c 4b 43 4e 54 22 20 4e 55 4d 42 45 52 2c 22 45 4d 50 43 4e
 54 22 20 4e 55 4d 42 45 52 2c 22 41 56 47 53 50 43 22 20 4e 55 4d 42 45 52
 2c 22 43 48 4e 43 4e 54 22 20 4e 55 4d 42 45 52 2c 22 41 56 47 52 4c 4e 22
 20 4e 55 4d 42 45 52 2c 22 41 56 47 53 50 43 5f 46 4c 42 22 20 4e 55 4d 42
 45 52 2c 22 46 4c 42 43 4e 54 22 20 4e 55 4d 42 45 52 2c 22 41 4e 41 4c 59
 5a 45 54 49 4d 45 22 20 44 41 54 45 2c 22 53 41 4d 50 4c 45 53 49 5a 45 22
 20 4e 55 4d 42 45 52 2c 22 44 45 47 52 45 45 22 20 4e 55 4d 42 45 52 2c 22
 49 4e 53 54 41 4e 43 45 53 22 20 4e 55 4d 42 45 52 2c 22 49 4e 54 43 4f 4c
 53 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55 4c 4c 2c 22 4b 45 52 4e 45
 4c 43 4f 4c 53 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55 4c 4c 2c 22 50
 52 4f 50 45 52 54 59 22 20 4e 55 4d 42 45 52 20 4e 4f 54 20 4e 55 4c 4c 2c
 22 54 52 49 47 46 4c 41 47 22 20 4e 55 4d 42 45 52 2c 22 53 50 41 52 45 31
 22 20 4e 55 4d 42 45 52 2c 22 53 50 41 52 45 32 22 20 4e 55 4d 42 45 52 2c
 22 53 50 41 52 45 33 22 20 4e 55 4d 42 45 52 2c 22 53 50 41 52 45 34 22 20
 56 41 52 43 48 41 52 32 28 31 30 30 30 29 2c 22 53 50 41 52 45 35 22 20 56
 41 52 43 48 41 52 32 28 31 30 30 30 29 2c 22 53 50 41 52 45 36 22 20 44 41
 54 45 29 20 53 54 4f 52 41 47 45 20 28 20 20 4f 42 4a 4e 4f 20 33 37 20 54
 41 42 4e 4f 20 31 29 20 43 4c 55 53 54 45 52 20 43 5f 4f 42 4a 23 28 4f 42
 4a 23 29

3，解决方案
知道bootstrap$被修改了，那么解决方案就非常简单了。

3.1 通过bbed直接修改块内容。
bbed修改的方法见：http://www.htz.pw/?p=846

3.2 找一个同版本的数据库，将bootstrap$复制过来就可以。
修改的方法见：http://www.htz.pw/?p=841