一汽轎車:海天專家組救援EXADATA客戶數(shù)據(jù),挽回?fù)p失!
一汽轎車:海天專家組救援EXADATA客戶數(shù)據(jù),挽回?fù)p失!
項(xiàng)目背景
2016年年末,一汽轎車紅旗銷售系統(tǒng)數(shù)據(jù)庫在沒有任何征兆的情況下突然出現(xiàn)大量壞塊,導(dǎo)致數(shù)據(jù)庫宕機(jī)并無法啟動。經(jīng)海天起點(diǎn)工程師排查發(fā)現(xiàn)該RAC系統(tǒng)運(yùn)行在EXADATA X4一體機(jī)上,由于ASM存儲中的數(shù)據(jù)文件出現(xiàn)問題,導(dǎo)致所有節(jié)點(diǎn)都無法啟動,銷售系統(tǒng)徹底無法運(yùn)行。
項(xiàng)目建設(shè)內(nèi)容
故障發(fā)生后,海天起點(diǎn)高度重視,一小時(shí)內(nèi)先后征調(diào)四名二線專家支援。一線工程師按通常處理方法首先嘗試使用塊恢復(fù)命令恢復(fù),但某些塊嘗試幾次后始終不能成功,情況比復(fù)雜,中間還發(fā)生了歸檔文件丟失的情況,令人欣慰的是查明歸檔文件是被NBU程序備份轉(zhuǎn)移了,同時(shí)確認(rèn)前一天有全備份,具備恢復(fù)的可行性。
項(xiàng)目成果
考慮到問題復(fù)雜,采用其它方式處理無法在處理時(shí)間和效果方面給客戶一個(gè)明確的保證,二線專家組當(dāng)機(jī)立斷在最短時(shí)間內(nèi)確定了使用全備份進(jìn)行恢復(fù)的處理方案,并于次日中午將數(shù)據(jù)庫恢復(fù)到最后一個(gè)可用歸檔文件并成功啟動數(shù)據(jù)庫,將客戶銷售損失降到最低。