1、醫院運醫療行業業務系統特點與存在的容災痛點

隨著醫療行業信息化的進程的加深，對醫療數據進行高效地存儲和管理，備份以便提供安全有效地數據與信息的系統快速訪問和利用成為醫療行業數據存儲的主要發展趨勢，在醫院眾多的架構經驗信息化系統中，HIS作為最重要的設計實施醫院信息系統，貫穿了業務流程的分享各個環節，起著核心支撐作用，醫院運包含財務、容災人事、備份住院、系統門診、架構經驗掛號、設計實施醫技、分享收費、醫院運分診、藥品管理等多個子系統，是醫療服務和醫院管理的核心。

現在醫院對信息系統的依賴性越來越大，除了HIS系統，醫院其他關鍵業務還包括PACS、EMR、LIS和CIS等應用系統。這些業務系統包含了大量的醫療影像信息、病人電子病歷信息、臨床信息和檢驗信息等。但隨著醫院的不斷發展，龐大的數據量和后臺服務器的軟硬件保護成為醫院信息化建設面臨的一大難題。任何的系統停機或數據丟失輕則降低患者的滿意度，重則損害醫院信譽。如何避免數據丟失，當遇到數據災難時如何快速地恢復數據，保障醫院業務開展的連續性，已成為影響醫院業務發展的關鍵因素。經過多次對醫院的相關技術人員的訪談，總結出以下急需解決的問題：

1、HIS、PACS、EMR、LIS和CIS等應用系統雖然實現了本地的數據級備份通過備份軟件定期把數據備份到磁盤陣列或是帶庫上，但無法應對設備的硬件故障，生產機房火災、漏水等突發情況，存在數據安全的隱患，需要建立同城容災中心保障數據安全提升業務連續性。

2、建設同城容災中心后有條件需要建設異地容災中心，可以避免水災、地震等其它的大范圍的自然災害，使得數據和應用的安全等級得到進一步的提升。

3、現有的備份系統沒有建立相應的運維方案和管理制度，沒有相應的備份恢復演練計劃，備份后的數據是否可用無法得到保障。

2、醫療行業業務系統容災備份需求分析

在確定醫院關于業務系統容災備份需求之前先明確幾個后文會經常用到的關鍵詞：容災備份系統，也稱災難備份系統，就是通過建立和維護與原系統完全相同或相似的一個或多個冗余系統，利用地理上分散性或數據系統的冗余性來保證數據抵御災難的能力。它保證數據完整性和安全性，并且，當面臨大范圍的突發性災難，如地震、火災、水災時，能迅速恢復應用系統的數據和服務。

RTO恢復時間目標（recovery time objective)：指災難發生后，信息系統或業務功能從停頓到必須恢復的時間要求。

RPO恢復點目標（recovery point objective)：指災難發生后，系統和數據必須恢復到的時間點要求。

隨著醫院各個信息系統的建設，相關的數據量不斷增加，當遇到災難時使用傳統的備份、恢復會導致耗時過長，嚴重影響業務的開展，已經不能滿足醫院的需求。醫院HIS核心系統有超過一次非計劃停機，其中服務器硬件故障是核心系統非計劃停機主要原因，非計劃停機排在前三位的是服務器硬件故障、網絡故障和數據庫故障。

硬件故障、軟件故障、人為錯誤，自然災害等很多主觀和客觀的原因都會影響到醫院業務系統數據的安全，為了保障數據的安全和業務的連續性，經過多次對醫院的相關技術人員、操作人員和管理人員的訪談，結合醫院業務系統存在的痛點與業務系統的關鍵程度形成的醫院容災備份需求如下：醫院的HIS信息管理系統實現應用級備份，其他關鍵業務系統PACS、EMR、LIS和CIS等系統實現數據級備份。

3、醫療行業容災備份系統架構設計

根據醫院當前業務系統的特點和實際的災備建設需求，實現業務系統容災備份架構設計主要包括以下幾個方面的內容：

1、重要信息系統災難恢復指南

根據上級主管部門的相關文件要求，醫院業務系統的容災備份按照五級標準進行建設，容災備份恢復能力達到五級標準指國務院信息化工作辦公室發布的《重要信息系統災難恢復指南》中的第五級，該標準要求如下：

2、容災備份系統設計標準

醫院業務系統容災備份系統建設需要遵循以下標準：

1.《中華人民共和國網絡安全法》

2.《重要信息系統災難恢復規劃指南》國信辦

3.《信息系統災難恢復規范》（GB/T 20988-2007)

4.信息技術設備的安全（GB4943-2011）

5.電子計算機機房設計規范（2018）

6.遵循電子與電氣工程師協會制定的計算機和電子工業參考標準

7.遵循國際參考標準化組織制定的各種國際技術參考標準

3、容災備份系統設計方案

醫院建設容災備份系統方案時，依據技術先進性、可擴充性、高可靠性、高可用性、成熟性、可管理性等原則進行建設。

按照容災系統對應用系統的保護程度可以分為數據級容災和應用級容災，數據級容災系統只保證數據的完整性、可靠性和安全性，但提供實時服務的請求在災難中會中斷。應用級容災系統能夠提供不間斷的應用服務，讓服務請求能夠透明(在災難發生時毫無覺察)地繼續運行，保證數據中心提供的服務完整、可靠、安全。因此對服務中斷不太敏感的部分可以選擇數據級容災，以便節省成本，在數據級容災的基礎上構建應用級容災系統，保證實時服務不間斷運行，為用戶提供更好的服務。下表是幾種災備技術的對比：

數據級容災實現的方式，Oracle GoldenGate是基于日志實時更改數據庫捕獲和交付，它抽取在線日志中的數據變化，轉換為GGS自定義的數據格式存放在本地隊列或遠端隊列中。兩端數據庫是活動的，備份端可以提供實時的數據查詢及報表業務等，從而提高系統整體的業務處理能力，充分利用備份端的計算能力，提升系統整體業務處理性能。

數據備份軟件可以選擇TSM或是NBU，他們都是成熟的備份軟件，在市場上有很高的占有率，支持Windows、Linux、Unix等操作系統和Oracle、SQL Server、DB2、Informix、Sybase等數據庫，可以采用LAN備份或是LAN-Free備份，能夠為醫院提供企業級的存儲數據管理解決方案，包括備份、歸檔、空間管理以及災難恢復管理等功能實現同城數據級容災。還可以選用其它的商用災備軟件，云災備軟件或是備份一體機實現同城應用級容災，相對來講比在同城災備中心部署一套與生產中心相同的硬件設備投入的成本能少一些。

采用存儲同步鏡像的方式實現同城應用級容災，采用存儲異步鏡像的方式實現異地數據級容災，容災備份系統架構圖如下：

對于HIS系統要實現應用級容災，需要在同城災備中心增加一套與生產中心相同的服務器和存儲設備，兩臺服務器做集群，分別連接兩臺存儲設備，兩臺存儲之間做同步鏡像，當任何一臺存儲故障時，另一臺存儲上的鏡像數據能保證業務起來，一點建議：異地容災的配置可以參考同城災備中心或可適當的降低配置。

存儲同步鏡像的方式，可以做到生產（主）和容災（備）中心磁盤陣列同步地進行數據更新，應用系統的I/O寫入主磁盤陣列后(寫入Cache中)，主磁盤陣列將利用自身的機制（如Metro Mirror或SRDF/S）同時將寫I/O寫入后備磁盤陣列，后備磁盤陣列確認后，主中心磁盤陣列才返回應用的寫操作完成信息。

存儲異步鏡像的方式，是在應用系統的I/O寫入主磁盤陣列后(寫入Cache中)，主磁盤陣列立即返回給主機應用系統“寫完成”信息，主機應用可以繼續進行讀、寫I/O操作。同時，主中心磁盤陣列將利用自身的機制（如Global Mirror或SRDF/A）將寫I/O寫入后備磁盤陣列，實現數據保護。

采用存儲同步鏡像的方式實現同城應用級容災的優勢是同城范圍鏡像數據不會丟失；異地鏡像數據根據災難情形，可以采用Flashcopy技術盡可能降低數數據丟失機率；鏡像網絡中斷恢復正常后，任意兩地之間可以通過增量方式實現數據同步，無需全部數據重傳；建設同城災備中心后可以應對設備的硬件故障，生產機房火災、漏水等突發情況，建設異地容災中心，可以避免水災、地震等其它的大范圍的自然災害，使得數據和應用的安全等級得到進一步的提升，保障了數據安全提升業務連續性。下面是容災備份建設需要關注的幾個點：

線路的選擇：生產中心到同城備份中心的數據傳輸采用祼光纖，同城備份中心到異地備份中心采用專線方式，生產中心到異地備份中心采用專線方式，該線路做為備用線路使用，正常情況下數據通過同城災備中心采用異步傳輸方式復制到異地災備中心，當同城到異地的專線中斷后啟用生產中心到異地的線路，從而保障數據的正常備份。

應用的切換：當生產中心服務器出現故障后，生產中心的集群功能將應用切換到同城災備服務器上，同時災備中心的數據庫服務器接管災備中心的存儲，進而恢復數據的訪問及業務的連續性。

實現應用切換的前條件是：

1）數據已經從生產中心同步到災備中心，如果數據復制采用的是異步的方式，在網絡故障的情況下，就有可能造成數據不一致的問題，導致數據不可用或無法訪問。

2）災備中心配置與生產中心對應的應用服務器、數據庫服務器和中間件服務器等,且運行正常。

3）災備中心網絡運行正?；蚰軌驅崿F正常切換。

數據級容災：PACS、EMR、LIS和CIS等應用系統做數據級容災，當生產中心數據損壞后，同城和異地生產中心還有一份可用數據的副本，同城的存儲與生產中心的存儲采用數據同步復制技術，與異地災備中心的存儲采用數據異步復制技術。

4、醫療行業容災備份系統實施經驗

醫院采用存儲同步鏡像的方式實現同城應用級容災，如果生產中心存儲發生意外故障，災備中心存儲上的應用與數據是否能夠正常啟動，數據是否一致是擺在施工人員面前的一個問題同時也是檢驗項目是否成功的一個依據。按以下步驟進行測試：

1，通過Metro Mirror將存儲1上的數據復制到存儲2，在存儲1不斷添加新的數據。

2，斷開兩臺存儲之間FCSW的光纖，此時在主機端在存儲1存放新數據。

3，接通兩臺存儲之間FCSW的光纖，手工啟動一致性群組可以看到很快一致性群組又回到同步狀態。

4，此時將存儲2重新映射給主機，發現數據與存儲1映射卷上的數據一致。

測試結果說明主備站點的鏈路中斷不影響主站點數據的應用；鏈路恢復后，重新同步采用增量方式，可以快速達到重新同步。

切換演練在容災建設工作中必不可少，通過演練可以幫助管理人員提高操作水平，提高應急恢復速度；演練工作同時需要控制風險，降低對生產系統的影響。演練實現方式有兩種，一是定期或隨時利用容災中心所提供的多點快照，加載快照到容災主機，同時啟動容災數據庫和應用進行演練和驗證；二是切斷復制鏈路，直接提取容災中心的數據盤，啟動容災中心應用，業務演練驗證后既可以將生產端數據同步災備端數據，消除災備端由于演練產生的垃圾數據，又可以將災備端數據同步生產端數據，保留由于演練產生的真實數據。通過切換演練，模擬真實故障恢復場景，制定應急恢復預案，檢驗容災方案的適用性、有效性。當真實故障發生時，通過預案快速恢復，提高業務連續性。

切換演練參考步驟：

1，停止業務

2，操作系統刪盤,varyoff、rmdev

3，通過暫掛H1-H2之間的MM關系

cmdsess-quiet-action suspend Test_ZB_MM

4，H2接管，可以看到這個H2變成target available

cmdsess-quiet-action recover Test_ZB_MM

5，主存儲移除hostconnect關系

chvolgrp-dev 75SK65-action remove-volume 3E01,3E02,3EBB V147

chvolgrp-dev 75SK65-action remove-volume 3E01,3E02,3EBB V148

6，備存儲添加hostconnect關系

chvolgrp-dev 75NK36-action add-volume 3E01,3E02,3EBB V147

chvolgrp-dev 75NK36-action add-volume 3E01,3E02,3EBB V148

7，操作系統認盤，varyon

8，啟動本業務

此時業務已經在備存儲上運行，運行一段時間后，主存儲恢復，我們可以選擇將增加的數據“沖回”主存儲。

9，反轉MM關系（只有enable_copy_to_site_1后，才能start H2->H1）

cmdsess-quiet-action enable_copy_to_site_1 Test_ZB_MM

10，啟動反向MM

cmdsess-quiet-action start_h2:h1 Test_ZB_MM

完成切換演練。

5、醫療行業容災備份系統日常運維方案

為確保容災系統穩定、可靠的運行，達到項目建設預期的效果，需要建立容災備份系統配套的運維管理制度。具體如下：

(1)建立運維管理的組織架構，統一負責實施、運營維護、應急響應和恢復的管理和決策工作。

(2)制定一套完整的容災日常運維管理制度,進行人員崗位設置和職責劃分，制訂變更管理、問題管理、事件管理、供應商管理、介質管理、災難恢復中心資源管理等管理制度規范；制訂系統日常巡檢、系統與維護、系統緊急上下電等技術規范模板。

(3)建立一個完整、易用、明確、有效、兼容的災難恢復預案。

a.完整性：災難恢復預案（以下稱預案）應包含災難恢復的整個過程，以及災難恢復所需的盡可能全面的數據和資料；

b.易用性：預案應運用易于理解語言和圖表，并適合在緊急情況下使用；

c.明確性：預案應采用清晰的結構，對資源進行清楚的描述，工作內容和步驟應具體，每項工作應有明確的責任人；

d.有效性：預案應盡可能滿足災難發生時進行恢復的實際需要，并保持與實際系統和人員組織的同步更新；

e.兼容性：災難恢復預案應與其它應急預案體系有機結合。

制定信息系統災難恢復過程中所需的任務、行動、數據和資源文件，以備不時之需，一旦系統出現重大故障即可采用應急預案恢復系統，確保容災系統能夠發揮作用。建立一個完整的災難恢復預案是一個周而復始、持續改進的過程。

(4)為使相關人員了解信息系統災難恢復的目標和流程、熟悉災難恢復的操作規程，應組織災難恢復預案的教育、培訓和演練，不定期的做好容災應急演練。只有通過反復的容災切換演練，才能發現并處理災難恢復預案中潛在的問題，以保證災難來臨時，系統能順利切換至容災系統，保證業務的連續性。

在運維過程中不容易被發現的問題：

1)通常存儲之間的鏡像會自動同步數據，但是在一個存儲出現問題斷開鏈接關系的時候，一般系統沒有在前面板告警，沒有亮黃燈。所以需要管理員經常檢查系統的狀態才能及時發現問題。

2)存儲替換升級需要考慮系統之間的兼容性，比如存儲微碼升級工作，要關注連接存儲的所有主機，確認與操作系統、主機存儲驅動程序、主機HBA卡微碼，存儲虛擬化設備等等的兼容性，關于兼容性風險不注意檢查會留下隱患。

3)規避遷移相關的風險，遷移方案的不合理或者升級替換過程中觸發了其他的風險隱患，從而出現了風險疊加，遷移前的健康檢查做的越細致，風險也會越小。

6、醫療行業容災備份系統實現難點與處理方案

災備中心故障處理方法

7、總結

醫院的同城災備中心建成后可以應對設備的硬件故障（包括邏輯故障和物理故障），生產機房火災、漏水等突發情況，不會造成數據的損失，業務數據能夠定時備份，可以在災難來臨時從備份點恢復，故障發生時容災系統能夠接管應用對外提供服務。醫院建設同城災備中心后實現了以下方面的業務提升：

1)由于生產中心及同城災備中心數據的一致性，因此災備中心在平時可將這些數據用于業務系統或應用的測試、開發及培訓等，即實現了數據資源的有效利用同時可以保障數據安全提升業務連續性。

2)同城災備中心建成后服務器和存儲等資源的處理能力再利用，數據處理系統可供測試機和開發機使用，運行數據倉庫和數據挖掘等應用系統。

3)對于醫院的非關鍵業務可以部署在同城災備中心，這樣可以節約生產中心緊張的機房資源和電力資源，同時充分的利用災備中心的資源，避免資源的閑置。

4)建立了災備系統相應的運維方案，故障處理辦法和備份恢復演練計劃，備份后的數據可用性得到保障，提高了醫院的應急響應能力和抗風險的能力。

醫院同城災備中心項目雖然已經建設完成了，但是后續的相關制度和運維工作一定要跟上，并且一年至少進行一到兩次容災切換演練，以保障同城災備中心的硬件設備和應用數據是可用的能用的，并且工作人員熟悉演練的流程，這樣才能真正的做到了“有備無患”。

轉載請注明出處：HC3i數字醫療網
本文由:醫院容災備份系統架構設計、實施與運維經驗分享提供