某國有大型政策性銀行是直屬國務院領導的我國唯一的一家農業政策性銀行,主要職責是按照國家的法律、法規和方針、政策,承擔國家規定的農業政策性金融業務,為農業和農村經濟發展服務。
隨著該行業務的快速發展變化,對業務系統的改造需求呈爆炸式增長,而且頻率越來越快,尤其是綜合業務系統已經進行常態化研發階段。業務系統頻繁變化通常會導致下游的數據應用系統(綜合報表、領導決策分析等,以下簡稱為下游系統)隨之變化,產生高昂的開發、維護成本,并影響下游系統用戶的使用。同時, 隨著綜合報表平臺使用的不斷深入,業務部門對數據利用的寬度和深度不斷擴展,對業務數據分析職能的要求也越來越高:信貸、會計、風險管理、內部審計等業務部門需要獲取標準一致、口徑統一的全業務數據,對日常業務進行統計、分析和監控,根據查詢分析的結果有針對性地規范業務操作與管理流程,強化業務經營和管理能力;各級領導需要全面完整的、包含歷史信息的業務數據以便及時、準確地掌握本行業務的運行狀況,分析、預測業務發展變化趨勢,為管理決策提供支持。
1. 面臨的內部問題
一是缺乏統一的數據標準體系,無法建立全面、準確、完整反映全行經營狀況的單一數據視圖,制約了數據共享。
二是數據質量亟待提高。
三是數據管理條塊分割。
2. 面臨的外部要求
銀監會在《關于開展2015年度銀行業信息科技風險管理課題研究工作的通知》、《中國銀行業信息科技“十二五”發展規劃監管指導意見》及《銀行監管統計數據質量管理良好標準》提出:“提高數據作為銀行業戰略資產重要認識,建立數據治理機制,推進數據標準化,統一數據規范,提高數據質量”作為未來銀行業信息科技發展的戰略重點之一。
充分借鑒業界先進數據倉庫建設成功經驗,經過分析證,決定采用先建數據集市、后建數據整合層的方案 進行數據倉庫建設,搭建數據基礎平臺,整合全行主要業務系統數據,形成全行數據應用統一出口。同時制 定一批得重要業務數據標準,依據標準對數據進行加工和整合,并通過標準的逐步完善,為解決數據管理和 數據質量質量問題提供手段和依據。
整體架構包含了數據源、數據平臺、數據管理平臺和數據應用四個部分。
1. 數據源
通過“數據管理平臺”的數據處理及數據調度,將數據源中的數據分別寫入數據平臺。
2. 數據平臺
數據平臺基于傳統的關系型數據庫構建,對結構化的業務數據進行存儲、整合、加工和應用。其數據來源于行內各個業務系統,為應用提供全面數據支撐。
3. 數據管理平臺
數據管理平臺對數據平臺的數據關系、數據質量、ETL作業、生命周期等內容進行管理,是保障數據平臺的正常運轉,促進數據倉庫逐步完善,提升數據倉庫的管理水平的重要手段。
4. 數據應用
面向最終用戶提供數據的應用,包括統計報表、高管駕駛艙等數據應用。
(一)平臺化的數據倉庫架構設計
平臺化設計通過對數據平臺進行需求分析,提煉需求共性特征并進行分類,劃分出不同的平臺,平臺功能既各有偏重,又相互協同,形成數據平臺的完整體系。
(二)具有農業政策性特點的基礎數據平臺
基礎數據平臺以成熟的行業模型TD-FSLDM為基礎進行定制,在保留銀行業通用設計基礎上,依據農發行自身業務特點,對模型實體進行細分和擴充,形成體現農發行政策性業務特點的模型設計。
(三)自主可控的數據管理平臺
數據管理平臺包括數據調度、數據傳輸、數據生命周期、元數據管理、數據質量檢核,各個子平臺間既 獨立運行,又相互協作,共同支撐數據倉庫的整體運轉。
數據平臺建成后,可將源系統中多業務、多角度、多格式的符合條件的所有業務數據,按統一標準進行整合,保存各類業務對象,最終形成全行全面的、一致的、統一的標準化數據視圖。下游系統只需通過數據平臺,即可實現對所有業務數據的訪問,并可對數據進行不同時期、不同角度的對比、分析和預測。在對外監管方面能夠打破業務種類、部門之間的界限,提供口徑一致,信息一致的監管報表;在對內管理方面,能夠提供完整、統一的數據資源,滿足經營管理和客戶服務的需要。
同時,數據平臺還將作為下游系統的唯一數據來源,為下游系統提供了穩定可靠的數據基礎。當源系統隨業務而變化時,整合層抗源變化的特性確保整合層模型在大多數據情況下無需變化,下游系統通常也無需變化,或只需微調報表樣式或查詢條件,即可適應源系統的變化。這樣避免了下游系統隨源系統變化而進行頻繁的升級和調整,既減少應用維護復雜性和工作量,節約開發及維護成本,也減輕業務用戶的系統使用負擔。同時,根據同業數據平臺的建設經驗,源系統存在的數據質量問題對源系統、下游系統的業務準確性將產生不同程度的干擾,影響著數據分析的準確性、一致性。因此,在數據平臺建設過程中,將對源系統的數據質量問題進行識別、定位、分析和處理,并將有質量問題的源數據,以報表查詢或者分析報告的形式反饋至源系統,使其能準確識別和定位數據質量問題,并能從源頭上解決數據質量問題,從而改進和提升源系統的數據質量。源系統數據質量的改進和提升,又可進一步保障數據平臺的數據質量。通過如此迭代,最終使源系統、數據平臺都形成統一的、高質量的數據,從而進一步保障業務數據應用的準確性和一致性。