提升VaR值計(jì)算的性能對(duì)銀行機(jī)構(gòu)有重要的意義，不僅能夠幫助機(jī)構(gòu)提高風(fēng)險(xiǎn)控制能力，同時(shí)還可以實(shí)現(xiàn)對(duì)資本分配和決策的優(yōu)化。
某頭部銀行機(jī)構(gòu)的原有系統(tǒng)，處理IRS VaR 業(yè)務(wù)的每日平均時(shí)長高達(dá)40分鐘，隨著數(shù)據(jù)量的不斷增加和業(yè)務(wù)優(yōu)化，該銀行急需對(duì)原有系統(tǒng)進(jìn)行改造升級(jí)。經(jīng)過多輪對(duì)比測試，他們最終選擇了DB-Engines 時(shí)序數(shù)據(jù)庫榜單上國內(nèi)排名第一的DolphinDB，實(shí)現(xiàn)對(duì)系統(tǒng)和業(yè)務(wù)的全面升級(jí)。
IRS VaR 業(yè)務(wù)性能提升千倍
在計(jì)算VaR值的過程中，需要用到大量的歷史數(shù)據(jù)，這些數(shù)據(jù)往往可能分散在不同的系統(tǒng)或數(shù)據(jù)庫中；同時(shí)，VaR計(jì)算需要對(duì)多維度、大規(guī)模的數(shù)據(jù)進(jìn)行數(shù)值計(jì)算，因此對(duì)多數(shù)據(jù)源的采集處理能力和復(fù)雜計(jì)算能力是提升VaR值計(jì)算性能的關(guān)鍵。
通過DolphinDB語法對(duì)IRS VaR任務(wù)進(jìn)行改造，該任務(wù)通過上游交易系統(tǒng)日終文件交換獲取當(dāng)日IRS交易明細(xì)、中債估值 、曲線等相關(guān)業(yè)務(wù)數(shù)據(jù)，生成金融市場數(shù)據(jù)集市內(nèi)部模型數(shù)據(jù)，并根據(jù)下游Risk Matrix所需要的VaR報(bào)表計(jì)算邏輯生成供數(shù)文件。根據(jù)當(dāng)前生產(chǎn)運(yùn)行情況統(tǒng)計(jì)，該計(jì)算任務(wù)的每日平均處理時(shí)長由原來的40分鐘降至3.5秒，提升近千倍。
逐筆數(shù)據(jù)處理延時(shí)由300-500毫秒降至10毫秒以下
除了對(duì) IRS VaR 業(yè)務(wù)的改造升級(jí)，DolphinDB還幫助用戶大幅降低了逐筆數(shù)據(jù)處理的延時(shí)。該銀行業(yè)務(wù)需要根據(jù)外匯交易中心數(shù)據(jù)接口技術(shù)規(guī)范，通過 API 形式獲取 CMDS 利率互換實(shí)時(shí)逐筆行情及成交數(shù)據(jù)并落庫。根據(jù)當(dāng)前生產(chǎn)運(yùn)行情況監(jiān)測，該接口逐筆數(shù)據(jù)處理延遲約300-500毫秒。
經(jīng)過 DolphinDB 改造升級(jí)后，在 TPS 1000筆的實(shí)時(shí)流數(shù)據(jù)吞吐量壓力下，整體延時(shí)少于10 毫秒，CPU使用率低于20%，內(nèi)存使用率低于60%，實(shí)時(shí)流處理隊(duì)列沒有堆積。
用 DolphinDB 實(shí)現(xiàn)底層替換
在對(duì)上述兩項(xiàng)業(yè)務(wù)改造升級(jí)的過程中，DolphinDB在存儲(chǔ)、查詢方面展現(xiàn)出的領(lǐng)先性能和強(qiáng)大的計(jì)算和流數(shù)據(jù)實(shí)時(shí)分析能力，讓該頭部外資銀行看到了更多的可能性。為了實(shí)現(xiàn)更多業(yè)務(wù)面的提升和降本增效，該銀行決定選擇 DolphinDB 從底層對(duì)原有的Oracle進(jìn)行替換。
1.對(duì)原有系統(tǒng)的生態(tài)兼容
無論是常用數(shù)據(jù)類型、語法、函數(shù)，或是客戶端等，DolphinDB 對(duì) Oracle 的生態(tài)系統(tǒng)都具備非常好的支持。其中，對(duì)常用數(shù)據(jù)類型和語法的覆蓋率均達(dá)到98%以上，常用函數(shù)兼容性高達(dá)96%以上。相較于Oracle，DolphinDB 的語法不存在明顯差異，常用語法不需要進(jìn)行改造即可使用。
此外，DolphinDB 支持多種語言的 API 和多種應(yīng)用插件，對(duì)各種報(bào)表軟件與其他類型數(shù)據(jù)庫都具有良好支持。
2. 保證現(xiàn)存數(shù)據(jù)的順利遷移和迭代
Oracle 現(xiàn)存數(shù)億級(jí)別關(guān)鍵市場數(shù)據(jù)，針對(duì)這些現(xiàn)有數(shù)據(jù)的平遷與新業(yè)務(wù)數(shù)據(jù)迭代，該銀行在第三方服務(wù)商 Tracade 團(tuán)隊(duì)的幫助下，完成了全量數(shù)據(jù)遷移。通過業(yè)務(wù)測試數(shù)據(jù)的對(duì)比，數(shù)據(jù)結(jié)構(gòu)兼容性為100%，數(shù)據(jù)一致性為100%。
在這個(gè)過程中，依托 DolphinDB 靈活的數(shù)據(jù)分區(qū)控制、高覆蓋的數(shù)據(jù)類型和語法兼容性，數(shù)據(jù)查詢速度得到了提升，性能優(yōu)化了5倍左右。
3. 對(duì)現(xiàn)有 SmartBI、Birt 報(bào)表平臺(tái)的兼容
DolphinDB 完美兼容了 SmartBI、Birt 報(bào)表平臺(tái)，實(shí)現(xiàn)了2000多張報(bào)表的平遷，并通過 API 支持了銀行業(yè)務(wù)系統(tǒng)的調(diào)用。
以 SmartBI 報(bào)表平臺(tái)為例，該平臺(tái)原本通過 Oralce 數(shù)據(jù)庫生成銀行業(yè)務(wù)所需報(bào)表，而替換成 DolphinDB 后，僅通過切換數(shù)據(jù)源，即可保障相關(guān)系統(tǒng)業(yè)務(wù)報(bào)表的正常使用，實(shí)現(xiàn)報(bào)表的批量平遷。
總結(jié)
本案例中，該銀行面臨日益增長的數(shù)據(jù)量和不斷升級(jí)的數(shù)據(jù)安全要求，并且需要支撐低延時(shí)的報(bào)表分析業(yè)務(wù)，因而傳統(tǒng)老牌數(shù)據(jù)庫 Oracle 已逐漸難以滿足需求。在 Tracade 的幫助下，該銀行用國產(chǎn)自研產(chǎn)品 DolphinDB 替換了 Oracle。
作為一個(gè)基于數(shù)據(jù)庫管理系統(tǒng)，支持?jǐn)?shù)據(jù)分析、流數(shù)據(jù)處理的低延時(shí)平臺(tái)，DolphinDB 不僅幫助用戶快速實(shí)現(xiàn)了全量數(shù)據(jù)的平遷和迭代，還顯著提升了原有業(yè)務(wù)的效率：
·IRS VaR 業(yè)務(wù)的每日平均處理時(shí)長由40分鐘降至3.5秒，提升近千倍。
·CMDS 實(shí)時(shí)數(shù)據(jù)接口延時(shí)由300-500毫秒降至10毫秒以下
·整體報(bào)表查詢速度提升近5倍
可以說，該銀行從 Oracle 到 DolphinDB 的實(shí)踐，不僅是一次成功的國產(chǎn)替換，更是從存儲(chǔ)、查詢到實(shí)時(shí)流數(shù)據(jù)處理性能的全方位升級(jí)。
關(guān)鍵詞：
