“多寫多讀集群”被攻克,中國數據庫產業“越過山丘”

2023-12-29 18:40:12    編輯: robot
導讀 2020年全國兩會期間,合肥工業大學應用數學研究所所長檀結慶在媒體採訪中提到:“國產數據庫只佔據不到7%的市場份額,尤其在數據庫最核心的交易業務中,鮮有能跟甲骨文同台競爭並實現替換的產品。” 彼時“...

2020年全國兩會期間,合肥工業大學應用數學研究所所長檀結慶在媒體採訪中提到:“國產數據庫只佔據不到7%的市場份額,尤其在數據庫最核心的交易業務中,鮮有能跟甲骨文同台競爭並實現替換的產品。”

彼時“去IOE”浪潮已經興起十多年的時間,但囿於性能、穩定性等客觀因素,銀行、能源、電信等傳統業務,對國產數據庫依然是“不敢用、不愿用、不想用”的態度,無形中爲國產數據庫產業制造了一個天花板。

現在,這樣的景象正在成爲過去式。

華爲數據存儲與優炫軟件日前聯合發布“數據庫存算分離聯合解決方案”,同時推出了高可靠、高性能共享存儲多寫多讀集群數據庫解決方案,旨在通過先進的存儲技術和創新的設計,滿足金融、運營商、能源、制造、政務等傳統業務場景下的數據庫替代需求。

放在數智化轉型的語境下,這樣的合作到底意味着什么,能否打破國產數據庫產業的天花板?

01 國產數據庫:百花齊放,多而不強

和操作系統、中間件等基礎軟件相比,數據庫是國產替代最爲迅猛的市場。然而外界對國產數據庫的印象,看起來並不太樂觀,用一句話來形容的話:數量上百花齊放,市場競爭力卻只能說“多而不強”。

爲何會出現這樣的局面?外界的討論有很多,並產生了兩種主流觀點。

一種說法是國產數據庫的起點比較晚。

早在1978年,Oracle就推出了第一版數據庫,那時候中國的信息化轉型進程還無從談起。2000年前後,國內出現了第一批數據庫企業,但全球數據庫產業已經走完了競爭、並購、退出的過程,形成了典型的IOE格局,I是指服務器提供商IBM,O是指數據庫軟件提供商Oracle,E則是指存儲設備提供商EMC。

2014年後,在政策和市場紅利的驅動下,國產數據庫產業百花齊放,卻未能改變Oracle、IBM等主導市場的格局,國產數據庫只能佔領一些縫隙市場。國產數據庫的數量越來越多,結果卻是高度的碎片化。

圖:2023年墨天輪中國數據庫排行榜每月收錄數量

按照信通院與墨天輪的統計,目前國內有280多個數據庫產品。可稍微再深挖一些,超過60%的國產數據庫廠商不足100人,超過500人的企業不到10%,再加上協同合作的不足,原本就相對薄弱的研發能力無法形成合力,難以進入金融、能源等“穩定性大於天”的業務場景,生存環境一直比較艱難。

另一種解釋是國產數據庫的架構問題。

2008年左右,在阿裏等互聯網巨頭的倡導下,“去IOE”浪潮如火如荼。當時中國互聯網已經進入到高速增長期,出現了雙11購物節等數據量和用戶量激增的場景,而IOE架構欠缺橫向擴展能力,無法滿足激增的性能訴求和靈活擴容訴求,一些企業开始使用通用服務器打造靈活易擴展的分布式數據庫。

在數據庫的架構上,爲了消除不必要的數據搬移延遲和功耗,看似提高效率並降低了成本的存算一體架構,逐漸被互聯網企業所追捧。存算一體的優勢很明顯,短板也同樣明顯。爲了實現高可靠,通常採用一主多從的架構,多個從節點大部分時間都處於闲置狀態,導致CPU資源利用率極低。而且服務器出現故障後,無法自動切換,需投入大量人力和時間手工恢復數據。

即使達夢、南大通用等老牌國產數據庫廠商,仍在堅持存算分離架構,可當整個市場的注意力轉向時,一兩家企業無法左右行業的風向。像銀行這樣對穩定性要求苛刻的傳統業務,由於國產化數據庫無法滿足需求,不得不把訂單交給國外廠商。

當存算一體架構被越來越多人詬病,數據傳輸性能的短板被填補後,存算分離的架構再度被推向台前。華爲數據存儲與優炫軟件的合作,就是新背景下的敘事,試圖用軟硬結合的方式闖出一條新路。

02 多寫多讀集群:難題背後的新解法

存算分離的概念不難理解,簡單地說就是分別構建計算資源池和存儲資源池,全局共享一份數據,一些不必要的消耗可以被避免,進一步提升了數據庫的性能,即使某個服務器出現了故障,也不會導致數據丟失。

在存算分離的架構下,華爲數據存儲與優炫軟件共同發布了“數據庫存算分離聯合解決方案”,主要包含三個子方案:

一是主備集群部署方案,採用數據庫一主一從架構,保證業務高可用,並具備易部署、易管理等特點,適用於OA、門戶、郵箱、訂單管理等業務系統;

二是讀寫分離集群部署方案,採用一主多從架構,通過存算分離+主從數據強一致性技術確保從節點可讀,具有高性能、易擴展、高可靠等優勢,適用於金融账務系統、ERP系統、CRM系統、生產制造、研發系統等中大型關鍵交易應用;

三是多寫多讀集群部署方案,採用多主架構,通過共享存儲+SRAC技術確保全局節點數據讀寫強一致性,並達成多寫多讀、負載均衡、腦裂控制等效果,具備極高的可靠性與性能擴展潛力,適用於金融、電信、能源、交通、財稅、生產制造等行業中對可用性、性能要求極高的大型核心交易系統。

三個子方案對應着不同的業務場景,其中最爲矚目的正是多寫多讀集群部署方案,在很大程度上關系着國產數據庫能否在最核心的交易業務中實現對Oracle RAC的替代。

以一個常見的支付場景爲例:當銀行拒絕用戶的支付請求時,需要快速查詢用戶過往的支付習慣,判斷支付請求是否有風險,同時以彈窗的方式進行風險提示。這就需要數據庫有很高的處理復雜事務的能力,業務的連續性要求高、絕對的高可用性、業務和數據的一致性,以及一定的可擴展性。

國內對RAC的替代由來已久,大多採用三種方式:中間件模擬、分布式數據庫以及類似RAC的技術路线。優炫軟件的“多寫多讀集群部署方案”,採用的就是RAC的路线,可以直接進行國產替代。

除了優炫軟件持續10年時間的高壓投入,存儲性能在攻克多寫多讀集群的難題中扮演了至關重要的角色。

想要實現多寫多讀集群,存儲環節面臨着多個節點並發讀寫、極高的並發吞吐量、高可靠性等挑战,華爲OceanStor Dorado全閃存存儲50μs的極致時延、2100萬IOPS和極致穩定的 SmartMatrix 全互聯架構,讓整體性能比同等配置的普通存儲提升了30%,可滿足不同類型的交易型業務訴求。

數據庫系統遵循“木桶理論”,硬件和軟件任何一環存在短板,都將制約數據庫的發展。華爲數據存儲和優炫軟件的合作,無疑爲整個數據庫行業提供了新的解題思路:優炫數據庫的軟件優勢和華爲OceanStor閃存存儲的硬件優勢融合後,原先橫亙在國產數據庫頭上的“魔咒”悄然被解除。

03 越過山丘:行業已經形成了新共識

如果說十幾年前的“去IOE”浪潮中,過於聚焦互聯網業務的需求,選擇性忽略了傳統業務的訴求。華爲數據存儲和一衆數據庫廠商的聯合創新,目的正是爲了關鍵行業的核心系統上,不斷縮小與國際領先梯隊在性能、可靠性上的差距,提升國產數據庫的綜合競爭力。

特別是在“存算分離”架構上,不只是優炫軟件,華爲數據存儲已經和不少數據庫廠商推出聯合解決方案,在不少領域實現了跨越式升級。

比如萬裏數據庫與華爲數據存儲聯合發布的“存算分離&多主架構聯合創新方案,突破了數據庫多讀多寫的業界難題,大幅提升了數據庫性能,同時降低系統的建設成本。以性能爲例,通過數據庫跨節點緩存池化技術,實現了全局表並發讀寫、事務並發處理能力,相比於傳統的主備數據庫和分片數據庫,性能在不同場景下可提升10倍。

再比如華爲數據存儲與南大通用共同發布的“金融核心級數據庫高可用解決方案”,基於存算分離+共享存儲架構,聯合GBase南大通用數據庫和華爲OceanStor閃存存儲,提供了滿足金融核心系統要求的高性能、高可用數據庫解決方案。

其中一個不可小覷的創新是雙重容災機制,在應用層實現了基於邏輯復制的數據庫容災、備庫可讀,在存儲層依托OceanStor閃存存儲HyperMetro A-A雙活能力,確保數據高效、完整復制到容災站點,且不影響工作站點性能,確保RPO=0,確保數據不丟失、業務快速恢復,滿足金融核心系統的業務要求。

國產數據庫以往被頻頻詬病各自爲战,對比IOE這樣的“黃金組合”,國內數據庫市場可謂一盤散沙。不同廠商間缺少密切的合作,無法構建一個良性生態系統,無法脫離國外品牌爲主導的生態圈,導致多而不強的市場格局。

優炫軟件、萬裏數據庫、南大通用、海量數據……華爲數據存儲就像是一條紐帶,把不同數據庫廠商凝聚在了一起,也許現階段的生態協作還不是特別緊密,但“存算分離+共享存儲架構”已經是一種行業共識。

借用一位數據庫從業者的說法:國內數據庫行業並不缺少優秀的工程師,重要的是找到正確的問題與正確的方向去發力。

沿循這樣的邏輯,隨着越來越多的數據庫廠商選擇華爲作爲夥伴,和華爲數據存儲進行聯合方案創新,一個有利於國產數據庫產業崛起的良性生態,已經初具雛形。在自主創新的道路上默默苦行了十幾年的中國數據庫產業,正在越過山丘,等待他們的,將是一個繁榮的數據庫生態。

04 寫在最後

市場咨詢機構Gartner曾在2022年發布的《數據庫中國市場指南報告》中預測:到2025年,中國分析型數據庫市場來自海外廠商的將只剩下30%,交易型數據庫市場海外廠商市場也只會剩下50%左右。

可能在一年多以前,不少人還會對Gartner的預測數據表示懷疑,畢竟IOE在交易型數據庫市場還是不可替代的存在。伴隨着“存算分離+共享存儲架構”的不斷創新、突圍,Gartner的預測離現實已經越來越近。

       原文標題 : “多寫多讀集群”被攻克,中國數據庫產業“越過山丘”



標題:“多寫多讀集群”被攻克,中國數據庫產業“越過山丘”

地址:https://www.utechfun.com/post/310852.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡