本次分享主題為轉(zhuǎn)轉(zhuǎn) One-Service 數(shù)據(jù)服務(wù)體系建設(shè),主要介紹轉(zhuǎn)轉(zhuǎn)在建設(shè)數(shù)據(jù)服務(wù)體系過(guò)程中的三個(gè)階段,其中將詳細(xì)介紹 One-Service 統(tǒng)一查詢服務(wù)建設(shè)思路。
主要內(nèi)容包括以下幾大部分:
圖片
在第一階段,隨著業(yè)務(wù)增長(zhǎng)與人力資源的緊張,為了滿足各個(gè)業(yè)務(wù)線的數(shù)據(jù)需求,快速的使用統(tǒng)計(jì)數(shù)據(jù)做數(shù)據(jù)分析,本階段產(chǎn)生的數(shù)據(jù)結(jié)果大多以Excel或者數(shù)據(jù)統(tǒng)計(jì)到庫(kù)的方式提供數(shù)據(jù),對(duì)外提供分析或者對(duì)接應(yīng)用。此階段目標(biāo)是快速產(chǎn)出數(shù)據(jù)結(jié)果,為業(yè)務(wù)決策提供數(shù)據(jù)支撐。
第二階段隨著業(yè)務(wù)的發(fā)展,分析數(shù)據(jù)的需求不斷的增多,分析的要求也更多樣化。針對(duì)不同主題下的數(shù)據(jù),我們開(kāi)發(fā)了各個(gè)主題的應(yīng)用報(bào)表、多維分析報(bào)表,用來(lái)支持業(yè)務(wù)多樣化的分析的訴求。雖然在一定程度上解決了業(yè)務(wù)使用數(shù)據(jù)的痛點(diǎn),但是在數(shù)據(jù)查詢服務(wù)上各做各的,不同的主題對(duì)應(yīng)不同的查詢服務(wù)后端,形成了來(lái)一個(gè)主題開(kāi)發(fā)一個(gè)主題的查詢服務(wù)的煙囪式開(kāi)發(fā)模式。
第三階段是統(tǒng)一查詢服務(wù)One-Service,為了解決階段二暴露的問(wèn)題,避免重復(fù)開(kāi)發(fā)降低開(kāi)發(fā)工作量,打造支持各類數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)查詢服務(wù),提供統(tǒng)一、穩(wěn)定、便捷、安全、可控的數(shù)據(jù)查詢出口,我們針對(duì)不同的主題數(shù)據(jù)形成的數(shù)據(jù)集,設(shè)計(jì)和實(shí)現(xiàn)了一套統(tǒng)一的數(shù)據(jù)服務(wù),可以完成所有主題數(shù)據(jù)服務(wù)的查詢,并提供支持不同的協(xié)議以在不同的使用場(chǎng)景中使用。
接下來(lái),將詳細(xì)介紹統(tǒng)一查詢服務(wù)實(shí)現(xiàn)的具體細(xì)節(jié)。
在日常的數(shù)據(jù)開(kāi)發(fā)過(guò)程中,我們會(huì)把數(shù)據(jù)結(jié)果存儲(chǔ)在各類數(shù)據(jù)庫(kù)中或者導(dǎo)入到OLAP查詢引擎中供上層應(yīng)用使用。對(duì)于不同的數(shù)據(jù)庫(kù)和OLAP引擎上層應(yīng)用都要自行構(gòu)建查詢服務(wù)處理各自的數(shù)據(jù)邏輯,存在大量重復(fù)的開(kāi)發(fā)工作,因此為了提升數(shù)據(jù)使用效率、減少重復(fù)性開(kāi)發(fā)工作、降低開(kāi)發(fā)成本,我們?cè)诟黝惔鎯?chǔ)引擎的基礎(chǔ)上需要開(kāi)發(fā)一套統(tǒng)一的數(shù)據(jù)查詢服務(wù)。
圖片
目標(biāo):打造支持各類數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)查詢服務(wù),提供統(tǒng)一、穩(wěn)定、便捷、安全、可擴(kuò)展的數(shù)據(jù)查詢出口。
需要支持常用的OLTP與OLAP數(shù)據(jù)存儲(chǔ)引擎,比如MySQL、Kylin、Druid、Clickhouse、StarRocks等,所有數(shù)據(jù)出口由同一套查詢服務(wù)支持,并且需要保證服務(wù)的可控、穩(wěn)定、安全,對(duì)接BI需求、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用工具開(kāi)發(fā)等上層各類數(shù)據(jù)應(yīng)用場(chǎng)景。
圖片
針對(duì)之前闡述的系統(tǒng)背景要求與目標(biāo),我們?cè)O(shè)計(jì)了一套統(tǒng)一查詢服務(wù)One-Service,打通了基礎(chǔ)數(shù)據(jù)平臺(tái)中的元信息,通過(guò)配置管理數(shù)據(jù)源、數(shù)據(jù)集的方式來(lái)應(yīng)對(duì)不同的多樣性數(shù)據(jù)需求。并且接入了權(quán)限管理平臺(tái),支持對(duì)數(shù)據(jù)集進(jìn)行權(quán)限管理與配置。在服務(wù)本身設(shè)計(jì)了一些服模塊功能模塊,權(quán)限控制模塊、查詢歷史記錄、監(jiān)控告警模塊等功能來(lái)輔助完成相應(yīng)的系統(tǒng)要求。
圖片
在查詢引擎方面,因?yàn)槲覀円С植煌牟樵円孢M(jìn)行查詢,所以我們抽象出了一些抽象類,其中有通用統(tǒng)一的Map類型數(shù)據(jù)源參數(shù)、數(shù)據(jù)集參數(shù)、通用的接口調(diào)用方法等,通過(guò)繼承查詢器抽象類的方式實(shí)現(xiàn)各類存儲(chǔ)引擎的查詢器,可以方便的對(duì)查詢器進(jìn)行管理、擴(kuò)展與功能開(kāi)發(fā)。同時(shí)針對(duì)不同的查詢引擎可以做定制化的查詢控制與優(yōu)化。查詢器抽象類抽象方法大致如下:
統(tǒng)一查詢參數(shù)cfg設(shè)計(jì)與查詢信息封裝:上層應(yīng)用通過(guò)數(shù)據(jù)集元信息,根據(jù)查詢場(chǎng)景生成組裝Json格式的查詢參數(shù),包括維度、過(guò)濾、聚合、指標(biāo)查詢信息。后端收到對(duì)應(yīng)數(shù)據(jù)集與查詢信息組裝對(duì)應(yīng)查詢邏輯,然后調(diào)用查詢接口對(duì)數(shù)據(jù)進(jìn)行查詢與結(jié)果返回。參數(shù)示例如下:
{ "rows": [ { "columnName": "date", "filterType": "eq", "values": [] }, { "columnName": "channelname", "filterType": "eq", "values": [] } ], "filters": [ { "columnName": "date", "filterType": "=", "values": [ "2023-05-10-00" ] } ], "values": [ { "column": "active_count", "aggType": "sum" } ], "pageSize": 10, "pageNum": 1}
常用查詢參數(shù)簡(jiǎn)要說(shuō)明:
前端或者后端開(kāi)發(fā),通過(guò)數(shù)據(jù)開(kāi)發(fā)配置的數(shù)據(jù)集信息,可以快速的生成自己的場(chǎng)景查詢的cfg配置,然后把請(qǐng)求發(fā)送到統(tǒng)一查詢服務(wù)上,服務(wù)會(huì)根據(jù)數(shù)據(jù)集配置的數(shù)據(jù)源信息,獲取到對(duì)應(yīng)數(shù)據(jù)存儲(chǔ)引擎的查詢器,然后把對(duì)應(yīng)的查詢配置參數(shù)通過(guò)邏輯轉(zhuǎn)換成對(duì)應(yīng)引擎的查詢邏輯,完成數(shù)據(jù)查詢并組裝會(huì)返回結(jié)果。
至此我們基本完成了One-Service核心功能的設(shè)計(jì),當(dāng)有新的查詢引擎需要支持的時(shí)候,我們通過(guò)繼承對(duì)應(yīng)的抽象類,完成相應(yīng)的方法即可以對(duì)該查詢引擎的數(shù)據(jù)進(jìn)行查詢,開(kāi)發(fā)工作量相對(duì)比較小,可以快速支持新引擎,截止目前我們已經(jīng)完成了大多數(shù)引擎的查詢支持。對(duì)于具體的復(fù)雜的應(yīng)用場(chǎng)景,我們可以通過(guò)數(shù)據(jù)開(kāi)發(fā)的結(jié)果表,配置生成不同的數(shù)據(jù)集來(lái)做二次邏輯加工,來(lái)支持多樣的數(shù)據(jù)需求。同時(shí)我們開(kāi)發(fā)了https、微服務(wù)兩個(gè)數(shù)據(jù)查詢服務(wù)版本方便于前端、后端開(kāi)發(fā)人員對(duì)接數(shù)據(jù)需求。
圖片
數(shù)據(jù)安全管控對(duì)于保護(hù)數(shù)據(jù)資產(chǎn)、維護(hù)數(shù)據(jù)完整性和合規(guī)性至關(guān)重要。通過(guò)數(shù)據(jù)安全管控,企業(yè)可以降低數(shù)據(jù)泄露、濫用和損壞的風(fēng)險(xiǎn),確保數(shù)據(jù)安全。在數(shù)據(jù)安全方面,目前控制到數(shù)據(jù)集粒度。整體上通過(guò)兩種方式來(lái)管理:
同時(shí)在系統(tǒng)中,有對(duì)應(yīng)請(qǐng)求的查詢記錄信息和監(jiān)控告警模塊,對(duì)于異常查詢、鑒權(quán)異常、慢查詢等進(jìn)行相應(yīng)的監(jiān)控,可以通過(guò)告警或者限流的方式篩選出異常查詢情況并做出相應(yīng)的處理,來(lái)保證系統(tǒng)的穩(wěn)定與數(shù)據(jù)的安全。
圖片
在服務(wù)投入使用的過(guò)程中,我們發(fā)現(xiàn)很多請(qǐng)求其實(shí)請(qǐng)求的結(jié)果數(shù)據(jù)量級(jí)很小邏輯很輕,這種請(qǐng)求如果都發(fā)送到OLAP的引擎中進(jìn)行查詢,在早高峰資源占用緊張的情況下也會(huì)受到影響,影響用戶查詢體驗(yàn)。而且各種數(shù)據(jù)庫(kù)或者OLAP引擎都有著各自適用的場(chǎng)景,目前針對(duì)大數(shù)據(jù)并沒(méi)有一個(gè)完美引擎,因此在這套查詢體系里為了最大化用戶體驗(yàn),提升查詢效率,設(shè)計(jì)根據(jù)數(shù)據(jù)集優(yōu)先級(jí),以及查詢條件自動(dòng)選擇最適合的查詢引擎來(lái)進(jìn)行數(shù)據(jù)查詢與加載。
這是一種常用的處理方式,用存儲(chǔ)空間換取查詢效率與用戶體驗(yàn)的方案,這個(gè)方案中在不同的引擎里會(huì)冗余不同維度的子數(shù)據(jù)集數(shù)據(jù),具體的都要視查詢場(chǎng)景與數(shù)據(jù)集特點(diǎn)進(jìn)行拆分優(yōu)化,充分利用每個(gè)引擎的特點(diǎn)與優(yōu)勢(shì),來(lái)提供更快更穩(wěn)定的查詢體驗(yàn)。
圖片
在系統(tǒng)核心功能完成之后,在易用性上我們基于該服務(wù)建設(shè)了管理功能與自助分析平臺(tái)。整體如上圖所示,我們可以查看自己有權(quán)限的數(shù)據(jù)集,并對(duì)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行自助分析,選擇維度過(guò)濾,確定查詢的指標(biāo)與分組的維度進(jìn)行自助的數(shù)據(jù)查詢與分析。同時(shí)展示了對(duì)應(yīng)的查詢參數(shù)cfg參數(shù)與最終生成的查詢SQL,方面前后端開(kāi)發(fā)人員快速上手使用該查詢服務(wù),提升開(kāi)發(fā)效率。
至此通過(guò)該系統(tǒng)基本上解決了數(shù)據(jù)查詢服務(wù)統(tǒng)一的問(wèn)題,在統(tǒng)一的指標(biāo)管理、數(shù)據(jù)集管理的體系下,保證了數(shù)據(jù)出口邏輯的一致性。并且該系統(tǒng)可以支持橫向擴(kuò)展來(lái)適應(yīng)更多的查詢請(qǐng)求。完成支持各類數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)查詢服務(wù),提供統(tǒng)一、穩(wěn)定、便捷、安全、可擴(kuò)展的數(shù)據(jù)查詢出口統(tǒng)一查詢服務(wù)One-Service系統(tǒng)。
圖片
關(guān)于作者
張業(yè)成,轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)智能部高級(jí)數(shù)據(jù)開(kāi)發(fā)工程師,專注于數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)應(yīng)用平臺(tái)建設(shè)。
本文鏈接:http://www.tebozhan.com/showinfo-26-51259-0.html轉(zhuǎn)轉(zhuǎn)One-Service數(shù)據(jù)服務(wù)體系建設(shè)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
下一篇: Go 語(yǔ)言中并發(fā)的威力