近日,國家市場監督管理總局、國家標準化管理委員會正式發布大數據領域首個批流融合國家標準 GB / T 44216-2024《信息技術大數據批流融合計算技術要求》,該標準牽頭起草單位為阿里云計算有限公司,將于 2025 年 2 月 1 日起正式實施。
《信息技術大數據批流融合計算技術要求》對批流融合技術作了清晰定義,規定了批流融合系統需能同時支持實時和離線計算模型,并應具備統一資源管理、統一計算框架、統一 API、統一 SQL 接口、統一作業管理、統一權限管理及彈性拓展等關鍵能力。
批流融合是大數據領域重要的新興技術趨勢。隨著互聯網的發展,企業在電商推薦、交通物流、金融交易監控等眾多場景對大規模實時數據計算的需求不斷攀升,傳統批量計算范式在時延方面難以滿足要求,將實時處理數據的流式計算與批量計算在統一技術框架下融合成為行業必經之路。
以流計算兼容批計算的開源計算引擎 Apache Flink 是大數據計算的后起之秀,允許用戶以一套代碼進行流處理或批處理,節省了大量開發成本。2019 年,阿里收購 Apache Flink 母公司,結合自身電商場景實踐,投入大量研發力量優化 Apache Flink 產品,使其達到高吞吐、低延遲、高可用、高準確性的企業級應用標準,并持續為全球開源社區貢獻,成為推動社區和技術創新的主導力量。目前,Apache Flink 已成為行業內批流融合計算的事實標準,阿里巴巴、螞蟻集團、字節跳動、小米、快手、小紅書、嗶哩嗶哩、滴滴、中國聯通等上百家企業都在使用 Apache Flink 進行實時計算。
作為國內大數據領域領導者,阿里云在 2019 年發起了批流融合計算技術的國家標準立項和編制工作,并聯合行業內各單位共同起草完善。融合了阿里云實時計算 Flink 版的打造經驗和豐富的行業實踐,國家標準《信息技術大數據批流融合計算技術要求》將更好地推動批流融合計算的技術發展,指導國內批流融合計算系統的設計、開發和部署,并進一步幫助批流融合技術在各行業中落地應用。
據了解,阿里云在大數據領域積累了深厚技術實力。阿里云擁有從大數據處理分析、數據倉庫到 AI 工程化服務的全棧技術能力,自主研發的 MaxCompute、Dataworks、Hologres 等旗艦產品可提供業界最高水平的數據處理性能、伸縮彈性和穩定性;同時,阿里云積極貢獻并維護了一系列頂級開源項目,包括 Apache Flink、Apache Paimon 等,為開發者提供豐富的工具選擇,并提供全托管式云服務。
本文鏈接:http://www.tebozhan.com/showinfo-26-111261-0.html首個大數據批流融合國家標準正式發布阿里云為牽頭起草單位
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com