10月22日上午，2021杭州云棲大會大數(shù)據(jù)平臺技術(shù)論壇中，阿里云和各行業(yè)客戶、大數(shù)據(jù)開發(fā)者共同探討大數(shù)據(jù)平臺技術(shù)發(fā)展趨勢及最新演進，圍繞業(yè)內(nèi)持續(xù)受到關(guān)注的數(shù)據(jù)倉庫、數(shù)據(jù)湖、湖倉一體架構(gòu)等技術(shù)和云上實戰(zhàn)經(jīng)驗進行了深入交流，并由阿里云智能計算平臺產(chǎn)品與解決方案總經(jīng)理高雪峰和阿里云智能研究員、阿里云智能通用計算平臺MaxCompute、機器學習PAI平臺技術(shù)負責人林偉分別對阿里云新一代離線實時一體化數(shù)倉與湖倉一體進行了全新升級發(fā)布，對這兩項大數(shù)據(jù)技術(shù)進行了深入解讀。

阿里云智能研究員、通用計算平臺MaxCompute、機器學習PAI平臺技術(shù)負責人林偉

云上數(shù)倉離在線一體化，實現(xiàn)分析性能提升

實時化和智能化成為云上數(shù)倉服務(wù)的發(fā)展方向。越來越多的企業(yè)無法忍受數(shù)據(jù)經(jīng)過T+1的離線處理之后，再產(chǎn)生指導業(yè)務(wù)數(shù)據(jù)決策的漫長工作，而是希望能在不斷產(chǎn)生實時數(shù)據(jù)的同時，與既有的離線數(shù)據(jù)一起產(chǎn)生實時洞察，從而立即產(chǎn)生業(yè)務(wù)所需的策略。

據(jù)高雪峰介紹，游戲玩家在游戲體驗過程中，按照玩家的即時需求給他推送對當前游戲體驗有很大幫助的禮包，在滿足玩家體驗的同時，也會增加付費轉(zhuǎn)化率;在證券交易實時數(shù)據(jù)產(chǎn)生時，通過離在線一體化的數(shù)據(jù)分析實現(xiàn)交易，滿足監(jiān)管機構(gòu)的管理要求，更好的幫助機構(gòu)控制風險。

阿里云智能計算平臺產(chǎn)品與解決方案總經(jīng)理高雪峰

云上數(shù)倉離在線一體化方案，針對用戶在分析領(lǐng)域各種時效性的需求，按需提供服務(wù)。離線大數(shù)據(jù)分析MaxCompute與實時數(shù)倉Hologres實現(xiàn)深度集成，對離線數(shù)據(jù)的實時化分析可以實現(xiàn)10倍性能的提升。

在實時數(shù)倉的內(nèi)部構(gòu)件當中，可以通過實時計算Flink版的能力實現(xiàn)事件驅(qū)動的實時數(shù)倉的構(gòu)建。向外可以對數(shù)據(jù)湖中的數(shù)據(jù)進行高效的分析，實現(xiàn)數(shù)據(jù)高速入倉，通過對標準開放的 SQL協(xié)議的支持，實現(xiàn)對19款主流BI工具的原生支持，幫助客戶快速構(gòu)建從數(shù)據(jù)集成到數(shù)據(jù)分析界面的數(shù)倉應用。

數(shù)據(jù)規(guī)模越來越大，集群規(guī)模越來越大，一定會對大數(shù)據(jù)平臺的運維能力產(chǎn)生很大的挑戰(zhàn)，在海量數(shù)據(jù)可管，可控下，通過查詢優(yōu)化技術(shù)和文件存儲優(yōu)化技術(shù)將大規(guī)模集群的優(yōu)勢發(fā)揮到極致，并通過冷熱冰存儲的自動分層，為用戶降低存儲增長帶來的成本的提升。智能數(shù)倉解決了大部分企業(yè)運維難的問題，真正做到企業(yè)大數(shù)據(jù)平臺的智能駕駛。

湖倉一體新升級2.0，真正做到一份數(shù)據(jù)，統(tǒng)一管控，多樣分析

最近，數(shù)據(jù)湖的形態(tài)被眾多企業(yè)所使用，這種技術(shù)形態(tài)決定了企業(yè)很容易管理數(shù)據(jù)，并在其之上使用豐富的開源引擎做各種形態(tài)的計算。同時，在傳統(tǒng)報表等BI應用催生下，企業(yè)已經(jīng)構(gòu)建的數(shù)據(jù)倉庫形成了“數(shù)據(jù)孤島”，數(shù)據(jù)間協(xié)同分析很難被執(zhí)行，而且大部分企業(yè)沒有將所有數(shù)據(jù)進行大集中處理的能力。

在應用需求催生下，面向不同的倉和湖形態(tài)的數(shù)據(jù)存儲和分析，企業(yè)有了非常強的數(shù)據(jù)互通需求。這也是“湖倉一體”的產(chǎn)生的背景。去年，阿里云“湖倉一體”打通云上數(shù)倉產(chǎn)品“MaxCompute”與數(shù)據(jù)湖產(chǎn)品“EMR”，經(jīng)過一年的客戶磨練與沉淀，“湖倉一體”有了2.0的新能力。

從購買體驗上，用戶可以在線上分鐘級打通云上Severless數(shù)據(jù)倉庫( MaxCompute)和云原生數(shù)據(jù)湖(EMR+OSS)，實現(xiàn)統(tǒng)一元數(shù)據(jù)、存儲方面的安全互通。不僅更好的支持標準HDFS的數(shù)據(jù)訪問，而且持續(xù)優(yōu)化對OSS對象存儲高速訪問性能, 擴展支持Hudi、Delta Lake等開源數(shù)據(jù)湖格式。MaxCompute計算服務(wù)通過對智能緩存能力的升級，使訪問EMR數(shù)據(jù)湖中的數(shù)據(jù)有10+倍性能的提升。

換句話說，湖倉一體2.0可以幫助企業(yè)消除數(shù)據(jù)孤島，通過DataWorks將不同形態(tài)的數(shù)據(jù)統(tǒng)一管理與治理起來，并對特定應用加速分析。同時也可以幫助企業(yè)在新建數(shù)倉或者數(shù)據(jù)湖的同時，對既有系統(tǒng)進行充分利舊，在應用需求日趨迫切的時候，為企業(yè)規(guī)避了進行數(shù)據(jù)大集中的決策性風險。

免責聲明：市場有風險，選擇需謹慎!此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞： 一體 升級 發(fā)布