快插进小逼里大鸡吧视频,亚洲综合久久大香蕉,日韩中文字幕人妻无

環(huán)球快消息！火山引擎DataLeap：一個易用、高效的數(shù)據(jù)目錄，是如何搭建的？

來源：中關(guān)村在線 2023-06-19 15:52:39

分享到：

企業(yè)如何找到數(shù)據(jù)、了解數(shù)據(jù)以及使用數(shù)據(jù)？

這離不開數(shù)據(jù)目錄的能力。數(shù)據(jù)目錄有著類似于“字典”的作用，能夠幫助數(shù)據(jù)生產(chǎn)者和使用者快速定位數(shù)據(jù)、解釋數(shù)據(jù)、找到數(shù)據(jù)，并從中提取業(yè)務(wù)價值。

對以研發(fā)人員為代表的數(shù)據(jù)生產(chǎn)者來說，他們利用數(shù)據(jù)目錄來組織、梳理各類元數(shù)據(jù)。例如，數(shù)據(jù)生產(chǎn)者會將元數(shù)據(jù)以目錄等形式編排到一起，方便維護(hù)，并通過打業(yè)務(wù)標(biāo)簽、添加應(yīng)用場景描述、字段解釋等豐富業(yè)務(wù)相關(guān)屬性。

【資料圖】

對于數(shù)據(jù)分析師、產(chǎn)品、運營等數(shù)據(jù)使用者來說，他們通過數(shù)據(jù)目錄來查找和理解數(shù)據(jù)，例如通過關(guān)鍵字檢索，或目錄瀏覽，來查找業(yè)務(wù)場景數(shù)據(jù)，并瀏覽詳情介紹、字段描述、產(chǎn)出關(guān)系等，進(jìn)一步理解并利用數(shù)據(jù)決策。

在字節(jié)跳動，也有這么一套被內(nèi)部廣泛使用的數(shù)據(jù)目錄系統(tǒng)。目前，該系統(tǒng)已通過火山引擎DataLeap數(shù)據(jù)地圖平臺對外輸出。外部用戶也可以在DataLeap數(shù)據(jù)地圖平臺，收集、組織、訪問和補充元數(shù)據(jù)信息，為自身數(shù)據(jù)建設(shè)和治理提供支持。

火山引擎DataLeap數(shù)據(jù)地圖平臺-數(shù)據(jù)目錄

要構(gòu)建一套擴展性強、易維護(hù)且易用的數(shù)據(jù)目錄系統(tǒng)并非易事。在大數(shù)據(jù)領(lǐng)域，各類計算和存儲系統(tǒng)百花齊放，概念和原理又千差萬別，對于元數(shù)據(jù)的采集、組織、理解、信任等，都帶來了很大挑戰(zhàn)。

在調(diào)研各個開源軟件及技術(shù)體系基礎(chǔ)上，火山引擎DataLeap選擇基于Apache Atlas改造，而這套數(shù)據(jù)目錄系統(tǒng)主要依賴五大關(guān)鍵技術(shù)：

第一，數(shù)據(jù)模型統(tǒng)一。一方面，DataLeap通過充分復(fù)用各種元數(shù)據(jù)類型間的相似能力，獲得數(shù)據(jù)模型定制靈活性；另一方面，DataLeap將數(shù)據(jù)源關(guān)聯(lián)的能力進(jìn)行收斂到一起，以降低后續(xù)的維護(hù)成本。

第二，數(shù)據(jù)接入標(biāo)準(zhǔn)化。當(dāng)用戶接入新的元數(shù)據(jù)時，只需要重新編寫Source和Diff Operator，而其他組件可直接復(fù)用，以標(biāo)準(zhǔn)化的connector節(jié)省接入和運維成本。

第三，搜索優(yōu)化。在數(shù)據(jù)目錄中，搜索是用戶最廣泛使用的功能，也是用戶找數(shù)主要的手段。搜索優(yōu)化可分為離線部分和在線部分。離線部分負(fù)責(zé)匯集各類與搜索相關(guān)的數(shù)據(jù)，完成數(shù)據(jù)清洗或者模型訓(xùn)練，再根據(jù)不同的用途，寫入不同的存儲，供給在線搜索模塊使用。在線部分則分為搜索理解、召回、精排三個主要階段，步驟和概念與通用搜索引擎對齊。

第四，血緣能力。完備的血緣能力，既可以幫助數(shù)據(jù)生產(chǎn)者梳理、組織元數(shù)據(jù)，也可以幫助數(shù)據(jù)消費者找數(shù)、理解數(shù)據(jù)上下文。火山引擎DataLeap在設(shè)計上充分考慮血緣鏈路的多樣性和復(fù)雜性，并在血緣質(zhì)量上，通過定義有效的血緣準(zhǔn)確率、覆蓋率和時效性，確保血緣信息準(zhǔn)確、全面和實時性。

第五，存儲層優(yōu)化。當(dāng)業(yè)務(wù)中有越來越多的元數(shù)據(jù)接入數(shù)據(jù)目錄，圖存儲中的點和邊將分別到達(dá)百萬和千萬量級，造成讀寫性能出現(xiàn)問題。在讀優(yōu)化和寫優(yōu)化層面，火山引擎DataLeap分別通過開啟MutilPreFetch 能力、去除Guid全局唯一性檢查，最終實現(xiàn)小表性能小于100ms、中表性能2~5s、大表性能0.5~1min。

據(jù)介紹，火山引擎DataLeap能幫助企業(yè)快速完成數(shù)據(jù)集成、開發(fā)、運維、治理、資產(chǎn)、安全等全套數(shù)據(jù)中臺建設(shè)，其中數(shù)據(jù)目錄能力主要涵蓋在數(shù)據(jù)地圖平臺，該平臺通過提供數(shù)據(jù)檢索、元數(shù)據(jù)詳情查看、數(shù)據(jù)理解等功能，解決找數(shù)難、理解數(shù)據(jù)難的痛點，同時支持?jǐn)?shù)據(jù)專題、血緣圖譜、數(shù)據(jù)發(fā)現(xiàn)、庫表管理等特色功能。

目前，火山引擎DataLeap的數(shù)據(jù)地圖平臺已接入全鏈路核心元數(shù)據(jù)，包括LAS、MySQL、ByteHouse CE、ByteHouse CDW、TOS、LasFS、EMR hive等，提供可視化的血緣關(guān)系展示能力，幫助用戶全面的探查了解數(shù)據(jù)，支持表、字段級別血緣可視化查詢，以及按層級、范圍篩選展示，為用戶提供靈活、易用的數(shù)據(jù)服務(wù)。（作者：田軒棋）

99re这里是国产精品首页,99re这里是国产精品首页,japan日本又黄人妻,天天摸天天做天天爽在线,国产乱久久亚洲国产精品,国产中文字幕制服丝袜,亚洲自拍偷拍精品不卡视频,日韩经典 中文字幕 一区,欧美人与禽zozo性伦

環(huán)球快消息！火山引擎DataLeap：一個易用、高效的數(shù)據(jù)目錄，是如何搭建的？

相關(guān)新聞

熱門文章

熱點專題

99re这里是国产精品首页,99re这里是国产精品首页,japan日本又黄人妻,天天摸天天做天天爽在线,国产乱久久亚洲国产精品,国产中文字幕制服丝袜,亚洲自拍偷拍精品不卡视频,日韩经典中文字幕一区,欧美人与禽zozo性伦

環(huán)球快消息！火山引擎DataLeap：一個易用、高效的數(shù)據(jù)目錄，是如何搭建的？