中文字幕无码青椒影视_人妻系列无码专区按摩好紧_久久国产手机aⅴ无码_av人摸人人人澡人人超碰_特级婬片国产在线观看_亚洲自偷自拍熟女另类

物聯(lián)資訊

低代碼數(shù)據(jù)平臺(tái)BI大屏定制文章

數(shù)據(jù)網(wǎng)格架構(gòu)-從工程角度看數(shù)據(jù)網(wǎng)格

作者：低代碼架構(gòu)師Kaiwen

閱讀數(shù)：184

更新時(shí)間：2024-02-23 20:34:49

id="why" class="title">為什么您可能需要數(shù)據(jù)網(wǎng)格

許多組織已經(jīng)投資了一個(gè)中央數(shù)據(jù)湖和一個(gè)數(shù)據(jù)團(tuán)隊(duì)，希望基于數(shù)據(jù)來(lái)推動(dòng)他們的業(yè)務(wù)。然而，在一些初步的快速獲勝之后，他們注意到中央數(shù)據(jù)團(tuán)隊(duì)經(jīng)常成為瓶頸. 團(tuán)隊(duì)無(wú)法足夠快地處理管理層和產(chǎn)品負(fù)責(zé)人的所有分析問(wèn)題。這是一個(gè)巨大的問(wèn)題，因?yàn)榧皶r(shí)做出數(shù)據(jù)驅(qū)動(dòng)的決策對(duì)于保持競(jìng)爭(zhēng)力至關(guān)重要。例如：在黑色周期間提供免費(fèi)送貨是個(gè)好主意嗎？客戶(hù)是否接受更長(zhǎng)但更可靠的運(yùn)輸時(shí)間？產(chǎn)品頁(yè)面更改如何影響結(jié)賬率和退貨率？

數(shù)據(jù)團(tuán)隊(duì)希望快速回答??所有這些問(wèn)題。然而，在實(shí)踐中，他們遇到了困難，因?yàn)樗麄冃枰诓僮鲾?shù)據(jù)庫(kù)更改后花費(fèi)太多時(shí)間來(lái)修復(fù)損壞的數(shù)據(jù)管道。在剩下的時(shí)間里，數(shù)據(jù)團(tuán)隊(duì)必須發(fā)現(xiàn)和理解必要的領(lǐng)域數(shù)據(jù)。對(duì)于每個(gè)問(wèn)題，他們都需要學(xué)習(xí)領(lǐng)域知識(shí)以提供有意義的見(jiàn)解。獲得所需的領(lǐng)域?qū)I(yè)知識(shí)是一項(xiàng)艱巨的任務(wù)。

另一方面，組織也投資于領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)、自治領(lǐng)域團(tuán)隊(duì)（也稱(chēng)為流對(duì)齊團(tuán)隊(duì)或產(chǎn)品團(tuán)隊(duì)）和去中心化微服務(wù)架構(gòu)。這些領(lǐng)域團(tuán)隊(duì)擁有并了解他們的領(lǐng)域，包括業(yè)務(wù)的信息需求。他們自行設(shè)計(jì)、構(gòu)建和運(yùn)行自己的 Web 應(yīng)用程序和 API。盡管了解領(lǐng)域和相關(guān)信息需求，領(lǐng)域團(tuán)隊(duì)必須聯(lián)系超負(fù)荷的中央數(shù)據(jù)團(tuán)隊(duì)以獲得必要的數(shù)據(jù)驅(qū)動(dòng)洞察力。

隨著組織的最終成長(zhǎng)，領(lǐng)域團(tuán)隊(duì)和中心數(shù)據(jù)團(tuán)隊(duì)的情況變得更糟。解決這個(gè)問(wèn)題的一種方法是將數(shù)據(jù)的責(zé)任從中央數(shù)據(jù)團(tuán)隊(duì)轉(zhuǎn)移到領(lǐng)域團(tuán)隊(duì)。這就是數(shù)據(jù)網(wǎng)格概念背后的核心思想： 面向領(lǐng)域的去中心化分析數(shù)據(jù)。數(shù)據(jù)網(wǎng)格架構(gòu)使域團(tuán)隊(duì)能夠?qū)ψ约旱目缬驍?shù)據(jù)分析和互連數(shù)據(jù)，類(lèi)似于微服務(wù)架構(gòu)中的 API。

什么是數(shù)據(jù)網(wǎng)格？

術(shù)語(yǔ)數(shù)據(jù)網(wǎng)格由Zhamak Dehghani 創(chuàng)造在 2019 年，基于捆綁知名概念的四個(gè)基本原則：

域所有權(quán)原則要求域團(tuán)隊(duì)對(duì)其數(shù)據(jù)負(fù)責(zé) 。根據(jù)這一原則，分析數(shù)據(jù)應(yīng)圍繞域組成，類(lèi)似于與系統(tǒng)的有界上下文對(duì)齊的團(tuán)隊(duì)邊界。遵循領(lǐng)域驅(qū)動(dòng)的分布式架構(gòu)，分析和運(yùn)營(yíng)數(shù)據(jù)所有權(quán)轉(zhuǎn)移到領(lǐng)域團(tuán)隊(duì)，遠(yuǎn)離中央數(shù)據(jù)團(tuán)隊(duì)。

數(shù)據(jù)作為產(chǎn)品原則將產(chǎn)品思維理念投射到分析數(shù)據(jù)上。這個(gè)原則意味著域之外的數(shù)據(jù)有消費(fèi)者。領(lǐng)域團(tuán)隊(duì)負(fù)責(zé)通過(guò)提供高質(zhì)量數(shù)據(jù)來(lái)滿(mǎn)足其他領(lǐng)域的需求。基本上，域數(shù)據(jù)應(yīng)該被視為任何其他公共 API。

自助數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái) 背后的理念是將平臺(tái)思維應(yīng)用于數(shù)據(jù)基礎(chǔ)設(shè)施。一個(gè)專(zhuān)門(mén)的數(shù)據(jù)平臺(tái)團(tuán)隊(duì)提供與領(lǐng)域無(wú)關(guān)的功能、工具和系統(tǒng)，為所有領(lǐng)域構(gòu)建、執(zhí)行和維護(hù)可互操作的數(shù)據(jù)產(chǎn)品。借助其平臺(tái)，數(shù)據(jù)平臺(tái)團(tuán)隊(duì)使領(lǐng)域團(tuán)隊(duì)能夠無(wú)縫地使用和創(chuàng)建數(shù)據(jù)產(chǎn)品。

聯(lián)邦治理原則通過(guò)標(biāo)準(zhǔn)化實(shí)現(xiàn)所有數(shù)據(jù)產(chǎn)品的互操作性，由治理行會(huì)在整個(gè)數(shù)據(jù)網(wǎng)格中推動(dòng)。聯(lián)邦治理的主要目標(biāo)是創(chuàng)建一個(gè)遵守組織規(guī)則和行業(yè)法規(guī)的數(shù)據(jù)生態(tài)系統(tǒng)。

如何設(shè)計(jì)數(shù)據(jù)網(wǎng)格？

數(shù)據(jù)網(wǎng)格架構(gòu)是一種分散的方法，使域團(tuán)隊(duì)能夠自行執(zhí)行跨域數(shù)據(jù)分析。其核心是具有負(fù)責(zé)團(tuán)隊(duì)及其運(yùn)營(yíng)和分析數(shù)據(jù)的域。領(lǐng)域團(tuán)隊(duì)攝取運(yùn)營(yíng)數(shù)據(jù)并構(gòu)建分析數(shù)據(jù)模型以執(zhí)行他們自己的分析。它使用分析數(shù)據(jù)來(lái)構(gòu)建基于其他領(lǐng)域需求的數(shù)據(jù)產(chǎn)品。

領(lǐng)域團(tuán)隊(duì)與其他人就全球政策達(dá)成一致，例如聯(lián)合治理協(xié)會(huì)中的互操作性、安全性和文檔標(biāo)準(zhǔn)，以便領(lǐng)域團(tuán)隊(duì)知道如何發(fā)現(xiàn)、理解和使用數(shù)據(jù)網(wǎng)格中可用的數(shù)據(jù)產(chǎn)品。數(shù)據(jù)平臺(tái)團(tuán)隊(duì)提供的與領(lǐng)域無(wú)關(guān)的自助數(shù)據(jù)平臺(tái)，使領(lǐng)域團(tuán)隊(duì)能夠輕松構(gòu)建自己的數(shù)據(jù)產(chǎn)品并有效地進(jìn)行自己的分析。支持團(tuán)隊(duì)指導(dǎo)領(lǐng)域團(tuán)隊(duì)如何對(duì)分析數(shù)據(jù)進(jìn)行建模、使用數(shù)據(jù)平臺(tái)以及構(gòu)建和維護(hù)可互操作的數(shù)據(jù)產(chǎn)品。

數(shù)據(jù)網(wǎng)格核心組件架構(gòu)

數(shù)據(jù)產(chǎn)品

數(shù)據(jù)產(chǎn)品通常是可以被其他域訪(fǎng)問(wèn)的已發(fā)布數(shù)據(jù)集，類(lèi)似于 API。例如，Google BigQuery 表中的庫(kù)存更新歷史記錄或 AWS S3 存儲(chǔ)桶上帶有采購(gòu)訂單的每日 JSON 文件。數(shù)據(jù)產(chǎn)品也可以采用其他形式，包括包含 KPI 和圖表的 PDF 形式的銷(xiāo)售報(bào)告，甚至是用于預(yù)測(cè)發(fā)貨日期的機(jī)器學(xué)習(xí)模型作為 ONNX 文件。

為了發(fā)現(xiàn)、訪(fǎng)問(wèn)和使用數(shù)據(jù)產(chǎn)品，它使用元數(shù)據(jù)進(jìn)行描述，包括所有權(quán)和聯(lián)系信息、數(shù)據(jù)位置和訪(fǎng)問(wèn)、更新頻率以及數(shù)據(jù)模型的規(guī)范。

領(lǐng)域團(tuán)隊(duì)負(fù)責(zé)數(shù)據(jù)產(chǎn)品在其整個(gè)生命周期內(nèi)的操作。團(tuán)隊(duì)需要持續(xù)監(jiān)控并確保數(shù)據(jù)質(zhì)量和可用性。例如，保持?jǐn)?shù)據(jù)不重復(fù)或?qū)G失的條目做出反應(yīng)。

聯(lián)邦治理

聯(lián)合治理機(jī)構(gòu)通常組織為一個(gè)公會(huì)，由參與數(shù)據(jù)網(wǎng)格的所有團(tuán)隊(duì)的代表組成。他們就全球政策達(dá)成一致，這是數(shù)據(jù)網(wǎng)格中的游戲規(guī)則。這些規(guī)則定義了領(lǐng)域團(tuán)隊(duì)必須如何構(gòu)建他們的數(shù)據(jù)產(chǎn)品。

互操作性 政策是起點(diǎn)。它們?cè)试S其他領(lǐng)域團(tuán)隊(duì)以一致的方式使用數(shù)據(jù)產(chǎn)品。例如，全局策略可以將提供數(shù)據(jù)的標(biāo)準(zhǔn)方式定義為 AWS S3 上相應(yīng)域團(tuán)隊(duì)擁有的存儲(chǔ)桶中的 CSV 文件。

接下來(lái)，必須有某種形式的文檔來(lái)發(fā)現(xiàn)和理解可用的數(shù)據(jù)產(chǎn)品。一個(gè)簡(jiǎn)單的策略可以是一個(gè) wiki 頁(yè)面，其中包含一組預(yù)定義的元數(shù)據(jù)，例如數(shù)據(jù)產(chǎn)品的所有者、位置 URL 和 CSV 字段的描述。

以安全方式訪(fǎng)問(wèn)實(shí)際數(shù)據(jù)產(chǎn)品的統(tǒng)一方式可能是在 AWS IAM 中使用基于角色的訪(fǎng)問(wèn)，由域團(tuán)隊(duì)管理。

隱私和合規(guī) 等全球政策也很常見(jiàn)?？紤]保護(hù)個(gè)人身份信息 (PII) 或特定行業(yè)的法律要求。

分析數(shù)據(jù)

深入分析數(shù)據(jù)，我們可以看到導(dǎo)致數(shù)據(jù)產(chǎn)品的數(shù)據(jù)流。運(yùn)營(yíng)數(shù)據(jù)通常作為某種原始和非結(jié)構(gòu)化數(shù)據(jù)被攝取。

在預(yù)處理步驟中，原始數(shù)據(jù)被清理并結(jié)構(gòu)化為事件和實(shí)體。事件很小、不可變且高度面向領(lǐng)域，例如OrderPurchased或ShipmentDelivered。 實(shí)體代表業(yè)務(wù)對(duì)象，例如貨物或物品，其狀態(tài)隨時(shí)間而變化。這就是為什么實(shí)體經(jīng)常被表示為一個(gè)快照列表，即歷史，最新的快照是當(dāng)前狀態(tài)。

在實(shí)踐中，我們經(jīng)常會(huì)看到手動(dòng)輸入或?qū)氲臄?shù)據(jù)。例如，通過(guò)電子郵件作為 CSV 文件或業(yè)務(wù)代碼的文本描述發(fā)送的預(yù)測(cè)數(shù)據(jù)。

來(lái)自其他團(tuán)隊(duì)的數(shù)據(jù)被整合為外部數(shù)據(jù)。當(dāng)使用來(lái)自其他管理良好的團(tuán)隊(duì)的數(shù)據(jù)產(chǎn)品時(shí)，這種集成可能會(huì)以非常輕量級(jí)的方式實(shí)現(xiàn)。在從遺留系統(tǒng)導(dǎo)入數(shù)據(jù)的情況下，外部區(qū)域充當(dāng)反腐敗層 .

發(fā)布的數(shù)據(jù)產(chǎn)品是通過(guò)聚合事件、實(shí)體、手冊(cè)和外部數(shù)據(jù)的子集而得出的。

攝取

領(lǐng)域團(tuán)隊(duì)如何將他們的運(yùn)營(yíng)數(shù)據(jù)引入數(shù)據(jù)平臺(tái)？根據(jù)領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)原則設(shè)計(jì)的軟件系統(tǒng)包含作為可變實(shí)體/聚合和不可變領(lǐng)域事件的數(shù)據(jù)。

領(lǐng)域事件非常適合被攝取到數(shù)據(jù)平臺(tái)中，因?yàn)樗鼈兇砹讼嚓P(guān)的業(yè)務(wù)事實(shí)。如果有一個(gè)消息傳遞系統(tǒng)，則可以通過(guò)附加一個(gè)額外的消息消費(fèi)者將域事件轉(zhuǎn)發(fā)到數(shù)據(jù)平臺(tái)。數(shù)據(jù)可以實(shí)時(shí)采集、處理并轉(zhuǎn)發(fā)到數(shù)據(jù)平臺(tái)。通過(guò)這種流式攝取，數(shù)據(jù)在到達(dá)時(shí)以小批量發(fā)送，因此可立即用于分析。由于領(lǐng)域事件已經(jīng)被很好地定義，除了 PII 數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除和匿名化之外，在清理和預(yù)處理方面幾乎沒(méi)有什么可做的。有時(shí)，還建議定義和攝取包含僅與分析用例相關(guān)的信息的內(nèi)部分析事件，這樣就不必修改域事件。
流式攝取示例：Kafka Connect、Kafka Streams、AWS Lambda

許多業(yè)務(wù)對(duì)象作為實(shí)體和聚合保存在 SQL 或 NoSQL 數(shù)據(jù)庫(kù)中。它們的狀態(tài)會(huì)隨著時(shí)間而變化，并且最新的狀態(tài)只保存在數(shù)據(jù)庫(kù)中。具有狀態(tài)的實(shí)體的有力候選者是文章、價(jià)格、客戶(hù)數(shù)據(jù)或裝運(yùn)狀態(tài)。對(duì)于分析用例，通常需要同時(shí)擁有最新?tīng)顟B(tài)和一段時(shí)間內(nèi)的狀態(tài)歷史。有幾種攝取實(shí)體的方法。一種方法是生成并發(fā)布onCreate/onUpdate/onDelete 事件每次更改實(shí)體時(shí)都使用當(dāng)前狀態(tài)，例如通過(guò)添加方面或實(shí)體監(jiān)聽(tīng)器 . 然后可以使用流式攝取來(lái)攝取上述數(shù)據(jù)。當(dāng)更改操作軟件不可行時(shí)，可以使用更改數(shù)據(jù)捕獲 (CDC)直接監(jiān)聽(tīng)數(shù)據(jù)庫(kù)更改并將其流式傳輸?shù)綌?shù)據(jù)平臺(tái)。
CDC 流的示例：Debezium

最后，可以設(shè)置將數(shù)據(jù)導(dǎo)出到文件并將其加載到平臺(tái)中的傳統(tǒng)預(yù)定ELT 或 ETL 作業(yè)，其缺點(diǎn)是沒(méi)有實(shí)時(shí)數(shù)據(jù)，在導(dǎo)出之間沒(méi)有所有階段更改，并且需要整合導(dǎo)出的數(shù)據(jù)再次。但是，對(duì)于大型機(jī)等遺留系統(tǒng)來(lái)說(shuō)，它們是一個(gè)可行的選擇。

清潔數(shù)據(jù)

干凈的數(shù)據(jù)是有效數(shù)據(jù)分析的基礎(chǔ)。使用數(shù)據(jù)網(wǎng)格，域團(tuán)隊(duì)負(fù)責(zé)執(zhí)行數(shù)據(jù)清理。他們了解自己的領(lǐng)域，并且可以確定需要處理其領(lǐng)域數(shù)據(jù)的原因和方式。

攝取到數(shù)據(jù)平臺(tái)中的數(shù)據(jù)通常以其原始的原始和非結(jié)構(gòu)化格式導(dǎo)入。使用列式數(shù)據(jù)庫(kù)時(shí)，這可能是每個(gè)包含 CLOB 的事件的行事件負(fù)載的字段，可能是 JSON 格式?，F(xiàn)在可以對(duì)其進(jìn)行預(yù)處理以獲取干凈的數(shù)據(jù)：

結(jié)構(gòu)化：將非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為分析數(shù)據(jù)模型，例如，通過(guò)將 JSON 字段提取到列中。
緩解結(jié)構(gòu)變化：當(dāng)數(shù)據(jù)結(jié)構(gòu)發(fā)生變化時(shí)，緩解它們，例如，通過(guò)用合理的默認(rèn)值填充空值。
重復(fù)數(shù)據(jù)刪除：由于大多數(shù)分析存儲(chǔ)系統(tǒng)都是僅追加的，因此無(wú)法更新實(shí)體和事件。刪除所有重復(fù)條目。
完整性：確保數(shù)據(jù)包含約定的時(shí)間段，即使在攝取期間存在技術(shù)問(wèn)題。
修復(fù)異常值：識(shí)別并糾正可能因錯(cuò)誤而出現(xiàn)的無(wú)效數(shù)據(jù)。

從實(shí)現(xiàn)的角度來(lái)看，這些預(yù)處理步驟可以實(shí)現(xiàn)為投影原始數(shù)據(jù)的簡(jiǎn)單 SQL 視圖。查詢(xún)可以通過(guò) 公用表表達(dá)式來(lái)組織（CTE）并且可以通過(guò)用戶(hù)定義的功能進(jìn)行增強(qiáng)(UDF)，例如，用于 JSON 處理。作為替代方案，清理步驟可以實(shí)現(xiàn)為對(duì)主題進(jìn)行操作的 lambda 函數(shù)?？梢允褂?a >dbt 等框架構(gòu)建更復(fù)雜的管道或 Apache Beam 它提供了高級(jí)編程模型，但也需要掌握更多技能。

分析

為了獲得洞察力，領(lǐng)域團(tuán)隊(duì)查詢(xún)、處理和聚合他們的分析數(shù)據(jù)以及來(lái)自其他領(lǐng)域的相關(guān)數(shù)據(jù)產(chǎn)品。

SQL是大多數(shù)分析查詢(xún)的基礎(chǔ)。它提供了強(qiáng)大的功能來(lái)連接和調(diào)查數(shù)據(jù)。數(shù)據(jù)平臺(tái)應(yīng)該高效地執(zhí)行連接操作，即使對(duì)于大型數(shù)據(jù)集也是如此。聚合用于對(duì)數(shù)據(jù)進(jìn)行分組，窗口函數(shù)有助于跨多行執(zhí)行計(jì)算。筆記本有助于建立和記錄探索性發(fā)現(xiàn)。
示例：Jupyter 筆記本、Presto

人類(lèi)在視覺(jué)上感知數(shù)據(jù)、趨勢(shì)和異常時(shí)，會(huì)更容易理解它們。有許多出色的數(shù)據(jù)可視化工具可以構(gòu)建漂亮的圖表、關(guān)鍵績(jī)效指標(biāo)概覽、儀表板和報(bào)告。它們提供了一個(gè)易于使用的 UI 來(lái)向下鉆取、過(guò)濾和聚合數(shù)據(jù)。
示例：Looker、Tableau、元數(shù)據(jù)庫(kù)、Redash

對(duì)于更高級(jí)的見(jiàn)解，可以應(yīng)用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)方法。這些支持相關(guān)性分析、預(yù)測(cè)模型和其他高級(jí)用例。需要特殊的方法、統(tǒng)計(jì)和技術(shù)技能。
示例：scikit-learn、PyTorch、TensorFlow

數(shù)據(jù)平臺(tái)

自助數(shù)據(jù)平臺(tái)可能因每個(gè)組織而異。數(shù)據(jù)網(wǎng)格是一個(gè)新領(lǐng)域，供應(yīng)商開(kāi)始在其現(xiàn)有產(chǎn)品中添加數(shù)據(jù)網(wǎng)格功能。

從所需的能力來(lái)看，您可以區(qū)分分析能力和數(shù)據(jù)產(chǎn)品能力： 分析能力使領(lǐng)域團(tuán)隊(duì)能夠構(gòu)建分析數(shù)據(jù)模型并為數(shù)據(jù)驅(qū)動(dòng)的決策執(zhí)行分析。數(shù)據(jù)平臺(tái)需要以自助服務(wù)的形式攝取、存儲(chǔ)、查詢(xún)和可視化數(shù)據(jù)的功能。典型的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖解決方案，無(wú)論是內(nèi)部部署還是云提供商，都已經(jīng)存在。主要區(qū)別在于每個(gè)領(lǐng)域團(tuán)隊(duì)都有自己的隔離區(qū)域。

更高級(jí)的數(shù)據(jù)網(wǎng)格數(shù)據(jù)平臺(tái)還提供了額外的與領(lǐng)域無(wú)關(guān)的數(shù)據(jù)產(chǎn)品功能 用于創(chuàng)建、監(jiān)控、發(fā)現(xiàn)和訪(fǎng)問(wèn)數(shù)據(jù)產(chǎn)品。自助數(shù)據(jù)平臺(tái)應(yīng)該支持領(lǐng)域團(tuán)隊(duì)，以便他們可以快速構(gòu)建數(shù)據(jù)產(chǎn)品并在其隔離區(qū)域的生產(chǎn)中運(yùn)行它。該平臺(tái)應(yīng)該支持領(lǐng)域團(tuán)隊(duì)發(fā)布他們的數(shù)據(jù)產(chǎn)品，以便其他團(tuán)隊(duì)可以發(fā)現(xiàn)它們。該發(fā)現(xiàn)需要所有去中心化數(shù)據(jù)產(chǎn)品的中心入口點(diǎn)。數(shù)據(jù)目錄可以通過(guò)不同的方式實(shí)現(xiàn)：作為 wiki、git 存儲(chǔ)庫(kù)，或者甚至已經(jīng)有供應(yīng)商針對(duì)基于云的數(shù)據(jù)目錄的解決方案，例如 Select Star、Google 數(shù)據(jù)目錄或 AWS Glue 數(shù)據(jù)目錄。然而，數(shù)據(jù)產(chǎn)品的實(shí)際使用情況，需要域團(tuán)隊(duì)訪(fǎng)問(wèn)、集成和查詢(xún)其他域的數(shù)據(jù)產(chǎn)品。該平臺(tái)應(yīng)支持、監(jiān)控和記錄數(shù)據(jù)產(chǎn)品的跨域訪(fǎng)問(wèn)和使用。

更高級(jí)的數(shù)據(jù)平臺(tái)支持策略自動(dòng)化。這意味著，與其強(qiáng)制域團(tuán)隊(duì)手動(dòng)確保不違反全局策略，不如通過(guò)平臺(tái)自動(dòng)執(zhí)行策略。例如，所有數(shù)據(jù)產(chǎn)品在數(shù)據(jù)目錄中具有相同的元數(shù)據(jù)結(jié)構(gòu)，或者 PII 數(shù)據(jù)在數(shù)據(jù)攝取期間被自動(dòng)刪除。

有效地組合來(lái)自多個(gè)域的數(shù)據(jù)產(chǎn)品，即在幾秒鐘內(nèi)進(jìn)行大型跨域連接操作，確保開(kāi)發(fā)人員的接受度和幸福感。這就是為什么查詢(xún)引擎對(duì)數(shù)據(jù)平臺(tái)的架構(gòu)影響很大的原因. 具有單一查詢(xún)語(yǔ)言并支持分離區(qū)域的共享平臺(tái)是一個(gè)很好的開(kāi)始方式，因?yàn)橐磺卸际歉叨燃傻摹＿@可能是 Google BigQuery，其中包含可通過(guò) Google 數(shù)據(jù)目錄發(fā)現(xiàn)的多個(gè)項(xiàng)目中的表。在更加去中心化和分布式的數(shù)據(jù)網(wǎng)格中，像 Presto 這樣的分布式查詢(xún)引擎仍然可以在不導(dǎo)入數(shù)據(jù)的情況下執(zhí)行跨域連接，但它們有其自身的局限性，例如，有限的下推要求需要傳輸所有底層列數(shù)據(jù)。

賦能團(tuán)隊(duì)

支持團(tuán)隊(duì)在組織內(nèi)傳播數(shù)據(jù)網(wǎng)格的想法。在開(kāi)始采用數(shù)據(jù)網(wǎng)格時(shí)，需要進(jìn)行大量的解釋工作，并且支持團(tuán)隊(duì)可以充當(dāng)數(shù)據(jù)網(wǎng)格的倡導(dǎo)者。他們幫助領(lǐng)域團(tuán)隊(duì)成為數(shù)據(jù)網(wǎng)格的正式成員。支持團(tuán)隊(duì)由在數(shù)據(jù)分析、數(shù)據(jù)工程和自助數(shù)據(jù)平臺(tái)方面具有廣泛知識(shí)的專(zhuān)家組成。

支持團(tuán)隊(duì)的成員在有限的時(shí)間跨度內(nèi)（例如一個(gè)月）作為 內(nèi)部顧問(wèn)臨時(shí)加入領(lǐng)域團(tuán)隊(duì)，以了解團(tuán)隊(duì)的需求，建立學(xué)習(xí)環(huán)境，提升團(tuán)隊(duì)成員的數(shù)據(jù)分析技能，并指導(dǎo)他們?nèi)绾问褂米灾鷶?shù)據(jù)平臺(tái)。他們不會(huì)自己創(chuàng)建數(shù)據(jù)產(chǎn)品。

在他們的咨詢(xún)活動(dòng)之間，他們分享學(xué)習(xí)材料，例如行走骨架、示例、最佳實(shí)踐、教程，甚至播客。