要建立一個完整的大數(shù)據(jù)系統(tǒng)，需要扎實、完善、高處理效率、高安全性、高穩(wěn)定性、易擴展、大規(guī)模存儲的技術(shù)架構(gòu)。以下是一些截取物DMP系統(tǒng)的技術(shù)架構(gòu)圖(主要包括應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)等。)供大家參考，對非技術(shù)學生也有一個感性的認識。不要做大規(guī)模的發(fā)展。

應(yīng)用架構(gòu)主要是從應(yīng)用功能的角度描述模塊之間的關(guān)系和分工的圖紙，主要從應(yīng)用集成視圖和功能視圖的角度。幫助您直觀地了解系統(tǒng)，并幫助每個模塊協(xié)調(diào)開發(fā)和友好集成。

集成視圖：

該視圖主要反映了各模塊之間的關(guān)系，如圖9-28所示DMP以系統(tǒng)為例，大數(shù)據(jù)平臺（BigData）通過不同的渠道交換或收集數(shù)據(jù)。例如：通過數(shù)據(jù)采集網(wǎng)絡(luò)采集線下掃描設(shè)備采集的用戶掃描數(shù)據(jù)，WIFI上網(wǎng)服務(wù)Portal用戶登錄認證數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、點擊流數(shù)據(jù)等，從企業(yè)數(shù)據(jù)、連鎖店、特許經(jīng)營店等線下場景中獲取掃描數(shù)據(jù)、認證數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等。交換各種業(yè)務(wù)維度的位置數(shù)據(jù)、消費數(shù)據(jù)、通信數(shù)據(jù)等，準確描述用戶行為。在本例中，大數(shù)據(jù)平臺以服務(wù)在線廣告業(yè)務(wù)為主要業(yè)務(wù)應(yīng)用方向，將廣告管理系統(tǒng)視為外部系統(tǒng)（大數(shù)據(jù)為本體域，業(yè)務(wù)應(yīng)用為客體域），進行外部數(shù)據(jù)交換，開放用戶離線ID及線上ID。將用戶的線下行為與線上行為相結(jié)合，分析并貼上標簽，指導(dǎo)線上程序化廣告。廣告系統(tǒng)將從媒體、廣告系統(tǒng)、ADX、在廣告監(jiān)控中收集各種在線用戶行為數(shù)據(jù)，并將與在線廣告相關(guān)的查看、點擊、招標信息等數(shù)據(jù)注入大數(shù)據(jù)系統(tǒng)，從大數(shù)據(jù)系統(tǒng)中獲得人群肖像、招標決策等數(shù)據(jù)支持。當然，不同的業(yè)務(wù)應(yīng)用目的將連接不同的業(yè)務(wù)系統(tǒng)交互數(shù)據(jù)，并將大數(shù)據(jù)服務(wù)于不同的業(yè)務(wù)應(yīng)用目的。

圖9?28 DMP集成視圖示例

功能視圖：

主要描述視圖DMP如圖9-29所示，大數(shù)據(jù)平臺的基本技術(shù)功能包括數(shù)據(jù)采集、數(shù)據(jù)導(dǎo)出、數(shù)據(jù)分析、數(shù)據(jù)可視化等。數(shù)據(jù)采集的主要功能是收集數(shù)據(jù)，包括掃描采集數(shù)據(jù)、驗證數(shù)據(jù)有效性、處理清潔數(shù)據(jù)、上傳數(shù)據(jù)、備份數(shù)據(jù)、加密解密、壓縮解壓縮ID生成等功能模塊。數(shù)據(jù)導(dǎo)出的主要功能是服務(wù)內(nèi)外數(shù)據(jù)導(dǎo)入導(dǎo)出需求，主要包括內(nèi)部ID關(guān)聯(lián)、內(nèi)部ID以及數(shù)據(jù)導(dǎo)出和外部ID匹配、外部ID功能模塊，如數(shù)據(jù)導(dǎo)入。數(shù)據(jù)分析的主要功能是根據(jù)業(yè)務(wù)應(yīng)用方向的需要對數(shù)據(jù)進行分析和整理。在這種情況下，廣告主要包括廣告數(shù)據(jù)分析、人群肖像等功能模塊。數(shù)據(jù)可視化是數(shù)據(jù)有效輸出、支持決策、數(shù)據(jù)顯示價值的重要窗口，主要包括數(shù)據(jù)采集和監(jiān)控、數(shù)據(jù)管理、行為域可視化、數(shù)據(jù)查詢等功能模塊。

圖9?29 DMP功能視圖示例

如果我們想清楚地梳理數(shù)據(jù)，我們必須首先繪制數(shù)據(jù)架構(gòu)。在數(shù)據(jù)架構(gòu)中，我們將根據(jù)現(xiàn)有的數(shù)據(jù)內(nèi)容和應(yīng)用方向繪制主題域。通過對主題域視圖的描述，我們可以對系統(tǒng)主要管理的數(shù)據(jù)維度和數(shù)據(jù)之間的關(guān)系有一定的了解。這可以有效地引導(dǎo)有目的地收集和交換數(shù)據(jù)。我們通常將數(shù)據(jù)分為不同的主題域進行存儲和分析。不同的主題域有唯一的主域數(shù)據(jù)對象，其他數(shù)據(jù)是圍繞主域數(shù)據(jù)對象族的客體域數(shù)據(jù)。如圖9-30所示，以人為核心的本體域，包括個體特征、身份證號碼、群體特征、本體關(guān)系網(wǎng)絡(luò)、標簽、數(shù)據(jù)維度、類別等。作為人本體域，有許多描述的圖像數(shù)據(jù)，如計算機網(wǎng)絡(luò)中的應(yīng)用層QQ微信，表示層CookieID、網(wǎng)絡(luò)層的IP地址，物理層MAC電信網(wǎng)絡(luò)中的地址、手機號碼、IDFA、IMEI、AndroidID等。相對于以人為本的主體是客體區(qū)域，即與人相關(guān)的對象或非本體數(shù)據(jù)或行為，包括個體特征和群體特征。對于以廣告為主要業(yè)務(wù)應(yīng)用方向，以廣告為主要描述的客體數(shù)據(jù)，如計算和網(wǎng)絡(luò)中應(yīng)用層的廣告ID行為語義表達等。人類本體和網(wǎng)絡(luò)廣告和行為數(shù)據(jù)對象通過時間和空間交互，這些相關(guān)數(shù)據(jù)記錄在交互域中，如電子郵件記錄、網(wǎng)絡(luò)記錄和廣告行為、網(wǎng)絡(luò)層DHCP上網(wǎng)IP電信網(wǎng)絡(luò)中的終端位置、通話記錄、基站位置等自動獲取記錄、物理客戶端位置和設(shè)備位置。只有通過如此嚴格和豐富的數(shù)據(jù)區(qū)分，我們才能有效地分析數(shù)據(jù)，找出有價值的內(nèi)容。

圖9?30 DMP主題域視圖示例

技術(shù)架構(gòu)通常是從技術(shù)實現(xiàn)的角度劃分不同技術(shù)開發(fā)組件和模塊的重要過程，以確保開發(fā)分工的協(xié)調(diào)性和系統(tǒng)功能的完整性。對組件視圖的描述非常重要。在一般技術(shù)開發(fā)中，不同的技術(shù)組件必然會被劃分，主要是為了提高組件在系統(tǒng)建設(shè)中的可重用性，提高重用率，提高系統(tǒng)代碼質(zhì)量，減少重復(fù)輪的浪費。如圖9-31所示，我們將DMP系統(tǒng)的技術(shù)組件分為基礎(chǔ)資源，主要負責資源的管理和操作交互（bd-res）、主要負責業(yè)務(wù)處理的業(yè)務(wù)層（bd-mod）、接口層主要負責集成和輸入輸出接口（bd-port）、以及貫穿各層的公共工具（bd-util）。公共工具（bd-util）也就是說，每個人在各級技術(shù)開發(fā)中都會使用的公共工具，如異常處理、類管理、開發(fā)調(diào)試工具等。基礎(chǔ)資源層主要負責數(shù)據(jù)庫處理等資源的管理和操作交互（res-db）包含對hbase、jpa、redis交互模塊、文件處理等（res-file）包含對csv、excel、大數(shù)據(jù)文件dfs、文件系統(tǒng)fs等交互模塊，網(wǎng)絡(luò)處理（res-net）包含對ftp、http、 ** il、rest交互模塊、流處理等（res-stream）包含對mns、ons等交互模塊，還有對緩存（res-cache）、大數(shù)據(jù)計算資源spark（res-spark）、大數(shù)據(jù)計算emr（MapReduce）資源（res-emr）、通用資源（res-common）等交互模塊。業(yè)務(wù)層負責業(yè)務(wù)處理，如基于spark業(yè)務(wù)計算模塊(包括聚集（gather）、學習（learn）、訓(xùn)練（trans）(訓(xùn)練包括清潔（clean）、映射（ ** p）、聚類（aggregate））、查詢（query）（包含匹配（ ** tch）、導(dǎo)出（export）、檢索（search））），基于流業(yè)務(wù)計算模塊（mod-stream），基于mr（MapReduce）業(yè)務(wù)計算模塊（mod-mr），基于共享內(nèi)存業(yè)務(wù)計算模塊（mod-shm）等。接口層主要負責集成和輸入輸出，如集成接口模塊（port-integration）、客戶端接口模塊（port-cli）、API接口模塊（port-api）、WEB接口模塊（port-web）等。

圖9?31 DMP組件視圖示例

(轉(zhuǎn)載請注明出處:微信訂閱號:ad_auto ** tion）

文字表達有限，歡迎參加《m.eeefficiency.com線下課堂面對面回答你的問題。

上海西陸信息科技有限公司 承接各類微信小程序開發(fā)制作、小程序定制、APP 網(wǎng)站 開發(fā)制作，聯(lián)系電話 18221533805、15900430334