DMP系統技術架構【技術類】

要建立一個完整的大數據系統，需要扎實、完善、高處理效率、高安全性、高穩定性、易擴展、大規模存儲的技術架構。以下是一些截取物DMP系統的技術架構圖(主要包括應用架構、數據架構、技術架構等。)供大家參考，對非技術學生也有一個感性的認識。不要做大規模的發展。

應用架構主要是從應用功能的角度描述模塊之間的關系和分工的圖紙，主要從應用集成視圖和功能視圖的角度。幫助您直觀地了解系統，并幫助每個模塊協調開發和友好集成。

集成視圖：

該視圖主要反映了各模塊之間的關系，如圖9-28所示DMP以系統為例，大數據平臺（BigData）通過不同的渠道交換或收集數據。例如：通過數據采集網絡采集線下掃描設備采集的用戶掃描數據，WIFI上網服務Portal用戶登錄認證數據、互聯網數據、點擊流數據等，從企業數據、連鎖店、特許經營店等線下場景中獲取掃描數據、認證數據、互聯網數據等。交換各種業務維度的位置數據、消費數據、通信數據等，準確描述用戶行為。在本例中，大數據平臺以服務在線廣告業務為主要業務應用方向，將廣告管理系統視為外部系統（大數據為本體域，業務應用為客體域），進行外部數據交換，開放用戶離線ID及線上ID。將用戶的線下行為與線上行為相結合，分析并貼上標簽，指導線上程序化廣告。廣告系統將從媒體、廣告系統、ADX、在廣告監控中收集各種在線用戶行為數據，并將與在線廣告相關的查看、點擊、招標信息等數據注入大數據系統，從大數據系統中獲得人群肖像、招標決策等數據支持。當然，不同的業務應用目的將連接不同的業務系統交互數據，并將大數據服務于不同的業務應用目的。

圖9?28 DMP集成視圖示例

功能視圖：

主要描述視圖DMP如圖9-29所示，大數據平臺的基本技術功能包括數據采集、數據導出、數據分析、數據可視化等。數據采集的主要功能是收集數據，包括掃描采集數據、驗證數據有效性、處理清潔數據、上傳數據、備份數據、加密解密、壓縮解壓縮ID生成等功能模塊。數據導出的主要功能是服務內外數據導入導出需求，主要包括內部ID關聯、內部ID以及數據導出和外部ID匹配、外部ID功能模塊，如數據導入。數據分析的主要功能是根據業務應用方向的需要對數據進行分析和整理。在這種情況下，廣告主要包括廣告數據分析、人群肖像等功能模塊。數據可視化是數據有效輸出、支持決策、數據顯示價值的重要窗口，主要包括數據采集和監控、數據管理、行為域可視化、數據查詢等功能模塊。

圖9?29 DMP功能視圖示例

如果我們想清楚地梳理數據，我們必須首先繪制數據架構。在數據架構中，我們將根據現有的數據內容和應用方向繪制主題域。通過對主題域視圖的描述，我們可以對系統主要管理的數據維度和數據之間的關系有一定的了解。這可以有效地引導有目的地收集和交換數據。我們通常將數據分為不同的主題域進行存儲和分析。不同的主題域有唯一的主域數據對象，其他數據是圍繞主域數據對象族的客體域數據。如圖9-30所示，以人為核心的本體域，包括個體特征、身份證號碼、群體特征、本體關系網絡、標簽、數據維度、類別等。作為人本體域，有許多描述的圖像數據，如計算機網絡中的應用層QQ微信，表示層CookieID、網絡層的IP地址，物理層MAC電信網絡中的地址、手機號碼、IDFA、IMEI、AndroidID等。相對于以人為本的主體是客體區域，即與人相關的對象或非本體數據或行為，包括個體特征和群體特征。對于以廣告為主要業務應用方向，以廣告為主要描述的客體數據，如計算和網絡中應用層的廣告ID行為語義表達等。人類本體和網絡廣告和行為數據對象通過時間和空間交互，這些相關數據記錄在交互域中，如電子郵件記錄、網絡記錄和廣告行為、網絡層DHCP上網IP電信網絡中的終端位置、通話記錄、基站位置等自動獲取記錄、物理客戶端位置和設備位置。只有通過如此嚴格和豐富的數據區分，我們才能有效地分析數據，找出有價值的內容。

圖9?30 DMP主題域視圖示例

技術架構通常是從技術實現的角度劃分不同技術開發組件和模塊的重要過程，以確保開發分工的協調性和系統功能的完整性。對組件視圖的描述非常重要。在一般技術開發中，不同的技術組件必然會被劃分，主要是為了提高組件在系統建設中的可重用性，提高重用率，提高系統代碼質量，減少重復輪的浪費。如圖9-31所示，我們將DMP系統的技術組件分為基礎資源，主要負責資源的管理和操作交互（bd-res）、主要負責業務處理的業務層（bd-mod）、接口層主要負責集成和輸入輸出接口（bd-port）、以及貫穿各層的公共工具（bd-util）。公共工具（bd-util）也就是說，每個人在各級技術開發中都會使用的公共工具，如異常處理、類管理、開發調試工具等。基礎資源層主要負責數據庫處理等資源的管理和操作交互（res-db）包含對hbase、jpa、redis交互模塊、文件處理等（res-file）包含對csv、excel、大數據文件dfs、文件系統fs等交互模塊，網絡處理（res-net）包含對ftp、http、 ** il、rest交互模塊、流處理等（res-stream）包含對mns、ons等交互模塊，還有對緩存（res-cache）、大數據計算資源spark（res-spark）、大數據計算emr（MapReduce）資源（res-emr）、通用資源（res-common）等交互模塊。業務層負責業務處理，如基于spark業務計算模塊(包括聚集（gather）、學習（learn）、訓練（trans）(訓練包括清潔（clean）、映射（ ** p）、聚類（aggregate））、查詢（query）（包含匹配（ ** tch）、導出（export）、檢索（search））），基于流業務計算模塊（mod-stream），基于mr（MapReduce）業務計算模塊（mod-mr），基于共享內存業務計算模塊（mod-shm）等。接口層主要負責集成和輸入輸出，如集成接口模塊（port-integration）、客戶端接口模塊（port-cli）、API接口模塊（port-api）、WEB接口模塊（port-web）等。

圖9?31 DMP組件視圖示例

(轉載請注明出處:微信訂閱號:ad_auto ** tion）

文字表達有限，歡迎參加《m.eeefficiency.com線下課堂面對面回答你的問題。

上海西陸信息科技有限公司 承接各類微信小程序開發制作、小程序定制、APP 網站 開發制作，聯系電話 18221533805、15900430334