DMP商业大数据管理平台架构与实现介绍如何在大数据量的情况下

介绍如何在大数据量的情况下进行实时数据挖掘并为在线广告系统应用提供物料等数据支持。
主要内容包括：

DMP 平台简介
DMP架构及实现
DMP应用
未来规划

01
DMP平台简介
DMP 其实是一个数据管理平台，是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境里的平台。
业界代表性的产品有腾讯广点通和阿里达摩盘。它们主要提供创建细分人群、分析用户画像、种子用户群体拓展（lookalike）、再营销、分析投放管理、流量采买和第三方数据接入等功能。
下面和大家分享下58商业对DMP平台的需求。
1. 业务需求
58商业产品技术部主要负责整个58的商业变现，最核心的OKR其实是如何将有效的流量进行变现。
我们需要把点击广告的用户特征、上下文特征和我们自己的广告库特征进行加工整合后，再提供给在线广告推荐的触发、排序和装饰。其次还要支撑其他部门的商业营销、商家平台以及微聊系统。

文章插图
2. 特征需求
特征需求主要是特征的挖掘和特征的使用。
特征挖掘需满足：

快速、便捷定义特征挖掘逻辑
一定时限内的历史特征+ 实时特征(s 级)融合
快速上线生效
实验迭代

特征使用应提供如下功能：

丰富的特征数据、有序的特征体系、统一的元数据管理体系
便捷、稳定的在线服务
便捷、可靠的离线特征仓库
实验迭代

02
DMP平台架构
1. 商业DMP定位
首先，结合我们的需求，介绍下商业DMP定位，这里介绍的商业DMP主要是指我们商业站内的，主要提供特征挖掘和特征数据服务的能力。
对于开发者，特征挖掘平台提供了简洁、易用的开发SDK ，屏蔽实时计算、批量计算、海量存储、高并发服务、各底层分布式系统部署等细节。提供TB级别（N天）行为数据挖掘和秒级别延时实时特征挖掘，支持特征挖掘实验、水平扩展。
对于特征数据服务平台，提供丰富的特征数据（TB级别）和元数据管理，能够提供在线和离线特征数据服务。对于在线，提供稳定的在线特征数据服务，支撑在线推荐系统；对于离线，提供灵活的多维查询，支持按人群特征进行营销活动。
2. 平台业务架构

文章插图
【DMP商业大数据管理平台架构与实现】从数据的产生到标签的加工再到业务应用，在这完整的数据流中， DMP平台其实是起着承上启下的作用，可以把它看做是一个数据工厂，对数据特征进行统一、清洗、加工、转化、提炼，再对外提供相应的数据服务。 DMP平台主要包括特征挖掘平台、dmp service、标签元数据管理、监控等模块。
3. 平台逻辑架构

文章插图
平台逻辑架构主要分为数据层、存储层、计算层、服务层和监控层。
数据层：提供Kafka、ESB、HDFS、Api等多种异构数据源，通过importer层将数据进行统一的清洗转化，对下形成统一的数据源，从而屏蔽底层的异构数据源。
存储层：我们实现了存储接口、序列化模块、压缩模块。由于在线推荐特征挖掘提供基于KV键值存储就能满足需求，故底层存储主要提供Redis和自研的wtable等。
计算层：提供了storm、spark、sparkstreaming、flink等多种计算引擎。在operator模块提供让特征挖掘用户自己实现对应的SDK即可，简便高效，同时对于用户来说屏蔽掉了异构计算。
服务层：主要提供IDMapping、路由、实验、process四个模块。 IDMapping主要是为了打通数据孤岛；路由模块主要是解决流量分发问题；实验模块主要是进行分流实验；process模块主要是提供业务解耦能力。
监控层：对服务、任务、存储等进行监控，对多环节快速发现定位并解决问题。
4. 平台功能
平台目前提供行为引入、特征存储、特征挖掘和特征服务四大模块。
行为引入：提供ID-Mapping服务、实验分流、统一Behavior结构，支持Behavior结构实时离线复用和兼容，支持实时批量导出Behavior数据。
特征挖掘：支持实时挖掘和批量挖掘，并支持在线加工，统一特征和属性结构，为解析用户行为提供相应的SDK 。