超AI說(shuō) | 支持CDP多樣的應(yīng)用場(chǎng)景,需要哪些底層技術(shù)保障?
2021-12-24
我們首先來(lái)理解一下CDP和DMP有哪些區(qū)別。CDP和DMP主要區(qū)別在于兩個(gè)方面:
傳統(tǒng)DMP只支持網(wǎng)絡(luò)廣告渠道的精準(zhǔn)化營(yíng)銷,CDP可以在其他的渠道,比如說(shuō)短信、微信公眾號(hào)、APP、小程序推送進(jìn)行一些精準(zhǔn)化營(yíng)銷。
傳統(tǒng)的DMP只能做人群畫像,CDP可以集成BI系統(tǒng),做更多的定制化報(bào)表,以及個(gè)體消費(fèi)者360的明細(xì)數(shù)據(jù)分析。
傳統(tǒng)DMP只能做簡(jiǎn)單的人群放大,CDP可以支持消費(fèi)者線索打分、消費(fèi)者置換購(gòu)模型、消費(fèi)者商品推薦等應(yīng)用場(chǎng)景。由于它觸點(diǎn)數(shù)據(jù)越來(lái)越多,所以CDP的應(yīng)用場(chǎng)景相比于DMP范圍更大一點(diǎn),或者說(shuō)更偏向于用戶精準(zhǔn)化營(yíng)銷這方面。
CDP為了支持這些額外的應(yīng)用,接收的數(shù)據(jù)比DMP會(huì)更多。
DMP接收的數(shù)據(jù)其實(shí)還是比較單一和標(biāo)準(zhǔn)的,主要就是網(wǎng)絡(luò)廣告的監(jiān)測(cè)和投放數(shù)據(jù);CDP在這些網(wǎng)絡(luò)廣告數(shù)據(jù)的基礎(chǔ)上,額外支持電商的購(gòu)買數(shù)據(jù)、小程序的用戶行為數(shù)據(jù)、微信公眾號(hào)的粉絲數(shù)據(jù)、官網(wǎng)和APP的行為日志數(shù)據(jù)等。有了這些數(shù)據(jù)之后,CDP才能支持剛剛所說(shuō)的這么多額外的應(yīng)用場(chǎng)景。
由于CDP接收數(shù)據(jù)的渠道又多又雜,所以技術(shù)上對(duì)于CDP的數(shù)據(jù)打通和整合能力、數(shù)據(jù)處理能力、數(shù)據(jù)質(zhì)量的監(jiān)控能力其實(shí)要求也越來(lái)越高。具體業(yè)務(wù)上的技術(shù)考量無(wú)非就是三點(diǎn)。
第一,怎么更有效或者更精準(zhǔn)地進(jìn)行數(shù)據(jù)處理和轉(zhuǎn)置。具體來(lái)說(shuō),怎么將多源異構(gòu)數(shù)據(jù)變成標(biāo)準(zhǔn)化的數(shù)據(jù)模型,支持后續(xù)的各種應(yīng)用,以及怎么樣在大數(shù)據(jù)的情況下支持實(shí)時(shí)和離線的數(shù)據(jù)處理。
第二,在拿到渠道的數(shù)據(jù)之后,怎么進(jìn)行具體的數(shù)據(jù)整合,或者怎么進(jìn)行多觸點(diǎn)的用戶ID打通。
第三,怎么保證多渠道數(shù)據(jù)進(jìn)入CDP之后,它的數(shù)據(jù)質(zhì)量是持續(xù)的、可控的、精準(zhǔn)的,并且發(fā)現(xiàn)問(wèn)題之后能及時(shí)進(jìn)行監(jiān)控和報(bào)警。
關(guān)于數(shù)據(jù)處理這一塊,行業(yè)上主要的難點(diǎn)在于兩點(diǎn)。
第一點(diǎn),怎么保證數(shù)據(jù)處理的橫向擴(kuò)展性。具體來(lái)說(shuō)在數(shù)據(jù)量不斷增長(zhǎng)的情況下,保證業(yè)務(wù)能夠持續(xù)地穩(wěn)定和增長(zhǎng)。
第二點(diǎn),如何保證數(shù)據(jù)處理可以支持實(shí)時(shí)的應(yīng)用場(chǎng)景,比如說(shuō)消費(fèi)者實(shí)時(shí)的觸達(dá)。
關(guān)于數(shù)據(jù)打通或者ID打通這一點(diǎn),因?yàn)镃DP接入了更多源異構(gòu)的消費(fèi)者數(shù)據(jù),其實(shí)會(huì)有很明顯的多渠道用戶觸達(dá)和用戶打通的需求。一個(gè)消費(fèi)者可能會(huì)在微信上留下他的OpenID,這個(gè)消費(fèi)者在電商渠道可能會(huì)留下他的一個(gè)手機(jī)號(hào),這時(shí)候我們一定要將微信渠道的OpenID和他電商上的手機(jī)號(hào)打通成在一起,或者說(shuō)認(rèn)為是同一個(gè)人,才能做跨渠道的用戶分析,或者跨渠道的用戶觸達(dá)。
在行業(yè)上,其實(shí)跨渠道的用戶分析和跨渠道的用戶觸達(dá)各個(gè)CDP都有,但其實(shí)還是有一定難點(diǎn)的。具體難點(diǎn)的話,按照我們之前的經(jīng)驗(yàn)主要存在于兩個(gè)地方。
第一是如何保證用戶的ID打通是比較精準(zhǔn)的,或者說(shuō)是比較干凈的。
由于我們打通關(guān)系非常多,有時(shí)候會(huì)發(fā)現(xiàn)一個(gè)數(shù)會(huì)存在過(guò)度綁定或者過(guò)度打通的問(wèn)題。典型的場(chǎng)景是,一個(gè)用戶在網(wǎng)站上的留資,會(huì)留下他的CookieID和手機(jī)號(hào),但可能由于一些特殊的原因,我們常常會(huì)發(fā)現(xiàn),多個(gè)手機(jī)號(hào)綁定在一個(gè)CookieID上,這時(shí)候其實(shí)對(duì)于整體的ID打通造成了非常大的臟數(shù)據(jù)或者說(shuō)是過(guò)度綁定的問(wèn)題。
第二是我們希望ID綁定具有擴(kuò)展性。企業(yè)主的渠道其實(shí)是不斷擴(kuò)展的,比如今年企業(yè)主對(duì)于消費(fèi)的渠道,可能就只有一個(gè)微信公眾號(hào),明年可能會(huì)增加微信小程序、電商和APP這三個(gè)渠道。那我們的ID打通渠道或者ID打通的規(guī)則,其實(shí)也應(yīng)當(dāng)可以支持靈活擴(kuò)展。
明略科技在ID打通方面有相當(dāng)豐富的實(shí)踐經(jīng)驗(yàn)。對(duì)于ID打通的干凈或者準(zhǔn)確程度,明略科技參考了國(guó)外的各種競(jìng)品,并基于自己的實(shí)際經(jīng)驗(yàn),使用了一種叫做高優(yōu)先級(jí)ID唯一的ID打通方法論。具體是指,一個(gè)Cookie對(duì)應(yīng)多個(gè)手機(jī)號(hào)的時(shí)候,只會(huì)取某一個(gè)手機(jī)號(hào),或者將這些綁定記錄認(rèn)定為異常的綁定記錄進(jìn)行去除。這樣就會(huì)很大程度上保持ID綁定關(guān)系的準(zhǔn)確性和收斂程度。
我們使用Flink Gelly的圖計(jì)算來(lái)支持ID綁定的計(jì)算,因?yàn)樗且粋€(gè)抽象的、靈活的計(jì)算方式,所以隨著企業(yè)主的觸點(diǎn)不斷增長(zhǎng),比如說(shuō)從一個(gè)兩個(gè)觸點(diǎn)增加到五個(gè)觸點(diǎn),原有的ID綁定功能和ID綁定的計(jì)算方式都可以支持這種規(guī)則上的擴(kuò)展。這樣,無(wú)論是從ID綁定的數(shù)據(jù)準(zhǔn)確性方面,還是從ID綁定的規(guī)則和數(shù)據(jù)量擴(kuò)展性方面,明略科技標(biāo)準(zhǔn)CDP的ID綁定功能都可以滿足企業(yè)用戶的需求。
從數(shù)據(jù)接入和上游的對(duì)數(shù)、系統(tǒng)核對(duì)的監(jiān)控來(lái)說(shuō),一般來(lái)說(shuō)CDP需要做到接入的數(shù)據(jù)跟上游的數(shù)據(jù),無(wú)論是從文件層面上還是從數(shù)據(jù)量層面上進(jìn)行核對(duì)。
CDP作為一個(gè)應(yīng)用系統(tǒng),除了傳統(tǒng)應(yīng)用系統(tǒng)對(duì)于業(yè)務(wù)任務(wù)的監(jiān)控和基礎(chǔ)應(yīng)用的監(jiān)控之外, 由于處理了多源渠道的大量消費(fèi)者數(shù)據(jù),所以說(shuō)對(duì)于消費(fèi)者數(shù)據(jù)質(zhì)量的監(jiān)控其實(shí)也是有非常高的要求。行業(yè)內(nèi)對(duì)于數(shù)據(jù)質(zhì)量監(jiān)控的需求其實(shí)是端到端的,具體來(lái)說(shuō)就是覆蓋數(shù)據(jù)接入、處理、輸出這個(gè)全流程。
一般來(lái)說(shuō)數(shù)據(jù)接入上的監(jiān)控分為兩種:第一種就是基于CDP文件層面上的監(jiān)控,也就是核對(duì)CDP收到的數(shù)據(jù)文件和上游系統(tǒng)發(fā)送的數(shù)據(jù)文件的MD5;第二種就是數(shù)據(jù)內(nèi)容或者數(shù)據(jù)記錄上的監(jiān)控,基本上就是基于CDP文件的接收記錄和上游的發(fā)送記錄進(jìn)行核對(duì),看是不是一致,來(lái)進(jìn)行數(shù)據(jù)記錄上的條數(shù)的監(jiān)控。
只有做到數(shù)據(jù)文件級(jí)別的監(jiān)控與數(shù)據(jù)記錄數(shù)量上的監(jiān)控,我們才能知道CDP數(shù)據(jù)接入和上游系統(tǒng)是保持完整一致的。
關(guān)于數(shù)據(jù)處理過(guò)程當(dāng)中的數(shù)據(jù)質(zhì)量監(jiān)控,一般來(lái)說(shuō),都是基于自定義的業(yè)務(wù)規(guī)則來(lái)進(jìn)行。一般來(lái)說(shuō)常見(jiàn)的數(shù)據(jù)探查規(guī)則就看某一份數(shù)據(jù)的數(shù)據(jù)字段是否標(biāo)準(zhǔn),某一些字段是否存在空值的情況,某一些字段是否會(huì)有唯一值的情況,某一些數(shù)據(jù)是否會(huì)有數(shù)據(jù)傾斜的情況。
常見(jiàn)的用來(lái)支持這些或者提高這些數(shù)據(jù)探查效率的解決方案,可以用一些外部的標(biāo)準(zhǔn)化數(shù)據(jù)處理平臺(tái)的工具,比如Informatica或者Kylo;有一些CDP自己也支持一些原生的數(shù)據(jù)探查工具。
在明略科技標(biāo)準(zhǔn)CDP當(dāng)中,有一個(gè)數(shù)據(jù)質(zhì)量探查的模塊,它支持一些預(yù)設(shè)的數(shù)據(jù)質(zhì)量探查規(guī)則和功能,包含空值探查、唯一值探查、數(shù)據(jù)標(biāo)準(zhǔn)化的探查,也支持用戶在CDP上自定義一些業(yè)務(wù)的數(shù)據(jù)質(zhì)量探查的規(guī)則。用戶可以在這個(gè)功能模塊上自己嵌入自定義的SQL的數(shù)據(jù)探查規(guī)則,來(lái)看某一份數(shù)據(jù)的探查結(jié)果是否符合規(guī)則,或者不符合規(guī)則的數(shù)量是否超過(guò)一定閾值;超過(guò)閾值的話,我們會(huì)支持各種情況的報(bào)警,這樣就能保證數(shù)據(jù)處理過(guò)程當(dāng)中,問(wèn)題能夠及時(shí)進(jìn)行發(fā)現(xiàn),并且及時(shí)處理。
信息填寫