01

背景介紹

1. 展示廣告業(yè)務(wù)介紹

市場(chǎng)上有很多媒體，用戶訪問媒體 ( 比如PC端的搜狐、網(wǎng)易、新浪，移動(dòng)端的頭條等 ) 時(shí)頁面會(huì)出廣告，媒體會(huì)將用戶當(dāng)前流量相關(guān)信息發(fā)送給Ad Exchange ( 流量拍賣平臺(tái) )，該流量會(huì)由Ad Exchange發(fā)送給與其對(duì)接的多家DSP ( 廣告投放系統(tǒng) )，DSP會(huì)根據(jù)當(dāng)前流量選擇合適的廣告返回給Exchange，響應(yīng)時(shí)間要求在100ms以內(nèi)，這些廣告一般是由客戶或者廣告主 ( 比如電商類廣告主京東、唯品會(huì)、蘇寧，旅游類廣告主攜程等 ) 在DSP平臺(tái)按照流量篩選條件 ( 用戶、媒體、時(shí)間、地點(diǎn) ) 設(shè)置，Exchange將各個(gè)DSP平臺(tái)返回的結(jié)果進(jìn)行整理，選擇出價(jià)最高的廣告返回給媒體，媒體最終將出價(jià)最高的廣告展示給用戶。

2. 常見展示廣告

常見的展示廣告有：

• 場(chǎng)景櫥窗廣告，購物tab欄里出現(xiàn)的購物商品廣告，有價(jià)格、商品名稱；

• 開屏廣告，打開媒體產(chǎn)品時(shí)展示由設(shè)計(jì)師精心設(shè)計(jì)的廣告素材；

• 信息流廣告，用戶在閱讀信息流內(nèi)容時(shí)，像正常信息流形式一樣出現(xiàn)的廣告，有標(biāo)題有圖片有內(nèi)容，這樣的信息形式不會(huì)特別破壞用戶的閱讀體驗(yàn)。

3. 展示廣告架構(gòu)

展示廣告技術(shù)架構(gòu)，可以分為線上系統(tǒng)和線下系統(tǒng)。線上系統(tǒng)以DSP Server切入，Ad Exchange會(huì)將流量發(fā)送給DSP Server，DSP Server會(huì)將信息傳遞給Ad Search，Ad Search是廣告的檢索召回系統(tǒng)，海量廣告中粗召回匹配的幾百個(gè)甚至上千個(gè)廣告投放，Ad Search會(huì)將信息發(fā)送給Ad Selector，Selector會(huì)在幾百個(gè)廣告中選擇當(dāng)前最合理的一個(gè)返回給DSP，DSP再返回給Ad Exchange。整個(gè)過程的數(shù)據(jù)都會(huì)被記錄，以消息的形式發(fā)送給Kafka，最后存儲(chǔ)在hdfs上。線下系統(tǒng)，ETL會(huì)將數(shù)據(jù)轉(zhuǎn)成標(biāo)準(zhǔn)的訓(xùn)練樣本，這些訓(xùn)練樣本會(huì)提供給CVR、CTR等模型訓(xùn)練，訓(xùn)練好的模型在由線下推送到線上，交給Ad Search、Ad Selector作為廣告召回和排序使用。

4. CPC廣告投放設(shè)置

廣告有按照點(diǎn)擊扣費(fèi)，有按照曝光扣費(fèi)，CPC廣告是廣告主與DSP平臺(tái)按照點(diǎn)擊結(jié)算。右圖是典型的CPC廣告投放設(shè)置頁面，廣告主在設(shè)置頁面主要需要進(jìn)行如下操作：

• 上傳素材（圖片、文案）；

• 篩選流量（用戶、媒體、時(shí)間、地點(diǎn)）；

• 設(shè)置出價(jià)（CPC為一次點(diǎn)擊的出價(jià)）

本文主要介紹CPC廣告的效果優(yōu)化。

效果優(yōu)化

• 轉(zhuǎn)化：用戶看到廣告，點(diǎn)擊廣告之后后續(xù)產(chǎn)生的一系列廣告主認(rèn)為有商業(yè)價(jià)值的行為稱為轉(zhuǎn)化。

• 廣告效果優(yōu)化：獲取更多的轉(zhuǎn)化，提高轉(zhuǎn)化的概率，降低獲取轉(zhuǎn)化的成本稱為廣告效果優(yōu)化。

360效果優(yōu)化產(chǎn)品設(shè)計(jì)的基本理念是一切選項(xiàng)皆可優(yōu)化?？梢詫⑿Ч麅?yōu)化產(chǎn)品分為兩大類，一類是廣告主主動(dòng)開啟使用，一類是后端策略優(yōu)化自動(dòng)生效。產(chǎn)品的核心是點(diǎn)擊到轉(zhuǎn)化的概率預(yù)估問題，結(jié)合廣告主需求去拓展可以做效果優(yōu)化的場(chǎng)景。

2. 流量分層處理

對(duì)廣告來說，流量是海量的，能夠產(chǎn)生轉(zhuǎn)化的流量是極少的，那么流量按照轉(zhuǎn)化的效果自下而上來看，呈現(xiàn)的是一個(gè)金字塔結(jié)構(gòu)。針對(duì)塔底的低質(zhì)流量可以采取預(yù)算分配和分流量調(diào)價(jià)兩個(gè)方案。預(yù)算分配是針對(duì)點(diǎn)擊率低的流量，設(shè)置在這類低質(zhì)流量上的花費(fèi)上限，如計(jì)劃的10%或20%，其他主要花費(fèi)重點(diǎn)用在高質(zhì)流量上。分流量調(diào)價(jià)是從出價(jià)的角度，對(duì)于低質(zhì)流量的出價(jià)是按照正常流量出價(jià)打折。塔頂?shù)牧髁靠梢圆捎脙?yōu)選人群方案。根據(jù)用戶的廣告行為訓(xùn)練模型預(yù)測(cè)其是否會(huì)發(fā)生轉(zhuǎn)化，模型輸出值高的人群被歸為優(yōu)選人群。廣告主給這類優(yōu)選人群更高的出價(jià)，這樣在競(jìng)價(jià)過程中更有可能勝出，得到曝光轉(zhuǎn)化機(jī)會(huì)。

3.?智能點(diǎn)擊出價(jià)

智能點(diǎn)擊出價(jià)是一款約束了廣告主平均點(diǎn)擊成本，盡可能優(yōu)化后續(xù)效果的一款廣告主主動(dòng)開啟的產(chǎn)品。出價(jià)按照轉(zhuǎn)化率分段處理，高段做溢價(jià)處理，低段做減價(jià)處理。線上策略可以從三個(gè)維度進(jìn)行實(shí)現(xiàn)：

• 廣告已經(jīng)積累了大量樣本數(shù)據(jù)，可以單獨(dú)為廣告實(shí)現(xiàn)一個(gè)轉(zhuǎn)化率模型，并根據(jù)模型設(shè)計(jì)分段出價(jià)；

• 新廣告投放，可以根據(jù)廣告主的以前的廣告數(shù)據(jù)分布，設(shè)計(jì)一個(gè)模型指導(dǎo)分段出價(jià)；

• 新廣告主投放，可以根據(jù)同行業(yè)的其他廣告主的廣告數(shù)據(jù)分布設(shè)計(jì)模型進(jìn)行分段出價(jià)。

4.?智能創(chuàng)意組合

廣告主在創(chuàng)建廣告單元上傳素材時(shí)，有很多的素材（圖片文案）組合選擇，但是不清楚哪種組合轉(zhuǎn)化效果最好，所以廣告主會(huì)在投放過程中，根據(jù)實(shí)際的投放效果，選擇最佳的素材組合，關(guān)閉其他組合。智能創(chuàng)意組合，就是為了解決廣告主的這個(gè)需求而設(shè)計(jì)的產(chǎn)品。上圖展示的是廣告主上傳素材的界面，允許廣告主上傳多個(gè)圖片和多個(gè)文案，算法會(huì)根據(jù)當(dāng)前流量選擇最佳的圖片和最佳的文案組合展現(xiàn)給用戶。

5. 創(chuàng)意組合生成網(wǎng)絡(luò)

智能創(chuàng)意組合算法通過強(qiáng)化學(xué)習(xí)思路實(shí)現(xiàn)，打分模型為轉(zhuǎn)化率預(yù)估模型，根據(jù)當(dāng)前流量信息和生成網(wǎng)絡(luò)得到的圖片文案的組合作為輸入，得到轉(zhuǎn)化率；轉(zhuǎn)化率越高，創(chuàng)意組合越有價(jià)值。創(chuàng)意組合生成網(wǎng)絡(luò)是根據(jù)Attention機(jī)制實(shí)現(xiàn)的，生成網(wǎng)絡(luò)的輸入為圖片、文案、上下文信息。在生成網(wǎng)絡(luò)結(jié)構(gòu)中，以image1為例，將其作為query，與整個(gè)圖片素材庫的關(guān)系以及與整個(gè)文案庫的關(guān)系使用Attention建模，得到圖片信息經(jīng)過一個(gè)前向網(wǎng)絡(luò)得到輸出分?jǐn)?shù)，如果是多圖片，使用Softmax得到多圖片的概率分布。組合的結(jié)果可以直接選擇圖片和文案概率最大的，或者是概率分布做采樣。在迭代過程中，這兩種方式都會(huì)有所選擇來訓(xùn)練。

1. oCPC：智能化廣告投放產(chǎn)品

o是optimize，oCPC是針對(duì)CPC的廣告優(yōu)化。右圖展示的是oCPC的廣告設(shè)置界面。oCPC的特點(diǎn)如下：

• 相比于正常的CPC廣告界面，該界面簡(jiǎn)化了設(shè)置內(nèi)容，不需要設(shè)置點(diǎn)擊出價(jià)；

• 量化了廣告主的目標(biāo)——轉(zhuǎn)化類型和目標(biāo)轉(zhuǎn)化成本；

• 效量兼顧，既考慮實(shí)際轉(zhuǎn)化成本接近目標(biāo)轉(zhuǎn)化成本，又兼顧擴(kuò)量的優(yōu)化，給廣告主帶來更多未投流量的轉(zhuǎn)化。

2. 出價(jià)邏輯

普通CPC的出價(jià)邏輯，從DSP角度來說，通過點(diǎn)擊率預(yù)估建立與廣告主目標(biāo)的橋梁，即CPC * PCTR。對(duì)于oCPC的出價(jià)邏輯：一階段基于實(shí)時(shí)反饋，廣告投放初期數(shù)據(jù)少，由系統(tǒng)給出CPC，根據(jù)線上實(shí)際轉(zhuǎn)化成本的情況來調(diào)整出價(jià)。二階段基于模型，當(dāng)數(shù)據(jù)積累到一定階段，訓(xùn)練轉(zhuǎn)化率模型得到PCVR，用客戶給出的目標(biāo)出價(jià)CPA*PCVR來模擬CPC出價(jià)，即CPA * PCVR * PCTR。

3. 多模型→單模型

oCPC的核心是轉(zhuǎn)化率模型：

• 產(chǎn)品上線初期，客戶較少，可以采用分客戶訓(xùn)練，針對(duì)使用該產(chǎn)品的客戶專門優(yōu)化，避免影響其他正常的客戶；

• 隨著數(shù)據(jù)的積累和效果穩(wěn)定，在前期投放過程中，出于謹(jǐn)慎考慮，對(duì)于客戶的投放都是精細(xì)化的流量，流量之間相互之間沒有重疊；

• 隨著客戶對(duì)投放量需求的增加，模型需要對(duì)之前沒有見過的流量做轉(zhuǎn)化率預(yù)估，利用同行業(yè)客戶的相似性，分行業(yè)訓(xùn)練模型可以讓客戶共享投放信息來解決這個(gè)問題；

• 隨著產(chǎn)品的成熟，分行業(yè)和分客戶的多模型維護(hù)成本過高，使用單一模型就能滿足所有客戶需求。

4. 簡(jiǎn)單模型→復(fù)雜模型

隨著產(chǎn)品的迭代，模型從簡(jiǎn)單模型發(fā)展到復(fù)雜模型。產(chǎn)品初期，僅在精細(xì)流量上做投放，采用GBDT就可以滿足需求。隨著可投流量和特征數(shù)量增加，GBDT的樹深度和棵數(shù)有限無法滿足需求，采用LR模型解決可投流量擴(kuò)展問題。隨著業(yè)務(wù)發(fā)展擁有海量數(shù)據(jù)，傳統(tǒng)模型存在瓶頸，最終采用了DNN模型解決海量數(shù)據(jù)問題。

5.?oCPC模型結(jié)構(gòu)

oCPC模型結(jié)構(gòu)采用PNN架構(gòu)，將特征分為多個(gè)group——廣告、媒體、用戶、其他上下文；每個(gè)group學(xué)習(xí)一個(gè)embedding表示，然后使用embedding相乘得到特征交叉。考慮到神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，線上計(jì)算做了性能優(yōu)化，預(yù)測(cè)時(shí)廣告無關(guān)的部分只會(huì)計(jì)算一次，只有不同的廣告特征才會(huì)被多次計(jì)算。

6. 單任務(wù)→多任務(wù)

轉(zhuǎn)化率模型初期只考慮了點(diǎn)擊到轉(zhuǎn)化的樣本，訓(xùn)練出一個(gè)單任務(wù)的轉(zhuǎn)化率模型。隨著ESMM和ESM2的出現(xiàn)，360的轉(zhuǎn)化率模型從單任務(wù)向多任務(wù)模型發(fā)展。單任務(wù)模型考慮的是點(diǎn)擊后到轉(zhuǎn)化的樣本，只考慮了曝光的子集樣本。如何保持線上線下一致，將曝光無點(diǎn)擊的樣本加入訓(xùn)練，這就是多任務(wù)模型解決的問題。完整的樣本空間，子模塊CTR PNN模型是曝光樣本的點(diǎn)擊概率，LOSS1是pctr的loss，子模塊CVR PNN模型是點(diǎn)擊后轉(zhuǎn)化的概率模型，pcvr表示該曝光樣本如果點(diǎn)擊，點(diǎn)擊到轉(zhuǎn)化的概率。實(shí)際需要對(duì)于每個(gè)曝光樣本做曝光轉(zhuǎn)化預(yù)估，那么將pctr * pcvr就得到了曝光轉(zhuǎn)化概率pctcvr，而LOSS2就是該曝光轉(zhuǎn)化的loss。曝光到轉(zhuǎn)化之間還存在其他鏈路，可以使用更多的任務(wù)和loss來表示。另外，多任務(wù)模型會(huì)共享group embedding輸入。

7.?單目標(biāo)出價(jià)→多目標(biāo)出價(jià)

隨著業(yè)務(wù)發(fā)展，客戶會(huì)有更多的轉(zhuǎn)化要求。在注冊(cè)目標(biāo)成本已經(jīng)滿足需求的情況下，考慮付費(fèi)的優(yōu)化。參考智能點(diǎn)擊出價(jià)，訓(xùn)練一個(gè)付費(fèi)模型，在注冊(cè)率一定的情況下，付費(fèi)率如果在金字塔頂層，就增加出價(jià)，在低層，就減少出價(jià)，來滿足客戶付費(fèi)優(yōu)化的需求。付費(fèi)模型采用MMOE實(shí)現(xiàn)，注冊(cè)是任務(wù)A，付費(fèi)是任務(wù)B，Gata A僅作為任務(wù)A的輸入，Gata B僅作為任務(wù)B的輸入。對(duì)于該模型的任一任務(wù)來說，可以由幾個(gè)固定的專家打分得到。那么專家的輸出與Gata A 輸出的概率分布作為任務(wù)A的輸入，專家的輸出與Gata B輸出的概率分布作為任務(wù)B的輸入。這個(gè)模型在同時(shí)擁有多個(gè)轉(zhuǎn)化的場(chǎng)景中得到效果驗(yàn)證。

8. 高延遲→低延遲

知識(shí)蒸餾解決線上高延遲問題。知識(shí)蒸餾存在Student模型參數(shù)減少過多，導(dǎo)致效果Teacher模型差很多，以下是兩個(gè)優(yōu)化方法：

• 提高Teacher模型復(fù)雜度

• Teacher模型加入點(diǎn)擊后轉(zhuǎn)化前的特征

嘉賓介紹：

劉斌

360 |?資深算法工程師

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：

長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝