计算广告中常用深度学习网络

https://www.infoq.cn/article/XA055tpFrprUy*0UBdCb

 

1、Wide & Deep 模型

https://arxiv.org/abs/1606.07792 

https://blog.csdn.net/google19890102/article/details/78171283

在Wide & Deep模型中包括两个部分，分别为Wide部分和Deep部分，Wide部分如上图中的左图所示，Deep部分如上图中的右图所示。

wide模型：实际上，Wide模型就是一个广义线性模型, $y = w^T x+b$

deep模型：Deep模型是一个前馈神经网络

联合训练：同时训练Wide模型和Deep模型，并将两个模型的结果的加权和作为最终的预测结果：$P(Y = 1 | x) = \sigma(W^T_{wide}[x, \phi(x)] + W^T_{deep}a^{l_f} + b)$

优化方法：

wide模型：FTRL

deep模型：AdaGrad 

keras：http://www.atyun.com/18823.html

 

2、DeepFM模型

https://ask.hellobi.com/blog/wenwen/11840

https://www.cnblogs.com/ljygoodgoodstudydaydayup/p/7340413.html

https://github.com/ChenglongChen/tensorflow-DeepFM

FM部分：

$y_{FM} = <w, x> + \sum^d_{j_1 = 1}\sum^d_{j_2 = j_1 + 1}<V_i, V_j>x_{j_1} . x_{j_2}$

深度部分：

...

keras实现： https://blog.csdn.net/songbinxu/article/details/80151814

https://github.com/Hanszhuang/CTR_DeepModel_Keras/blob/master/model/DeepFM.ipynb

 

3、PNN模型

https://arxiv.org/pdf/1611.00144.pdf 

https://ask.hellobi.com/blog/wenwen/11934 

PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图：

Product Layer：

product思想来源于，在ctr预估中，认为特征之间的关系更多是一种and“且”的关系，而非add"加”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。

product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp。

z是线性信号向量，因此我们直接用embedding层得到，可以认为z就是embedding层的复制。 

有两种PNN的计算方法，一种叫做Inner PNN，简称IPNN，一种叫做Outer PNN，简称OPNN。定义Embedding的大小为M，field的大小为N，而lz和lp的长度为D1。

 

keras实现：https://github.com/Hanszhuang/CTR_DeepModel_Keras/blob/master/model/PNN.ipynb

 

4、Deep & Cross模型

https://arxiv.org/pdf/1708.05123.pdf 

https://nirvanada.github.io/2017/12/14/DCN/

 

 

 

---

多值离散特征的embedding解决方案：SparseTensor  （https://www.jianshu.com/p/4a7525c018b2）