聊聊GAN

一、直观感受

首先，用一个简单有趣的 GAN🌰 来感受一下。其中向量vector类似mf模型的隐向量，每个维度“可以”代表一种解释性强的特征。

GAN（Generative Adversarial Networks）接下来，我们需要解决的问题就是：

$\min _{G} \max _{D} V(D, G)=\min _{G} \max _{D} \mathrm{E}_{x \sim p_{d a t a}(x)}[\log D(x)]+\mathrm{E}_{z \sim p_{z}(z)}[\log (1-D(G(z)))]$

固定生成器，训练判别器，最小化交叉熵：我画的画不变，训练王教授的识别水平固定判别器，训练生成器，最小化log(1 − D(G(z)))：王教授识别水平不变，训练我的画功

把这个我和王教授的说法稍稍改变一下：我和王教授开始都是菜鸡（随机初始化），通过对抗训练，我逐渐成为造假大师，王教授逐渐成为王教授王教授也不是天生就是大神

$D_{K L}(p \| q)=\int_{x} p(x) \log \frac{p(x)}{q(x)} d x$ 非对称，A到B的距离不等于B到A的距离

$D_{J S}(p \| q)=\frac{1}{2} D_{K L}(p \| \frac{p+q}{2})+\frac{1}{2} D_{K L}(q \| \frac{p+q}{2})$
对称，并且取值范围在[0,1]之间