很荣幸，获得最后一周的周星星。大家很关注NN，本分享更多关于NN的尝试。

1. 目前分数是三个队友的融合结果，融合提升最大的是树模型和NN，所以我们这次的提升的原因是树模型分数上分了。

2. 深度NN方面。因为之前看过类似的论文，所以优先使用了如LSTUR模型以及NRMS模型等multi-head attention的策略，一波梭哈，大概在0.671左右。后面继续深挖，竟然毫无提升。进一步分析有可能是bgm的缺失导致，试过将所有的缺失为唯一编码，以及每个缺失单独一个编码（怕和当前的unk match），分数略有提升。进一步的，某些类似于din（懂得人应该明白是什么特征）的相关特征在树模型里面特征重要性很高，因此我在NN中单独设计了具有权重衰减单独的结构（兼顾feedid视频位置信息和日期信息），用来学习用户长短兴趣变化转移，带来线上收益很大。除此之外，前面周星星分享MMOE结构模型也可以到0.678，而且推理时间短。最近两周我对MMOE进行魔改，尝试过FM+MMOE、CIN+MMOE、LSTM+MMOE、增加共享和专家网络、multi-head结构、时间权重衰减以及自适应loss权重等方式，有些魔改一定提升，大家可以自行尝试，最终单模单折680+。此外，也可以进行调参练丹，比如batchsize、emb的大小等等。

3. 融合方面。模型融合的方式有很多。本场比赛我采用的是简单的加权平均。大家可以试试。同时可以按照线上每一项的实际分数（比如：NN的read较高，like较低，树模型刚好相反）进行加权平均，也会带来1到2k左右的提升。融合也是需要不断测试，门道很多，毕竟大家目前差距也就千分位。