（1）主要使用了tensorflow和torch两个版本的MMoE，方案和初赛基本上差不多，Word2vec特征加上id特征，keyword和tag我目前使用都无法提分，文本特征还没有使用，同时尝试了CIN+MMOE和xdeepfm架构，效果都一般，不过初赛的树模型转成了nn模型。

（2）对于nn模型，对复赛的参数重新进行了调整。对于数据量太大，导致特征在merge阶段内存不足这个问题，在tensorflow中利用了tf.keras.utils.Sequence分批读入数据，对每个batchsize的训练数据单独merge解决的。对于pytorch，数据读取是使用了pytorch的DataLoader,先把特征保存下来再通过id取得。

（3）模型融合收益较大，现在的分数是融合了队友的nn模型得到的，单模成绩与前排单模大佬还是有较大差距的。