药物分子预训练模型分析

[破茧边缘]

深度学习模型广泛地应用于图像、文本、音频等领域，并发挥出了巨大作用。而在生物制药领域，研究人员也正在通过深度学习模型来辅助药物分子的设计、表征和优化，以此来减少资源成本，其在虚拟筛选等环节中发挥很好的作用，缩短药物分子研发的周期，从而降低研发成本。

一般表示需要有两个重要属性：唯一性和可逆性。唯一性意思就是每个分子结构为单一表示，可逆性指每个表示与单个分子相关联。大部分用于分子生成的表示都是可逆的，但并不一定是唯一的，原因例如旋转、平移等。下图列举了常用的分子表示方法（包含2D和3D表示）。

循环神经网络（RNN）：为什么首先提到RNN呢，因为对于VAE、GAN进行分子生成的方法，RNN是重要的序列生成基础，RNN类方法的训练loss往往通过在序列空间中最大化似然概率。以RNN为基础的分子生成模型结构如下图，分子表示以SMILES为例（其表示应用最为广泛）。

变分自编码器（VAE）：VAE是从变分理论推导出来的，那么基于VAE架构的分子生成模型则如下图所示：

生成对抗网络（GAN）：当然以RNN为基础的GAN网络通过生成对抗的方式也广泛应用于分子生成任务，引入了一个Discriminator，通过Discriminator来判别输入的SMILES是属于reconstruct之后的SMILES，还是属于真实的数据，这样相当于额外增加了loss。模型结构如下图：