CoLAKE的模型方法

[q464824151]

  CoLAKE模型存在的目的是对结构化的、无标签的word-knowledge graphs的数据上对结合了上下文的语言和知识表征进行联合的、同步的预训练。其实现方法是先构造出输入句子对应的WK graphs，然后对模型结构和训练目标稍作改动。具体实现如下：

• 构造一个WK graphs：先对输入的句子中的mention进行识别，然后通过一个entity linker的功能，找到其在特定知识图谱中对应的entity。Mention结点被替换为相应的entity，这个操作被称作为anchor nodes。

  以这个anchor node为中心，还可以提取到多种三元组关系来形成子图，提取到的这些子图和句子中的词语，以及anchor node一起拼接起来形成WK graph。
实际上，对于每个anchor node，作者随机玄奇最多15个相邻关系和实体来构建WK graph，并且只考虑anchor node在三元组中是head的情况。

• 模型结构改动：接下来构建好的WK graph进入Transformer Encoder，CoLAKE对embedding层和encoder层都做了相应的改造。

• Embedding Layer：输入的embedding是token embedding，type embedding和position embedding的加和。

  其中，输入的token embedding需要构建word、relation和entity三种类型的查找表。
对于word embedding而言，采用Roberta一样的BPE的分词方法，将词语切割为字词用以维护大规模的词典。相应的，对每一个entity和relation就沿用一般的知识嵌套方法一样来获取对应的embedding。
然后输入中token embedding则是由word embedding，entity embedding， relation embedding拼接起来，这三者是同样维度的向量。

  因为WK graph会将原本的输入以token为单位进行重组，因此输入的token序列会看起来像是一段错乱的序列，因此需要对应修正其type input和position input。其中对于每个token，其同一对应的type会用来表征该token对应的node的类型，比如是word，entity或者是relation；对应的position也是根据WK graph赋予的。下图给出了一个具体的例子进行说明：