关系抽取论文 Relation Classification via Convolution Deep Neural Network

论文

Relation Classification via Convolutional Deep Neural Network

• 发布年份：2014
• 会议：COLING
• 作者：Daojian Zeng，Kang Liu，Siwei Lai，Guangyou Zhou and Jun Zhao
• 机构：National Laboratory of Pattern Recognition，Institute of Automation
• 贡献：第一次在 relation classification 领域运用 convolutional DNN
• 数据集： SemEval-2010 Task 8 dataset, http://docs.google.com/View?id=dfvxd49s。该数据集包含 10717 条被标注的数据（包括 8000 条训练用例和 2717 条测试用例。

模型结构

整个模型得架构如下：

• Input：带有两个被标记单词的一句话。
• Word Representation：将每个单词转为词嵌入。
• Feature Extraction：分别提取单词级别的特征和句子级别的特征，然后将两个特征向量连接起来。
• Output：简单的线性层+softmax 分类。

Lexical Level Feature

选取被标记的两个词嵌入、被标记词上下文单词的词嵌入、WordNet 中的上位词，将这些向量拼接起来作为单词级别的特征。

Sentence Level Feature

提出了 max-pooled CNN 用于提取句子级别的特征。下图是 Sentence Level Feature 的架构图：

• Window Processing：每一个 token 被表示为 Word Features（WF）和 Position Features（PF）。
  • 在本文中，PF 被定义为与当前两个词的相对距离，根据这两个距离分别得到两个距离向量 d1 和 d2，这两个向量拼接起来得到完整的 PF。
• 将 WF 和 PF 送入 CNN 中。
• 最后输入一个非线性变换（线性层 + tanh）中得到句子级别的特征。

测试结果

Feature 对结果的影响：