常识图谱从哪里来：实体联系抽取的现状与未来

liukang202420小时前166吃瓜949

机器之心转载作者：韩旭、高天宇、刘知远

本文是清华大学刘知远教师和学生韩旭、高天宇所写的关于常识图谱相关的介绍。文章回忆了常识图谱范畴的展开进程，并总述了近年来的研讨进展，机器之心获授权转载。

最近几年深度学习引发的人工智能浪潮席卷全球，在互联网遍及带来的海量数据资源和摩尔定律分配下飞速进步的算力资源两层加持下，深度学习深化影响了自然言语处理的各个方向，极大推进了自然言语处理的展开。来到 2019 年的今日，深度学习的许多局限性也渐渐得到广泛认知。关于自然言语处理而言，要做到精密深度的语义了解，单纯依托数据标示与算力投入无法处理实质问题。假如没有先验常识的支撑，「我国的乒乓球谁都打不过」与「我国的足球谁都打不过」，在核算机看来语义上并没有巨大差异，而实践上两句中的「打不过」意思正好相反。因而，融入常识来进行常识辅导的自然言语处理，是通向精密而深度的言语了解的必经之路。可是，这些常识又从哪里来呢？这就触及到人工智能的一个要害研讨问题——常识获取。

常识图谱

现有大型常识图谱，比如 Wikidata、Yago、DBpedia，富含海量世界常识，并以结构化办法存储。如下图所示，每个节点代表实践世界中的某个实体，它们的连边上符号实体间的联络。这样，美国作家马克·吐温的相关常识就以结构化的办法记录下来。

现在，这些结构化的常识已被广泛运用于搜索引擎、问答体系等自然言语处理运用中。但与实践世界快速增加的常识量比较，常识图谱掩盖度仍力有未逮。因为常识规划巨大而人工标示贵重，这些新常识单靠人力标示增加几无或许完结。为了尽或许及时准确地为常识图谱增加愈加丰厚的世界常识，研讨者们尽力探求高效主动获取世界常识的办法，即实体联络抽取技能。

具体来说，给定一个语句和其间呈现的实体，实体联络抽取模型需求依据语句语义信息估测实体间的联络。例如，给定语句：「清华大学坐落于北京近邻」以及实体「清华大学」与「北京」，模型能够通过语义得到「坐落」的联络，并终究抽取出（清华大学，坐落，北京）的常识三元组。

实体联络抽取是一个经典使命，在曩昔的 20 多年里都有持续研讨展开，特征工程、核办法、图模型曾被广泛运用其间，取得了一些阶段性的作用。跟着深度学习年代降临，神经网络模型则为实体联络抽取带来了新的打破。

神经网络联络抽取模型

面向自然言语文本序列现已有许多神经网络类型，例如循环神经网络（RNN、LSTM)、卷积神经网络（CNN）和 Transformer 等，这些模型都能够通过恰当改造用于联络抽取。开端，作业 [1，2] 初次提出运用 CNN 对语句语义进行编码，用于联络分类，比非神经网络办法比功能明显进步；作业 [3，4] 将 RNN 与 LSTM 用于联络抽取；此外，作业 [5] 提出选用递归的神经网络对语句的语法分析树建模，企图在提取语义特征的一同考虑语句的词法和句法特征，这个主意也被不少后续作业的进一步探求。这儿，咱们列出一个表格，总结各类典型神经网络在基准测验数据调集 SemEval-2010 Task-8 [6] 上的作用。

从上表能够看出，这些神经网络模型均取得了优异的试验效果，且彼此之间没有明显的功能差异。这是否意味着联络抽取问题就此处理了呢？实践上并非如此。SemEval-2010 Task-8 的使命设定为，对预先界说好的联络类别标示许多的练习和测验样例，样例都是相对简略的短句，并且每种联络的样例散布也比较均匀。可是，实践运用中往往面对许多应战：

数据规划问题：人工精准地标示语句等级的数据价值十分昂扬，需求消耗许多的时刻和人力。在实践场景中，面向数以千计的联络、数以千万计的实体对、以及数以亿计的语句，依托人工标示练习数据几乎是不或许完结的使命。学习才能问题：在实践情况下，实体间联络和实体对的呈现频率往往遵守长尾散布，存在许多的样例较少的联络或实体对。神经网络模型的作用需求依托大规划标示数据来确保，存在」举十反一「的问题。怎么进步深度模型的学习才能，完结」触类旁通「，是联络抽取需求处理的问题。杂乱语境问题：现有模型首要从单个语句中抽取实体间联络，要求语句有必要一同包含两个实体。实践上，许多的实体间联络往往表现在一篇文档的多个语句中，甚至在多个文档中。怎么在更杂乱的语境下进行联络抽取，也是联络抽取面对的问题。敞开联络问题：现有使命设定一般假设有预先界说好的关闭联络调集，将使命转化为联络分类问题。这样的话，文本中包含的实体间的新式联络无法被有用获取。怎么运用深度学习模型主动发实践体间的新式联络，完结敞开联络抽取，依然是一个」敞开「问题。所以说，SemEval-2010 Task-8 这样的抱负设定与实践场景存在巨大间隔，仅依托神经网络提取单句语义特征，难以应对联络抽取的各种杂乱需求和应战。咱们亟需探求更新颖的联络抽取结构，获取更大规划的练习数据，具有更高效的学习才能，长于了解杂乱的文档级语境信息，并能方便地扩展至敞开联络抽取。

咱们以为，这四个方面构成了实体联络抽取需求进一步探求的首要方向。接下来，咱们别离介绍这四个方面的展开现状和应战，以及咱们的一些考虑和尽力。

更大规划的练习数据

神经网络联络抽取需求许多的练习数据，可是人工标示这些练习数据十分费时贵重。为了主动获取更多的练习数据练习模型，作业 [16] 提出了长途监督（Distant Supervision）的思维，将纯文本与现有常识图谱进行对齐，能够主动标示大规划练习数据。

长途监督的思维并不杂乱，具体来说：假如两个实体在常识图谱中被符号为某个联络，那么咱们就以为一同包含这两个实体的一切语句也在表达这种联络。再以（清华大学，坐落，北京）为例，咱们会把一同包含「清华大学」和「北京」两个实体的一切语句，都视为「坐落」这个联络的练习样例。

长途监督的这种启示式标示规矩是把双刃剑，它是主动标示练习数据的有用战略，但其过强的设定不行避免地发生过错标示。例如关于常识图谱中（清华大学，校长，邱勇）这个三元组现实，语句「邱勇担任清华大学校长」能够反映「清华大学」与「邱勇」之间「校长」的联络；可是语句「邱勇考入清华大学化学与化学工程系」以及「邱勇担任清华大学党委常委」并不表达「校长」联络，但却会被长途监督的启示式规矩过错地标示为「校长」联络的练习实例。

尽管长途监督思维十分简略也存在许多问题，不过它为更多搜集练习数据敞开了新的纪元。遭到这个思路的启示，许多学者活跃考虑怎么尽或许扫除长途监督数据中的噪音标示的搅扰。从 2015 年开端，依据长途监督与降噪机制的神经联络抽取模型得到了长足的展开，作业 [17] 引进了多实例学习办法，运用包含同一实体对的一切实例来一同猜测实体间联络。咱们课题组林衍凯等人作业 [19] 提出语句等级注意力机制，对不同的实例赋予不同的权重，用以下降噪音实例形成的影响。作业 [20] 引进对立练习来进步模型对噪音数据的反抗才能。作业 [21] 则构建了一套强化学习机制来筛除噪音数据，并运用剩下的数据来练习模型。

总结来说，已有对长途监督的降噪办法能够统筹了联络抽取的鲁棒性与有用性，也具有较强的可操作性和有用性。不过，运用已有常识图谱对齐文原本获取数据练习联络抽取模型，再运用该模型来抽取常识参加常识图谱，本身就有一种鸡生蛋与蛋生鸡的滋味。不完善的常识图谱对齐所得到的文本练习数据也将是不完善的，对那些长尾常识而言，仍难以通过这种长途监督机制来得到练习实例。怎么提出更有用的机制来高效获取高质量、高掩盖、高平衡的练习数据，依然是一个值得深化考虑的问题。

更高效的学习才能

即便通过长途监督等办法能够主动获取高质量的练习数据，因为实在场景中联络和实体对的长尾散布特色，绝大部分的联络和实体对的可用样例依然较少。并且，关于医疗、金融等专业范畴的专门联络，受限于数据规划的问题可用样例也很有限。而神经网络模型作为典型的 data-hungry 技能，在练习样例过少时功能会遭到极大影响。因而，研讨者们期望探求有用进步模型学习才能的办法，以更好地运用有限练习样例取得满足的抽取功能。

实践上，人类能够通过少数样本快速学习常识，具有「触类旁通」的才能。为了探求深度学习和机器学习「触类旁通」的才能，提出了少次学习（Few-shot learning）使命。通过规划少次学习机制，模型能够运用从过往数据中学到的泛化常识，结合新类型数据的少数练习样本，完结快速搬迁学习，具有必定的触类旁通才能。

曩昔少次学习研讨首要集中于核算机视觉范畴，自然言语处理范畴还少有探求。咱们课题组韩旭同学等的作业 [21] 初次将少次学习引进到联络抽取，构建了少次联络抽取数据集 FewRel，期望推进驱动自然言语处理特别是联络抽取使命的少次学习研讨。如下图所示，联络抽取少次学习问题仅为每种联络供给极少数样例（如 3-5 个），要求尽或许进步测验样例上的联络分类作用。

FewRel 论文作业开端尝试了几个代表性少次学习办法包含衡量学习（Metric learning）、元学习（Meta learning）、参数猜测（Parameter prediction）等，评测标明即便是作用最佳的原型网络（Prototypical Networks）模型，在少次联络抽取上的功能仍与人类表现相去甚远。

为了更好处理长途监督联络抽取的少次学习问题，咱们课题组的高天宇同学等的作业 [22] 提出了依据混合注意力机制的原型网络，一同考虑实例等级和特征等级的注意力机制，在削减噪音标示影响的一同，能更好地重视到句中的有用特征，完结高效少次学习。作业 [23] 提出多级匹配和整合结构，充沛学习练习样例之间的潜在相关，尽或许发掘为数不多的样例中的潜在信息。作业 [24] 则选用了预练习言语模型 BERT 来处理联络抽取中的少次学习问题，依据海量无监督数据练习的 BERT，能够为少次学习模型供给有用的语义特征，在 FewRel 数据上取得了超越人类联络分类的水平。

在对少次学习联络抽取探求的过程中，课题组的高天宇同学等进一步发现两个长时刻被忽视的方面 [25]：要将少次学习模型用于出产环境中，应具有从资源丰厚范畴搬迁到资源匮乏范畴（low-resource domains）的才能，一同还应具有检测语句是否真的在表达某种预界说联络或许没有表达任何联络的才能。为此他们提出了 FewRel 2.0，在原版数据集 FewRel 的根底上增加了以下两大应战：范畴搬迁（domain adaptation）和「以上都不是」检测（none-of-the-above detection）。

关于范畴搬迁应战，FewlRel 2.0 采集了许多医疗范畴的数据并进行标示，要求联络抽取模型在原语料进行练习后，还能够在这些新范畴语料上进行少次学习。关于「以上都不是」检测，FewRel 2.0 在原 N-way K-shot 设定（给定 N 个新类型，每个类型给定 K 个练习样本）上，增加了一个「以上都不是」选项，大大增加了分类和检测难度。

开端试验发现，以往有用的模型（包含依据 BERT 的模型）在这两大应战使命均有明显功能下降。尽管高天宇同学等在 FewRel 2.0 论文中也尝试了一些或许的处理思路：例如关于范畴搬迁尝试了经典的对立学习办法，模型功能得到了必定的进步；关于「以上都不是」检测，提出了依据 BERT next sentence prediction task 的 BERT-PAIR 模型，能够在」以上都不是」应战取得一点作用。但这两大应战依然需求更多立异探求。

总结来说，探求少次学习联络抽取，让联络抽取模型具有更强壮高效的学习才能，仍是一个十分新式的研讨方向，特别是面向联络抽取的少次学习问题，与其他范畴的少次学习问题比较，具有本身独有的特色与应战。不论是依据已有少次学习技能作出适于 NLP 和联络抽取的改善，仍是提出全新的适用于联络抽取的少次学习模型，都将最大化地运用少数标示数据，推进联络抽取技能的落地有用。

更杂乱的文本语境

现有联络抽取作业首要聚集于语句级联络抽取，即依据句内信息进行联络抽取，各类神经网络模型也拿手编码语句级语义信息，在许多揭露评测数据能够取得最佳作用。而在实践场景中，许多的实体间联络是通过多个语句表达的。如下图所示，文本中说到多个实体，并表现出杂乱的彼此相关。依据从维基百科采样的人工标示数据的核算标明，至少 40％的实体联络现实只能从多个语句中联合获取。为了完结多个实体间的跨句联络抽取，需求对文档中的多个语句进行阅览推理，这明显超出了语句级联络抽取办法的才能规模。因而，进行文档级联络抽取势在必行。

文档级联络抽取研讨需求大规划人工标示数据集来进行练习和评测。现在文档级联络抽取数据集还很少。作业 [26，27] 构建了两个长途监督的数据集，因为没有进行人工标示因而评测效果不太牢靠。BC5CDR [28] 是人工标示的文档级联络抽取数据集，由 1,500 篇 PubMed 文档构成是生物医学特定范畴，且仅考虑「化学诱导的疾病」联络，不必定合适用来探求文档级联络抽取的通用办法。作业 [29] 提出运用阅览了解技能答复问题的办法从文档中提取实体联络现实，这些问题从」实体-联络「对转化而来。因为该作业数据集是针对这种办法量身定制的，也不那么适用于探求文档级联络抽取的通用办法。这些数据集或许仅具有少数人工标示的联络和实体，或许存在来自长途监督的噪音标示，或许服务于特定范畴或办法，有这样或那样的约束。

为了推进文档级联络抽取的研讨，课题组姚远同学等 [30] 提出了 DocRED 数据集，是一个大规划的人工标示的文档级联络抽取数据集，依据维基百科正文和 WikiData 常识图谱构建而成，包含 5,053 篇维基百科文档，132,375 个实体和 53,554 个实体联络现实，是现有最大的人工标示的文档级联络抽取数据集。如下图所示，文档级联络抽取使命要求模型具有强壮的形式识别、逻辑推理、指代推理和常识推理才能，这些方面都亟待更多长时刻的研讨探求。

更敞开的联络类型

现有联络抽取作业一般假设有预先界说好的关闭联络调集，将使命转化为联络分类问题。可是在敞开域的实在联络抽取场景中，文本中包含许多敞开的实体联络，联络品种繁复，并且联络数量也会不断增加，远超越人为界说的联络品种数量。在这种情况下，传统联络分类模型无法有用获取文本中包含的实体间的新式联络。怎么运用深度学习模型主动发实践体间的新式联络，完结敞开联络抽取，依然是一个」敞开「问题。

为了完结面向敞开范畴的敞开联络抽取，研讨提出敞开联络抽取（Open Relation Extraction，OpenRE）使命，致力于从敞开文本抽取实体间的恣意联络现实。敞开联络抽取触及三方面的「敞开」：首先是抽取联络品种的敞开，与传统联络抽取不同，它期望抽取一切已知和不知道的联络；其次是测验语料的敞开，例如新闻、医疗等不同范畴，其文本各有不同特色，需求探求跨域鲁棒的算法；第三是练习语料的敞开，为了取得尽或许好的敞开联络抽取模型，有必要充沛运用现有各类标示数据，包含精标示、长途监督标示数据等，并且不同练习数据集的联络界说和散布也有所不同，需求一同运用许多源数据。

在前深度学习年代，研讨者也有探求敞开信息抽取（Open Information Extraction，OpenIE）使命。敞开联络抽取能够看做 OpenIE 的特例。其时 OpenIE 首要通过无监督的核算学习办法完结，如 Snowball 算法等。尽管这些算法关于不同数据有较好的鲁棒性，但精度往往较低，间隔有用落地依然相距甚远。

最近，课题组吴睿东同学等的作业 [31] 提出了一种有监督的敞开联络抽取结构，能够通过」联络孪生网络「（Relation Siamese Network，RSN）完结有监督和弱监督形式的自在切换，然后能够一同运用预界说联络的有监督数据和敞开文本中新联络的无监督数据，来一同学习不同联络现实的语义类似度。具体来说，联络孪生网络 RSN 选用孪生网络结构，从预界说联络的标示数据中学习联络样本的深度语义特征和彼此间的语义类似度，可用于核算包含敞开联络文本的语义类似度。并且，RSN 还运用了条件熵最小化和虚拟对立练习两种半监督学习办法进一步运用无标示的敞开联络文本数据，进一步进步敞开联络抽取的稳定性和泛化才能。依据 RSN 核算的敞开联络类似度核算效果，模型能够在敞开域对文本联络进行聚类，然后概括出新式联络。

课题组高天宇同学等人作业 [32] 则从另一个视点动身，关于敞开域的特定新式联络，只需求供给少数准确的实例作为种子，就能够运用预练习的联络孪生网络进行滚雪球（Neural SnowBall），从许多无标示文本中概括出该新式联络的更多实例，不断迭代练习出适用于新式联络的联络抽取模型。

总结来说，敞开域联络抽取在前深度学习年代取得了一些成效，但怎么在深度学习年代与神经网络模型优势相结合，有力拓宽神经网络联络抽取模型的泛化才能，值得更多深化探求。

总结

为了更及时地扩展常识图谱，主动从海量数据中获取新的世界常识已成为必经之路。以实体联络抽取为代表的常识获取技能现已取得了一些作用，特别是近年来深度学习模型极大地推进了联络抽取的展开。可是，与实践场景的联络抽取杂乱应战的需求比较，现有技能仍有较大的局限性。咱们亟需从实践场景需求动身，处理练习数据获取、少次学习才能、杂乱文本语境、敞开联络建模等应战问题，树立有用而鲁棒的联络抽取体系，这也是实体联络抽取使命需求持续尽力的方向。

咱们课题组从 2016 年开端耕耘实体联络抽取使命，先后有林衍凯、韩旭、姚远、曾文远、张正彦、朱昊、于鹏飞、于志竟成、高天宇、王晓智、吴睿东等同学在多方面展开了研讨作业。去年在韩旭和高天宇等同学的尽力下，发布了 OpenNRE 工具包 [33]，通过近两年来的不断改善，包含有监督联络抽取、长途监督联络抽取、少次学习联络抽取和文档级联络抽取等丰厚场景。此外，也花费许多科研经费标示了 FewRel（1.0 和 2.0）和 DocRED 等数据集，旨在推进相关方向的研讨。

本文总结了咱们对实体联络抽取现状、应战和未来展开方向的知道，以及咱们在这些方面做出的尽力，期望能够引起咱们的爱好，对咱们有些协助。等待更多学者和同学参加到这个范畴研讨中来。当然，本文没有提及一个重要应战，即以事情抽取为代表的杂乱结构的常识获取，未来有时机咱们再专文讨论。

限于个人水平，不免有偏颇谬误之处，还请咱们在谈论中不惜指出，咱们尽力改善。需求阐明的是，咱们没想把这篇文章写成谨慎的学术论文，所以没有八面玲珑把每个方向的一切作业都介绍清楚，如有重要遗失，还请批评指正。

广告时刻

咱们课题组在实体联络抽取方面展开的多项作业（如 FewRel、DocRED 等）是与腾讯微信形式识别中心团队协作完结的。微信形式识别中心是微信 AI（WeChat AI）下辖的中心之一，首要重视自然言语处理相关的研讨和产品。研讨方面，他们的研讨作业包含对话体系、常识学习、认知推理、机器翻译等多个方向，本年在 ACL、EMNLP、AAAI 等会议上宣布论文 20 多篇，也在多个竞赛中取得优异成绩，学术作用颇丰。产品方面，他们开发的小微对话体系和微信对话敞开渠道在音箱、大众号主动客服等场景方面也有不俗的表现，但投入的人力比亚马逊 Alex 团队要少得多，也算是对微信「小」团队做大事风格的一种表现。微信形式识别中心团队学术与产品双强的特色也为咱们的协作带来了不一样的体会，一方面两边都对世界前沿技能的研讨坚持了高度的热心，能够一同勠力同心做一些需求时刻打磨、但影响深远的探求，另一方面实在的产品也为咱们的研讨供给了不同的视角和运用的场景，真实做到了强强联合、优势互补，是十分值得协作的团队。

咱们与腾讯微信的这些协作是依据「清华-腾讯联合试验室」展开的。咱们与腾讯高校协作中心协作多年，参加了包含清华-腾讯联合试验室（与清华各院系展开协作的学校级渠道）、犀牛鸟专项基金（面向各类教师的前沿探求研讨性项目）、犀牛鸟精英人才培育方案（面向学生，腾讯和清华双导师联合在腾讯培育科研型人才）等项目。感谢腾讯高校协作中心为高校与腾讯建立的协作共赢的产学研协作渠道，咱们能够重视腾讯高校协作微信大众号 Tencent_UR 了解最新信息。

这儿还要特别介绍咱们与微信模识中心的对接人 Patrick Li（因为不行言说的原因只好用他英文名，并非为了装 B）和林衍凯。Patrick 是我的师弟，跟我现已有十几年的友谊，清华贵系 2005 级本科生，2009 级博士生。他从本科时就参加咱们课题组，其时我与他协作宣布了我的第一篇 EMNLP 2009 论文，后来他来咱们课题组读博，跟从孙茂松教师和刘洋教师从事机器翻译研讨，做出许多有影响力的作用。他是咱们协作项目的担任人，现在在微信形式识别中心担任领导 NLP 根底技能的研讨和运用作业，在技能和人品方面都可谓口碑载道，与他协作过的同学都形象深入。现在，他首要重视主动问答、信息抽取、机器翻译等方面作业。或许正是遭到 Patrick 的」感化「，咱们组的林衍凯同学（http://nlp.csai.tsinghua.edu.cn/~lyk/）本年博士结业后，也挑选参加了他们团队，也在和咱们一同协作展开常识图谱和主动问答方面的研讨作业。

图穷匕见，读者中假如有期望找自然言语处理和常识图谱方面实习或作业的同学，欢迎联络 Patrick Li（[email protected]），让咱们一同尽力，展开有意思有意义的研讨作业。Patrick Li：http://www.lpeng.net作者简介

韩旭，清华大学核算机科学与技能系博士三年级同学，首要研讨方向为自然言语处理、常识图谱、信息抽取。在人工智能范畴世界闻名会议 AAAI、ACL、EMNLP、COLING、NAACL 上宣布多篇论文，是 OpenKE、OpenNRE 等开源项目的开发者之一。主页：

https://thucsthanxu13.github.io/thucsthanxu13.github.io高天宇，清华大学核算机系大四本科生，首要研讨方向为自然言语处理、常识图谱、联络抽取。在人工智能范畴世界闻名会议 AAAI、EMNLP 上宣布多篇论文，是 OpenNRE 等开源项目的首要开发者之一。主页：

gaotianyu.xyz刘知远，清华大学核算机系副教授、博士生导师。首要研讨方向为表明学习、常识图谱和社会核算。主页：

nlp.csai.tsinghua.edu.cn原文链接：https://zhuanlan.zhihu.com/p/91762831参考文献

[1] ChunYang Liu, WenBo Sun, WenHan Chao, Wanxiang Che. Convolution Neural Network for Relation Extraction. The 9th International Conference on Advanced Data Mining and Applications (ADMA 2013).

[2] Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou, Jun Zhao. Relation Classification via Convolutional Deep Neural Network. The 25th International Conference on Computational Linguistics (COLING 2014).

[3] Dongxu Zhang, Dong Wang. Relation Classification via Recurrent Neural Network. arXiv preprint arXiv:1508.01006 (2015).

[4] Peng Zhou, Wei Shi, Jun Tian, Zhenyu Qi, Bingchen Li, Hongwei Hao, Bo Xu. Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification. The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016).

[5] Richard Socher, Brody Huval, Christopher D. Manning, Andrew Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. The 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL 2012).

[6] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, Stan Szpakowicz. SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals. The 5th International Workshop on Semantic Evaluation (SEMEVAL 2010).

[7] Thien Huu Nguyen, Ralph Grishman. Relation Extraction: Perspective from Convolutional Neural Networks. The 1st Workshop on Vector Space Modeling for Natural Language Processing (LatentVar 2015).

[8] Cícero dos Santos, Bing Xiang, Bowen Zhou. Classifying Relations by Ranking with Convolutional Neural Networks. The 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2015).

[9] Shu Zhang, Dequan Zheng, Xinchen Hu, Ming Yang. Bidirectional Long Short-Term Memory Networks for Relation Classification. The 29th Pacific Asia Conference on Language, Information and Computation (PACLIC 2015).

[10] Minguang Xiao, Cong Liu. Semantic Relation Classification via Hierarchical Recurrent Neural Network with Attention. The 26th International Conference on Computational Linguistics (COLING 2016).

[11] Kun Xu, Yansong Feng, Songfang Huang, Dongyan Zhao. Semantic Relation Classification via Convolutional Neural Networks with Simple Negative Sampling. The 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015).

[12] Yan Xu, Lili Mou, Ge Li, Yunchuan Chen, Hao Peng, Zhi Jin. Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths. The 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015).

[13] Yang Liu, Furu Wei, Sujian Li, Heng Ji, Ming Zhou, Houfeng Wang. A Dependency-Based Neural Network for Relation Classification. The 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2015).

[14] Yan Xu, Ran Jia, Lili Mou, Ge Li, Yunchuan Chen, Yangyang Lu, Zhi Jin. Improved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation. The 26th International Conference on Computational Linguistics (COLING 2016).

[15] Rui Cai, Xiaodong Zhang, Houfeng Wang. Bidirectional Recurrent Convolutional Neural Network for Relation Classification. The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016).

[16] Mike Mintz, Steven Bills, Rion Snow, Daniel Jurafsky. Distant Supervision for Relation Extraction without Labeled Data. The 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2009).

[17] Daojian Zeng, Kang Liu, Yubo Chen, Jun Zhao. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks. The 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015).

[18] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, Maosong Sun. Neural Relation Extraction with Selective Attention over Instances. The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016).

[19] Yi Wu, David Bamman, Stuart Russell. Adversarial Training for Relation Extraction. The 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017).

[20] Jun Feng, Minlie Huang, Li Zhao, Yang Yang, Xiaoyan Zhu. Reinforcement Learning for Relation Classification from Noisy Data. The 32th AAAI Conference on Artificial Intelligence (AAAI 2018).

[21] Xu Han, Hao Zhu, Pengfei Yu, Ziyun Wang, Yuan Yao, Zhiyuan Liu, Maosong Sun. FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation. The 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018).

[22] Tianyu Gao, Xu Han, Zhiyuan Liu, Maosong Sun. Hybrid Attention-based Prototypical Networks for Noisy Few-Shot Relation Classification. The 33th AAAI Conference on Artificial Intelligence (AAAI 2019).

[23] Zhi-Xiu Ye, Zhen-Hua Ling. Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification. The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019).

[24] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, Tom Kwiatkowski. Matching the Blanks: Distributional Similarity for Relation Learning. The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019).

[25] Tianyu Gao, Xu Han, Hao Zhu, Zhiyuan Liu, Peng Li, Maosong Sun, Jie Zhou. FewRel 2.0: Towards More Challenging Few-Shot Relation Classification. 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019).

[26] Chris Quirk, Hoifung Poon. Distant Supervision for Relation Extraction beyond the Sentence Boundary. The 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2017).

[27] Nanyun Peng, Hoifung Poon, Chris Quirk, Kristina Toutanova, Wen-tau Yih. Cross-Sentence N-ary Relation Extraction with Graph LSTMs. Transactions of the Association for Computational Linguistics (TACL 2017).

[28] Chih-Hsuan Wei, Yifan Peng, Robert Leaman, Allan Peter Davis, Carolyn J. Mattingly, Jiao Li, Thomas C. Wiegers, Zhiyong Lu. Overview of the BioCreative V Chemical Disease Relation (CDR) Task. The 5th BioCreative Challenge Evaluation Workshop (BioC 2015).

[29] Omer Levy, Minjoon Seo, Eunsol Choi, Luke Zettlemoyer. Zero-Shot Relation Extraction via Reading Comprehension. The 21st Conference on Computational Natural Language Learning (CoNLL 2017).

[30] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, Maosong Sun. DocRED: A Large-Scale Document-Level Relation Extraction Dataset. The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019).

[31] Ruidong Wu, Yuan Yao, Xu Han, Ruobing Xie, Zhiyuan Liu, Fen Lin, Leyu Lin, Maosong Sun. Open Relation Extraction: Relational Knowledge Transfer from Supervised Data to Unsupervised Data. 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019).

[32] Tianyu Gao, Xu Han, Ruobing Xie, Zhiyuan Liu, Fen Lin, Leyu Lin, Maosong Sun. Neural Snowball for Few-Shot Relation Learning. The 34th AAAI Conference on Artificial Intelligence (AAAI 2020).

[33] Xu Han, Tianyu Gao, Yuan Yao, Deming Ye, Zhiyuan Liu, Maosong Sun. OpenNRE: An Open and Extensible Toolkit for Neural Relation Extraction. The Conference on Empirical Methods in Natural Language Processing (EMNLP 2019).

告发/反应