雷锋网 AI 科技评论:ICLR 2020 正在进行,但总结笔记却相继出炉。我们曾对 ICLR 2020 上的图机器学习趋势进行介绍,本文考虑的主题为知识图谱。

作者做波恩大学2018级博士生 Michael Galkin,研究方向为知识图和对话人工智能。在AAAI 2020 举办之际,他也曾对发表在AAAI 2020上知识图谱相关的文章做了全方位的分析,具体可见「知识图谱@AAAI2020」。

有次大型烧水器坏了,赵天宇发现后第一时间报告相关指挥部、通知维修部门,不到半小时就让患者喝上了热水。

“她说,我是她的英雄”

本文由游民星空制作发布,未经允许禁止转载。

一、在复杂QA中利用知识图谱进行神经推理

这里比较有意思的观点包括:1)用EL Description Logic 来注释问题(在2005年前后,DL的意思是Description Logic,而不是Deep Learning );2)由于数据集指向语义解析,因此所有问题都链接到了Freebase ID(URI),因此您无需插入自己喜欢的实体链接系统(例如ElasticSearch)。于是模型就可以更专注于推断关系及其组成;3)问题可以具有多个级别的复杂性(主要对应于基本图模式的大小和SPARQL查询的过滤器)。

此外,NeRd的作者做了许多努力,为弱监督训练建立了可能的程序集,并采用了带有阈值的Hard EM 算法来过滤掉虚假程序(能够基于错误的程序给出正确答案)。NeRd 在DROP测试集上获得了81.7 的F1 分数,以及78.3 的EM分数。

“年轻人要为国家出份力!”入舱以来,每天看着墙上的党旗,看着面对困难往前冲的党员,赵天宇很受触动。2月中旬,他正式递交了入党申请书。

勤快的聂保旭得到了所在病区所有医护人员的喜爱,护士张晓乐在工作群里写道:“聂保旭小帅哥非常勤快,不怕脏、不怕累、不怕病毒,很感动,为他疯狂点赞。”

三、知识图谱嵌入:循序推理和归纳推理

疫情凶险,他们无惧风险;面对挑战,他们敢于应战。经过抗疫一线的战火淬炼,他们成长了很多。这几天,我们在武汉采访了5位“00后”,听他们讲述战疫故事。

近日,一段“禄丰女生被多名男生殴打”的视频在网络上传播。视频中,一名女生坐在地上被多名男生拳打脚踢。

作者将LSTM和Transformers基线应用到该任务,发现它们都没有遵循通用标准(并相应地建立训练/验证/测试拆分):准确性低于20%!对于KGQA爱好者来说,这是一个巨大的挑战,因此我们需要新的想法。

两项工作都是由读取器和基于RNN的解码器组成,从预定义的域特定语言(DSL,Domain Specific Language)生成操作(操作符)。从性能上相比,NeRd更胜一筹,原因在于其算符的表达能力更强,解码器在构建组合程序上也更简单。另一方面,NMN使用张量交互对每个运算符进行建模,于是你需要手工制定更多的自定义模块来完成具体任务。

3)在右侧,question 会通过一个类似BERT的编码器,从而形成一个紧密向量。

今年的ICLR上,Xiong等人在预测[MASK] token之外,提出了一个新的训练目标:需要一个模型来预测entity是否已经被置换。

循序推理。说到时间,如果要列出美国总统,显然triple-base的知识图谱,会把亚当斯和特朗普都列出来。如果不考虑时间的话,是否意味着美国同时有45位总统呢?为了避免这种歧义,你必须绕过纯RDF的限制,要么采用具体化的方式(针对每个具体的歧义进行消除),要么采用更具表现力的模型。例如Wikidata状态模型(Wikidata Statement Model)允许在每个statement中添加限定符,以总统为例,可以将在限定符处放上总统任期的开始时间和结束时间,通过这种方式来表示给定断言为真的时间段。循序知识图谱嵌入算法(Temporal KG Embeddings algorithms)的目标就是够条件这样一个时间感知(time-aware)的知识图谱表示。在知识图谱嵌入中时间维度事实上,只是嵌入字(例如身高、长度、年龄以及其他具有数字或字符串值的关系)的一部分。

“我是2000年5月出生的,希望生日之前,疫情能结束!”3月2日晚,刚下班的孟迪略显疲惫,但言语坚定。

“社会各界都在努力。作为大学生,要有所作为。”罗明说。

总结一句话,这是一个新颖的、简单的,但却有实质性意义的想法,有大量的实验,也有充分的消融分析。

Dhingra等人的工作在概念矿建上与上面Cohen等人的工作类似。他们提出了DrKIT,这是一种能用于在索引文本知识库上进行差分推理的方法。

作者采用波束搜索和负采样来增强对嘈杂路径的鲁棒性,并很好地突出了路径中的相关段落。重复检索(Recurrent Retrieval )在HotpotQA的 full Wiki测试设置上的F1分数获得了惊人的73分。这篇工作的代码已发布。

不满20岁的他,是江汉方舱医院30名辅警中年龄最小的一位。治安巡逻、维护秩序、消防检查、心理辅导……他们都要负责。

每天下班后,聂保旭都给家乡的父母,还有女友小闻报平安。“她非常支持我,她说,我是她的英雄。”聂保旭羞涩地笑着说。

4)所有mentions 也通过一个类似BERT的编码器进行编码。

事实上,这项工作作为一个案例,也说明SOTA不应该成为一篇论文是否被接收的衡量标准,否则我们就错失了这些新的概念和方法。

模型的任务是预测实体是否被替换掉了。

今年ICLR2020中,在复杂QA和推理任务中看到越来越多的研究和数据集,very good。去年我们只看到一系列关于multi-hop阅读理解数据集的工作,而今年则有大量论文致力于研究语义合成性(compositionality)和逻辑复杂性(logical complexity)——在这些方面,知识图谱能够帮上大忙。

2)使用预先计算的索引(例如TF-IDF)将一组实体扩展为一组mentions(表示为稀疏矩阵A)。

这构成了单跳推理步骤,并且等效于在虚拟KB中沿着其关系跟踪提取的实体。输出可以在下一次迭代中进一步使用,因此对N跳任务会重复N次!

4)一旦RNN产生一个特殊的[EOE]令牌,读取器模块就会获取路径,对其重新排序并应用典型的提取例程。

作者引入了Reified KB。其中事实以稀疏矩阵(例如COO格式)表示,方式则是对事实进行编码需要六个整数和三个浮点数(比典型的200浮点KG嵌入要少得多)。然后,作者在适用于多跳推理的邻域上定义矩阵运算。

医院的仓库有两个篮球场大,堆积了大量社会各界捐赠的物资。罗明的主要工作,就是将它们分发给各个科室的物资负责人。最忙的时候,罗明一天分发了1000多套防护服、数不清的口罩和护目镜,十几吨矿泉水和几吨酒精。“刚开始有些吃不消,浑身酸痛,路都走不稳。”罗明笑着说,但适应了就好多了。

“作为大学生,要有所作为”

2月11日,他去医院报到,参加培训。12日上岗。“要管17个病房的保洁,还要给整层楼拖地。”聂保旭说,“我年轻,这点活不在话下。”

穿上防护服,他们是战士;脱下防护服,他们是“大孩子”。在武汉抗疫一线,有这样一群年轻人,他们身份不同,有护士,有志愿者,有辅警,却有一个共同的名字——“00后”。

6)矩阵A乘以Top-K 选项;

将知识融入语言模型,目前已是大势所趋。

更多相关资讯请关注:魔兽世界专区

此外,作者介绍了一个基于Wikidata的新的插槽填充数据集(采用SLING解析器构造数据集),并在MetaQA、HotpotQA上评估了 DrKIT,总体来说结果非常棒。

1)整个Wikipedia(英语)都以图谱的形式组织,其边表示段落和目标页面之间的超链接。例如对于Natural Questions,大小约为3300万个节点,边有2.05亿个。

话不多说,我们来看具体内容。

对NMN进行评估,其中月有25%的DROP数据可通过其模块来回答,在DROP dev测试中获得了77.4 的F1 分数 和74 的EM 分数。

一位辅警趁工作间隙,发动几名护士和患者一起打太极——这是不久前发生在江汉方舱医院的一幕。这名辅警叫赵天宇,2月5日主动申请加入江汉区辅警入舱突击队。

聂保旭是河南南阳人,原本在武汉一家寿司店工作。看着确诊人数增长,聂保旭很着急。他首先想到做志愿者。上网一搜,第一眼看见了同济医院急招污染区保洁员的信息。“我犹豫了一天才报名。”聂保旭坦诚地说。思考再三,他下定决心,去!

如今,王诗雨已经开学了,她每天晚上上网课,白天还继续做志愿者。

我们接下来谈两篇复杂数字推理的工作。

这种有效的表示方式允许将巨大的KG直接存储在GPU内存中,例如,包含1300万实体和4300万事实(facts)的WebQuestionsSP 的 Freebase转储,可以放到三个12-Gb 的 GPU中。而且,在进行QA时可以对整个图谱进行推理,而不是生成候选对象(通常这是外部不可微操作)。

去年9月,孟迪进入武汉大学人民医院汉南医院工作,如今刚转正没几个月。1月24日,白天报名参加救治,晚上就进了病房。“回家收拾行李的时候,还偷偷哭了鼻子。”孟迪说,她心里其实也怕,但爸妈鼓励她,“你学的就是治病救人的专业,该上的时候不能当逃兵。做好防护,我们等你回来!”

“本来想过个美好的寒假,没想到疫情打乱了计划。”1月8日,罗明参加完期末考试,从吉林长春回到了老家武汉市汉阳区。

Cohen等人延续了神经查询语言(Neural Query Language,NQL)和可微分知识库议程的研究,并提出了一种在大规模知识库中进行神经推理的方法。

本文从五个角度,分别介绍了 ICLR 2020上知识图谱相关的 14 篇论文。五个角度分别为:

“年轻人要为国家出份力”

1)首先,给定一个question(可能需要多跳推理),实体链接器会生成一组 entities(下图中的Z0)。

第一天晚上,孟迪给病人打针、输液,一直忙到凌晨4点多,“进去之前很紧张,可穿上防护服,看着病房里的患者,我就不怕了。”孟迪和另外一个同事负责七八个病人的护理。有的病人每天要输液五六瓶。手上3层手套,护目镜又起雾,打针时很难找到血管,“病人很理解,一直让我慢慢来。”做雾化、量体温、测血压和血氧饱和度,孟迪忙得团团转。“一个班下来,手背汗出疹子,手指泡得发白。”

许多病人都记住了她。“有爹爹非要送我水果。”孟迪说,病人对她说得最多的是“谢谢”。

3)编码(q,p)对的BERT [CLS]令牌会被送到RNN中,RNN会预测下一个相关的段落。

这个框架看起来可能会有些复杂,我们接下来将它分成几个步骤来说明。

在数字推理中,你需要对给定的段落执行数学运算(例如计数、排序、算术运算等)才能回答问题。例如:

2)检索部分采用的RNN,初始化为一个隐状态h0,这是对问题 q 和候选段落p编码后获得的。这些候选段落首先通过TF-IDF生成,然后通过图谱中的链接生成。(上图中最左侧)

3月5日下午5点,华中科大同济医院光谷院区E1—4F重症发热病房,19岁的聂保旭走出污染区,脱下防护服,准备下班。一个护士姐姐连忙叫住他,塞给他一大包零食。

跟着社区工作者送“爱心菜”到各个楼栋,是王诗雨的两大任务之一,另一项是每天打电话排查居民健康状况。王诗雨说,她每天要打上百个电话,“有些爷爷奶奶心里害怕,接到电话会问东问西,我就要安慰他们。”

作者在文章中对ReifiedKB进行了一些KGQA任务以及链接预测任务的评估。与这些任务当前的SOTA方法相比,它的执行效果非常好。

未满20岁的罗明还在上大二。看到很多医疗机构急需志愿者,2月中旬,在同学的介绍下,他如愿加入了志愿者队伍。“一开始,爸妈不同意,他们担心我被感染。”罗明回忆,“我劝他们说,全国人民都来帮武汉,我是武汉人,有什么理由不去帮忙?”

“该上的时候不能当逃兵”

7)结果乘以另一个稀疏的共指矩阵B(映射到一个实体)。

禄丰县政府新闻办公室的通报中称,禄丰县委、县政府对此事高度重视,及时成立工作组开展调查,相关后续调查处置情况将及时发布。(完)

归纳推理。大多数现有的知识图谱嵌入算法都在已知所有实体的静态图上运行——所谓的转导设置。当你添加新的节点和边时,就需要从头开始重新计算整个嵌入;但对于具有数百万个节点的大型图来说,这显然不是一个明智的方法。在归纳设置(inductive setup)中,先前看不见的节点可以根据他们之间的关系和邻域进行嵌入。针对这个主题的研究现在不断增加,ICLR 2020 上也有几篇有趣的文章。

Asai等人的工作专注于HotpotQA,他们提出了Recurrent Retriever的结构,这是一种开放域QA的体系结构,能够以可区分的方式学习检索推理路径(段落链)。

Keysers等人研究了如何测量QA模型的成分泛化,即训练和测试 split 对同一组实体(广泛地来讲,逻辑原子)进行操作,但是这些原子的成分不同。作者设计了一个新的大型KGQA数据集 CFQ(组合式 Freebase 问题),其中包含约240k 个问题和35K SPARQL查询模式。

文本:“……美洲虎队的射手乔什·斯科比成功地射入了48码的射门得分……而内特·凯丁的射手得到了23码的射门得分……”问题:“谁踢出最远的射门得分?”

像Wikidata这样的大型知识图谱永远不会是静态的,社区每天都会更新数千个事实(facts),或者是有些事实已经过时,或者是新的事实需要创建新实体。

传统上,RC模型会采用一些现成的检索模型来获取可能的候选者,然后才执行神经读取pipeline。这篇工作则希望让检索具有差异性,从而将整个系统编程端到端的可训练模型。

二、知识图谱增强的语言模型

(本报记者李昌禹、田豆豆、付文、程远州、申少铁、张远晴、吴姗)

王诗雨是荆楚理工学院大一的学生,看到妈妈报名参加社区志愿者,也跟着报了名。“抗击疫情,每个人都有责任,我也希望能出一份力。” 王诗雨说,在社区服务很累,但很开心。“每当我把蔬菜和药送到老人手中时,就觉得自己很有价值。”她说。前天王诗雨跟着社区工作者为一位独居的聋哑人送去了蔬菜,看着对方用手语表示感谢,眼泪一下子出来了。

“爷爷,您别急,钱我帮您垫上。”3月5日,在武汉市江岸区台北街桃源社区,看着年近80岁的李爷爷不会用手机支付,前来送“爱心菜”的志愿者王诗雨连忙垫付了钱。

1 2 3 下一页 友情提示:支持键盘左右键“← →”翻页

患者的心理状态也是他牵挂的事。有次巡逻,两名患者因为早餐加热先后顺序发生口角,赵天宇理解大家是因为压力大心情不好,耐心劝慰,还打气说“武汉加油,中国必胜”。患者一听就冷静下来了。

目前为止,关于这个任务只有两个数据集,DROP(SQuAD样式,段落中至少包含20个数字)和MathQA(问题较短,需要较长的计算链、原理和答案选项)。因此,这个任务的知识图谱并不很多。尽管如此,这仍然是一个有趣的语义解析任务。

Categories:bob体育资讯
Published on :Posted on