[논문읽기] Multi-hop Question Answering over KG (2020)

Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings (2020)

Apoorv Saxena∗ Aditay Tripathi∗ Partha Talukdar

file://Improving_Multi-hop_Question_Answering_over_Knowle.pdf

Abstract

Knowledge Graphs (KG) are multi-relational graphs consisting of entities as nodes and relations among them as typed edges. Goal of the Question Answering over KG (KGQA) task is to answer natural language queries posed over the KG. Multi-hop KGQA requires reasoning over multiple edges of the KG to arrive at the right answer. KGs are often incomplete with many missing links, posing additional challenges for KGQA, especially for multi-hop KGQA. Recent research on multihop KGQA has attempted to handle KG sparsity using relevant external text, which isn’t always readily available. In a separate line of research, KG embedding methods have been proposed to reduce KG sparsity by performing missing link prediction. Such KG embedding methods, even though highly relevant, have not been explored for multi-hop KGQA so far. We fill this gap in this paper and propose EmbedKGQA. EmbedKGQA is particularly effective in performing multi-hop KGQA over sparse KGs. EmbedKGQA also relaxes the requirement of answer selection from a prespecified neighborhood, a sub-optimal constraint enforced by previous multi-hop KGQA methods. Through extensive experiments on multiple benchmark datasets, we demonstrate EmbedKGQA’s effectiveness over other stateof-the-art baselines.

지식 그래프 (KG)는 엔터티를 노드로, 이들 간의 관계를 입력된 에지로 구성하는 다중 관계형 그래프입니다. KGQA (질문 응답) 작업의 목표는 KG를 통해 제기된 자연어 쿼리에 응답하는 것입니다. 다중 홉 KGQA는 올바른 답에 도달하기 위해 KG의 여러 에지에 대한 추론이 필요합니다. KG는 종종 누락된 링크로 인해 불완전하므로 KGQA, 특히 다중 홉 KGQA에 추가 문제가 발생합니다. 멀티 홉 KGQA에 대한 최근 연구에서는 항상 쉽게 사용할 수 없는 관련 외부 텍스트를 사용하여 KG 희소성을 처리하려고 시도했습니다. 별도의 연구에서 누락 된 링크 예측을 수행하여 KG 희소성을 줄이기 위해 KG 임베딩 방법이 제안 되었습니다. 이러한 KG 임베딩 방법은 관련성이 높지만 지금까지 멀티 홉 KGQA에 대해 탐색되지 않았습니다. 이 백서에서 이 공백을 메우고 EmbedKGQA를 제안합니다. EmbedKGQA는 스파스 KG를 통해 다중 홉 KGQA를 수행하는데 특히 효과적입니다. EmbedKGQA는 또한 이전 다중 홉 KGQA 방법에 의해 시행된 차선의 제약인 미리 지정된 이웃에서 응답 선택의 요구 사항을 완화합니다. 여러 벤치 마크 데이터 세트에 대한 광범위한 실험을 통해 다른 최첨단 기준에 비해 EmbedKGQA의 효과를 입증합니다.

  1. Introduction

Knowledge Graphs (KG) are multi-relational graphs consisting of millions of entities (e.g., San Jose, California, etc.) and relationships among them (e.g., San Jose-cityInState-California). Examples of a few large KGs include Wikidata (Google, 2013), DBPedia (Lehmann et al., 2015), Yago (Suchanek et al., 2007), and NELL (Mitchell et al., 2018). Question Answering over Knowledge Graphs (KGQA) has emerged as an important research area over the last few years (Zhang et al., 2018; Sun et al., 2019a). In KGQA systems, given a natural language (NL) question and a KG, the right answer is derived based on analysis of the question in the context of the KG.

In multi-hop KGQA, the system needs to perform reasoning over multiple edges of the KG to infer the right answer. KGs are often incomplete, which creates additional challenges for KGQA systems, especially in case of multi-hop KGQA. Recent methods have used an external text corpus to handle KG sparsity (Sun et al., 2019a, 2018). For example, the method proposed in (Sun et al., 2019a) constructs a question-specific sub-graph from the KG, which is then augmented with supporting text documents. Graph CNN (Kipf and Welling, 2016) is then applied over this augmented sub-graph to arrive at the final answer. Unfortunately, availability and identification of relevant text corpora is a challenge on its own which limits broad-coverage applicability of such methods. Moreover, such methods also impose pre-specified heuristic neighborhood size limitation from which the true answer needs to be selected. This often makes the true answer out of reach of the model to select from.

지식 정보 (KG)는 수백만 개의 엔티티 (예 : San Jose, California 등)와 이들 간의 관계 (예 : San Jose-cityInState-California)로 구성된 다중 관계형 그래프입니다. 몇 가지 큰 KG의 예로는 Wikidata (Google, 2013), DBPedia (Lehmann et al., 2015), Yago (Suchanek et al., 2007) 및 NELL (Mitchell et al., 2018)이 있습니다. 지식 그래프를 통한 질문 답변 (KGQA)은 지난 몇 년 동안 중요한 연구 분야로 부상했습니다 (Zhang et al., 2018; Sun et al., 2019a). KGQA 시스템에서 자연어 (NL) 질문과 KG가 주어지면 KG의 맥락에서 질문에 대한 분석을 기반으로 정답이 도출됩니다.

다중 홉 KGQA에서 시스템은 정답을 추론하기 위해 KG의 여러 에지에 대해 추론을 수행해야 합니다. KG는 종종 불완전하므로 KGQA 시스템, 특히 다중 홉 KGQA의 경우 추가 문제가 발생합니다. 최근 방법은 KG 희소성을 처리하기 위해 외부 텍스트 코퍼스를 사용했습니다 (Sun et al., 2019a, 2018). 예를 들어, (Sun et al., 2019a)에서 제안한 방법은 KG에서 질문별 하위 그래프를 구성한 다음 지원 텍스트 문서로 보강됩니다. 그런 다음 그래프 CNN (Kipf and Welling, 2016)을 이 증강된 하위 그래프에 적용되어 최종 답에 도달합니다. 안타깝게도 관련 텍스트 말뭉치의 가용성과 식별은 그 자체로 이러한 방법의 광범위한 적용 가능성을 제한하는 문제입니다. 또한 이러한 방법은 실제 답변을 선택 해야하는 사전 지정된 휴리스틱 이웃 크기 제한을 부과합니다. 이것은 종종 선택할 수 있는 모델의 손이 닿지 않는 진정한 답을 만듭니다.

In order to illustrate these points, please consider the example shown in Figure 1. In this example, Louis Mellis is the head entity in the input NL question, and Crime is the true answer we expect the model to select. If the edge has genre(Gangster No. 1, Crime) were present in the KG, then the question could have been answered rather easily. However, since this edge is missing from the KG, as is often the case with similar incomplete and sparse KGs, the KGQA model has to potentially reason over a longer path over the KG (marked by bolded edges in the graph). Moreover, the KGQA model imposed a neighborhood size of 3-hops, which made the true answer Crime out of reach.

In a separate line of research, there has been a large body of work that utilizes KG embeddings to predict missing links in the KG, thereby reducing KG sparsity (Bordes et al., 2013; Trouillon et al., 2016; Yang et al., 2014a; Nickel et al., 2011). KG embedding methods learn high-dimensional embeddings for entities and relations in the KG, which are then used for link prediction. In spite of its high relevance, KG embedding methods have not been used for multi-hop KGQA – we fill this gap in this paper. In particular, we propose EmbedKGQA, a novel system which leverages KG embeddings to perform multi-hop KGQA. We make the following contributions in this paper:

이러한 점을 설명하기 위해 그림 1에 표시된 예를 고려하십시오. 이 예에서 Louis Mellis는 입력 NL 질문의 헤드 엔터티이고 Crime은 모델이 선택할 것으로 예상되는 정답입니다. KG에 엣지 장르 (갱스터 1 위, 범죄)가 있었다면 다소 쉽게 대답할 수 있었을 것이다. 그러나 유사한 불완전하고 희소한 KG가있는 경우와 같이 이 에지가 KG에서 누락 되었기 때문에 KGQA 모델은 잠재적으로 KG (그래프에서 굵은 에지로 표시됨)를 통해 더 긴 경로를 추론해야합니다. 또한 KGQA 모델은 3 홉의 이웃 크기를 부과하여 진정한 답을 Crime에 도달하지 못하도록 했습니다.

별도의 연구 라인에서 KG 임베딩을 사용하여 KG에서 누락된 링크를 예측하여 KG 희소성을 줄이는 많은 작업이 있었습니다 (Bordes et al., 2013; Trouillon et al., 2016; Yang et al. , 2014a; Nickel et al., 2011). KG 임베딩 방법은 KG의 엔티티 및 관계에 대한 고차원 임베딩을 학습한 다음 링크 예측에 사용됩니다. 높은 관련성에도 불구하고 KG 임베딩 방법은 다중 홉 KGQA에 사용되지 않았습니다.이 백서에서는 이 공백을 메 웁니다. 특히 KG 임베딩을 활용하여 멀티 홉 KGQA를 수행하는 새로운 시스템 인 EmbedKGQA를 제안합니다. 이 백서에서는 다음과 같은 기여를합니다.

  1. We propose EmbedKGQA, a novel method for the multi-hop KGQA task. To the best of our knowledge, EmbedKGQA is the first method to use KG embeddings for this task. EmbedKGQA is particularly effective in performing multi-hop KGQA over sparse KGs.
  2. EmbedKGQA relaxes the requirement of answer selection from a pre-specified local neighborhood, an undesirable constraint imposed by previous methods for this task.
  3. Through extensive experiments on multiple real-world datasets, we demonstrate EmbedKGQA’s effectiveness over state-of-the-art baselines.

We have made EmbedKGQA’s source code available to encourage reproducibility.

  1. 우리는 멀티 홉 KGQA 작업을위한 새로운 방법 인 EmbedKGQA를 제안합니다. 우리가 아는 한, EmbedKGQA는이 작업에 KG 임베딩을 사용하는 첫 번째 방법입니다. EmbedKGQA는 스파 스 KG를 통해 다중 홉 KGQA를 수행하는 데 특히 효과적입니다.
  2. EmbedKGQA는이 작업에 대한 이전 방법에 의해 부과 된 바람직하지 않은 제약 인 미리 지정된 지역 이웃에서 응답 선택의 요구 사항을 완화합니다.
  3. 여러 실제 데이터 세트에 대한 광범위한 실험을 통해 최첨단 기준에 비해 EmbedKGQA의 효과를 입증합니다.

재현성을 장려하기 위해 EmbedKGQA의 소스 코드를 제공했습니다.

  1. Related Work

KGQA:

In prior work (Li et al., 2018) TransE, (Bordes et al., 2013) embeddings have been used to answer factoid based questions. However, this requires ground truth relation labeling for each question and it does not work for multi-hop question answering. In another line of work (Yih et al., 2015) and (Bao et al., 2016) proposed extracting a particular sub-graph to answer the question. The method presented in (Bordes et al., 2014a), the sub-graph generated for a head entity is projected in a high dimensional space for question answering. Memory Networks have also been used to learn high dimensional embeddings of the facts present in the KG to perform QA (Bordes et al., 2015). Methods like (Bordes et al., 2014b) learn a similarity function between the question and the corresponding triple during training, and score the question with all the candidate triples at the test time. (Yang et al., 2014b) and (Yang et al., 2015) utilize embedding based methods to map natural language questions to logical forms. Methods like (Dai et al., 2016; Dong et al., 2015; Hao et al., 2017; Lukovnikov et al., 2017; Yin et al., 2016) utilize neural networks to learn a scoring functions to rank the candidate answers. Some works like (Mohammed et al., 2017; Ture and Jojic, 2016) consider each relation as a label and model QA task as a classification problem. Extending these kinds of approaches for multi-hop question answering is non-trivial.

Recently, there has been some work in which text corpus is incorporated as a knowledge source in addition to KG to answer complex questions on KGs (Sun et al., 2018, 2019a). Such approaches are useful in case the KG is incomplete. However, this leads to another level of complexity in the QA system, and text corpora might not always be available.

이전 작업 (Li et al., 2018) TransE (Bordes et al., 2013)에서는 사실 기반 질문에 답하기 위해 임베딩이 사용되었습니다. 그러나 이것은 각 질문에 대한 Ground Truth 관계 레이블링이 필요하며 다중 홉 질문 응답에서는 작동하지 않습니다. 다른 작업에서는 (Yih et al., 2015) 및 (Bao et al., 2016) 질문에 답하기 위해 특정 하위 그래프를 추출할 것을 제안했습니다. (Bordes et al., 2014a)에 제시된 방법은 헤드 엔터티에 대해 생성된 하위 그래프가 질문 답변을 위해 고차원 공간에 투영됩니다. 메모리 네트워크는 QA를 수행하기 위해 KG에 있는 사실의 고차원 임베딩을 학습하는데도 사용되었습니다 (Bordes et al., 2015). (Bordes et al., 2014b)와 같은 방법은 훈련 중에 질문과 해당 트리플 간의 유사성 함수를 학습하고 테스트 시간에 모든 후보 트리플로 질문에 점수를 매깁니다. (Yang et al., 2014b) 및 (Yang et al., 2015)는 임베딩 기반 방법을 사용하여 자연어 질문을 논리적 형식에 매핑합니다. (Dai et al., 2016; Dong et al., 2015; Hao et al., 2017; Lukovnikov et al., 2017; Yin et al., 2016)과 같은 방법은 신경망을 활용하여 점수 함수를 학습하여 후보의 순위를 매깁니다. 대답. (Mohammed et al., 2017; Ture and Jojic, 2016)과 같은 일부 작품은 각 관계를 레이블로 간주하고 모델 QA 작업을 분류 문제로 간주합니다. 다중 홉 질문 응답을 위해 이러한 종류의 접근 방식을 확장하는 것은 사소한 일이 아닙니다.

최근 KG에 대한 복잡한 질문에 답하기 위해 KG 외에도 텍스트 코퍼스를 지식 소스로 통합하는 작업이 있었습니다 (Sun et al., 2018, 2019a). 이러한 접근 방식은 KG가 불완전한 경우에 유용합니다. 그러나 이로 인해 QA 시스템이 다른 수준으로 복잡해지고 텍스트 말뭉치가 항상 사용 가능한 것은 아닙니다.

KG completion methods:

Link prediction in Knowledge Graphs using KG embeddings has become a popular area of research in recent years. The general framework is to define a score function for a set of triples (h, r, t) in a KG and constraining them in such a way that the score for a correct triple is higher than the score for an incorrect triple.

RESCAL (Nickel et al., 2011) and DistMult (Yang et al., 2015) learn a score function containing a bi-linear product between head entity and tail entity vectors and a relation matrix. ComplEx (Trouillon et al., 2016) represents entity vectors and relation matrices in the complex space. SimplE(Kazemi and Poole, 2018) and TuckER (Balazevic et al., 2019) are based on Canonical Polyadic (CP) decomposition (Hitchcock, 1927) and Tucker decomposition (Tucker, 1966) respectively.

TransE (Bordes et al., 2013) embeds entities in high dimensional real space and relation as translation between the head and the tail entities. RotatE (Sun et al., 2019b) on the other hand projects entities in complex space and relations are represented as rotations in the complex plane.

ConvE (Dettmers et al., 2018) utilizes Convolutional Neural Networks to learn a scoring function between the head entity, tail entity and relation. InteractE (Vashishth et al., 2019) improves upon ConvE by increasing feature interaction.

KG 임베딩을 사용하는 지식 그래프의 링크 예측은 최근 몇 년 동안 인기있는 연구 분야가 되었습니다. 일반적인 프레임 워크는 KG의 트리플 세트 (h, r, t)에 대한 점수 함수를 정의하고 올바른 트리플의 점수가 잘못된 트리플의 점수보다 높도록 제한하는 것입니다.

RESCAL (Nickel et al., 2011) 및 DistMult (Yang et al., 2015)는 헤드 엔터티와 테일 엔터티 벡터 및 관계 행렬 간의 이중 선형 곱을 포함하는 점수 함수를 학습합니다. ComplEx (Trouillon et al., 2016)는 복잡한 공간에서 엔티티 벡터와 관계 행렬을 나타냅니다. SimplE (Kazemi and Poole, 2018) 및 TuckER (Balazevic et al., 2019)는 각각 Canonical Polyadic (CP) 분해 (Hitchcock, 1927) 및 Tucker 분해 (Tucker, 1966)를 기반으로합니다.

TransE (Bordes et al., 2013)는 고차원의 실제 공간에 엔티티를 포함하고 머리와 꼬리 엔티티 간의 변환으로 관계를 포함합니다. 반면에 RotatE (Sun et al., 2019b)는 복잡한 공간에서 엔티티를 투영하고 관계는 복잡한 평면에서 회전으로 표현됩니다.

ConvE (Dettmers et al., 2018)는 Convolutional Neural Networks를 활용하여 헤드 엔터티, 테일 엔터티 및 관계 간의 스코어링 기능을 학습합니다. InteractE (Vashishth et al., 2019)는 기능 상호 작용을 증가시켜 ConvE를 개선합니다.

  1. Background

In this section, we formally define a Knowledge Graph(KG) and then describe link prediction task on incomplete KGs. We then describe KG embeddings and explain the ComplEx embedding model.

이 섹션에서는 지식 그래프 (KG)를 공식적으로 정의한 다음 불완전한 KG에 대한 링크 예측 작업을 설명합니다. 그런 다음 KG 임베딩을 설명하고 ComplEx 임베딩 모델을 설명합니다.

3.1 Knowledge Graph

Given a set of entities E and relations R, a Knowledge Graph G is a set of triples K such that K ⊆ E × R × E. A triple is represented as (h, r, t), with h, t ∈ E denoting subject and object entities respectively and r ∈ R the relation between them.

엔티티 E와 관계 R의 집합이 주어지면 지식 정보 G는 K ⊆ E × R × E가되는 트리플 K입니다. 트리플은 (h, r, t)로 표현되며, h, t ∈ E는 다음을 나타냅니다. 주체와 대상 개체는 각각 r ∈ R은 그들 사이의 관계입니다.

3.2 Link Prediction

In link prediction, given an incomplete Knowledge Graph, the task is to predict which unknown links are valid. KG Embedding models achieve this through a scoring function φ that assigns a score s = φ(h, r, t) ∈ R, which indicates whether a triple is true, with the goal of being able to score all missing triples correctly.

링크 예측에서 불완전한 지식 정보가 주어진 경우 작업은 알 수 없는 링크가 유효한지 예측하는 것입니다. KG Embedding 모델은 누락 된 모든 트리플을 올바르게 득점할 수 있도록 하기 위해 트리플이 참인지 여부를 나타내는 점수 s = φ (h, r, t) ∈ R을 할당하는 점수 함수 φ를 통해 이를 달성합니다.

3.3 Knowledge Graph Embeddings

For each e ∈ E and r ∈ R, Knowledge Graph Embedding (KGE) models generate ee ∈ Rde and er ∈ Rdr, where ee and er are de and dr dimensional vectors respectively. Each of the embedding methods also has a scoring function φ : E × R × E → R to assign some score φ(h, r, t) to a possible triple (h, r, t), h, t ∈ E and r ∈ R. Models are trained in a way such that for every correct triple (h, r, t) ∈ K and incorrect triple (h0, r0, t0) ∈/ K the model assign scores such that φ(h, r, t) > 0 and φ(h0, r0, t0) < 0. A scoring function is generally a function of (eh, er, et).

각 e ∈ E 및 r ∈ R에 대해 지식 정보 포함 (KGE) 모델은 ee ∈ Rde 및 er ∈ Rdr을 생성합니다. 여기서 ee와 er는 각각 de 및 dr 차원 벡터입니다. 각 임베딩 방법에는 점수 함수 φ가 있습니다. φ : E × R × E → R 일부 점수 φ (h, r, t)를 가능한 트리플 (h, r, t), h, t ∈ E 및 r에 할당합니다. ∈ R. 모델은 모든 정확한 트리플 (h, r, t) ∈ K 및 잘못된 트리플 (h0, r0, t0) ∈ / K에 대해 모델이 φ (h, r, t)와 같은 점수를 할당하는 방식으로 훈련됩니다. )> 0 및 φ (h0, r0, t0) <0. 스코어링 함수는 일반적으로 (eh, er, et)의 함수입니다.

3.3.1 ComplEx Embeddings

ComplEx (Trouillon et al., 2016) is a tensor factorization approach that embeds relations and entities in complex space. Given h, t ∈ E and r ∈ R, ComplEx generates eh, er, et ∈ Cd and defines a scoring function:

such that φ(h, r, t) > 0 for all true triples, and φ(h, r, t) < 0 for false triples. Re denotes the real part of a complex number.

ComplEx (Trouillon et al., 2016)는 복잡한 공간에 관계와 엔티티를 포함하는 텐서 분해 방식입니다. h, t ∈ E 및 r ∈ R이 주어지면 ComplEx는 eh, er, et ∈ Cd를 생성하고 점수 함수를 정의합니다.

모든 진정한 트리플의 경우 φ (h, r, t)> 0, 거짓 트리플의 경우 φ (h, r, t) <0이 됩니다. Re는 복소수의 실수 부분을 나타냅니다.

  1. EmbedKGQA: Proposed Method

In this section, we first define the problem of KGQA and then describe our model.

이 섹션에서는 먼저 KGQA의 문제를 정의한 다음 모델을 설명합니다.

4.1 Problem Statement

Let E and R be the set of all entities and relations respectively in a KG G, and K ⊆ E × R × E is the set of all available KG facts. The problem in KGQA involves, given a natural language question q and a topic entity eh ∈ E present in the question, the task is to extract an entity et ∈ E that correctly answers the question q.

E와 R을 각각 KG G에서 모든 엔티티와 관계의 집합으로, K ⊆ E × R × E는 사용 가능한 모든 KG 팩트의 집합입니다. KGQA의 문제는 자연어 질문 q와 질문에 있는 주제 엔티티 eh ∈ E가 주어졌을 때 질문 q에 올바르게 답하는 엔티티 et ∈ E를 추출하는 것입니다.

4.1.1 EmbedKGQA Overview

We work in a setting where there is no finegrained annotation present in the dataset, such as the question type or the exact logic reasoning steps. For example, co-actor is a combination of starred actor−1 and starred actor relations, but our model does not require this annotation.

EmbedKGQA uses Knowledge Graph embeddings to answer multi-hop natural language questions. First it learns a representation of the KG in an embedding space. Then given a question it learns a question embedding. Finally it combines these embedding to predict the answer.

질문 유형 또는 정확한 논리 추론 단계와 같이 데이터 세트에 세분화 된 주석이 없는 설정에서 작업합니다. 예를 들어, 공동 배우는 별표 표시된 배우-1과 별표 표시된 배우 관계의 조합이지만 우리 모델에는 이 주석이 필요하지 않습니다.

EmbedKGQA는 지식 정보 임베딩을 사용하여 멀티 홉 자연어 질문에 답합니다. 먼저 임베딩 공간에서 KG의 표현을 학습합니다. 그런 다음 질문이 주어지면 질문 임베딩을 배웁니다. 마지막으로 이러한 임베딩을 결합하여 답을 예측합니다.

In the following sections, we introduce the EmbedKGQA model. It consists of 3 modules:

  1. KG Embedding Module creates embeddings for all entities in the KG.
  2. Question Embedding Module finds the embedding of a question
  3. Answer Selection Module reduces the set of candidate answer entities and selects the final answer

다음 섹션에서는 EmbedKGQA 모델을 소개합니다. 3 개의 모듈로 구성됩니다.

  1. KG Embedding Module은 KG의 모든 엔티티에 대한 임베딩을 생성합니다.
  2. 질문 임베딩 모듈은 질문 임베딩을 찾습니다
  3. 답변 선택 모듈은 후보 답변 엔티티 집합을 줄이고 최종 답변을 선택합니다.

4.2 KG Embedding Module

ComplEx embeddings are trained for all h, t ∈ E and all r ∈ R in the KG such that eh, er, et ∈ Cd. The entity embeddings are used for learning a triple scoring function between the head entity, question, and answer entity. Based on the coverage of the KG entities in the QA training set, the entity embeddings learned here are either kept frozen or allowed to be fine-tuned in the subsequent steps.

ComplEx 임베딩은 KG의 모든 h, t ∈ E 및 모든 r ∈ R에 대해 eh, er, et ∈ Cd가되도록 훈련됩니다. 엔터티 임베딩은 헤드 엔터티, 질문 및 답변 엔터티 간의 트리플 스코어링 기능을 학습하는 데 사용됩니다. QA 교육 세트의 KG 엔터티 범위를 기반으로 여기에서 학습 한 엔터티 임베딩은 고정 된 상태로 유지되거나 후속 단계에서 미세 조정될 수 있습니다.

4.3 Question Embedding Module

This module embeds the natural language question q to a fixed dimension vector eq ∈ Cd. This is done using a feed-forward neural network that first embeds the question q using RoBERTa (Liu et al., 2019) into a 768-dimensional vector. This is then passed through 4 fully connected linear layers with ReLU activation and finally projected onto the complex space Cd.

Given a question q, topic entity h ∈ E and set of answer entities A ⊆ E, it learns the question embedding in a way such that

where φ is the ComplEx scoring function and ea, ea¯ are entity embeddings learnt in the previous step.

For each question, the score φ(.) is calculated with all the candidate answer entities a 0 ∈ E. The model is learned by minimizing the binary crossentropy loss between the sigmoid of the scores and the target labels, where the target label is 1 for the correct answers and 0 otherwise. Label smoothing is done when the total number of entities is large.

이 모듈은 자연어 질문 q를 고정 차원 벡터 eq ∈ Cd에 포함합니다. 이것은 RoBERTa (Liu et al., 2019)를 사용하여 질문 q를 768 차원 벡터에 삽입하는 피드 포워드 신경망을 사용하여 수행됩니다. 그런 다음 ReLU 활성화를 통해 4 개의 완전히 연결된 선형 레이어를 통과하여 마지막으로 복잡한 공간 Cd에 투영됩니다.

질문 q, 주제 엔티티 h ∈ E 및 답변 엔티티 세트 A ⊆ E가 주어지면 다음과 같은 방식으로 질문 임베딩을 학습합니다.

여기서 φ는 ComplEx 스코어링 함수이고 ea, ea¯는 이전 단계에서 학습한 엔티티 임베딩입니다.

각 질문에 대해 점수 φ (.)는 모든 후보 답변 엔터티 a 0 ∈ E로 계산됩니다. 모델은 점수의 시그 모이 드와 대상 레이블 사이의 이진 교차 엔트로피 손실을 최소화하여 학습됩니다. 여기서 대상 레이블은 1입니다. 정답은 0이고 그렇지 않으면 0입니다. 레이블 스무딩은 총 엔티티 수가 많을 때 수행됩니다.

4.4 Answer Selection Module

At inference, the model scores the (head, question) pair against all possible answers a 0 ∈ E. For relatively smaller KGs like MetaQA, we simply select the entity with the highest score.

However if the knowledge graph is large, pruning the candidate entities can significantly improve the performance of EmbedKGQA. The pruning strategy is described in the following section.

추론에서 모델은 가능한 모든 답변에 대해 0 ∈ E에 대해 (머리, 질문) 쌍의 점수를 매깁니다. MetaQA와 같이 상대적으로 작은 KG의 경우 점수가 가장 높은 개체를 선택하기만 하면 됩니다.

그러나 지식 그래프가 큰 경우 후보 엔티티를 정리하면 EmbedKGQA의 성능이 크게 향상 될 수 있습니다. 정리 전략은 다음 섹션에서 설명합니다.

4.4.1 Relation matching

Similar to PullNet (Sun et al., 2019a) we learn a scoring function S(r, q) which ranks each relation r ∈ R for a given question q. Let hr be the embedding of a relation r and q0 = (< s >, w1, .., w|q|, < /s >) be the sequence of words in question q which are input to RoBERTa. The scoring function is defined as the sigmoid of the dot product of the final output of the last hidden layer of RoBERTa (hq) and the embedding of relation r (hr).

Among all the relations, we select those relations which have score greater than 0.5 It is denoted as the set Ra. For each candidate entity a0 that we have obtained so far (Section 4.4), we find the relations in the shortest path between head entity h and a0. Let this set of relations be Ra0. Now the relation score for each candidate answer entity is defined as the size of their intersection.

We use a linear combination of the relation score and ComplEx score to find the answer entity.

where γ is a tunable hyperparameter.

PullNet (Sun et al., 2019a)과 유사하게 주어진 질문 q에 대해 각 관계 r ∈ R의 순위를 매기는 점수 함수 S (r, q)를 배웁니다. hr은 관계 r의 임베딩이고 q0 = (, w1, .., w | q |, )는 질문 q에서 RoBERTa에 입력되는 단어의 시퀀스라고 가정합니다. 스코어링 함수는 RoBERTa의 마지막 은닉층 (hq)의 최종 출력과 관계 r (hr)의 임베딩에 대한 내적의 시그모이드로 정의됩니다.

모든 관계 중에서 점수가 0.5보다 큰 관계를 선택합니다. 이를 집합 Ra로 표시합니다. 지금까지 얻은 각 후보 엔티티 a0 (4.4 절)에 대해 헤드 엔티티 h와 a0 사이의 최단 경로에서 관계를 찾습니다. 이 관계 집합을 Ra0이라고합니다. 이제 각 후보 답변 엔터티에 대한 관계 점수가 교차 크기로 정의됩니다.

관계 점수와 ComplEx 점수의 선형 조합을 사용하여 답변 엔터티를 찾습니다.

여기서 γ는 조정 가능한 하이퍼 파라미터입니다.

  1. Experimental Details

In this section, we first describe the datasets that we evaluated our method on, and then explain the experimental setup and the results.

이 섹션에서는 먼저 방법을 평가 한 데이터 세트를 설명한 다음 실험 설정과 결과를 설명합니다.

5.1 Datasets

  1. MetaQA (Zhang et al., 2018) dataset is a large scale multi-hop KGQA dataset with more than 400k questions in the movie domain. It has 1-hop, 2-hop, and 3-hop questions. In our experiments, we used the “vanilla” version of the questions. Along with the QA data, MetaQA also provides a KG with 135k triples, 43k entities, and nine relations.
  2. WebQuestionsSP (tau Yih et al., 2016) is a smaller QA dataset with 4,737 questions. The questions in this dataset are 1-hop and 2-hop questions and are answerable through Freebase KG. For ease of experimentation, we restrict the KB to be a subset of Freebase which contains all facts that are within 2-hops of any entity mentioned in the questions of WebQuestionsSP. We further prune it to contain only those relations that are mentioned in the dataset. This smaller KB has 1.8 million entities and 5.7 million triples.
  3. MetaQA (Zhang et al., 2018) 데이터 세트는 영화 영역에서 40 만 개 이상의 질문이 있는 대규모 멀티 홉 KGQA 데이터 세트입니다. 1 홉, 2 홉 및 3 홉 질문이 있습니다. 실험에서 우리는 질문의 “바닐라” 버전을 사용했습니다. QA 데이터와 함께 MetaQA는 또한 KG에 135k 트리플, 43k 엔티티 및 9 개의 관계를 제공합니다.
  4. WebQuestionsSP (tau Yih et al., 2016)는 4,737 개의 질문이있는 더 작은 QA 데이터 세트입니다. 이 데이터 세트의 질문은 1- 홉 및 2- 홉 질문이며 Freebase KG를 통해 답변 할 수 있습니다. 실험의 편의를 위해 KB는 WebQuestionsSP의 질문에 언급된 엔티티의 2-홉 내에 있는 모든 사실을 포함하는 Freebase의 하위 집합으로 제한합니다. 데이터 세트에 언급 된 관계만 포함하도록 추가로 정리합니다. 이 작은 KB에는 180 만 개의 항목과 570 만 개의 트리플이 있습니다.

5.2 Baselines

We compare our model with the Key-Value Memory Network (Miller et al., 2016), the GraftNet (Sun et al., 2018) and the Pullnet (Sun et al., 2019a) for WebQuestionsSP dataset. For MetaQA dataset we also compare with the VRN (Zhang et al., 2018). These methods implement multi-hop KGQA, and except VRN, use additional text corpus to mitigate the KG sparsity problem.

WebQuestionsSP 데이터 세트에 대한 모델을 Key-Value Memory Network (Miller et al., 2016), GraftNet (Sun et al., 2018) 및 Pullnet (Sun et al., 2019a)과 비교합니다. MetaQA 데이터 세트의 경우 VRN 과도 비교합니다 (Zhang et al., 2018). 이러한 방법은 다중 홉 KGQA를 구현하고 VRN을 제외하고 추가 텍스트 코퍼스를 사용하여 KG 희소성 문제를 완화합니다.

• VRN (Zhang et al., 2018) uses variational learning algorithm to perform Multi-Hop QA over KG.

• Key-Value Memory Network (KVMem) (Miller et al., 2016) is one of the first models that attempts to do QA over incomplete KBs by augmenting it with text. It maintains a memory table which stores KB facts and text encoded into key-value pairs and uses this for retrieval.

• GraftNet (Sun et al., 2018) uses heuristics to create a question-specific subgraph containing KG facts, entities and sentences from the text corpora and then uses a variant of graph CNN (Kipf and Welling, 2016) to perform reasoning over it.

• PullNet (Sun et al., 2019a) also creates a question-specific sub-graph but instead of using heuristics, it learns to “pull” facts and sentences from the data to create a more relevant sub-graph. It also uses a graph CNN approach to perform reasoning.

• VRN (Zhang et al., 2018)은 변형 학습 알고리즘을 사용하여 KG를 통해 Multi-Hop QA를 수행합니다.

• 키-값 메모리 네트워크 (KVMem) (Miller et al., 2016)는 텍스트를 추가하여 불완전한 KB에 대해 QA를 시도하는 최초의 모델 중 하나입니다. KB 팩트와 키-값 쌍으로 인코딩 된 텍스트를 저장하는 메모리 테이블을 유지하고 이를 검색에 사용합니다.

• GraftNet (Sun et al., 2018)은 휴리스틱스를 사용하여 텍스트 말뭉치의 KG 팩트, 엔티티 및 문장을 포함하는 질문별 하위 그래프를 만든 다음 그래프 CNN의 변형 (Kipf and Welling, 2016)을 사용하여 추론을 수행합니다.

• PullNet (Sun et al., 2019a)은 또한 질문별 하위 그래프를 생성하지만 휴리스틱을 사용하는 대신 데이터에서 사실과 문장을 “추출”하여 보다 관련성 있는 하위 그래프를 생성하는 방법을 배웁니다. 또한 추론을 수행하기 위해 그래프 CNN 접근 방식을 사용합니다.

The complete KG setting is the easiest setting for QA because the datasets are created in such a way that the answer always exists in the KG, and there is no missing link in the path. However, it is not a realistic setting, and the QA model should also be able to work on an incomplete KG. So we simulate an incomplete KB by randomly removing half of the triples in the KB (we randomly drop a fact with probability = 0.5). We call this setting KG-50 and we call full KG setting KG-Full in the text.

전체 KG 설정은 QA를 위한 가장 쉬운 설정입니다. 데이터 세트는 항상 KG에 답변이 존재하고 경로에 누락된 링크가 없는 방식으로 생성되기 때문입니다. 그러나 이것은 현실적인 설정이 아니며 QA 모델은 불완전한 KG에서도 작업 할 수 있어야합니다. 따라서 KB에서 트리플의 절반을 무작위로 제거하여 불완전한 KB를 시뮬레이션합니다 (확률 = 0.5로 사실을 무작위로 삭제합니다). 이 설정을 KG-50이라고 하고 텍스트에서 전체 KG 설정을 KG-Full이라고 합니다.

In the next section we will answer the following questions:

Q1. Can Knowledge Graph embeddings be used to perform multi-hop KGQA? (Section 5.3)
Q2. Can EmbedKGQA be used to answer questions when there is no direct path between the head entity and the answer entity? (Section 5.4)
Q3. How much does the answer selection module help in the final performance of our model? (Section 5.5)

다음 섹션에서 우리는 다음 질문에 답할 것입니다.

Q1. 지식 정보 임베딩을 사용하여 다중 홉 KGQA를 수행 할 수 있습니까? (섹션 5.3)
Q2. 헤드 엔터티와 답변 엔터티 사이에 직접적인 경로가 없는 경우 EmbedKGQA를 사용하여 질문에 대답 할 수 있습니까? (섹션 5.4)
Q3. 답변 선택 모듈은 모델의 최종 성능에 얼마나 도움이됩니까? (섹션 5.5)

5.3 KGQA results

In this section, we have compared our model with baseline models on MetaQA and WebQuestionsSP datasets.

이 섹션에서는 MetaQA 및 WebQuestionsSP 데이터 세트의 기준 모델과 모델을 비교했습니다.

5.3.1 Analysis on MetaQA

MetaQA has different partitions of the dataset for 1-hop, 2-hop, and 3-hop questions. In the full KG setting (MetaQA KG-Full) our model is comparable to the state-of-the-art for 2-hop questions and establishes the state-of-the-art for 3-hop questions. EmbedKGQA performs similar to the state-of-the in case of 1-hop question which is expected because the answer node is directly connected to the head node and it is able to learn the corresponding relation embedding from the question. On the other hand performance on 2-hop and 3-hop questions suggest that EmbedKGQA is able to infer the correct relation from the neighboring edges because the KG embeddings can model composition of relations. Pullnet and GraftNet also perform similarly well because the answer entity lies in the question sub-graph most of the times.

We have also tested our method on the incomplete KG setting, as explained in the previous section. Here we find that the accuracy of all baselines decreases significantly compared to the full KG setting, while EmbedKGQA achieves state-of-the-art performance. This is because MetaQA KG is fairly sparse, with only 135k triples for 43k entities. So when 50% of the triples are removed (as is done in MetaQA KG-50), the graph becomes very sparse with an average of only 1.66 links per entity node. This causes many head entity nodes of questions to have much longer paths (>3) to their answer node. Hence models that require question-specific sub-graph construction (GraftNet, PullNet) are unable to recall the answer entity in their generated sub-graph and therefore performs poorly. However, their performance improves only after including additional text corpora. On the other hand, EmbedKGQA does not limit itself to a sub-graph and utilizing the link prediction properties the KG embeddings, EmbedKGQA is able to infer the relation on missing links.

MetaQA에는 1- 홉, 2- 홉 및 3- 홉 질문에 대한 데이터 세트의 다른 파티션이 있습니다. 전체 KG 설정 (MetaQA KG-Full)에서 우리의 모델은 2 홉 질문에 대한 최신 기술과 유사하며 3 홉 질문에 대한 최신 기술을 설정합니다. EmbedKGQA는 응답 노드가 헤드 노드와 직접 연결되어 있기 때문에 예상되는 1-hop 질문의 경우 상태와 유사하게 수행되며 질문에서 임베딩되는 해당 관계를 학습 할 수 있습니다. 반면에 2 홉 및 3 홉 질문에 대한 성능은 KG 임베딩이 관계 구성을 모델링 할 수 있기 때문에 EmbedKGQA가 인접 에지에서 올바른 관계를 추론 할 수 있음을 시사합니다. 풀넷과 GraftNet은 대부분의 경우 답변 엔터티가 질문 하위 그래프에 있기 때문에 유사한 성능을 발휘합니다.

또한 이전 섹션에서 설명한대로 불완전한 KG 설정에서 방법을 테스트 했습니다. 여기에서 모든 기준선의 정확도는 전체 KG 설정에 비해 크게 감소하는 반면 EmbedKGQA는 최첨단 성능을 달성합니다. 이는 MetaQA KG가 43k 엔터티에 대해 135k 트리플만 있는 매우 드물기 때문입니다. 따라서 트리플의 50 %가 제거되면 (MetaQA KG-50 에서처럼) 그래프는 엔티티 노드 당 평균 1.66 개의 링크로 매우 희박 해집니다. 이로 인해 질문의 많은 헤드 엔터티 노드가 응답 노드까지 훨씬 더 긴 경로 (> 3)를 갖게됩니다. 따라서 질문 별 하위 그래프 구성 (GraftNet, PullNet)이 필요한 모델은 생성 된 하위 그래프에서 답변 엔터티를 회수 할 수 없으므로 성능이 저하됩니다. 그러나 추가 텍스트 말뭉치를 포함해야만 성능이 향상됩니다. 반면에 EmbedKGQA는 하위 그래프에 제한되지 않으며 KG 임베딩의 링크 예측 속성을 활용하여 누락 된 링크에 대한 관계를 추론 할 수 있습니다.

5.3.2 Analysis on WebQuestionsSP

WebQuestionsSP has a relatively small number of training examples but uses a large KG (Freebase) as background knowledge. This makes multi-hop KGQA much harder. Since all the entities of the KG are not covered in the training set, freezing the entity embeddings after learning them during KG embedding learning phase (Section 4.2) is necessary. Results on WebQuestionsSP (Table 3) highlight the fact that, even with a small number of training examples EmbedKGQA can learn good question embeddings that can infer the multi-hop path required to answer the questions.

Our method on WebQSP KG-50 outperforms all baselines including PullNet, which uses extra textual information and is the state-of-the-art model. Even though WebQuestionsSP has fewer questions, EmbedKGQA is able to learn good question embeddings that can infer mission links in KG. This can be attributed to the fact that relevant and necessary information is being captured through KG embeddings, implicitly.

WebQuestionsSP에는 상대적으로 적은 수의 교육 예제가 있지만 배경 지식으로 많은 KG (Freebase)를 사용합니다. 이것은 멀티 홉 KGQA를 훨씬 더 어렵게 만듭니다. KG의 모든 엔티티가 학습 세트에 포함되어 있지 않으므로 KG 임베딩 학습 단계 (섹션 4.2)에서 학습 한 후 엔티티 임베딩을 고정해야합니다. WebQuestionsSP (표 3)의 결과는 적은 수의 교육 예제로도 EmbedKGQA가 질문에 답하는 데 필요한 다중 홉 경로를 추론 할 수 있는 좋은 질문 임베딩을 학습 할 수 있다는 사실을 강조합니다.

WebQSP KG-50에 대한 우리의 방법은 추가 텍스트 정보를 사용하고 최첨단 모델 인 PullNet을 포함한 모든 기준을 능가합니다. WebQuestionsSP에는 질문이 적지만 EmbedKGQA는 KG에서 미션 링크를 추론 할 수 있는 좋은 질문 임베딩을 학습 할 수 있습니다. 이는 관련성 있고 필요한 정보가 KG 임베딩을 통해 암시 적으로 캡처되고 있다는 사실 때문일 수 있습니다.

5.4 QA on KG with missing links

State-of-the-art KGQA models like PullNet and GraftNet require a path between the head entity and the answer entity to be present in the Knowledge Graph to answer the question. For example, in PullNet, the answer is restricted to be one of the entities present in the extracted question subgraph. For the incomplete KG case where only 50% of the original triples are present, PullNet (Sun et al., 2019a) reports a recall of 0.544 on the MetaQA 1-hop dataset. This means that only for 54.4 percent of questions, all the answer entities are present in the extracted question subgraph, and this puts a hard limit on how many questions the model can answer in this setting.

EmbedKGQA, on the other hand, uses Knowledge Graph Embeddings rather than a localized sub-graph to answer the question. It uses the head embedding and question embedding, which implicitly captures the knowledge of all observed and unobserved links around the head node. This is possible because of the link prediction property of Knowledge Graph Embeddings.

PullNet 및 GraftNet과 같은 최첨단 KGQA 모델은 질문에 답하기 위해 지식 그래프에 존재하는 헤드 엔티티와 답변 엔티티 사이의 경로가 필요합니다. 예를 들어, PullNet에서 대답은 추출 된 질문 하위 그래프에 있는 엔티티 중 하나로 제한됩니다. 원래 트리플의 50 % 만 존재하는 불완전한 KG 케이스의 경우 PullNet (Sun et al., 2019a)은 MetaQA 1 홉 데이터 세트에서 0.544의 리콜을 보고합니다. 즉, 54.4 %의 질문에 대해서만 모든 답변 엔터티가 추출 된 질문 하위 그래프에 있으며 이 설정에서 모델이 답변 할 수 있는 질문 수에 대한 엄격한 제한이 적용됩니다.

반면 EmbedKGQA는 지역화 된 하위 그래프가 아닌 지식 정보 임베딩을 사용하여 질문에 답합니다. 헤드 노드 주변의 모든 관찰 및 관찰되지 않은 링크에 대한 지식을 암시 적으로 캡처하는 헤드 임베딩 및 질문 임베딩을 사용합니다. 이는 지식 정보 임베딩의 링크 예측 속성 때문에 가능합니다.

So unlike other QA systems, even if there is no path between the head and answer entity, our model should be able to answer the question if there is sufficient information in the KG to be able to predict that path (See Fig. 1).

We design an experiment to test this capability of our model. For all questions in the validation set of the MetaQA 1-hop dataset, we removed all the triples from the Knowledge Graph that can be directly used to answer the question. For example, given the question ‘what language is [PK] in’ in the validation set, we removed the triple (PK, in language, Hindi) from the KG. The dataset also contains paraphrases of the same question, for, e.g., ‘what language is the movie [PK] in’ and ‘what is the language spoken in the movie [PK]’. We also removed all paraphrases of validation set questions from the training dataset since we only want to evaluate the KG completion property of our model and not a linguistic generalization.

따라서 다른 QA 시스템과 달리 헤드와 응답 엔터티 사이에 경로가 없더라도 해당 경로를 예측할 수 있는 충분한 정보가 KG에 있으면 모델이 질문에 답할 수 있어야합니다 (그림 1 참조).

우리는 모델의이 기능을 테스트 하기 위한 실험을 설계합니다. MetaQA 1 홉 데이터 세트의 유효성 검사 세트에있는 모든 질문에 대해 질문에 직접 답변하는 데 사용할 수 있는 모든 트리플을 지식 정보에서 제거했습니다. 예를 들어 유효성 검사 세트의 ‘[PK]에 있는 언어는 무엇입니까?’라는 질문이 주어지면 KG에서 트리플 (PK, 언어, 힌디어)을 제거했습니다. 데이터 세트에는 ‘영화 [PK]의 언어는 무엇입니까?’ 및 ‘영화 [PK]의 언어는 무엇입니까?’와 같이 동일한 질문의 의역도 포함됩니다. 또한 언어 일반화가 아닌 모델의 KG 완료 속성만 평가하기를 원하기 때문에 학습 데이터 세트에서 검증 세트 질문의 모든 의역을 제거했습니다.

In such a setting, we expect models that rely only on sub-graph retrieval to achieve 0 hits@1. However, our model delivers a significantly better 29.9 hits@1 in this setting. This shows that our model can capture the KG completion property of ComplEx embeddings and apply it to answer questions which was otherwise impossible.

Further, if we know the relation corresponding to each question, then the problem of 1-hop KG QA is the same as KG completion in an incomplete Knowledge Graph. Using the same training KG as above and using the removed triples as the test set, we do tail prediction using KG embeddings. Here we obtain 20.1 hits@1. The lesser score can be attributed to the fact that ComplEx embedding uses only the KG while our model uses the QA data as well – which in itself represents knowledge. Our model is first trained on the KG and then uses these embeddings to train the QA model, and thus it can leverage the knowledge present in both the KG and QA data.

이러한 설정에서는 하위 그래프 검색에만 의존하는 모델이 0 hits @ 1을 달성 할 것으로 예상합니다. 그러나 우리 모델은 이 설정에서 훨씬 더 나은 29.9 hits @ 1을 제공합니다. 이것은 우리 모델이 ComplEx 임베딩의 KG 완성 속성을 캡처하고이를 적용하여 다른 방법으로는 불가능 했던 질문에 답할 수 있음을 보여줍니다.

또한 각 질문에 해당하는 관계를 안다면 1-hop KG QA의 문제는 불완전한 Knowledge Graph의 KG 완료와 동일합니다. 위와 동일한 훈련 KG를 사용하고 제거 된 트리플을 테스트 세트로 사용하여 KG 임베딩을 사용하여 꼬리 예측을 수행합니다. 여기서 우리는 20.1 hits @ 1을 얻습니다. 더 낮은 점수는 ComplEx 임베딩이 KG 만 사용하고 우리 모델도 QA 데이터를 사용한다는 사실 때문일 수 있습니다. 이는 그 자체로 지식을 나타냅니다. 우리 모델은 먼저 KG에서 학습 된 다음 이러한 임베딩을 사용하여 QA 모델을 학습하므로 KG 및 QA 데이터에있는 지식을 활용할 수 있습니다.

5.5 Effect of Answer Selection Module

We analyse the effect of the answer selection module (Section 4.4) on EmbedKGQA in the WebQuestionsSP dataset by ablating the relation matching module. Furthermore, in order to compare with other methods that restrict the answer to a neighbourhood in the KG (Sun et al. (2019a), Sun et al. (2018)), we experimented with restricting the candidate set of answer entities to only the 2-hop neighbourhood of the head entity. The results can be seen in Table 5. As we can see, relation matching has a significant impact on the performance of EmbedKGQA on both WebQSP KG-full and WebQSP KG-50 settings.

Also, as mentioned earlier, WebQSP KG (Freebase subset) has an order of magnitude more entities than MetaQA (1.8M versus 134k in MetaQA) and the number of possible answers is large. So reducing the set of answers to a 2-hop neighbourhood of the head entity showed improved performance in the case of WebQSP KG-Full. However, this caused a degradation in performance on WebQSP KG-50. This is because restricting the answer to a 2-hop neighbourhood on an incomplete KG may cause the answer to not be present in the candidates (Please refer figure 1).

In summary, we find that relation matching is an important part of EmbedKGQA. Morever, we suggest that n-hop filtering during answer selection may be included on top of EmbedKGQA for KGs which are reasonably complete.

우리는 WebQuestionsSP 데이터 셋에서 EmbedKGQA에 대한 응답 선택 모듈 (섹션 4.4)의 효과를 관계 매칭 모듈을 제거하여 분석합니다. 또한 KG (Sun et al. (2019a), Sun et al. (2018))의 이웃에 대한 답변을 제한하는 다른 방법과 비교하기 위해 후보 응답 엔터티 집합을 헤드 엔티티의 2 홉 이웃. 결과는 표 5에서 볼 수 있습니다. 우리가 볼 수 있듯이 관계 일치는 WebQSP KG-full 및 WebQSP KG-50 설정 모두에서 EmbedKGQA의 성능에 상당한 영향을 미칩니다.

또한 앞서 언급했듯이 WebQSP KG (Freebase 하위 집합)는 MetaQA (1.8M 대 MetaQA의 134k)보다 훨씬 많은 엔티티를 가지고 있으며 가능한 답변 수가 많습니다. 따라서 헤드 엔터티의 2 홉 이웃에 대한 응답 집합을 줄이면 WebQSP KG-Full의 경우 성능이 향상 되었습니다. 그러나 이로 인해 WebQSP KG-50의 성능이 저하 되었습니다. 이는 불완전한 KG에서 2 홉 이웃으로 답변을 제한하면 후보자에 답변이 표시되지 않을 수 있기 때문입니다 (그림 1 참조).

요약하면 관계 매칭이 EmbedKGQA의 중요한 부분임을 알 수 있습니다. 또한 응답 선택 중 n-hop 필터링이 합리적으로 완료된 KG에 대한 EmbedKGQA 위에 포함될 수 있음을 제안합니다.

  1. Conclusion

In this paper, we propose EmbedKGQA, a novel method for Multi-hop KGQA. KGs are often incomplete and sparse which poses additional challenges for multi-hop KGQA methods. Recent recent for this problem have tried to address the incompleteness problem by utilizing an additional text corpus. However, the availability of a relevant text corpus is often limited, thereby reducing broad-coverage applicability of such methods. In a separate line of research, KG embedding methods have been proposed to reduce KG sparsity by performing missing link prediction. EmbedKGQA utilizes the link prediction properties of KG embeddings to mitigate the KG incompleteness problem without using any additional data. It trains the KG entity embeddings and uses it to learn question embeddings, and during the evaluation, it scores (head entity, question) pair again all entities, and the highest-scoring entity is selected as an answer. EmbedKGQA also overcomes the shortcomings due to limited neighborhood size constraint imposed by existing multi-hop KGQA methods. EmbedKGQA achieves state-of-the-art performance in multiple KGQA settings, suggesting that the link prediction properties of KG embeddings can be utilized to mitigate the KG incompleteness problem in Multi-hop KGQA.

본 논문에서는 새로운 Multi-hop KGQA 방법 인 EmbedKGQA를 제안한다. KG는 종종 불완전하고 희박하여 다중 홉 KGQA 방법에 대한 추가 문제를 제기합니다. 최근이 문제에 대해 추가 텍스트 코퍼스를 활용하여 불완전성 문제를 해결하려고 시도했습니다. 그러나 관련 텍스트 코퍼스의 가용성은 종종 제한되어 이러한 방법의 광범위한 적용 가능성을 감소시킵니다. 별도의 연구에서 누락 된 링크 예측을 수행하여 KG 희소성을 줄이기 위해 KG 임베딩 방법이 제안되었습니다. EmbedKGQA는 KG 임베딩의 링크 예측 속성을 활용하여 추가 데이터를 사용하지 않고도 KG 불완전성 문제를 완화합니다. KG 엔터티 임베딩을 훈련하고 이를 사용하여 질문 임베딩을 학습하고 평가하는 동안 모든 엔터티에 다시 점수 (헤드 엔터티, 질문) 쌍을 채점하고 가장 높은 점수를 받은 엔터티를 답변으로 선택합니다. EmbedKGQA는 또한 기존 다중 홉 KGQA 방법에 의해 부과된 제한된 이웃 크기 제약으로 인한 단점을 극복합니다. EmbedKGQA는 다중 KGQA 설정에서 최첨단 성능을 달성하여 KG 임베딩의 링크 예측 속성을 활용하여 다중 홉 KGQA의 KG 불완전성 문제를 완화 할 수 있음을 시사합니다.

[끝]

댓글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중