[논문읽기] Sentence and Word Embedding in KG (2018)

Sentence and Word Embedding Employed in Open Question-Answering (2018)

Marek Medved and Aleš Horák

https://www.scitepress.org/papers/2018/65959/65959.pdf

Abstract:

The Automatic Question Answering, or AQA, system is a representative of open domain QA systems, where the answer selection process leans on syntactic and semantic similarities between the question and the answering text snippets. Such approach is specifically oriented to languages with fine grained syntactic and morphologic features that help to guide the correct QA match. In this paper, we present the latest results of the AQA system with new word embedding criteria implementation. All AQA processing steps (question processing, answer selection and answer extraction) are syntax-based with advanced scoring obtained by a combination of several similarity criteria (TF-IDF, tree distance, …). Adding the word embedding parameters helped to resolve the QA match in cases, where the answer is expressed by semantically near equivalents. We describe the design and implementation of the whole QA process and provide a new evaluation of the AQA system with the word embedding criteria measured with an expanded version of Simple Question-Answering Database, or SQAD, with more than 3,000 question-answer pairs extracted from the Czech Wikipedia.

자동 질문 응답 (AQA) 시스템은 오픈 도메인 QA 시스템을 대표하며, 답변 선택 프로세스는 질문과 답변 텍스트 스니펫 간의 구문 및 의미상 유사성에 의존합니다. 이러한 접근 방식은 정확한 QA 일치를 안내하는 데 도움이 되는 세밀한 구문 및 형태학적 기능을 가진 언어에 특히 적합합니다. 이 백서에서는 새로운 단어 임베딩 기준 구현과 함께 AQA 시스템의 최신 결과를 제시합니다. 모든 AQA 처리 단계 (질문 처리, 답변 선택 및 답변 추출)는 여러 유사성 기준 (TF-IDF, 트리 거리 등)의 조합으로 얻은 고급 점수를 사용하여 구문 기반입니다. 단어 임베딩 매개 변수를 추가하면 대답이 의미적으로 거의 동등한 것으로 표현되는 경우 QA 일치를 해결하는 데 도움이 되었습니다. 전체 QA 프로세스의 설계 및 구현을 설명하고 확장된 버전의 Simple Question-Answering Database (SQAD)로 측정된 단어 임베딩 기준으로 AQA 시스템에 대한 새로운 평가를 제공합니다. 체코 위키 백과에서 추출된 3000 개 이상의 질의응답 쌍으로.

Keywords: Question Answering, Word Embedding, Word2vec, AQA, Simple Question Answering Database, SQAD.

  1. INTRODUCTION

Open domain question answering (QA) systems do not pose any limit on the content of the question, they rather aim to serve as “next generation” search systems (Etzioni, 2011). The capabilities of QA systems are, of course, limited by their actual information source – either a (form of a) knowledge base or a (set of) text document(s)/corpora. A knowledge base is formed by structured data that contain additional information which is added by either manual or automatic annotation. Known representatives of this group are Knowledge Graph (Singhal, 2012), DBpedia (Lehmann et al., 2015) and WikiQA (Yang et al., 2015). A QA text corpus comprises generally plain text data (possibly with linguistic annotations of words) separated to questions and answers (see e.g. SQuAD (Rajpurkar et al., 2016)). Such text corpus usually first needs to be processed by text mining techniques to obtain all available information from the text to be able to build an underlying (structured) data source containing all candidate answers.

Most of the recent QA systems in both categories (Fader et al., 2014; Sun et al., 2015; Yih et al., 2014; Xiong et al., 2017; Wang et al., 2017) are based on data resources related to the mainstream languages, usually English. They offer the best coverage of questioned topics – either in the form of large curated knowledge bases or huge corpora (Pomikálek et al., 2012) offering invaluable statistics on multiword contexts and computational semantics models. However, the dependence on such resources means that the system capabilities are not fully transferable to less-resourced languages without a substantial decrease in the final system accuracy.

오픈 도메인 질문 응답 (QA) 시스템은 질문의 내용에 제한을 두지 않고 오히려 “차세대” 검색 시스템 역할을 하는 것을 목표로합니다 (Etzioni, 2011). 물론 QA 시스템의 기능은 실제 정보 소스에 의해 제한됩니다. (a 형식의) 지식 기반 또는 (세트의) 텍스트 문서 / 말뭉치입니다. 지식 기반은 수동 또는 자동 주석으로 추가되는 추가 정보를 포함하는 구조화 된 데이터로 구성됩니다. 이 그룹의 알려진 대표자는 Knowledge Graph (Singhal, 2012), DBpedia (Lehmann et al., 2015) 및 WikiQA (Yang et al., 2015)입니다. QA 텍스트 코퍼스는 일반적으로 질문과 답변으로 분리된 일반 텍스트 데이터 (단어의 언어 주석 포함)로 구성됩니다 (예 : SQuAD (Rajpurkar et al., 2016) 참조). 이러한 텍스트 코퍼스는 일반적으로 모든 후보 답변을 포함하는 기본 (구조화 된) 데이터 소스를 구축할 수 있도록 텍스트에서 사용 가능한 모든 정보를 얻기 위해 텍스트 마이닝 기술로 먼저 처리 되어야합니다.

두 범주 (Fader et al., 2014; Sun et al., 2015; Yih et al., 2014; Xiong et al., 2017; Wang et al., 2017)의 대부분의 최근 QA 시스템은 데이터 리소스를 기반으로합니다. 주류 언어, 일반적으로 영어와 관련이 있습니다. 이들은 대규모 큐레이팅 된 지식 기반 또는 거대한 말뭉치 (Pomikálek et al., 2012)의 형태로 질문 주제에 대한 최상의 범위를 제공하여 다중 단어 컨텍스트 및 계산 의미론 모델에 대한 귀중한 통계를 제공합니다. 그러나 이러한 리소스에 대한 의존성은 최종 시스템 정확도를 크게 떨어 뜨리지 않으면 시스템 기능을 리소스가 부족한 언어로 완전히 이전할 수 없음을 의미합니다.

In the following text, we present the details of a new version of question answering system named AQA (Automatic Question Answering) (Medved’ and Horák, 2016), which was designed for languages that have the advantage (in this case) of rich flectional and morphological structures providing extra guidance for question-answer selection. AQA introduces new techniques that aim to improve QA over these less-resourced languages. The system is developed currently for the Czech language, but the employed syntax-based techniques apply to many other morphologically rich languages, e.g. most languages from the Slavonic language family.

In this paper, we describe the design and implementation of the whole QA process of the AQA system and provide an evaluation of applying new criteria for the answer selection and extraction based on word embeddings. We also present a new version of QA evaluation database SQAD (Simple QuestionAnswering Database (Horák and Medved’, 2014)) with more than 3,000 question-answer pairs extracted from the Czech Wikipedia. In this version, the underlying texts were expanded to full texts of the respective Wikipedia articles reaching 6 million tokens. The previous version contained reduced answer contexts with about 280,000 tokens. The expanded SQAD dataset is then used for evaluation of the new AQA features.

다음 텍스트에서는 AQA (Automatic Question Answering) (Medved ‘and Horák, 2016)라는 새로운 버전의 질문 응답 시스템에 대한 세부 정보를 제공합니다. 질문-답변 선택을 위한 추가 지침을 제공하는 형태학적 구조. AQA는 리소스가 부족한 언어에 대해 QA를 개선하는 것을 목표로 하는 새로운 기술을 도입합니다. 이 시스템은 현재 체코어용으로 개발되었지만 사용된 구문 기반 기술은 다른 많은 형태학적으로 풍부한 언어에 적용됩니다. 슬라브어 계열의 대부분의 언어.

이 논문에서는 AQA 시스템의 전체 QA 프로세스의 설계 및 구현에 대해 설명하고 단어 임베딩을 기반으로 한 답변 선택 및 추출에 대한 새로운 기준을 적용하는 평가를 제공합니다. 또한 체코 Wikipedia에서 추출한 3,000 개 이상의 질문-답변 쌍이 포함된 새 버전의 QA 평가 데이터베이스 SQAD (Simple QuestionAnswering Database (Horák and Medved, 2014))를 제공합니다. 이 버전에서 기본 텍스트는 600 만 토큰에 달하는 각 Wikipedia 기사의 전체 텍스트로 확장되었습니다. 이전 버전에는 약 280,000 개의 토큰이 있는 축소된 답변 컨텍스트가 포함되었습니다. 확장된 SQAD 데이터 세트는 새로운 AQA 기능의 평가에 사용됩니다.

  1. THE AQA QUESTION-ANSWERING SYSTEM

In the following text we describe the AQA system modules that are employed in extracting a concrete answer to a given question. We mainly focus on the Answer selection module where the word and sentence embedding features are exploited.

다음 텍스트에서는 주어진 질문에 대한 구체적인 답을 추출하는 데 사용되는 AQA 시스템 모듈을 설명합니다. 우리는 주로 단어 및 문장 임베딩 기능을 이용하는 답변 선택 모듈에 중점을 둡니다.

2.1 Question Processor

The first phase in the QA processing by the AQA system is denoted as the Question processor (see Figure 2). First, the input texts (both the question and candidate answers) are processed by the Czech morphological analyser Majka (Šmerk, 2009; Jakubícek et al., 2011) and disambiguated by the DESAMB tagger (Šmerk, 2010). An example of a question enriched by lexical and morphological information is presented in Figure 1.

In further processing, several question features are extracted from the text – the question syntactic tree (using the SET parser (Kováˇr et al., 2011)), the question type, the question main verb/subject, named entities, birth/death dates and birth/death places1 (following the structure of the question syntactic tree, see Figure 3).

The SET parsing process is based on pattern matching rules for link extraction with probabilistic tree construction. For the purposes of the AQA system, the original SET grammar was supplemented by special rules for question type recognition.

AQA 시스템에 의한 QA 처리의 첫 번째 단계는 질문 프로세서로 표시됩니다 (그림 2 참조). 첫째, 입력 텍스트 (질문 및 후보 답변 모두)는 체코 형태 분석기 Majka (Šmerk, 2009; Jakubícek et al., 2011)에 의해 처리되고 DESAMB tagger (Šmerk, 2010)에 의해 명확 해집니다. 어휘 및 형태 학적 정보가 풍부한 질문의 예가 ​​그림 1에 나와 있습니다.

추가 처리 과정에서 몇 가지 질문 기능이 텍스트에서 추출됩니다. 즉, 질문 구문 트리 (SET 파서 (Kováˇr et al., 2011) 사용), 질문 유형, 질문 주동사 / 주제, 명명 된 엔터티, 생년월일 / 사망일 및 출생 / 사망 장소 1 (질문 구문 트리의 구조에 따라 그림 3 참조).

SET 구문 분석 프로세스는 확률적 트리 구성으로 링크 추출을 위한 패턴 일치 규칙을 기반으로합니다. AQA 시스템의 목적을 위해 원래의 SET 문법은 질문 유형 인식을 위한 특수 규칙으로 보완되었습니다.

The question processor of the AQA system recognizes these question types:

• Functional word questions are all non Wh* questions that usually start with verb.
• When questions focus on an exact time or a time span.
• Where questions focus on a place.
• Which questions where the focus lies on the noun phrase following the “Which” word.
• Who questions ask about some entity.
• Why questions want to find out the reason or explanation.
• How questions ask for explanation or number (“how much/many”).
• What questions for general questions.

• 기능적 단어 질문은 일반적으로 동사로 시작하는 모든 비 Wh * 질문입니다.
• 질문이 정확한 시간 또는 시간 범위에 초점을 맞출 때.
• 질문이 한 장소에 집중되는 곳
• “Which”단어 다음에 나오는 명사구에 초점이있는 질문.
• 어떤 개체에 대해 질문하는 사람.
• 질문이 이유 또는 설명을 찾고자하는 이유.
• 질문에서 설명 또는 번호를 묻는 방법 ( “얼마나 많이”).
• 일반적인 질문에 대한 질문.

The answer scoring methods employ named entity recognition (NER) to be able to match the respective questioned entity types with factual data in the underlying texts. The AQA system recognizes three named entity types: a place, an agent and an art work. In the current version, AQA uses the Stanford Named Entity Recognizer (Finkel et al., 2005) with a model trained on the Czech Named Entity Corpus 1.1 (Ševcíková et al., 2014) and the Czech DBpedia data.

These features are essential in the answer selection and extraction parts.

답변 채점 방법은 명명 된 개체 인식 (NER)을 사용하여 각 질문 된 개체 유형을 기본 텍스트의 사실 데이터와 일치시킬 수 있습니다. AQA 시스템은 장소, 에이전트 및 예술 작품의 세 가지 명명된 엔티티 유형을 인식합니다. 현재 버전에서 AQA는 Czech Named Entity Corpus 1.1 (Ševcíková et al., 2014) 및 Czech DBpedia 데이터에 대해 학습 된 모델과 함께 Stanford Named Entity Recognizer (Finkel et al., 2005)를 사용합니다.

이러한 기능은 답변 선택 및 추출 부분에서 필수적입니다.

2.2 Answer Selection

In this section, we describe the exploitation of the word and sentence embeddings approach used to extract a correct sentence(s) from the knowledge base. The decision process uses a list of sentences ordered by the resulting confidence score denoting the probability of a successful match between the question and the sentence answer. The score is computed as a weighted sum of attribute similarities between the question and the answer.

The extraction of a possible answer sentence is divided into two steps:

이 섹션에서는 지식 기반에서 올바른 문장을 추출하는 데 사용되는 단어 및 문장 임베딩 접근 방식의 활용에 대해 설명합니다. 결정 프로세스는 질문과 문장 대답 사이의 성공적인 일치 가능성을 나타내는 결과 신뢰도 점수에 따라 정렬 된 문장 목록을 사용합니다. 점수는 질문과 답변 사이의 속성 유사성의 가중 합계로 계산됩니다.

가능한 답변 문장의 추출은 두 단계로 나뉩니다.

• Document Selection:

after the system has obtained all the possible pieces of information about the question, it can focus on the selection of the best answering document among all the documents in the database. For this process, we employ the TF-IDF implementation from the gensim library (Reh˚urek and Sojka, 2010). The system creates a similarity matrix among all documents in the database (document term matrix). The most promising document is then selected by cosine distance between the question and the best document from the similarity matrix.

시스템이 질문에 대해 가능한 모든 정보를 얻은 후에는 데이터베이스의 모든 문서 중에서 최상의 답변 문서를 선택하는 데 집중할 수 있습니다. 이 프로세스를 위해 gensim 라이브러리의 TF-IDF 구현을 사용합니다 (Reh˚urek 및 Sojka, 2010). 시스템은 데이터베이스의 모든 문서간에 유사성 매트릭스를 생성합니다 (문서 용어 매트릭스). 가장 유망한 문서는 질문과 유사성 매트릭스에서 가장 좋은 문서 사이의 코사인 거리로 선택됩니다.

• Answer Sentence Selection:

for this subtask, we have implemented two sentence similarity scoring computation methods based on the gensim modules of the word embedding Word2Vec technique (Mikolov et al., 2013) and the phrase embedding Doc2Vec technique (Le and Mikolov, 2014). The sentence similarity scoring distances then help to order all possible answer sentences. Doc2Vec (document/sentence embeddings) modifies the word2vec algorithm to unsupervised learning of continuous representations for larger blocks of text, such as sentences, paragraphs or entire documents. The Doc2Vec module was used to train a model of sentence vector space where each sentence is represented by one vector. Before the training, the sentences are lemmatized (each word is substituted by its base form) and stop-words3 are removed.

이 하위 작업을 위해 Word2Vec 기술 (Mikolov et al., 2013)을 포함하는 단어의 gensim 모듈과 Doc2Vec 기술 (Le and Mikolov, 2014)을 포함하는 구문의 gensim 모듈을 기반으로 두 가지 문장 유사성 점수 계산 방법을 구현했습니다. 그런 다음 문장 유사성 점수 거리는 가능한 모든 대답 문장을 정렬하는 데 도움이됩니다. Doc2Vec (문서 / 문장 임베딩)은 word2vec 알고리즘을 문장, 단락 또는 전체 문서와 같은 더 큰 텍스트 블록에 대한 연속 표현의 비지도 학습으로 수정합니다. Doc2Vec 모듈은 각 문장이 하나의 벡터로 표현되는 문장 벡터 공간 모델을 학습하는 데 사용되었습니다. 훈련 전에 문장이 정리되고 (각 단어가 기본 형식으로 대체 됨) 불용어 3가 제거됩니다.

The final Doc2Vec module compares the embedding vector of the question (also lemmatized and filtered by the stop-word list) to all candidate sentence embedding vectors to identify the best answer sentence. However, according to the evaluation results, this method was not the most accurate.

The second method is based on a combination of individual word embeddings (by Word2Vec) based on syntactic structure of the respective sentence. The vector space model in this case is trained with all words in the documents except stop-words. These sentence scores are then computed by the following steps:

최종 Doc2Vec 모듈은 질문의 임베딩 벡터 (불용어 목록으로 분류되고 필터링 됨)를 모든 후보 문장 임베딩 벡터와 비교하여 베스트 답변 문장을 식별합니다. 그러나 평가 결과에 따르면 이 방법은 가장 정확하지 않았습니다.

두 번째 방법은 각 문장의 구문 구조를 기반으로하는 개별 단어 임베딩 (Word2Vec)의 조합을 기반으로합니다. 이 경우 벡터 공간 모델은 불용어를 제외한 문서의 모든 단어로 학습됩니다. 이러한 문장 점수는 다음 단계에 따라 계산됩니다.

a) for each phrase in the sentence and the question create a phrase vector by sum of its word-vector representations (example in Figure 4),
b) for each question phrase calculate the cosine similarity with each answer phrase and find the maximal cosine similarity value (illustration in Figure 5),
c) the average of the maximal cosine similarities between question and answer phrases forms the final sentence score.

a) 문장의 각 구문과 질문에 대해 단어-벡터 표현의 합계로 구문 벡터를 생성합니다 (그림 4의 예).
b) 각 질문 구문에 대해 각 답변 구문과의 코사인 유사성을 계산하고 최대 코사인 유사성 값을 찾습니다 (그림 5의 그림).
c) 질문과 답변 구문 사이의 최대 코사인 유사성의 평균이 최종 문장 점수를 형성합니다.

In the final step, the sentence similarity score is combined with tree distance score which computes tree distance mappings between each words pair in question-answer noun phrases. The system resulting score identifies the best scored sentence as the most probable sentence containing the answer.

To the best of our knowledge this approach of transformation of word vectors and syntactic structure into a phrase vector representation has never been introduced in previous work. According to the evaluation (see Section 3), this method outperforms the Doc2Vec approach.

마지막 단계에서 문장 유사성 점수는 질문-답변 명사 구에서 각 단어 쌍 사이의 나무 거리 매핑을 계산하는 나무 거리 점수와 결합됩니다. 시스템 결과 점수는 가장 점수가 높은 문장을 답변이 포함 된 가장 가능성있는 문장으로 식별합니다.

우리가 아는 한, 단어 벡터와 구문 구조를 구문 벡터 표현으로 변환하는 이러한 접근 방식은 이전 작업에서 소개 된 적이 없습니다. 평가 (섹션 3 참조)에 따르면이 방법은 Doc2Vec 접근 방식을 능가합니다.

2.3 The Answer Extraction Module

The final step of the AQA processing is accomplished by the Answer extraction module where a particular part of each sentence is extracted and declared as the final answer. This part of the system works on the best scored candidate answer sentences that were picked up by the Answer selection module.

The final answer for the asked question is extracted according to the following three factors:

AQA 처리의 마지막 단계는 각 문장의 특정 부분을 추출하여 최종 답변으로 선언하는 답변 추출 모듈에 의해 수행됩니다. 시스템의이 부분은 답변 선택 모듈에서 선택한 최고 점수의 후보 답변 문장에서 작동합니다.

질문에 대한 최종 답변은 다음 세 가지 요소에 따라 추출됩니다.

• Answer Named Entities:

within the knowledge base creation process, AQA extracts the supported named entities of three types, i.e. Place, Agent and ArtWork. The Answer extraction module then maps the question focus to the extracted answer named entities. In this process, AQA also excludes named entities that are present in the question to avoid an incorrect answer. This is the first attempt to get a concrete answer.

지식 기반 생성 프로세스 내에서 AQA는 지원되는 세 가지 유형 (예 : Place, Agent 및 ArtWork)의 명명 된 엔티티를 추출합니다. 그런 다음 답변 추출 모듈은 질문 포커스를 엔티티라는 추출 된 답변에 매핑합니다. 이 프로세스에서 AQA는 오답을 피하기 위해 질문에있는 명명된 엔티티도 제외합니다. 이것은 구체적인 답을 얻기위한 첫번째 시도입니다.

• Answer Numeric Quantity:

as a special case of named entity, numeric quantities are identified in the answer texts and serve as the extracted answer for question classes that require (or allow) numeric result.

명명 된 엔터티의 특별한 경우로 숫자 수량은 답변 텍스트에서 식별되며 숫자 결과를 요구 (또는 허용)하는 질문 클래스에 대해 추출 된 답변 역할을합니다.

• Answer Noun Phrases:

in case the previous step fails to find an answer, the system selects one phrase from the phrase list as the answer according to the Question focus.

이전 단계에서 답을 찾지 못한 경우 시스템은 질문 포커스에 따라 구문 목록에서 하나의 구문을 답으로 선택합니다.

  1. EVALUATION

Within the evaluation process, we have used both the SQAD v1.0 database (Horák and Medved’, 2014) and its new expanded version, denoted as SQAD v1.1. Both SQAD versions contain the same number of 3,301 entries of a question, the answer to this question and the answer text. The previous version used a rather small set of answer sentences as the knowledge database for the answer selection process, the answer sentences were chosen as the minimal context from which the answer can be derived. The current expanded version v1.1 uses the whole set of Wikipedia documents used in the SQAD preparation phase rather than just the closest-context paragraphs that have been used in SQAD v1.0. The SQAD knowledge database, which is searched in the answer selection process, has thus been substantially enlarged – see the statistics of sentence and token numbers in Table 3.

In the evaluation, the AQA knowledge database was built from all the answer texts from SQAD, and all 3,301 questions were answered by the AQA system. There are three possible types of a match between the AQA answer and the expected answer:

평가 프로세스 내에서 SQAD v1.0 데이터베이스 (Horák and Medved ‘, 2014)와 SQAD v1.1로 표시된 새로운 확장 버전을 모두 사용했습니다. 두 SQAD 버전 모두 동일한 수의 질문 3,301 개 항목,이 질문에 대한 답변 및 답변 텍스트를 포함합니다. 이전 버전에서는 답변 선택 과정을 위한 지식 데이터베이스로 다소 작은 답변 문장 세트를 사용했으며, 답변을 도출 할 수 있는 최소한의 컨텍스트로 답변 문장을 선택했습니다. 현재 확장 된 버전 v1.1은 SQAD v1.0에서 사용 된 가장 가까운 컨텍스트 단락이 아니라 SQAD 준비 단계에서 사용된 전체 Wikipedia 문서 세트를 사용합니다. 답 선택 과정에서 검색되는 SQAD 지식 데이터베이스가 크게 확대되었습니다. 표 3의 문장 및 토큰 번호 통계를 참조하십시오.

평가에서 AQA 지식 데이터베이스는 SQAD의 모든 답변 텍스트로 구축되었으며 3,301 개 질문 모두 AQA 시스템에 의해 답변되었습니다. AQA 답변과 예상 답변 사이에는 세 가지 가능한 일치 유형이 있습니다.

• a (full) Match – the first provided answer is equal to the expected answer;
• a Partial match – the provided answer is not an exact phrase match, some words are either missing or redundant;
• a Mismatch – incorrect or no answer produced.

• 처음 제공된 답변이 예상 답변과 동일합니다.
• 제공된 답변이 정확한 구문 일치가 아니며 일부 단어가 누락되었거나 중복됩니다.
• 부정확하거나 답변이 없습니다.

For the results on the original SQAD v1.0 database see Table 2, for the results on expanded SQAD v1.1 database see Table 1a). The SQAD v1.0 results are presented for a comparison with the best evaluation published in (Medved’ and Horák, 2016). The number of correct answers using the current method has increased by 9.63 %. In the evaluation of the expanded SQAD 1.1, the system has to identify the answer sentence in a much larger number of sentences (60× more), which is the main reason for a lower proportion of correct answers (38 %) in this case.

The presented best results are based on the second method using sentence scores obtained by syntax motivated combinations of word embeddings (see Section 2.2). As a comparison, the Table 1b) shows the same evaluation of the system using the Doc2Vec method. We can see that in same settings our syntax motivated approach outperforms the Doc2Vec approach by 11.57 % in the full match category.

원본 SQAD v1.0 데이터베이스의 결과는 표 2를 참조하고 확장 된 SQAD v1.1 데이터베이스의 결과는 표 1a를 참조하십시오. SQAD v1.0 결과는 (Medved’and Horák, 2016)에 게시된 최고 평가와 비교하기 위해 제공됩니다. 현행법을 이용한 정답 수가 9.63 % 증가했습니다. 확장 된 SQAD 1.1의 평가에서 시스템은 훨씬 많은 수의 문장 (60 배 이상)에서 정답 문장을 식별해야하는데, 이는이 경우 정답 비율 (38 %)이 낮은 주된 이유입니다.

제시된 최상의 결과는 단어 임베딩의 구문 동기 조합으로 얻은 문장 점수를 사용하는 두 번째 방법을 기반으로합니다 (섹션 2.2 참조). 비교로 표 1b)는 Doc2Vec 방법을 사용한 동일한 시스템 평가를 보여줍니다. 동일한 설정에서 구문 동기 접근 방식이 전체 일치 범주에서 Doc2Vec 접근 방식보다 11.57 % 우수한 성능을 보입니다.

  1. CONCLUSIONS AND FUTURE DIRECTIONS

In this paper, we have presented the latest development of the AQA syntax-based question answering system which introduces new techniques for lessresourced languages based on rich flectional and morphological structures.

We have performed an evaluation of two approaches to exploitation of sentence vector representations, or sentence embeddings, within the answer selection part of the QA process.

The results show that our syntax motivated approach using Word2Vec phrasal combinations outperforms the general Doc2Vec model by 11.6 % and show that the embeddings based on syntax knowledge are more adequate for syntactically rich languages.

We have also presented a new expanded version of the Simple Question-Answering Database (SQAD v1.1), which now includes 6 million tokens of underlying texts formed by full Wikipedia documents related to the set of questions. The current version of AQA is evaluated both with the SQAD v1.0 and the expanded SQAD v1.1 for comparison showing an expected but not radical decrease from 49 % to 38 % while searching through 60× larger knowledge base.

For future work, we plan to incorporate more techniques for flectional and morphologically rich languages into AQA to improve question-answer selection.

이 논문에서는 풍부한 flectional 및 morphological 구조를 기반으로 자원이 부족한 언어에 대한 새로운 기술을 소개하는 AQA 구문 기반 질문 응답 시스템의 최신 개발을 제시했습니다.

우리는 QA 프로세스의 답변 선택 부분 내에서 문장 벡터 표현 또는 문장 임베딩의 활용에 대한 두 가지 접근 방식을 평가했습니다.

결과는 Word2Vec 구문 조합을 사용한 구문 동기 접근 방식이 일반 Doc2Vec 모델보다 11.6 % 성능이 뛰어나고 구문 지식을 기반으로 한 임베딩이 구문이 풍부한 언어에 더 적합하다는 것을 보여줍니다.

또한 SQAD v1.1 (Simple Question-Answering Database)의 새로운 확장 버전을 발표했습니다. 여기에는 질문 세트와 관련된 전체 Wikipedia 문서로 구성된 6 백만 개의 기본 텍스트 토큰이 포함되어 있습니다. AQA의 현재 버전은 SQAD v1.0 및 확장 된 SQAD v1.1 모두에서 평가되어 60 배 더 큰 지식 기반을 검색하는 동안 예상되지만 급격한 감소가 49 %에서 38 %로 감소하지 않습니다.

향후 작업을 위해 우리는 질문-답변 선택을 개선하기 위해 편향적이고 형태 학적으로 풍부한 언어에 대한 더 많은 기술을 AQA에 통합 할 계획입니다.

[끝]

댓글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중