\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
%%%%\usepackage{colortbl,array,xcolor}
    \usepackage{colortbl,xcolor}
%%%%\usepackage{graphicx}
\usepackage{pifont}
%%%%\usepackage{tablefootnote}
\usepackage{listings,jvlisting,jlisting} 
\lstset{
  basicstyle={\ttfamily},
  identifierstyle={\small},
  commentstyle={\smallitshape},
  keywordstyle={\small\bfseries},
  ndkeywordstyle={\small},
  stringstyle={\small\ttfamily},
  frame={tb},
  breaklines=true,
  columns=[l]{fullflexible},
  numbers=left,
  xrightmargin=0zw,
  xleftmargin=3zw,
  numberstyle={\scriptsize},
  stepnumber=1,
  numbersep=1zw,
  lineskip=-0.5ex,
  captionpos=b
}
\renewcommand{\lstlistingname}{図}
\renewcommand{\lstlistingnamestyle}{\bfseries}
%%%%\newcommand*{\red}{\color{black}}
\newcommand{\cmark}{\ding{52}}
%%%%\newcommand{\xmark}{\ding{56}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{1}
\Month{March}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{7}{1}
\revised{2023}{10}{1}
\accepted{2023}{10}{24}

\setcounter{page}{47}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{クイズコンペティションの結果分析から見た\\
	日本語質問応答の到達点と課題}
\jauthor{有山　知希\affiref{Author_1} \and 鈴木　　潤\affiref{Author_1}\affiref{Author_2} \and 鈴木　正敏\affiref{Author_3}\affiref{Author_1} \and \\
	田中　涼太\affiref{Author_4}\affiref{Author_1} \and 赤間　怜奈\affiref{Author_1}\affiref{Author_2} \and 西田　京介\affiref{Author_4}
}
\jabstract{%
質問応答は，自然言語処理における重要な研究テーマの一つである．近年の深層学習技術の発達と言語資源の充実により，質問応答技術は飛躍的な発展を遂げている．しかし，これらの研究は英語を対象としたものがほとんどであり，現状，日本語での質問応答に関する研究はあまり活発には行われていない．この背景を受けて，我々は日本語での質問応答研究を促進するため，日本語のクイズを題材とした質問応答のコンペティション「AI王」を企画し，これまでに計3回実施してきた．本論文では，日本語の質問応答技術における現在の到達点と課題を明らかにすることを目標として，使用したクイズ問題と提出された質問応答システム，さらに比較対象として大規模言語モデルを用いた分析を行い，その結果を報告する．
}
\jkeywords{質問応答，システム分析，日本語，クイズ，システム構成}
\etitle{Achievements and Challenges in Japanese Question Answering: Insights from Quiz Competition Results}
\eauthor{Tomoki Ariyama\affiref{Author_1}\and Jun Suzuki\affiref{Author_1}\affiref{Author_2} \and Masatoshi Suzuki\affiref{Author_3}\affiref{Author_1} \and \\ Ryota Tanaka\affiref{Author_4}\affiref{Author_1} \and Reina Akama\affiref{Author_1}\affiref{Author_2} \and Kyosuke Nishida\affiref{Author_4}}
\eabstract{Question answering(QA) is one of the most crucial research topics within the realm of Natural Language Processing. Recent advances in deep learning methodologies, coupled with the burgeoning availability of linguistic resources, have led to dramatic progresses in QA. However, most of these studies have been conducted in English, and only a little research has been done on QA in Japanese. To encourage research endeavors in Japanese QA, we organized three quiz competitions, encompassing questions posed in Japanese. This study undertook an analysis of the trivia questions employed in these competitions, scrutinized the QA systems submitted, and introduced comparisons with large language models to unveil the current achievements and challenges within the domain of QA in Japanese. This paper presents the findings of the analysis.
}
\ekeywords{Question Answering, System Analysis, Japanese, Quiz, System Architecture}

\headauthor{有山，鈴木，鈴木，田中，赤間，西田}
\headtitle{クイズコンペティションの結果分析から見た日本語質問応答の到達点と課題}

\affilabel{Author_1}{東北大学}{Tohoku University}
\affilabel{Author_2}{理化学研究所}{RIKEN}
\affilabel{Author_3}{株式会社Studio Ousia}{Studio Ousia Inc.}
\affilabel{Author_4}{日本電信電話株式会社 NTT人間情報研究所}{NTT}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

質問応答は，自然言語処理における重要な研究テーマの一つである．
質問応答の研究は，自然言語処理研究の黎明期である1960年代から継続的に取り組まれてきた \cite{green-1961,simmons-1964}．
どのような質問に対しても的確に答えられるシステムを実現することは，多くの自然言語処理研究者が目指す究極的なゴールの一つと言える．

質問応答研究は，深層学習技術の進展と言語資源の充実により世界的に盛り上がりを見せている．
特に，SQuAD \cite{rajpurkar-etal-2016-squad}のような大規模な質問応答データセットや，BERT \cite{devlin-etal-2019-bert}に代表される大規模言語モデルの登場は，ここ数年の質問応答研究の飛躍的な進展を後押ししている．
実際に，自然言語処理および人工知能分野の難関国際会議では，毎年質問応答に関する研究成果が多数報告されており，そのほぼ全てで大規模言語モデルや質問応答データセットがシステムの構築や評価に利用されている．


ただし，これらの研究の多くは英語で作成されたデータを用いて実施されており，日本語での質問応答の評価はほとんどなされていない．
そのため，日本語での質問応答技術がどの程度発展しているのか，その到達点は明らかになっていない．
昨今の深層学習技術を質問応答に適用する方法では，言語の違いによる達成度の差異はあまり着目されてこなかったが，扱える言語表現の違い，学習データなどの知識源の質や量の違い
など，言語が異なることによる影響は十分に考慮すべき課題と考えられる．

また，近年では汎用大規模言語モデルが登場しており，このようなモデルの中には日本語での質問応答が可能なものも存在する．
しかし，これらのモデルのほとんどは，その大部分が英語で書かれた学習データを用いて事前学習が行われている．
言語にはその言語を用いる文化圏の内容が色濃く反映されていると考えられるため，学習に用いる言語によってモデルが獲得する知識に含まれる文化的な内容は大きく異なると考えられる．
従って，日本語を用いた質問応答タスクに取り組むことは，日本語圏の文化に関する内容に通じている質問応答システムを作ることに繋がると考えられる．
実用的な観点からも，日常的に日本語を使用する人にとって，日本語を用いたやりとりが可能かつ，日本に関する内容について精度の高い回答を行うことができる質問応答システムの実現は望ましいことである．
このような背景のもと，日本語での質問応答技術が今後発達していくためには，まず日本語を用いた質問応答技術の現状を明らかにした上で，解決するべき課題を明確にすることが必要である．


そこで本論文では，日本語による質問応答技術の現在の到達点と課題を明らかにし，その上で日本語質問応答システムの今後の改善の方向性を示すことを目的とする．
これまで日本語の質問応答技術を評価するための評価データは整備されてこなかったが，本論文では評価のための日本語の質問応答のデータセットとして，著者らが企画しこれまで運営してきた日本語質問応答のコンペティション「AI王 ～クイズAI日本一決定戦～」\footnote{\url{https://sites.google.com/view/project-aio/home}}のために作成したデータセットを用いる．
このデータセットに含まれるクイズ問題には，人名や場所名を問う基本的な問題の他，数量推論や計算を必要とする問題や日本語版Wikipediaに記述が無いような言葉が正解となる問題などが含まれており，それら問題文の多様性は，日本語を用いた質問応答タスクを検証するために相応しいものと考えられる．
なお，「AI王」とは，日本語を用いた質問応答研究を促進させるという目的のもと，日本語のクイズを題材とした質問応答データセットを用いてクイズの正解率の高い質問応答システムを作成するコンペティションである．
また，評価対象の質問応答システムとしては，過去に実施されたAI王のコンペティションのうち，第2回および第3回に提出されたシステムと，汎用の質問応答システムとして利用できる ChatGPT および GPT-4 を用いる．
これらのシステムが出力した全解答に対して，それぞれのシステムの特徴と，正解した問題文または不正解の問題文の中に共通した傾向があるかといった全数チェックを人手にて行い，現在の質問応答技術でどのような問題が正答できてどのような問題は正答できていないかを検証する．
同様に，問題文の特性に基づいて問題を分類し，それぞれのカテゴリに属する問題をどの程度正解しているかで達成度を分析する．
また，システムの特徴に応じた正解の傾向なども調査し，そこから一般化できる知見がないか考察する．
以上の分析や考察を踏まえた上で，日本語質問応答システムの改善の方向性を示す．

これらの人手分析の結果，質問応答システムの構成にはRetriever-Reader方式と呼ばれる形式が多く採用されていることや，正解率の高いシステムにはRerankerという構成要素が使われている傾向があることが分かった．
また，問題文の特性については，正答するために数量推論や計算を必要とするような問題にはうまく解答できない場合が多いことが明らかになり，今後の質問応答技術の課題の一つと考えられる．
本論文の主な貢献は以下のとおりである．
\begin{itemize}
    \item 日本語質問応答システムの構成やその構成要素を分析し，クイズ問題の正解率が高いシステムの理由を明らかにした
    \item 現状の質問応答システムにとって課題となっている，難易度が高い問題の特性を明らかにした
    \item それら難易度が高い問題を正答できるようにするための，質問応答システムの改善の方向性を示した
    \item 汎用の質問応答システムとして利用可能な大規模言語モデルが，どの程度日本語のクイズ問題を解くことができるのかを調査した
\end{itemize}

本論文の構成は以下の通りである：
第2章にて日本語を対象とした質問応答研究や，コンペティションに対する分析についての関連研究を，第3章にて
AI王プロジェクトの概要を述べる．
第4章では，本論文で用いる評価データの詳細を述べる．
その後，第5章にて検証対象となる質問応答システムの詳細，およびシステムとクイズ問題の分析方法を述べ，第6章にて分析結果を述べる．
最後に，第7章にて本論文で得られた知見や考察をまとめ，今後の展望について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

質問応答は自然言語処理分野において盛んに研究が行われている分野の一つであり，自然言語処理および人工知能分野の難関国際会議では，質問応答技術に関わる多くの研究成果が毎年報告されている．
世界的な流行に沿う形で日本でも質問応答に関する研究が多く行われているものの，質問応答の対象言語として日本語を扱っている研究は，例えばNTCIRプロジェクト \cite{kimura-2019,fukumoto-2007}などに限られており，依然として少ないのが現状である．
なお数は限られているものの，最近では日本語のクイズを題材とした研究も存在している \cite{yamashita2023,sugiura2023}．

本論文では，AI王のコンペティションに提出された質問応答システムと使用したクイズ問題を対象として分析を実施する．
コンペティションの参加システムやタスクについての分析を実施している関連研究としては，機械翻訳に関する世界的なコンペティションである The Conference on Machine Translation (WMT)が挙げられる．
WMTでは毎年Findingsが報告されている \cite{kocmi-etal-2022-findings,akhbardeh-etal-2021-findings}．
AI王プロジェクトに関しても，言語処理学会第27回年次大会の併設ワークショップとして実施した第1回コンペティションについて，その実施報告を行っている \cite{suzuki-2021}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{AI王プロジェクト}

本論文で分析対象として取り扱うモデルやデータは，AI王プロジェクトのコンペティションにて実際に用いられたものになる．
分析対象となるモデルやデータがどのような趣旨やルールの下に作られたかを明らかにするために，本章にてAI王プロジェクト全体の概要を簡単に説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{趣旨}

「AI王 ～クイズAI日本一決定戦～」は，日本語によるクイズを題材とした，質問応答研究のコンペティションである．


このプロジェクトを立ち上げた背景として，世界的に質問応答研究が活発に行われている一方で，日本国内においては，最先端の技術に追従しながら継続的に質問応答研究に取り組んでいる研究者・研究機関が非常に少なく，世界的な研究トレンドとの乖離が生じていることが挙げられる．
さらに，質問応答研究に利用可能なデータセットやシステム実装の多くは英語を対象としたものであり，日本語を対象とした質問応答の研究をしたい学生や研究者にとっては，研究をスタートしづらい状況となっている．
そこで，深層学習時代以降の日本での質問応答研究を促進するため，最新の質問応答研究に触れながら技術や知識を習得できる場を提供することを目的として「AI王」のコンペティションが企画され，2020年に第1回のコンペティションが実施された．
以降，これまでに3回のコンペティションが実施されている．

AI王プロジェクトでは，質問応答の題材として「日本語によるクイズ」を扱っている．
クイズと質問応答（特にオープンドメイン質問応答）は，どちらも「世界知識を必要とする言語を使った営み」であるという点が共通しており，研究における親和性が高いと考えられる\footnote{もちろん，クイズには質問文に現れやすい文構造や解答になりやすい事物が存在するといったクイズ特有の偏りが存在することには留意が必要である．}．
また，日本では戦後よりラジオやテレビ放送でクイズ番組が一定の人気を集めており，クイズは日本人にとって馴染み深いコンテンツとなっている．
現在でもクイズは各種メディアで流行を見せていることから，クイズは学生や若手研究者にとって興味を持ちやすい題材であることが期待される．
「AI王」では，日本語に対する質問応答研究を促進するため，およそ2万問の日本語のクイズ問題からなるデータセットや，日本語のテキストに対して正しく機能する質問応答システムのベースラインモデルを提供し，研究目的で自由に利用できるようにしている．


類似プロジェクトとの対比から「AI王」の立ち位置を考える．
クイズを対象とした質問応答システムという観点では，類似プロジェクトとして，2011年にIBM Watsonがアメリカ合衆国のクイズ番組Jeopardy!\footnote{\url{https://www.jeopardy.com/}（最終アクセス：2023/10/26）}にて実施したIBMチャレンジ\cite{ibmchallenge}が挙げられる．
IBMチャレンジでは人間の解答者と競い合う形式で実施されたが，「AI王」のコンペティションでは質問応答システムとしての性能の達成度を測ることや手法間の比較を目的としている点が異なる．
他にも関連するプロジェクトとして，RealTime QA \cite{kasai2022realtime}が考えられる．
RealTime QAでは，実世界の新しい出来事や日々刻々と変化する情報についての質問に答えられる質問応答システムの構築を目的としている．
RealTime QAと対比した場合，「AI王」では基本的に時間と共に答えが変わらない問題を主に対象にしていると言える．
また，IBMチャレンジ，および，RealTime QAでの対象言語は英語である．
「%
AI王」では本論文の主旨である日本語に特化している点が，ここに挙げた2つのプロジェクトと異なる点として挙げられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ルール}

本コンペティションの第2回・第3回における基本ルールは，与えられる質問に対してシステムが出力する解答の正解率を競うという，一般的なオープンドメイン質問応答タスクの問題設定と同様のものである．
機械学習系の共有タスクでは，公式に配布されるデータのみを用いてシステムを構築しなければならないという制約が課されるものもあるが，本コンペティションでは，実世界の森羅万象を問うというクイズおよびオープンドメイン質問応答の性質を踏まえて，「一般に利用可能なあらゆるデータを使ってクイズの正解率を向上させること」を目標とした．
ただし，モデルの学習および推論時に利用可能なデータは，誰でも無償で利用可能なもの\footnote{独自に作成したデータであっても，データを無償公開する場合は利用可能とした．}のみに限定し，また，システムの推論時に利用可能な計算機リソースは，基本的に単一の計算機で動作するもの\footnote{第3回コンペティションでは，Google Cloud Platform上のvCPU 12, Memory 78GB + Nvidia Tesla V100 (16GB) x1の仮想環境でシステムの評価を行うものとした．}とした．
これは，本コンペティションの目的が主に若手研究者を対象とした研究促進であり，一部の参加者（特に大量のデータや大規模な計算機リソースを保持している組織）しか使えないリソースの使用を許すと，公平感や再現性の担保が難しく，本コンペティションの主旨に反するという考えに基づいた措置である．
また，システムの推論時にはインターネットへの接続は不可とし，外部の検索エンジンやAPIを呼び出すことはできないものとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析に用いるデータセット}

本論文では，質問応答システムの現在の到達点と課題を，日本語のデータを用いて評価することによって明らかにする．
本章では，その評価に用いるデータセットに関して説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}
\label{subsec:official_dataset}

著者らが過去に実施した質問応答のコンペティション「AI王 ～クイズAI日本一決定戦～」では，日本語を用いた質問応答研究の促進という目的のもと，日本語のクイズ問題を題材とした日本語質問応答データセットを構築し，
ウェブ上で公開している．
この日本語質問応答データセットは，学習用データ（$22,335$問）と開発用データ（$1,000$問），および，参加者がリーダーボードに投稿したシステムを評価するためのクイズ問題（$1,000$問）と，コンペティションでシステムの最終評価を実施するためのクイズ問題（$1,000$問）からなり，表\ref{table:training_data}に示すデータ仕様に沿って構築されている．
なお，各クイズ問題の問題文と正解には，Unicode正規化 (NFKC)，および文中の振り仮名と注釈の除去がなされている．
また，評価データはコンペティション参加者を含めて非公開である．

上記データセットのうち，学習用データの一部，および開発・評価用データに含まれるクイズ問題は，コンペティション用にクイズ問題作成の専門家（クイズ作家）に新たに発注し作成している．
なお，クイズ問題作成を発注する際には，クイズ番組やクイズイベント用に作成する際と同じ仕様での問題作成を依頼した．
これは，人間に解かせることを念頭に置いて作成されたものと全く同じクイズ問題を用いていることを意味する．
つまり，計算機が得意か不得意かといったことや，特別に計算機がクイズ問題を解くことを意識して問題を作成する，といったことはしていない．

なお，本論文の分析ではこれらのデータセットのうち，リーダーボード評価用のデータセット（以下では単に「評価用クイズ問題」と表記する）のみを使用する．
これは，質問応答システムの到達点と課題を明らかにするという本論文の目的のもとでは，システムの達成度を測る際にシステムが学習時に見ていないクイズ問題のみを用いて評価をすることが適当と判断したためである．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{02table01.tex}%
\caption{提供した学習・開発用データの仕様と例．}
\label{table:training_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{02table02.tex}%
\hangcaption{評価用クイズ問題の例．データセット作成時の正解には含まれていなかったが，人手評価によって正しいと判断されたシステム解答を「追加された別解」の列に示している．}
\label{table:aio_second_eval_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価方法および別解の扱い}
\label{subsec:questions_and_answers}

表\ref{table:aio_second_eval_example}に評価用クイズ問題の例を示す．
問題文に対する正解は，クイズ作家によってデータセット作成時に定められている．

質問応答システムの評価において，システムが予測した解答が正解かどうかを判断するために，毎回人間による正答評価を実施するのは時間も労力も多くかかり現実的ではない．
そのため，データセット作成時に定められた正解集合の一つとシステムの予測した解答が一致するかどうかを，文字列の完全一致を用いて自動で評価するのが一般的である．
しかし，このような文字列の完全一致による評価を考えた場合，網羅しきれない別解が存在する場合がある．
例えば表\ref{table:aio_second_eval_example}の問題では，問題作成時に定められた正解は「棒棒鶏」であるが，「棒々鶏」という表記揺れによる別解が考えられる．
また，表記揺れ以外にも，例えば問題作成時に定められた正解が「銀杏（ぎんなん）」である時の「イチョウの実」という解答など，語が異なる別解も存在する．

以上のような別解も含めて正解／不正解を判定するために，コンペティションでは，情報検索の評価で用いられてきたプーリング法 \cite{jones1975report}の要領でシステムが出力した解答を集め，その中で正解と認定できる別解を人手により判断し正解に追加するという作業を実施した（表\ref{table:aio_second_eval_example}内「追加された別解」列）．
この人手による別解付与作業を各システムの最終投稿の予測結果に対して実施することにより，システムの最終評価に関する正確性を担保している．
本論文の評価でも同様の方法により，全てのシステムが出力した全ての解答に対して，計7名の作業者が人手で別解にあたるかを判定した\footnote{それぞれの解答が別解にあたるかを
ウェブ検索や辞書などを利用して確認した．さらに，抜け漏れがないよう各作業者の別解判定を他の作業者が確認するダブルチェックも実施した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析対象システム}

日本語の質問応答技術の到達点を明らかにするという目的から，分析対象とするシステムの選定基準として，過去のAI王コンペティションで上位の正解率を達成していること，かつシステムの実装に関する資料が公開されており分析可能であること\footnote{コンペティション参加者が持つ提出システムの権利に基づき，提出されたシステムファイルの解析による分析は行っていない．}の2点を満たすもの，または我々が提供を行ったベースラインとした．
この基準に従い，本論文ではAI王コンペティションの参加チームによって提出されたシステムの中から，
\begin{itemize}
      \item 第2回コンペティション提出システムのうち正解率が上位の3システム
      \item 第3回コンペティション提出システムのうち正解率が上位の6システム
      \item 第3回コンペティションにて運営より提供した3つのベースラインシステム
\end{itemize}
の12システムを分析対象として選んだ．

表\ref{table:participants}に，本論文で分析対象となったシステムを提出した，第2回および第3回コンペティション参加チームの一覧を示す．
なお，第1回コンペティションの正解率上位システムを分析対象に含めなかったのは，第1回コンペティションは第2回・第3回コンペティションとルールが異なり，与えられた20択の候補の中からクイズに対する解答をシステムが選ぶという形式であったため，解答方式が異なるシステム間の単純な比較は成立しないと判断したためである．
一方で，ベースラインシステムを分析対象に含めたのは，それらと正解率上位システムとの比較によって，現在の質問応答技術で可能になっていること，および未だ達成できていない課題を明らかにできると考えたためである．
また，汎用の質問応答システムとして利用可能な大規模言語モデルである ChatGPT (gpt-3.5-turbo-0613) および GPT-4 (gpt-4-0613) の2システムも分析対象に含めた．
これらのシステムとコンペティションに特化して構築されたシステムとの比較による分析を行うことで，日本語質問応答システムについての洞察を得ることが目的である．
なお，これらのシステムの評価は OpenAI の API を経由して実施した．
評価の際に用いるプロンプトには質問応答タスクを行う旨の指示と， いわゆる few-shot (one-shot) の設定として質問応答の例を1つ含めた．
プロンプトの詳細については，付録 \ref{details_of_prompts}章で述べる．
また，これらのシステムの解答についての評価に関しても，\ref{subsec:questions_and_answers}節で述べた人手による別解付与作業を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{02table03.tex}%
\caption{コンペティション参加チーム（チーム名のアルファベット昇順）.}\label{table:participants}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析方法}

日本語での質問応答技術の現状と課題を明らかにするため，本論文では大きく分けて下記に示す3つの観点から日本語質問応答システムの分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{質問応答システムの構成に基づく分析}

コンペティションのために構築された質問応答システムの構成やその構成要素を調査し，主にシステムの正解率との関連を分析する．
現在利用されている質問応答技術の構成要素の効果を検証し，より適した構成要素を選択するための知見を得ることを目的とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{質問応答システムの学習に使用されたデータ資源に基づく分析}

コンペティションのために構築された質問応答システムの学習に使用されたデータ資源を調査し，それぞれのデータ資源を用いることで得られる効果を推察する．
日本語質問応答システムを作成する際に，より適したデータ資源を用いてシステムを構築するための知見を得ることを目的とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価用クイズ問題の特性に基づく分析}
\label{quiz_features}

本論文の分析に用いた評価用クイズ問題のうち，
\begin{itemize}
    \item AI王コンペティションのために構築された日本語質問応答システムが正答できなかった問題
    \item 正解率が高い質問応答システムのみが正答できた問題
    \item GPTベースラインのみが正答できていない問題
    \item ChatGPT と GPT-4 が正答できていない問題
\end{itemize}
といった条件を満たす問題を抽出し，それらの問題に見られる特性を調べることで，現状の日本語質問応答システムで達成できている／いないことや，今後の課題点および改善点について考察する．
なお，問題の特性を調査するにあたって，評価用クイズ問題の各問題を事前に人手作業によって表\ref{table:quiz_features_and_examples}に示す15個の特性を用いて分類した（\ref{add_characteristics}項）．
これらの特性のうち，表\ref{table:quiz_features_and_examples}の上部に示した3つは，問題文と Wikipedia との関係についての観点であり，全ての問題文が必ずこの3つのいずれかに分類される．
一方で，その他の12個の特性は，問題文とクイズの定型パターン等との関係となっており，ある1つの問題文が必ずしも12個のいずれかに分類される訳ではない．
なお，12個の特性についてはクイズ問題における定型パターン等
をもとに決定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{02table04.tex}%
\caption{評価用クイズ問題の分類に用いた特性と，その特性を持つ問題文および正解例．}
\label{table:quiz_features_and_examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析結果}
\label{analysis_results}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{質問応答システムの構成に基づく分析結果}

AI王コンペティションのために構築された質問応答システムの構成を分析した結果を表\ref{table:qa_systems_architectures}に示す．
分析の結果，GPT-2を利用したGPTベースライン以外のシステムは「Retriever-Reader方式」と呼ばれる構成であった．
このRetriever-Reader方式は，
\begin{itemize}
    \item Retrieverと呼ばれる，質問文（クイズの場合は問題文）に関連する文書を文書集合から検索する構成要素
    \item Readerと呼ばれる，検索された関連文書の文中から解答の位置を抽出する，または質問文と検索された関連文書の情報から解答そのものを生成する構成要素
\end{itemize}
という2つの構成要素によって構成されるシステム方式のことである．
なお，本論文ではReaderについて，Retrieverによって検索された関連文書の文中から解答の位置を抽出するものを「抽出型Reader」，質問文と検索された関連文書の情報から解答自体を生成するものを「生成型Reader」と呼ぶことにする．
分析対象の質問応答システムで用いられているものの中では，前者はBERTが，後者はFusion-in-Decoder (FiD) \cite{izacard-grave-2021-leveraging}およびT5 \cite{raffel-etal-2020-t5}が該当する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{02table05.tex}%
\hangcaption{AI王コンペティションのために構築された質問応答システムの構成と構成要素の分析．なお，抽出型Readerには``(E)''を，生成型Readerには``(G)''を先頭に付けたまた，比較のために ChatGPT と GPT-4 の正解率も示した．}
\label{table:qa_systems_architectures}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，表\ref{table:qa_systems_architectures}の中で正解率が高いシステムに注目すると，次のような傾向が観察される．
\begin{enumerate}
    \item Retrieverを2つ持つ構成である
    \item Rerankerと呼ばれる構成要素を構成に含む
    \item Readerを複数持つ構成である
\end{enumerate}
(1)の傾向を細かく分析すると，2つのRetrieverは，
\begin{itemize}
    \item Sparse retriever（BM25が該当）と呼ばれる，質問文と文書集合との単語一致によって関連文書の検索を行うRetriever
    \item Dense retriever（DPR \cite{karpukhin-etal-2020-dense}およびBPR \cite{yamada-etal-2021-efficient}が該当）と呼ばれる，質問文と文書集合の各文書をベクトル化し，それらを用いた類似度計算によって関連文書検索を行うRetriever．関連文書検索において，意味的な類似性に強いという特徴がある
\end{itemize}
という，手法の異なるRetrieverの組み合わせであることが分かった．
このように異なる手法のRetrieverを併用することで，片方のRetrieverでは解答に有用であるにも関わらず関連文書として検索できなかった文書があったとしても，もう片方のRetrieverによってその文書の検索漏れを防ぐ可能性を高めることができる．
以上の理由から，2つのRetrieverを持つシステムの正解率が高くなっていると考えられる．

(2)の傾向で登場するRerankerは，Retrieverが検索した関連文書を，関連度が高いと考えられる順に再度ランキングし直す構成要素である．
Retrieverを2つ持っている質問応答システムはその構成上，検索方法の異なる2つのRetrieverによってそれぞれ検索が行われ，それぞれ関連文書が取得されている．
ここで，それらの関連文書はそれぞれのRetrieverによって計算された「問題文についての関連度スコア」を持っている．
しかし，それぞれのRetrieverが算出するスコアの取る値の違いが原因で，スコアの直接比較ではどちらのRetrieverによって検索された関連文書がより関連度が高いかを判断することができない．
Reranker を用いない場合は，それぞれの関連文書のスコアが上位のものから交互に取り出す方法などによってランキングし直すことになるが，関連度が高い順に並べ直される保証はない．

そこでRerankerを用いることにより，2つのRetrieverによって検索された全ての関連文書を再度問題文に対する関連度が高い順に並べ直すことで，検索された関連文書のうちどの文書がより関連度が高いかを判断することが可能になる．
これにより，Readerがより関連度の高い文書を用いて解答を抽出，または生成できるようになる．
以上のような効果があることから，2つのRetrieverを持つ質問応答システムの中でも，Rerankerをシステム構成に含む質問応答システムの方が正解率が高くなっていると考えられる．

(3)の傾向は，第3回コンペティション参加チームのうちチームレヴォとチームICS Lab. の質問応答システムに見られたものであり，それぞれ次のようなReaderの構成となっている．
\begin{itemize}
    \item \textbf{レヴォ:} 2つのFiDにより構成される．一方を問題文と関連文書の情報から解答候補を生成する通常の生成型Readerとして使用し，もう一方を生成された解答候補と問題文，関連文書集合の情報をもとに各解答候補の正解らしさを判断する``Verifier''として使用している．これにより，問題文と関連文書集合に加えて解答候補の情報までエンコードした状態から最終的な解答を出力することが可能なシステム構成になっている．
    \item \textbf{ICS Lab.:} 3つの抽出型Readerと5つの生成型ReaderのそれぞれからTop-2の解答候補を，すなわち計16個の解答候補をアンサンブルして最終的な解答を出力している．この構成により，1つのReaderの解答候補が誤りであったとしても他のReaderの解答候補が正解であれば正答できるため，Readerが1つだけの構成よりも正答できる可能性を高めたシステム構成になっている．
\end{itemize}
上述のようにそれぞれ独自の工夫がなされており，結果としても，類似したRetrieverとRerankerの構成を持つ第2回チームレヴォおよび第3回チームVARCHの正解率と比較して$8$から$10$ポイント程度高い$94\%$台という正解率を記録していることから，複数のReaderを持つ構成はRetriever-Reader方式の質問応答システムの性能向上に寄与していると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{02table06.tex}%
\caption{質問応答システムが学習に使用したデータ資源（資源名のアルファベット昇順）．}\label{table:systems_resources}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{質問応答システムの学習に使用されたデータ資源に基づく分析結果}
\label{result:training_data}

本節では，AI王コンペティションのために構築された質問応答システムが学習に利用したデータ資源を調査した．
その結果を表\ref{table:systems_resources}に示す．
表\ref{table:systems_resources}より，全ての質問応答システムが学習にWikipedia\footnote{\url{https://ja.wikipedia.org/wiki/メインページ}（最終アクセス：2023/10/26）}を使用していたことが判明した．
また，いくつかの質問応答システムはWikipedia以外のデータ資源（5TQ\footnote{\url{http://www2s.biglobe.ne.jp/~effect/soft/ef_sdat1.html}（最終アクセス：2023/10/26）}, Erin\footnote{\url{https://www.erin.jpf.go.jp/jp/section/culture-quiz/}（最終アクセス：2023/10/26）}, 語壺\footnote{\url{http://www.misakichi.net/quiz/gogogo.htm}（最終アクセス：2023/10/26）}，JaQuAD\footnote{\url{https://github.com/SkelterLabsInc/JaQuAD}（最終アクセス：2023/10/26）}, 着物用語辞典\footnote{\url{http://www.37gi.com/着物用語辞典.html}（最終アクセス：2023/10/26）}，クイズの杜\footnote{\url{https://quiz-schedule.info/quiz_no_mori/data/data.htm}（最終アクセス：2023/10/26）}，競技かるた用語集\footnote{\url{https://karutadoujou.hatenablog.com/entry/basic/yougo/}（最終アクセス：2023/10/26）}，みんなで早押しクイズ\footnote{\url{https://ss1.xrea.com/quizstocker.s1010.xrea.com/}（最終アクセス：2023/10/26）}，Mr.~Tydi\footnote{\url{https://github.com/castorini/mr.tydi}（最終アクセス：2023/10/26）}, Quiz Works\footnote{\url{https://quiz-works.com/}（最終アクセス：2023/10/26）}, Wiktionary\footnote{\url{https://ja.wiktionary.org/wiki/Wiktionary:メインページ}（最終アクセス：2023/10/26）}, Wiktionary QA）を使った学習を行っていたことも判明した．
このようなデータ資源を用いた学習を行うことで，Wikipediaだけではカバーが困難な広範な知識に基づいて解答を行うことが可能になる．
具体的には，「クイズの杜」や「みんなで早押しクイズ」といったクイズドメインに特化したデータ資源は，質問応答システムをよりクイズ問題に適応させる効果がある．
また，「着物用語辞典」や「競技かるた用語集」といったデータ資源は，それらのドメイン知識がないと正答できないクイズ問題に対しても正答を可能にする効果がある．

また，今回分類した問題文の特性と特に相関があると考えられるデータ資源として，「語壺」が挙げられる．
この「語壺」は，「``何々''語で``〇〇''という意味の言葉に由来する，」という意味の前文で始まるクイズを集めたデータセットである．
そのため，分類に用いた特性のうち，「由来が関係する問題」の正解率の向上に寄与すると考えられる．
但し，「由来が関係する問題」の中には，その由来が語源ではない問題も含まれていることに注意する\footnote{例えば，「諸葛亮がいけにえの頭の代わりに作ったものが由来という食べ物は何?」といった問題が挙げられる．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{02table07.tex}%
\caption{語壺を学習データに用いたかどうかと，「由来が関係する問題」の正解率．}\label{table:gotsubo}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上を踏まえ，「語壺を学習データに用いたか」と「『由来が関係する問題』の正解率」を調査し，語壺を学習に用いることの効果を検証した．
調査結果を表\ref{table:gotsubo}に示す．
この表\ref{table:gotsubo}より，学習データに語壺を利用している第3回コンペティションのチーム ICS Lab. の「由来が関係する問題」の正解率が，同じく第3回コンペティションで総合1位であったチームレヴォの正解率を上回っていることが分かる．
また，語壺を利用したその他のチームについても，「由来が関係する問題」の正解率が相対的に向上していることが確認できる．
具体的には，語壺を利用した3チームは「由来が関係する問題」の正解率が，表\ref{table:qa_systems_architectures}に示した$1,000$問全てに対する正解率よりも3チーム平均で$+2.97$\%であるのに対し，語壺を利用しなかったチームは平均で$+0.94$\%にとどまっている．

以上より，特定のデータ資源を用いた学習が，そのデータ資源に含まれる問題文の特性に対してより頑健なシステムの構築に効果的である可能性が示された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価用クイズ問題の特性に基づく分析結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価用クイズ問題の特性の分析}
\label{add_characteristics}

クイズ問題と質問応答システムの関係の分析に移る前に，まず準備として\ref{quiz_features}項の表\ref{table:quiz_features_and_examples}で示した特性を持つ問題が，評価用クイズ問題（全$1,000問$）にどれだけ存在するか，その割合を調査した．
調査の結果を表\ref{table:quiz_features_baseline}に示す．
ここに示す値が，以降のクイズ問題と質問応答システムとの関係の各分析に対するベースラインとなる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{02table08.tex}%
\caption{評価用クイズ問題（全$1,000問$）について，問題の特性とその特性を持つ問題が全体に占める割合．}\label{table:quiz_features_baseline}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

なお，\ref{quiz_features}項でも述べたように，Wikipediaに関する3つの問題文の特性についてはその分類上，全ての評価用クイズ問題がいずれか1つの特性を持つことに留意する\footnote{Wikipediaに関する特性の調査には，2023年3月28日時点のWikipediaを用いた．}．
その他のクイズの定型パターン等に関する問題文の特性については，必ずしも各評価用クイズ問題が持つものではないが，中にはそれらの特性を複数持つ問題が存在した．
例を挙げると，
\begin{quote}
    \begin{tabbing}
        \hspace{4em} \= \kill
        \textbf{問題文} \> 織田信長の妹・お市の方が最初に嫁いだ武将は浅井長政ですが、2番目に嫁いだ \\
        \> 武将は誰? \\
        \textbf{正解} \> 柴田勝家
    \end{tabbing}
\end{quote}
という問題は，「パラレル問題」「人名を問う問題」「順序の条件がある問題」の3つの特性を持っている．

上記の調査を行う際に，表\ref{table:quiz_features_and_examples}で示した特性に加えて，いわゆる「時事問題」が評価用クイズ問題に存在するかを調べたが，該当する問題は存在しなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{AI王コンペティションのために構築された日本語質問応答システムが正答できなかった問題}
\label{first_diff_analyze}

評価用クイズ問題のうち，AI王コンペティションのために構築された12個の質問応答システム全てが不正解となっていた問題を抽出し，それらに対する問題文の特性の割合の調査を行った．
その結果を表\ref{table:hard_quiz_features}に示す．
なお，このような問題は全部で21問存在した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{02table09.tex}%
\hangcaption{全てのシステムが不正解であったクイズ問題について，問題文の特性とそれらの問題内で占める割合．「差分」の列は表\ref{table:quiz_features_baseline}の「割合」列との差を示したものであり，「パラレル問題」以下に示された特性に関してはその値がプラスで大きいほど，システムにとって難易度が高い問題に顕著な特性であると考えられる．
}\label{table:hard_quiz_features}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以下では，分析のベースラインとなる表\ref{table:quiz_features_baseline}中の「割合」列の値と，表\ref{table:hard_quiz_features}中の「割合」列の値との差を示した表\ref{table:hard_quiz_features}中「差分」列の値に注目し，分析する．
この分析により，いずれのシステムも正答できなかった問題に顕著な傾向，すなわち現状の日本語質問応答システムにとって難易度が高いと考えられる問題の特性を知ることができる．
なお，分析は \ref{quiz_features} 項にて大きく分類した``Wikipedia との関係''と``クイズの定型パターン等''という2つの観点から行っていく．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Wikipedia との関係による観点}\quad\\
\quad まず，これらの問題と Wikipedia との関係について注目すると，「正解がWikipediaの記事名になっている」という特性を持つ問題の割合が$-17.8\%$となっているのに対し，「どのWikipediaの記事の本文にも正解が書かれていない」という特性が$+9.0\%$，「正解がWikipediaの記事名にはなっていないが，本文中には書かれている」という特性が$+8.8\%$となっている．
これより，正解がWikipediaのいずれの文書中にも存在しない，もしくは記事として存在しない程度にはマイナーな単語が正解となる問題は，質問応答システムにとって難しい問題であると解釈できる．

これは，表\ref{table:systems_resources}に示すように，全てのシステムが学習データとしてWikipediaを用いているため，学習データ中に存在しない，あるいは存在してもマイナーな単語ゆえに学習中に限られた回数しか出現しないことなどが理由となり，学習が十分に行われず質問応答システムがその単語を解答として出力することが難しくなっていることを意味している．
そのため，学習データにWikipediaだけでなく，より多様なデータ資源を用いることでシステムが学習中に見る単語の種類を増やす，といった方策によって質問応答の性能を向上させることができると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{クイズの定型パターン等による観点}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subparagraph{数量推論や計算を必要とする問題}
次に，クイズの定型パターン等による観点の特性について分析する．まず注目するのは，「数量推論や計算を必要とする問題」である．
この特性を持つ問題の割合は，評価用クイズ問題全体（表\ref{table:quiz_features_baseline}）の割合に対して$+18.1\%$となっている．
このことから，現状の質問応答システムでは数量推論や計算を必要とする問題が難しく，まだ正答できる段階には至っていないと言える．
このような問題の例を以下に示す．
\begin{quote}
    \begin{tabbing}
        \hspace{4em} \= \kill
        \textbf{問題文} \> 1200円の商品の2割引をさらに1割引するといくらになる? \\
        \textbf{正解} \> 864円 \\
        \textbf{誤答例} \> 500円, 0円, 4000円, 800円, 1000円, 400円, 100円, 1500円 
    \end{tabbing}
\end{quote}
数量推論や計算を行うことは，現状の深層学習によるモデルにとって難易度が高く，そのため盛んに研究が行われている分野である \cite{mishra-etal-2022-numglue,chen-etal-2023-theoremqa,cobbe2021gsm8k}．
本論文で分析している質問応答システムについて考えると，Retriever-Reader方式は正解に関連する文書の検索と，それらの文書と問題文を用いた解答の抽出・生成を行う構成であるため，解答を計算・推論するような問題を扱える構成であるとは言えない．

そのため，数量推論や計算を必要とする問題に対しても正答を可能にするためには，質問応答システムの別の構成を考えていく必要がある．
例えば，現在のRetriever-Reader方式の構成に加えて，計算を担当するシンボリックな推論が可能な構成要素を導入することにより，数量推論や計算を必要とする問題を正答できるシステムを構築できる可能性がある．
また，別の観点としては，Retriever-Reader方式のシステムではなく，近年質問応答を含む様々なタスクで著しい性能向上が見られる大規模言語モデルを利用するという方法がある．
このような大規模言語モデルに自然言語処理のタスクを解かせる際には，プロンプトと呼ばれる入力にそのタスクを解かせるための指示を記述する\footnote{本論文でも，ChatGPT や GPT-4 に対し，プロンプトにタスク指示の記述を行った．}が，そのプロンプト記述の部分で``chain-of-thought''という手法が用いられることがある．
これは，推論をモデルに行わせる際に，推論の思考過程を明に出力させるような指示を含むプロンプトを入力することで，推論を小さなステップに分けて行わせる手法である．
この手法を用いることで，数量推論の性能を向上させることができる，ということが報告されている \cite{wei2022chain}．
そのため，大規模言語モデルと chain-of-thought 手法を組み合わせることによって，数量推論や計算を必要とする問題を正答できるシステムとなる可能性がある．
このように，質問応答システムとして大規模言語モデルを用いることも，興味深いアプローチの方向性の一つである．

以上の分析より，現状の質問応答システムでは数量推論や計算を必要とする問題を解くことは難しいが，そのような問題を正答できるようになるためのシステム改善の方向性はいくつか存在しており，今後の技術の発展が期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subparagraph{人名を問う問題}
次に，「人名を問う問題」の特性を分析する．
割合の差分を見ると$-13.4\%$となっており，また割合自体も$0.0\%$となっていることが分かる．
このことは「人名を問う問題」に関しては，分析対象システムのいずれか1つ以上が必ず正答できていることを示している．
これに加え，さらなる詳細な分析として「人名を問う問題」に対する各システムの正解率を調査した．
調査結果を表\ref{table:person_name}に示す．
この表\ref{table:person_name}より，ベースラインシステムを除くすべてのシステムが$8$割以上の正解率を，その内$5$つのシステムは$9$割以上の正解率を達成していることが分かる．
従って，人名を問うような問題は現状の質問応答システムによって十分に解くことが可能な水準に達していると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{02table10.tex}%
\caption{「人名を問う問題」の正解率．}\label{table:person_name}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subparagraph{パラレル問題}
\label{parallel_quiz}
また，質問応答の中でもクイズに限った観点からの分析として，「パラレル問題」という特性に触れる．
パラレル問題とは次に示す例のように，問題文中に「～ですが」などといった分岐を含むクイズ問題のことを指す．
\begin{quote}
    \begin{tabbing}
        \hspace{4em} \= \kill
        \textbf{問題文} \> 童謡『ちょうちょう』で、1番の歌い出しは「ちょうちょう、ちょうちょう」 \\
        \> ですが、2番の歌い出しは何? \\
        \textbf{正解} \> ``おきよ、おきよ''または``おきよ''
    \end{tabbing}
\end{quote}
上記の問題も全てのシステムが不正解となったクイズ問題であったが，その誤答例は以下のようなものであった．
\begin{quote}
    \begin{tabbing}
        \hspace{4em} \= \kill
        \textbf{誤答例} \> ``たきびだたきびだ''，``ちょうちょう、ちょうちょう''，``ちょうちょう''， \\
        \> ``ぞうさん''，など
    \end{tabbing}
\end{quote}

一般的にクイズ問題において，その問題文中に正解が出現することはほとんどない\footnote{例外としては，「直列、行列、並列。このうち、乾電池のつなぎ方にないのはどれ?」といった，解答の選択肢を問題文中に含んでいるような問題がある．}．
そのため，上に挙げた誤答例の中でも，``ちょうちょう、ちょうちょう''や``ちょうちょう''は正解となる確率が極めて低い．
従って，クイズ問題を解く質問応答システムにおいては，最終的な解答が問題文中に含まれる場合を検知し，その解答の次に正解である可能性が高いと判断された解答候補を採用することによって，正解となる可能性が低い解答を行ってしまうことを抑制することが可能になると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{正解率が高い質問応答システムのみが正答できた問題}

本項では，分析対象のシステムの中でも特に高い正解率を達成しているものについてその理由を明らかにすることで，高性能な日本語質問応答システムを構築するための知見を得ることを目的とする．
そこで，表\ref{table:qa_systems_architectures}において正解率が$90\%$を超えている第3回チームレヴォと第3回チームICS Lab.によって提出された2つの質問応答システムのみが正答しているクイズ問題を抽出し，その問題文の特性を分析した．
抽出の結果，該当するクイズ問題は21問存在した．
また，問題文の特性の割合を調べたものを表\ref{table:hard_quiz_features_best_systems}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{02table11.tex}%
\hangcaption{正解率の高い質問応答システムのみが正答しているクイズ問題について，問題文の特性とそれらの問題内で占める割合．「差分」の列は，表\ref{table:quiz_features_baseline}の「割合」列との差を示したものであり，「パラレル問題」以下に示された特性に関してはその値がプラスで大きいほど，正解率の高いシステムのみが正答している問題に顕著な特性であると考えられる．}
\label{table:hard_quiz_features_best_systems}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以下では\ref{first_diff_analyze}項と同様にして，表\ref{table:hard_quiz_features_best_systems}中「差分」列の値に注目し分析する．
この分析により，正解率が高いシステムのみが正答できた問題の傾向，すなわち，現状の日本語質問応答システムの到達点を知ることができる．
本項においても，``Wikipedia との関係''と``クイズの定型パターン等''という2つの観点から分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Wikipedia との関係による観点}\quad\\
\quad 表\ref{table:hard_quiz_features_best_systems}のうちまず Wikipedia との関係に注目すると，
「正解がWikipediaの記事名にはなっていないが，本文中には書かれている」という特性が$+23.1\%$となっている．これは，質問応答システムの構成（表\ref{table:qa_systems_architectures}）と照らし合わせて調査した結果，Rerankerの効果によるものであると推察される．

正解率の高い第3回チームレヴォと第3回チームICS Lab.の質問応答システムは，このRerankerに渡される関連文書の数が，他の質問応答システムに比べて非常に多いことが判明した．
具体的には，他のシステムが多くても$200$件程度の関連文書を利用する構成であるのに対し，第3回チームレヴォのシステムは$750$件，第3回チームICS Lab.のシステムは$1,000$件もの関連文書をRerankerに渡す構成となっていた．
このように再度ランキングする文書数が多いことで，記事名にはなっていないが他の記事には出現するようなマイナーな単語が正解であるような問題であっても，その記事を取りこぼすことなく関連文書として利用することができるようになっている．
この効果により，「正解がWikipediaの記事名にはなっていないが，本文中には書かれている」という特性を持つ問題に対しても，他の質問応答システムと比較して高い正解率を達成できていると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{クイズの定型パターン等による観点}\quad\\
\quad 次に，クイズの定型パターン等による観点の特性に注目すると，「順序の条件がある問題」が$+12.3\%$，「慣用句・ことわざ・四字熟語・故事に関連する問題」が$+11.9\%$となっている．前者の特性を持つ問題の正解率が高いことを説明する明快な理由を分析によって明らかにすることはできなかったが，後者については，学習データとして用いた Wikipedia 以外のデータ資源の効果によるものであると推察される．
特に，第3回チームレヴォの質問応答システムは， Retriever の学習データとして用語辞典や辞書といったデータ資源を利用しており，さらにそれらを利用する際にはデータ資源内の各文書にそれぞれのジャンルについての説明を加えることで，Retrieverの検索精度を上げる取り組みが行われていた．
具体的には，例えば慣用句についての文書では，文書の先頭に「慣用句で、」といった説明を加え，「慣用句で、◯◯は××を意味する。」といったような文書に変換することで，Retrieverに検索されやすい文書の作成を実現している．

このようにWikipediaに限らない様々なデータ資源をシステムの学習時に利用することや，関連文書検索の際に上述のような工夫を凝らすことで，慣用句やことわざ等に関する問題を正答することが可能になっていると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{GPTベースラインのみが正答できていない問題}

AI 王コンペティションのために構築された質問応答システムのうち，GPTベースラインのみがRetriever-Reader方式でないシステム構成をしている．
GPTベースラインとRetriever-Reader方式の比較を行うため，GPTベースラインのみが正解している問題，およびGPTベースラインのみが不正解の問題を抽出し，それらの問題に見られる傾向を調査した．
調査の結果，GPTベースラインのみが正解している問題は存在しなかったものの，GPTベースラインのみが不正解の問題は$218$問存在することが分かった．

これは，GPTベースラインが質問応答タスクの訓練をしていないことと，入力されるプロンプトの設定に起因するものと考えられる．
本ベースラインは事前学習データとしてはWikipediaを使用しているものの，質問応答タスクを解くための fine-tuning は行っておらず，さらにプロンプトも zero-shot の設定にて提供している．
すなわち，評価用クイズ問題を解く時に初めて質問応答というタスクを解く設定となっているために，他のシステムよりも正解率が低くなっていると考えられる．

また，GPTベースラインのみが不正解の問題のうち，「あと1つを答える問題」についてGPTベースラインの誤答を分析すると，問題文中に出現している単語をそのまま解答として出力することで誤答となってしまっているケースが多く見られた．
以下に，その例を示す．
\begin{quote}
    \begin{tabbing}
        \hspace{4.5em} \= \kill
        \textbf{問題文1} \> 中国の書物「四書五経」の「四書」といえば、「大学」「論語」「孟子」と何? \\
        \textbf{誤答1} \> 大学  \\
        % 
        \textbf{問題文2} \> 「夏の大三角」を構成する3つの星は、アルタイル、ベガと何? \\
        \textbf{誤答2} \> 夏の大三角 \\
        % 
        \textbf{問題文3} \> 色の三原色を指す「CMY」の「C」はシアン、「M」はマゼンタの略ですが、\\
        \> 「Y」は何の略? \\
        \textbf{誤答3} \> Y
    \end{tabbing}
\end{quote}
このような問題に対しては，\ref{parallel_quiz}項でも述べたように，最終的な解答が問題文中に含まれている場合を検知することで正解率が改善する可能性が高い．

GPTベースラインについては，上述したように他のシステムと異なりクイズ問題を解くという訓練をしていない．
しかし，プロンプト内でクイズ問題を解く事例をいくつか見せる，という設定に変更することは簡単に行うことができる．
この変更により，クイズ問題を解く事例を先に見させた上で，GPTベースラインに評価用クイズ問題を解かせることができる．
このような変更を行った場合に，どれほど正解率が向上するかは興味深い．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ ChatGPT と GPT-4 が正答できていない問題}

本項では，汎用の質問応答システムとして分析対象に含めた ChatGPT と GPT-4 の結果を用いて考察を行う．
初めに評価用クイズ問題に対する正解率を測定した結果，表\ref{table:qa_systems_architectures}に示したように ChatGPT では$56.8\%$， GPT-4 では$73.0\%$の正解率であった．
ChatGPT は
GPT-2 を用いた GPT ベースラインよりも高い正解率を記録したものの，その他のベースラインの正解率は下回った．
GPT-4 に関しては，3つのベースラインシステムを凌駕する性能を達成したものの，コンペティションに特化して構築された日本語質問応答システムには及ばない結果となった．

次に，2つのシステムの両方が不正解であった問題を抽出し，それらに対する問題文の特性の割合の調査を行った．
その結果を表\ref{table:hard_quiz_features_chatgpt_and_gpt4}に示す．
なお， ChatGPT と GPT-4 のいずれもが不正解であった問題は全部で$244$問存在した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{02table12.tex}%
\hangcaption{ChatGPT と GPT-4 の両方が不正解であったクイズ問題について，問題文の特性とそれらの問題内で占める割合．「差分」の列は，表\ref{table:quiz_features_baseline}の「割合」列との差を示したものであり，「パラレル問題」以下に示された特性に関してはその値がプラスで大きいほど， ChatGPT と GPT-4 にとって難易度が高い問題に顕著な特性であると考えられる．
}\label{table:hard_quiz_features_chatgpt_and_gpt4}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{table:hard_quiz_features_chatgpt_and_gpt4}内で Wikipedia との関係についての特性に注目すると，「正解が Wikipedia の記事名になっている」が$-12.0\%$，「正解が Wikipedia の記事名にはなっていないが，本文中には書かれている」が$+11.2\%$となっている．
この結果から，これら2つのシステムにとっても記事にならないようなマイナーな単語が正解の場合の方が難易度が高いことが分かる．

また， ChatGPT と GPT-4 の誤答を目視で確認したところ，興味深い傾向が観察された．
それは，「誤答の中に正解の文字列とかなり近いものがある」という傾向である．
以下に，その傾向が見られた例をいくつか示す\footnote{これらの解答を誤答判定としている理由は，一般的な言い回しでないことが別解として認める許容ラインを超えていることと，適切な応答を返すという質問応答システムとしての目的に反していると判断したためである．}．
\begin{quote}
    \begin{tabbing}
        \hspace{5em} \= \kill
        \textbf{問題文1} \> 第一次世界大戦中、ドイツ軍がイープル戦線において初めて使用した、独特の \\
        \> 臭気を持つ毒ガスのことを、ある香辛料にちなんで何という? \\
        \textbf{正解1} \> マスタードガス \\
        \textbf{ChatGPT} \> ムスタードガス \\
        \hspace{5em} \= \kill
        \textbf{問題文2} \> コロイド溶液に光を通した時、光の散乱によって道筋が見える、という現象を \\
        \> 発見者にちなんで何現象という? \\
        \textbf{正解2} \> チンダル現象 \\
        \textbf{GPT-4} \> タインダール現象
    \end{tabbing}
\end{quote}
上に示した「ムスタードガス」や「タインダール現象」という表記を使っている用例は， ウェブ検索を行った限りでは確認できなかった．
この傾向は，システムが主に英語のデータセットで学習されていることに起因し，日本語ドメインに転移できていないことを示していると考えられる．
すなわち，システムが推論によって導き出した英語の解答候補（例えば，``Tyndall effect''）を，問題文が日本語であることに合わせてカタカナ語に変換しようとするものの，その変換がうまくいっていない（``Tyndall'' → 「タインダール」）ために，このような現象が起こっていると予想される．
そのため， ChatGPT や GPT-4 のようなシステムと同規模のシステムを日本語のデータセットで学習することができた場合に，果たしてこの傾向が緩和されるかは興味深い．

また，上記の誤答傾向とは別に，一般に``hallucination'' \cite{DBLP:journals/corr/abs-1910-08684}と呼ばれている現象も観察された．
その一例を以下に示す．
\begin{quote}
    \begin{tabbing}
        \hspace{5em} \= \kill
        \textbf{問題文} \> サッカーの試合会場で、ゴールの横に描かれ、テレビ中継の視聴者にとっては \\
        \> 立体的に見える広告看板のことを何という? \\
        \textbf{正解} \> 90°システム広告 \\
        \textbf{ChatGPT} \> バーチャルサイドライン広告 \\
        \textbf{GPT-4} \> 3Dピッチ広告
    \end{tabbing}
\end{quote}
ウェブ検索を行った限りでは，「バーチャルサイドライン広告」や「3Dピッチ広告」という言葉が使われている用例は確認できなかった．
このように ChatGPT や GPT-4 では，実際には存在しないが尤もらしい言葉や言い回しによって解答している誤答例が見受けられた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析結果のまとめ}

以下に，\ref{analysis_results}章で行った分析結果をまとめる．
\begin{itemize}
    \item 現在の日本語質問応答システムとしては，Retriever-Reader 型の構成が主に用いられる傾向にある．
    \item 手法の異なる Retriever を組み合わせて使用することや，複数の Reader を用いることで解答の正答らしさを高めること， Reranker を使うことで問題文についてより関連度の高い文書を利用すること，などの工夫がなされたシステムの正解率が高く，このような工夫によって質問応答システムの性能を向上させることができると考えられる．
    \item 現状の質問応答システムにとって，正解するために数量推論や計算を必要とする問題が難しいと考えられる．このような問題を正答できるようになるためには，記号処理によって計算を行う構成要素をシステムの構成に追加したり，大規模言語モデルを利用したりすることが考えられる．
    \item Wikipedia を学習に用いたシステムにとって， 正解が Wikipedia にあまり登場しないような単語である問題の難易度が高いことが示された．多様なドメインのデータセットの利用によりシステムが学習中に見る単語の種類を増やすことで，より広範な知識に基づいて解答を行うシステムの構築を見据えることができる．
    \item 一方で，人名を問う問題のように，現状の質問応答システムでも十分に正当可能な水準にある問題の特性が存在することも判明した．
    \item 汎用の質問応答システムとして利用可能な GPT-4 は，評価用クイズ問題に対してコンペティションのベースラインの正解率を凌駕したものの， ChatGPT とともにコンペティションに特化して構築されたシステムの正解率には及ばなかった．
    もしChatGPTやGPT-4をコンペティションで提供されているデータで追加学習できた場合，コンペティションに提出されたシステムに匹敵する正解率を達成するかは興味深い点である．
    \item ChatGPT や GPT-4 には，解答の一部に一般的な言い回しでない日本語で解答する傾向が見られた．これは，主に英語のデータセットを用いて学習されていることに起因し，日本語ドメインに転移できていないことを示唆していると考えられる．
    今後日本語に特化したChatGPTに匹敵する大規模言語モデルが登場した場合，この問題は解消される可能性が高い．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本論文では，現在の日本語質問応答技術の到達点と課題を明らかにするため，「AI王 ～クイズAI日本一決定戦～」に提出された質問応答システムと日本語のクイズ問題，および汎用の質問応答システムとして利用可能な大規模言語モデルを用いた分析を行った．
分析の結果，現在の日本語質問応答システムにはRetriever-Reader方式が多く採用されており，RetrieverやReaderの数を増やしたりRerankerを採用したりするといった工夫や，システムの学習に用いるデータ資源のドメインを多様化することで，クイズ問題に対する正解率を向上させられることが分かった．
このような工夫をしたシステムの中には，本論文で分析に用いた評価用クイズ問題に対して$9$割以上の正解率を達成するものもあった．
また，人名を問うような問題に対しては，現在の日本語質問応答システムは十分に正答可能な水準にあることも示された．
しかしその一方で，正答するために数量推論や計算を必要とするといった特性を持つ問題については，未だ正答することが難しいという課題も明らかになった．

本論文の分析を通じて，Retrieverの検索性能の向上およびReaderの解答抽出・生成の性能向上を達成するための改善策として，データに注目した場合には学習データのドメインの多様性を高めたり，ReaderやRerankerが扱う関連文書の数を増加させたりすることが有効であることを示した．
また，システムの構成に注目した場合は，関連文書検索と解答抽出・生成という戦略に沿ったRetriever-Reader方式では現状正答できていない問題の特性，例えば上述の数量推論などを扱うことができるような新たな質問応答システムの構成を考える必要があることを示した．
本論文ではそのような構成の方向性として，問題の特性を扱うための専用の構成要素を既存の構成に追加することや，大規模言語モデルを用いた質問応答システムを開発することを提案した．
このようなシステムにより，現状の質問応答技術では未だ正答するまでに到っていない質問に対しても答えられるようになる可能性がある．

さらに，汎用の質問応答システムとして利用可能な大規模言語モデルである ChatGPT と GPT-4 についても評価を行い，そのどちらもが日本語のクイズ問題を解くために特化して構築された質問応答システムの正解率には及ばないことを示した．
また，これら2つのシステムの解答に日本語として不自然な言い回しが含まれる現象が起こること，および一般に``hallucination''と呼ばれる現象が解答に現れることも確認した．


本論文では日本語質問応答技術についての分析を行ったが，分析を行うことができなかった質問応答タスクとして，解答が文章のような長文となる long-form 質問応答や，インターネットへの接続が許可された条件下での質問応答などが存在する．
このようなタスクにおける日本語での質問応答技術については，今後の更なる検証・議論が必要である．

最後に，日本語を対象とした質問応答研究は依然として発展途上であり，我々としても「AI王」というコンペティションを通じ，クイズを題材とした日本語質問応答データセットと日本語を扱う質問応答システムの公開を通して，日本語の質問応答研究を促進していきたいと考えている．
本論文の分析結果が，今後の日本語質問応答技術の研究に役立ち，発展に寄与できることを期待している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

AI王プロジェクトは，理化学研究所 革新知能統合研究センター(\url{https://aip.riken.jp})の支援を受けて実施しています．
また，本コンペティションの学習・開発・リーダーボード・評価用データのクイズ問題は，株式会社キュービックおよびクイズ法人カプリティオへ依頼して作成しました．
記して感謝いたします．

また， Tohoku NLP Group の伊藤郁海氏には，本論文の校閲にご協力を賜ったことに深く感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{02refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{ChatGPT と GPT-4 で用いたプロンプト}
\label{details_of_prompts}

本章では， ChatGPT と GPT-4 に解答を生成させる際に用いたプロンプトの詳細について述べる．
プロンプトには，
\begin{itemize}
    \item 質問応答タスクを行う旨の指示
    \item Few-shot (one-shot) の設定として，質問応答の例
\end{itemize}
を含めた．
実際に使用したプロンプトを図\ref{GPT_prompt}に示す．

プロンプトに含めた質問応答の事例は固定のものであり，全ての問題文に対して同じ事例を用いた．
また，事例は著者らが無作為に考えたものである．
一般論としてプロンプトチューニングをすればより正解率が向上する可能性はあるが，本論文の目的はプロンプトチューニングによる ChatGPT や GPT-4 の質問応答性能の向上ではないため，標準的なプロンプトを用いるにとどめた．

\newpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\vspace{1\Cvs}
\begin{lstlisting}[caption=実際に使用したプロンプト．,label=GPT_prompt]
messages = [
     {"role": "system", "content": "あなたは物知り博士です．どんな質問にも的確に答えます．解答は必ず，解答：「この中に解答の文字列」の形で答え\
     てください．複数の解答が考えられる場合でも，複数答えるのではなく最も正しいと思う一つを解答してください"},
     {"role": "user", "content": "質問：2020年のワールドシリーズの勝者は？"},
     {"role": "assistant", "content": "解答：「ロサンゼルスドジャーズ」"},
     {"":""},   # ここに質問を入れる
 ]
\end{lstlisting}
\vspace{1\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{有山　知希}{%
2022年東北大学工学部卒業．現在，東北大学大学院情報科学研究科博士前期課程2年．
}
\bioauthor{鈴木　　潤}{%
2001年から2018年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員（主任研究員／特別研究員）．2005年に奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，東北大学データ駆動科学・AI教育研究センター教授，理化学研究所AIPセンター客員研究員．
}
\bioauthor{鈴木　正敏}{%
2019年東北大学大学院情報科学研究科博士前期課程修了．2021年同博士後期課程修了．2021年より株式会社 Studio Ousiaソフトウェアエンジニア，東北大学データ駆動科学・AI教育研究センター学術研究員．
}
\bioauthor{田中　涼太}{%
2020年名古屋工業大学大学院工学研究科博士前期課程修了．日本電信電話株式会社NTT人間情報研究所 研究員．東北大学大学院情報科学研究科博士後期課程1年．
}
\bioauthor{赤間　怜奈}{%
2017年東北大学工学部卒業．2018年東北大学大学院情報科学研究科博士前期課程修了，2021年同博士課程修了．2021年より東北大学データ駆動科学・AI教育研究センター助教，理化学研究所AIPセンター客員研究員．
}
\bioauthor{西田 京介}{%
2008年北海道大学大学院情報科学研究科博士後期課程修了．博士（情報科学）．2009年日本電信電話株式会社入社．2023年よりNTT人間情報研究所 上席特別研究員（現職）．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

