\documentclass[japanese,tombow,other]{jnlp_3.1}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\documentclass[japanese,tombow,other,dvipdfmx]{jnlp_2.2}
%%%%\usepackage{jnlpbbl_1.3}
%%%%\usepackage{amsmath}
%%%%\usepackage{color}
%%%%\usepackage{xcolor}
%%%%\usepackage{tabularx}
%%%%\usepackage{latexsym}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
%%%%\usepackage{amssymb}
%%%%\usepackage{graphicx}
%%%%\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
%%%%\usepackage{tikz,tikz-qtree}
%%%%\usetikzlibrary{shapes.geometric,positioning,shapes,fit,arrows,backgrounds}
%%%%\usetikzlibrary{intersections, calc}
%%%%\usepackage{algorithm}
%%%%\usepackage{algorithmic}
%%%%\usepackage{proof}
%%%%\usepackage{gb4ea}
%%%%\usepackage{ebproof}
%%%%\usepackage{subfigure}
%%%%\usepackage{textcomp}
%%%%\usepackage[T1]{fontenc}
\usepackage{url}
%%%%\usepackage{mediabb}
\DeclareMathAlphabet\mathbfcal{OMS}{cmsy}{b}{n}
\newcommand{\rfc}{$\mathbfcal{R}^4\mathbfcal{C}$}
\newcommand{\derivation}{導出}
%%%%\newcommand{\supfact}{回答根拠}
%%%%\newcommand{\competentworker}{有能ワーカ}
\newcommand{\repourl}{\url{https://naoya-i.github.io/r4c}}
%%%%\newcommand{\targetpaper}{論文}
%%%%\renewcommand{\cite}{\shortcite}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\renewcommand\UrlFont{\rmfamily}

\Volume{27}
\Number{3}
\Month{September}
\Year{2020}

\setcounter{page}{665}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{$\boldsymbol{\mathcal{R}^{4}\mathcal{C}}$: A Benchmark for Evaluating RC Systems to \\Get the Right Answer for the Right Reason}
\jauthor{井之上直也\affiref{Author_1}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason}
\eauthor{Naoya Inoue\affiref{Author_1}}

\headauthor{井之上}
\headtitle{\rfc: Right for the Right Reasons RC}
%%%% 英語所属は出力せず
\affilabel{Author_1}{Modus Ponens Research}{Modus Ponens Research}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

本解説記事では，著者の標記の論文 \cite{inoue-EtAl:2020:acl}（以下，原論文）について，原論文で語り尽くせなかった関連分野の現状認識，および今後の展望を交えて解説いたします．
著者は「言語を処理するだけでなく理解するマシン」にこだわって10年間研究を推し進めてきた人間であり，普段とは一味違うレンズから見た分野の現状認識をお楽しみください．
ちなみに何をもって「言語を理解したか」の定義は十人十色だと思いますが，著者の場合は「ある言語処理タスクにおいて根拠正しく精度よく解けた」状態だと考え，筆を進めます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

いま，自然言語処理は「言語理解 (Natural Language Understanding)」ブームに沸いている．
ここ数年の間に，文章読解 (Reading Comprehension)，常識推論 (Commonsense Reasoning) など高度な言語理解を問うことを謳う，数多くのデータセットがリリースされている．
例えば，2017年から2019年の3年間で，52 の Machine Reading Comprehension (MRC) のデータセット，31 の Natural Language Inference のデータセットがリリースされたという報告がある \cite{Sugawara2020prerequisites,Storks2019survey}．
「言語を理解するマシン」を研究してきた著者は奮いたった．

しかしながら，最近の研究結果より，これらは著者の理想とは少し違うものだということがわかった．
これらのデータセットには言語理解力とは直接関係のない回答の手がかりが潜んでおり，システムは自然言語を理解せずとも多くの問題に回答できてしまうことが報告されている \cite[etc.]{Sugawara2018,Mudrakarta2018}．
例えば，ある MRC のデータセットでは，\emph{when} から始まる質問の回答には記事内に初出の日付を答えればよい，などのヒューリスティクスが有効である．
含意関係認識，常識推論等の他の分野でも同様の問題が指摘されており \cite[etc.]{Gururangan2018,Kavumba2019}，自然言語理解のベンチマークの品質保証は自然言語処理コミュニティ全体の大きな課題になりつつある．

考えてみれば当然なのだが，これらのデータセットは基本的に「マシンが言語理解をできているならば外部タスク$X$が精度よく解ける」ということを仮定し，外部タスク$X$の精度により間接的 (extrinsic) に言語理解力を評価するものである．
しかし，この逆「マシンが外部タスク$X$を高精度に解けるならば言語理解ができている」ことは保証されていない．
こうした知能の有無をテストする方法の議論は Pfungust の賢場ハンス (1907年)，Turing のチューリングテスト (1950年)，Searle の中国語の部屋 (1980年)，といった形で古くからあり，言語理解力のテストとも関連深い．
数多のデータセットがリリースされているところを見ると解決済みの問題に思えてしまうのだが，実は今も全く決着の着いていない問題なのである．

原論文は，こうした現状に次の二点で貢献するものである．
\begin{itemize}
  \item マシンの言語理解をより直接的に評価することができる MRC 形式の説明生成タスク \rfc を新たに定義し，その自動評価尺度の提案，およびタスクの性質の分析を行った\footnote{\rfc は「アール・フォー・シー」と読む．``\underline{R}ight for the \underline{R}ight \underline{R}easons \underline{R}C.'' の略記である．}．
  \item クラウドソーシングに基づく高品質かつスケーラブルなアノテーション手法を提案し，4,588 の質問回答ペアそれぞれについて3つの高品質な参照\derivation （合計13,764導出）が付与された \rfc のデータセットを構築・公開した (\repourl)．
\end{itemize}
これにより，MRCの技術が本質的な自然言語の理解を経て問題を解いているかを定量的に評価できるようになり，ひいては「言語を理解するマシン」に一歩近づくわけである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\rfc の概要}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題設定}

\rfc は標準的なMRCと同様に，質問 (Question)，関連文書集合 (Articles) が入力として与えられ，回答 (Answer)，および\textbf{\derivation} (Derivation)，すなわち回答の説明を出力するタスクである．
\derivation は\derivation ステップの集合からなる．
\derivation ステップは半構造化されたエンティティ間の関係表現である．
エンティティと関係は必ずしも質問，または関連文書集合に存在する言語表現である必要はなく，説明を\textbf{生成する}タスクとなっている．

図~\ref{fig:killer} に入出力の具体例を示す．
ここでは「Apple のリリース直前に亡くなった人が所属する Mother Love Bone の前身バンドは何か」という質問に対し，「Malfunkshun は Mother Love Bone の前身であって，そこには Andrew Wood が所属しており，Andrew Wood は Apple のリリース直前に亡くなった」ことを\derivation とし，Malfunkshun を回答として出力する必要がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{27-3ia9f1.eps}
\end{center}
\caption{\rfc の概要．質問への回答に加え，回答に至る途中経過（\derivation ；derivation）を生成する．}
\label{fig:killer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

\rfc のユニークな点の一つは，半構造化された\derivation を活用してその評価指標を巧妙に定義している点である．
言語生成タスクの評価方法は，自然言語処理の積年の課題であり，それ自身が大きな研究課題であることはよく知られている．
しかし，半構造化された\derivation の下では，2つの\derivation 間の類似度の計算は比較的正確にできる．
各要素の類似度を計算し，平均すればよいのである．
昨今，BERT \cite{Devlin2019}などの事前学習言語モデルの発展により，言語表現の同義牲は高精度で認識できるようになってきた．
これができるということは，機械翻訳や要約等で用いられる参照型評価指標 (BLEU, ROUGEなど) のように，あらかじめ手本となる複数の\derivation （\textbf{参照導出}）を用意し，これとの類似度を測れば比較的正確な評価ができる，というわけである．
具体的には，一つの問題について $n$ 人のアノテータにより与えられた $n$ 個の参照\derivation $G_1, G_2, ..., G_n$があることを仮定する．
この上でシステムの\derivation $D$ と最もよくone-to-oneアライメントすることができる参照\derivation $G^*$ を選択し，アライメントスコア$c$を得る．
これをもとに Precision = $c/|D|$, Recall = $c/|G^*|$ を計算するというわけである．

これにより，生成タスクにも関わらず適切かつ迅速な評価ができ，効率的に研究開発のサイクルを回すことが可能になる．
さらにエンティティのみの評価，関係のみの評価といった部分的評価指標を用意することができ，モデルの振る舞いの分析が容易になる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット構築}

原論文では，クラウドソーシングに基づくデータセットの構築方法を示し，高品質な\derivation が安価かつ大規模に得られることを示している．
また，これを大規模なマルチホップQAのデータセットである HotpotQA \cite{Yang2018}の一部に適用し，4,588 の質問回答ペアそれぞれについて3つの高品質な参照\derivation （合計13,764導出）が付与された \rfc のデータセットを構築・公開している．
また，このコーパスを用いた実験により，人間は精度良くタスクが解けることやその他タスクの性質を分析している．
一連のデータセット，自動評価スクリプトは \repourl にて入手可能である．
説明が付与されたMRCのデータセットとしては世界最大規模であり，今後の周辺分野の発展に大きく寄与するだろう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後の展望}

これまでの多くの人工知能研究がそうであったように，ひとたびデータセットと評価指標が確立されればその研究分野は大きく前進する．
\rfc をきっかけに多くの研究者が「言語を理解するマシン」の研究開発に取り組むようになることを望んでいる．
また，多くの言語理解データセットが出てはその弱点を指摘する論文が出るということがここ2，3年で繰り返されてきたわけだが，この流れの収束に一石を投じられることを願っている．

著者自身は次のステップとして，根拠正しく予測を行うMRCモデルの研究開発に取り組んでいる．
詳しい報告は改めて別の場所で行うとして，チャレンジを二点だけ紹介しておこう．

第一に，そもそも予測の根拠を陽に提示するMRCモデルのアーキテクチャ自身をつくることが難しい．
著者の知る限り，現存するMRCモデルは \rfc の\derivation のような記号の形で予測根拠を知ることができない．
このため，予測の途中経過を人間にも解釈可能な記号で表現し，この上で推論を柔軟に行い，かつ精度よく回答を予測するような機構を作るのは革新級の研究課題である．
こうした機構をいかにend-to-end学習するかなど，解決すべき課題は山ほどある．
近年の「記号推論と深層学習の融合 (Neuro-Symbolic Reasoning)」の研究はまさにこれに近い問題を扱っており，良い出発点を与えてくれそうである．

第二に，予測根拠を正しく出力するという問題の複雑さに対して教師信号（\derivation のアノテーション）が極端に少ないという点が難しい．
クラウドソーシングによるアノテーションが可能とはいえ，パタン認識ができるレベルで超大規模にこうしたアノテーションの存在を仮定することは非現実的である．
説明生成機構の教師なし事前学習，説明の良さに関する人間の事前知識の導入など，こうした課題に対処するアイデアが必要である．

最後に，何をもって言語を理解したとするかはなかなか悩ましい問題であり，その答えの解像度を上げていくことも重要なネクストステップである．
冒頭の例「\emph{when} から始まる質問に対して，記事に初出の日付で答える」という推論規則についてもそうだが，実は推論規則と言語理解力にどこから関係がないといえるかの境界は曖昧である．
しかし，少なくとも「タスク$X$に関する特定のデータセット$A_1$でのみ有効で，他のデータセット$A_2,A_3,...$には一般化できない」推論規則は言語理解の本質から外れたものではないかと著者は考えている．
この文脈でいうと，\rfc は\derivation の正しさのチェックを通してモデルが学習した推論規則の評価を行うものであり，その\derivation の正しさはデータセット非依存に規定される．
しかし，\rfc を完璧に解くモデルができたとして，それは本当に言語を理解したといえるのだろうか．
著者の探求は続く．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{09refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{井之上直也}{%
2008年武蔵大学経済学部経済学科卒業．
2010年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2013年東北大学大学院情報科学研究科博士後期課程修了．
株式会社デンソー基礎研究所研究員, 東北大学大学院情報科学研究科助教，理化学研究所客員研究員を経て，2020年4月より個人事業主Modus Ponens Researchとして独立，現在に至る．
博士（情報科学）．
自然言語処理の研究に従事．
言語処理学会，情報処理学会，人工知能学会，ACL各会員．
}

\end{biography}



\end{document}


