\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\DeclareMathAlphabet\mathbfcal{OMS}{cmsy}{b}{n}
\newcommand{\rfc}{$\mathbfcal{R}^4\mathbfcal{C}$}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{1}
\Month{March}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{237}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension}
\jauthor{井之上直也\affiref{Author_1}\affiref{Author_2}}
\etitle{Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension}
\eauthor{Naoya Inoue\affiref{Author_1}\affiref{Author_2}} 

\headauthor{井之上}
\headtitle{SuQA}

\affilabel{Author_1}{Stony Brook University}{Stony Brook University}
\affilabel{Author_2}{理化学研究所}{RIKEN}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

本解説記事では，EMNLP2021に採択された標題の論文 \cite{inoue-etal-2021-summarize}を概説し（\ref{sec:summary}~節），その誕生秘話について語る（\ref{sec:born}~節）．
本稿を読み物として楽しんでいただき，これをきっかけに本研究に興味を持っていただければ幸いである．

著者はこれまで，「言語を処理するだけでなく理解するマシン」という目標を胸に自然言語処理の研究に取り組んできた．
なぜかと言われれば，ワクワクするからというのが正直なところである．
文章に潜むロジックをしっかり理解して答えを導く，そしてその理解の過程を説明してくれる，そんなマシンができるかと思うとワクワクする．
ここ十年ほど同じトピックに取り組んでいるが，飽きる気が全くしない．
ゴールまでの道のりはまだまだ遠いと感じており，研究課題に困ることは当面ないのではと思っている．

しかし，研究開始当初に比べれば様々なリソース，手法が揃ってきており，少しずつではあるが着実に前進しているという実感はある．
前回の解説記事 \cite{inoue2020r4creview}で取り上げたACL2020の論文 \cite{inoue-etal-2020-r4c}も，今回解説する論文も，こうした小さな一歩のうちの一つである．
前回の解説記事では，質問応答モデルが推論過程を理解しているかをテストするベンチマークデータセット \rfc について紹介した．
今回の論文は，\rfc を活用して，推論の過程を説明できる質問応答システムを作ったという話である．
なお，構築した質問応答システムは\url{https://github.com/StonyBrookNLP/suqa}に公開されているので，関心のある読者はぜひその手でお試しいただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Summarizer-augmented QA (SuQA) の概要}
\label{sec:summary}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia23f1.pdf}
\end{center}
\hangcaption{Summarizer-augmented QA (SuQA) の概要．先行研究は入力文からの「抽出」により説明を構築するのに対し，本研究は説明を「生成」することにより説明を構築する．よりconciseな（小さく，わかりやすく，回答に十分な情報を含む）説明が構築できることが期待される．}
\label{fig:killer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ねらい}
\label{sec:goal}

本研究では，説明可能な質問応答 (explainable QA) システムの構築を目指した．
具体的には，質問と関連文書集合が入力として与えられたとき，その回答に加えて，\textbf{説明}，すなわちその回答にたどり着く理由も出力するということである．

先行研究における一つの有望なアプローチとして，図~\ref{fig:killer}に示すように，回答に必要な情報を関連文書集合から抽出しこれを後段の質問応答モデルに渡すというパイプライン的な手法 \cite{paranjape-etal-2020-information,glockner-etal-2020-think}が提案されている．
抽出された文の集合が「説明」ということになるが，こうして生成された説明には，回答の予測には関係のない部分を含み，説明として理解しづらいという弱点がある（図~\ref{fig:killer}, Extractive Explainer）．
そこで本研究では，\emph{minimal} （なるべく小さく），\emph{comprehensible} （理解しやすく），\emph{sufficient} （回答に十分な情報を含んでいる）という3つの特徴を満たす説明を出力する質問応答システムを目指した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アイデア}

基本的なアプローチとしては，先行研究に倣い，入力$\rightarrow$説明生成$\rightarrow$回答予測というパイプライン式の流れでシステムを作ることとした．
ただし，前述の3点の特徴を考慮して，説明を関連文書集合から「抽出」する代わりに，「生成」をする点がポイントである（図~\ref{fig:killer}, Abstractive Explainer）．
これにより，重要な部分を要約して簡潔に言い換える，といった操作が可能になる．

こうしたシステムを作る上で障壁となるのが，説明生成器の教師データである．
質問応答データセットに説明を付与するのはコストがかかるため \cite{inoue-etal-2020-r4c}，なるべく少ない教師データを使ってこれを実現する方法を考えるのが現実的である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia23f2.pdf}
\end{center}
\hangcaption{SuQA の自己学習．説明生成器 (Abstractive Explainer) から説明をサンプリングし，報酬関数を用いて評価する．良い説明の生成確率を上げるように説明生成器が訓練される．}
\label{fig:selfsupervision}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この問題を解決するために，本研究では二つの工夫を提案している．
第一に，\textbf{要約タスクによる事前訓練}である．
説明生成のタスクは，実は関連文書集合の要約のサブタスクと捉えることができる．
ただし，我々の望む説明は単なる要約ではなく，「質問の回答に最小限必要な情報を含む」(question-focused) という条件付きの要約である．
そこで，既存の巨大な要約データセットを用いて説明生成器を事前訓練し，これをさらに \rfc（質問-説明-回答の組） \cite{inoue-etal-2020-r4c}を用いてファインチューニングする．

第二の工夫は，\textbf{自己学習}である．
\ref{sec:goal}~節で述べたように，良い説明の基準はあらかじめわかっている．
ゆえに，図~\ref{fig:selfsupervision}に示すように，生成した説明をシステム自身が評価し，これを生成器にフィードバックすることが可能である．
この際の評価関数は，生成された説明の圧縮率，質問応答モデルに説明を与え正しい回答が得られるか，といった観点から計算する．
これは自然に強化学習の問題として定式化できる．

実験では，QAの性能をそれほど落とさずに説明性を向上させられることを示し，これらのアイデアの有効性も検証している．
さらなる詳細は，原論文 \cite{inoue-etal-2021-summarize}を参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{誕生秘話}
\label{sec:born}

実は，この研究は幾多の紆余曲折を乗り越えた上に日の目を見た成果である．
同じ境遇にある研究者の方のお役に立てればと思い，誕生までの経緯を少しお話したい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{筆者のコロナ禍の転職}
筆者は，2020年3月まで東北大学の助教の職に就いていたのだが，2020年4月より，ニューヨーク州の Stony Brook University に Postdoctoral Associate として移籍する予定となっていた．
様々な研究分野をリードする米国で，研究のノウハウを肌で学び取りたかったのである．
ところが，こうして意気込んでいた直後，COVID-19の影響によりニューヨークがロックダウン状態となり，4月からの転職ができなくなってしまった．
その後，急遽個人事業主となり生計を立てながら，研究のアイデアを温めていた．
状況は緩やかに改善し，8月に無事に渡航することができ，9月から正式に職に就くことができた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{コロナ禍，新環境，研究立ち上げ}
無事に渡航ができたものの，困難が次々に降りかかる．
筆者は在外研究の経験があったものの，フル英語，しかも新しい環境で研究を立ち上げていくことには，特に移籍直後は苦労した．
さらに，コロナ禍ですべての研究活動がリモート実施されていたため，「研究室に行けば自然に誰かと会話が始まる」状態もないということがそれに拍車をかけた．
それでも何とかなったのであるが，何が一番の成功の鍵になっていただろうと考えると，一緒にこの研究に取り組んでいた博士課程の学生さんとのコミュニケーションを増やして，議論の機会を増やした点だと思う．
もちろん，コミュニケーションがなるべく取れるように常に気を遣ってくださったPIの皆様のおかげでもある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{方向性の転換}
研究開始当初は，説明性と質問応答システムに関する研究をやりたいと漠然と考えていた．
そんな中最初に思いついたのは，以前に構築した {\rfc} \cite{inoue-etal-2020-r4c}を使って，「質問応答モデルが，質問を回答するのに必要な情報を読み取れているか」をprobeする，という方向性であり，いくつかプロトタイプ的な実験を実施していた．
しかし，近年の質問応答モデルは基本的にブラックボックスであり，「モデルMが情報Xを読み取った」という主張自体が難しく，このまま突き進んでも何かをクリアに結論付けられないのではというコメントを受け，袋小路にはまった．
議論を重ね，probingではなく，推論過程を説明できるような質問応答モデルを作りましょう，という話に転換することとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{査読の壁}
興味深い結果が出始め，無事に論文投稿まで漕ぎ着けたものの，査読では，3人の査読者から 2.5, 2.5, 4という低い Overall Recommendation をもらい，諦めかけていた．
しかし，よくよくレビューを読んでみると，誤解に基づく評価が多々あり，戦略的にAuthor Responseを書けば十分に逆転が狙えそうだということに気付いた．
共著者とともに時間いっぱいResponseを練り，最終的には，Area Chair を説得し，メイン会議に採択されるという大逆転を果たすことができた．
ここまで長かったが，諦めずにしつこく粘って本当によかったと思っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後の展望}

本研究では，回答の予測に用いる情報を要約して箇条書きで列挙できるようにすることで，説明可能な質問応答システムを目指した．
しかし，現段階では，どの情報をどのように組み合わせどのような結論を導いたかという推論の過程が説明できない．
また，本来は，与えられた関連文書集合だけでなく，外部の構造化された知識ベースを用いて回答を予測してもよいのだが，これもまだできていない．
今後は，こうした自然言語テキストと構造化された知識ベースを相補的に用いて質問応答を行うモデルを構築し，これを説明可能なシステムにしていきたい．
また，本研究が扱う問題は，人工知能の説明性 (explainability) の問題とも関連が深く，より広い文脈の中でも方向性を考えていきたい．

ここで，冒頭の話に改めて戻ってみたい．
「理解するマシン」を突き詰めた先に何があるだろうか．
筆者は，こうしたアプローチが言語処理の頑健性の向上の近道なのではないかという淡い期待を抱いている．
筆者の昨年の解説記事 \cite{inoue2020r4creview}でも述べたが，近年，モデルがデータセット特有のショートカットを学習してしまうことにより予測の頑健性が失われるという問題が取り沙汰されている \cite[etc.]{sugawara-etal-2018-makes,gururangan-etal-2018-annotation,kavumba-etal-2019-choosing}．
そもそも解析対象の文章をしっかり理解して，問題を論理的に解いていればこのようなことは起こりにくいはずで，理解ベースのアプローチが有効な解決策の一つだと考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{23refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{井之上直也}{%
2008年武蔵大学経済学部経済学科卒業．
2010年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2013年東北大学大学院情報科学研究科博士後期課程修了．
株式会社デンソー基礎研究所研究員， 東北大学大学院情報科学研究科助教，理化学研究所客員研究員を経験後，2020年4月より個人事業主Modus Ponens Researchとして独立．
2020年9月よりStony Brook University Postdoctoral Associate，2020年12月より理化学研究所客員研究員に着任，現在に至る．
博士（情報科学）．
自然言語処理の研究に従事．
言語処理学会，情報処理学会，人工知能学会，ACL各会員．
}

\end{biography}



\end{document}


