\documentclass[japanese,tombow,other]{jnlp_3.1}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{array}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\documentclass[japanese,tombow,other]{jnlp_2.2}
%%%%\usepackage{jnlpbbl_1.3}
%%%%\usepackage[dvipdfmx]{graphicx}
%%%%\usepackage{amsmath}
%%%%\usepackage{booktabs}


\Volume{27}
\Number{3}
\Month{September}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{677}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Evaluating Dialogue Generation Systems via Response Selection}
\jauthor{佐藤　志貴\affiref{Author_1}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Evaluating Dialogue Generation Systems via Response Selection}
\eauthor{Shiki Sato}

\headauthor{佐藤}
\headtitle{Evaluating Dialogue Generation Systems via Response Selection}

%%%% 英語所属は出力せず
\affilabel{Author_1}{東北大学大学院情報科学研究科}{Tohoku University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{SEC:Introduction}

本稿では，ACL2020にて採択された論文である``Evaluating Dialogue Generation Systems via Response Selection'' \cite{sato-2020}の解説をおこなう．
採択論文は，雑談対話システムの自動評価に取り組んだものである．
具体的には，対話応答選択タスクという選択問題を用いたシステムの自動評価に着目したうえで，評価に適した応答選択タスクのテストセットを構築する方法について議論した論文となっている．

採択論文の解説に先立ち，まずは雑談対話研究の現状について述べる．
人間と日常会話などの雑談をおこなう雑談対話システムは，深層学習技術の発展を背景に研究が急速に発展することとなった．
特に近年の深層学習ベースの雑談対話システムは，人間の問いかけに対して流暢な応答を生成できることが知られている．
しかしながら，人間と自然な雑談が可能なシステムの実現に向けては，まだまだ改良の余地がある．
たとえば，近年のシステムが生成する応答でさえ，自身の直前の発話とは矛盾する主張をするなど，人間同士の会話では生じないような誤りを含むことがある．

システムの改良に取り組むうえで，その性能を低コストで評価する方法や指標の存在は大きい．
たとえば機械翻訳の研究では，システムの生成した翻訳文と正解文の間の単語の一致を評価するBLEU \cite{papineni-2002}という指標がシステム性能の自動評価にしばしば用いられる．
BLEUは人間による評価に代わるほどの信頼性を持つ評価指標ではないが，BLEUを用いて一定の精度で評価しながらシステムの改良を繰り返すという効率的な開発プロセスが分野に定着することで，機械翻訳技術は飛躍的に発展することとなった．

一方，雑談対話研究では，機械翻訳研究でのBLEUに相当するような分野全体に共有されている評価指標が存在しているとは現状言い難い．
たとえば，雑談対話システムの自動評価においてもBLEUが用いられることは多いが，人間による評価との相関はまったく認められない \cite{liu-2016}．
この原因として，対話にはひとつの問いかけに対し妥当な応答が無数に存在するという性質（one-to-many問題）が存在することが挙げられる．
たとえば「調子はどうですか」という問いかけに対しては，「元気です」という応答も，反対の意味となる「具合が悪いです」という応答もどちらも等しく妥当となる．
そのため，事前に用意した応答例との単語一致を評価するBLEUでは信頼性の高い評価をおこなうことは難しい．
雑談対話システムの自動評価手法の設計にあたっては，このone-to-many問題にいかに対処するかがひとつの鍵となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の概要}
\label{SEC:AboutPaper}

One-to-many問題を回避可能な雑談対話システムの自動評価方法のひとつとして，採択論文では応答選択タスクに着目した．
応答選択タスクは，与えられた問いかけに対する適切な応答を選択肢から選択するタスクである．
応答選択タスクでは，システムは与えられた選択肢のなかから応答を選ぶため，候補に含まれない妥当な応答について考慮する必要がない．
そのため，たとえば選択肢に含まれる正解候補がひとつとなるように問題を設計すれば，擬似的なone-to-one問題としてシステムを評価することが可能となり，one-to-many問題を回避できる．

しかし，従来の応答選択タスクの枠組みを雑談対話システムの評価にそのまま適用することには評価の有効性の面で問題がある．
一般的に，応答選択タスクの負例には他の対話データから無作為にサンプリングしてきた発話を用いる\cite{lowe-2015}．
このとき，無作為サンプリングにより収集された負例には，(1)正解候補とかけ離れすぎていて容易に負例と判別できる発話や，(2)応答として必ずしも誤りとは言いきれない発話が含まれる可能性がある．
まず(1)について，たとえば，「好きな果物はなんですか？」という問いかけに対し「車が故障しました」という発話が負例としてサンプリングされたとする．
この発話は問いかけ中の「果物」という単語と関連性が低い「車」という単語を含むため，単語を比較していくだけで問いかけとの関連性が低いことがわかり，負例であると容易に推測できてしまう．
このような負例の混入によって，システムが対話の内容を理解していなくとも正解できる選択問題が構築されうる．
こうした選択問題では，\ref{SEC:Introduction}章で言及した自身の発話との矛盾などの雑談対話システムが抱える課題を評価できない．
次に(2)について，たとえば「わかりません」という発話は，さまざまな問いかけに対して応答として成り立ってしまう．
このような発話が負例としてサンプリングされた場合，選択肢には正解候補以外の妥当な応答が含まれることになり，妥当な応答を選択したはずのシステムの性能が不当に低く見積もられるという事態が起こりうる．
(1)や(2)のような発話により，負例を無作為サンプリングで取得した場合，応答選択タスクによるシステム評価の有効性は低いものとなるおそれがある．

以上の問題を踏まえ，採択論文では正解候補に類似しているが誤りを含むような発話を負例として厳選することで，応答選択タスクで有効性の高いシステム評価をおこなうことを考えた．
具体的には，まず，正解候補に類似した発話，すなわち正解候補中の単語と類似した単語を含む発話を負例として収集することで，(1)のように表層的な手がかりのみで判別できる負例の混入を防ぎ，対話の内容を理解しなければ正解できない選択問題を作成することを目指した．
たとえば「好きな果物はなんですか？」という問いかけの正解候補が「リンゴが好きです」だとすると，正解候補に類似した負例として「果物が好きです」などが考えられる．
この負例は正解候補と同様に「好き」という単語を含むため，単語の比較だけでは誤りと識別しにくい．
また，単に正解候補に類似した発話を収集するだけでは(2)に当たる発話の混入を防ぐことはできないため，正解候補に類似した発話を収集したうえで，改めて(2)に当たる発話を除外することとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{負例を厳選した応答選択による雑談対話システムの評価}

採択論文では，正解候補に類似しているが誤りを含むような発話を負例として厳選し，実際に応答選択タスクのテストセットを構築した．
負例の厳選方法やテストセットの概要については採択論文を参照されたい．
本章では，構築したテストセットを用いたシステム評価の有効性を検証した実験について紹介する．
実験では，構築したテストセットを用いた応答選択タスクによって，人手評価と相関するような雑談対話システムの評価が可能かを検証した．

手順としては，まず学習済の$n$個の雑談対話システムの性能を人手評価によってランク付けする．
つぎに，検証する自動評価指標によって同様に$n$個のシステムのランキングを作成する．
このとき，人手評価によって作成した$n$個のシステムのランキングとの順位相関を計算することで，自動評価指標が人手評価と同じようにシステムの優劣を判定できたかを検証する．
自動評価と人手評価の相関を測る方法としては，複数のシステム応答に対し自動評価指標と人手評価それぞれによってスコアリングし，スコア同士の相関を測定する方法が一般的である\cite{liu-2016}．
しかし，応答選択による自動評価は，各応答ではなく，各システムに対して正解率というかたちでひとつのスコアを付与するものであるため，採択論文ではシステムの並び替え問題を通して評価の有効性を検証した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{自動評価指標と人手評価によるシステムのランキングの順位相関係数}
\label{tab:correlation}
\begin{center}
\begin{tabular}{l>{\hspace{0.5em}}l>{\hspace{0.5em}}l}
\hline
\multicolumn{1}{c}{Metrics} & \multicolumn{1}{c}{Spearman} & \multicolumn{1}{c}{p-value} \\
\hline
BLEU-1  & $-0.36$    & 0.30    \\
BLEU-2  & $\phantom{-}0.085$    & 0.82    \\
METEOR  & $\phantom{-}0.073$    & 0.84    \\
ROUGE-L   & $\phantom{-}0.35$     & 0.33    \\
\hline
\textbf{CHOSEN}  & $\phantom{-}\boldsymbol{0.48}$     & \textbf{0.19}    \\
\hline
HUMAN  & $\phantom{-}0.87$     & 0.0038  \\
\hline
\end{tabular}
\end{center}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験の結果を表\ref{tab:correlation}に示す．
単語一致に基づく自動評価指標 (BLEU, METEOR, ROUGE-L) と比べると，我々が構築したテストセットを用いた応答選択タスクによる評価 (CHOSEN) で，
\pagebreak
人手評価で作成したシステムのランキングと相関するランキングを作成できることがわかった．
この評価方法で作成したランキングと人手評価で作成したランキングの順位相関係数は，相関が認められるひとつの基準である$0.4$を上回っており，一定の精度でシステムの性能を自動評価できることを示している．
一方，人手評価を分割して作成したふたつのシステムランキングの順位相関係数 (HUMAN) は，$0.87$とCHOSENをはるかに上回るものであり，応答選択タスクによるシステム評価の精度にはまだまだ向上の余地があるといえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{議論}

負例を厳選した応答選択タスクにより一定の精度で雑談対話システムを自動評価できることを，実験的に確認した．
応答選択タスクの枠組みでは，システムが実際に生成した応答そのものを評価することはできない．
そのため，雑談対話システムの評価は採択論文の評価法のみで完結する話ではなく，最終的には信頼性の高い人手評価によりシステム応答を評価する必要がある．
しかしながら，採択論文にて雑談対話システムを一定の精度で評価できる応答選択テストセットを構築したことには，ふたつの点で意義があると筆者は考える．
ひとつめは，\ref{SEC:Introduction}章で述べたようにシステム開発の効率化が見込まれるという点である．
本テストセットを使った応答選択タスクにより一定の精度でシステムを評価しながら改良を進めることで，より効率的なシステム開発が可能となることが考えられる．
ふたつめは，本テストセットによって，研究者達が同じものさしを用いてシステムを評価できるようになるという点である．
人手によるシステム評価は信頼性が高いものの再現性が低く，たとえば新たに構築したシステムAと，他の論文の既存システムBの性能を比較する際には，改めて両システムを人手で評価する必要がある．
また，この評価によってシステムBと比べたときのシステムAの性能は判明するが，システムAが分野全体のなかでどれほど優れたシステムであるかを把握することは難しい．
一方で，雑談対話研究コミュニティが同じテストセットを使って応答選択タスクを解いておけば，正解率だけで各システムの分野のなかでのおおよその性能が確認できるようになる．
これによって，優れているシステムはどれか，それを踏まえてどういったシステムを今後構築すべきかがコミュニティ全体に共有され，雑談対話研究がより一層加速していくと考えられる．

とはいえ，採択論文の取り組みで応答選択タスクによるシステムの自動評価という枠組みが完成したとはいえない．
むしろ筆者は，採択論文を応答選択タスクによる雑談対話システムの自動評価に向けた第一歩と捉えている．
以下に示すふたつの取り組みによって，応答選択タスクによるシステム評価の精度と解釈性が向上し，いずれは雑談対話システム開発に欠かせない自動評価の枠組みとしてコミュニティに定着する可能性も大いにあると筆者は考えている．
ひとつめの取り組みは，評価精度の向上に向けたものである．
応答選択タスクによる雑談対話システムの評価をより現実的なオプションとするには，更なる評価精度の向上が重要となる．
筆者は評価精度を向上させる方法として，評価精度に特に寄与する負例の収集に注目している．
たとえば，ふたつのシステムの性能を応答選択タスクによって比較するとき，どちらのシステムも選択しない負例よりも，性能の低いシステムだけが誤って選択する負例を集めて選択肢を構成したほうがシステム評価の精度は高くなると考えられる．
後者のような評価精度に寄与する負例によって選択肢を構成するには，性能の低いシステムがよく誤って選んでしまう負例の特徴を分析し，このような負例を効率よく収集する方法を確立していく必要がある．
ふたつめの取り組みは，システム評価の解釈性向上に向けたものである．
システムの評価において重要な観点のひとつに，評価結果の解釈可能性が挙げられる．
現状のシステムにはどんな弱点があるか，それを踏まえ何を改良すべきかがわかるような評価指標は，システム改良の効率を大いに向上させる．
応答選択タスクによるシステム評価は，解釈性の高い評価方法へ拡張することが可能であると筆者は考えている．
筆者は評価結果の解釈性向上に向けた応答選択タスクの拡張として，負例へのラベル付与を検討している．
すなわち，選択肢の負例に何らかの情報を付与しておき，その負例を誤って選択したシステムの特性について考察できるようにすることを考えている．
たとえば，負例に含まれる誤りに関する情報を付与しておけば，選択傾向によってシステムがどのような誤りに脆弱か分析できるようになる．
このように，負例に付加情報を付与することで任意の観点についてシステムを分析できることは，応答選択タスクという，予めモデルが検討する候補を制限するかたちでの評価方法ならではの利点といえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{11refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{佐藤　志貴}{%
$2019$年東北大学工学部電気情報物理工学科卒業．
現在，同大学大学院情報科学研究科博士課程前期課程に在籍中．
}

\end{biography}



\end{document}


