\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage[dvipdfmx,hidelinks,bookmarks=false]{hyperref}
%%%%\usepackage{jnlpbbl_2.1}
%%%%\usepackage{color}
%%%%\usepackage[dvipdfmx]{graphicx}
\usepackage{arydshln}
%%%%\usepackage{amsmath}
%%%%\usepackage{url}
%%%%\usepackage{adjustbox}
%%%%\renewcommand\UrlFont{\rmfamily}
\newcommand\blfootnote[1]{%
  \begingroup
  \renewcommand\thefootnote{}\footnote{#1}%
  \addtocounter{footnote}{-1}%
  \endgroup
}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{1}
\Month{March}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{7}{1}
\revised{2021}{10}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{11}{6}

\setcounter{page}{84}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{対話における間接的応答と直接的応答からなる \\ 言い換えコーパスの構築と分析}%
\jauthor{高山　隼矢\affiref{IST_OU} \and 梶原　智之\affiref{IST_EU} \and 荒瀬　由紀\affiref{IST_OU}}
\jabstract{%
人間は対話においてしばしば相手の質問や発話に対して間接的な応答をする．例えば，予約サービスにおいてユーザがオペレータに対して「あまり予算がないのですが」と応答した場合，オペレータはその応答には間接的に「もっと安い店を提示してください」という意図が含まれていると解釈できる．大規模な対話コーパスを学習したニューラル対話モデルは流暢な応答を生成する能力を持つが，間接的な応答に焦点を当てたコーパスは存在せず，モデルが人間と同様に間接的な応答を扱うことができるかどうかは明らかではない．本研究では既存の英語対話コーパスである MultiWoZ を拡張し，71,498 件の間接的応答と直接的応答の対からなる対話履歴付きパラレルコーパスを構築した．また，間接的な応答を扱う能力を評価するための 3 つのベンチマークタスクを設計し，最新の事前学習済みモデルの性能を調査した．さらに，ユーザーの間接的な発話を事前に直接的な発話に変換することで対話応答生成の性能が向上することを確認した．\blfootnote{本論文の内容の一部は，情報処理学会第 249 回自然言語処理研究会 \cite{DIRECT_NL} および Findings of the Association for Computational Linguistics: EMNLP 2021 \cite{DIRECT_EMNLP} で報告したものである．} 
}
\jkeywords{対話システム, 言い換え, コーパス構築, 間接的応答}
\etitle{Construction and Analysis of a Dialogue Corpus with Paraphrase Pairs of Indirect and Direct Responses}
\eauthor{Junya Takayama\affiref{IST_OU} \and Tomoyuki Kajiwara\affiref{IST_EU} \and Yuki Arase\affiref{IST_OU}} 
\eabstract{%
People often indirectly present their intentions in texts. For example, if a person said to an operator of a reservation service ``I don't have enough budget.'', it means ``Please find a cheaper option for me.'' While neural conversation models acquire the ability to generate fluent responses through training on a dialogue corpus, previous corpora did not focus on indirect responses. We create a large-scale dialogue corpus that provides pragmatic paraphrases to advance technology for understanding users' underlying intentions. Our corpus provides a total of $71,498$ indirect-direct utterance pairs accompanied by a multi-turn dialogue history extracted from the MultiWoZ dataset. Besides, we propose three tasks to benchmark the ability of models to recognize and generate indirect and direct utterances. We also investigate the performance of the state-of-the-art pre-trained language models as baselines. We confirmed that the performance of dialogue response generation was improved by transferring the indirect user utterances to direct ones.
}
\ekeywords{Dialogue System, Paraphrase, Corpus, Indirect Responses}

\headauthor{高山，梶原，荒瀬}
\headtitle{対話における間接的応答と直接的応答からなる言い換えコーパスの構築と分析}

\affilabel{IST_OU}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}
\affilabel{IST_EU}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

対話において人間はしばしば自身の要求や意図を直接的に言及せず，間接発話行為と呼ばれる，言外に意図を含んだ間接的な発話によって表現することがある \cite{searle}．
人間は対話相手から間接的な応答を受け取ったとき，これまでの対話履歴などの文脈に基づいて言外の意図を推測できる．
図~\ref{figure:example} に，レストランの予約に関する対話における間接的な応答と直接的な応答の例を示す．
この例ではオペレータの「Aレストランを予約しますか？」という質問に対してユーザは「予算が少ないのですが」と応答している（図中の「間接的な応答」）．
この応答は字義通りの意味だけを考慮するとオペレータの質問への直接的な回答にはなっていない．
しかし，オペレータは対話履歴を考慮してユーザがAレストランよりも安いレストランを探していると推論し，新たにAレストランよりも安いBレストランを提案している．
対話におけるユーザの間接的な発話とそれに示唆された意図（直接的な発話）の関係は，語用論的言い換えの一種である \cite{Fujita-paraphrase}．
人間と自然なコミュニケーションを行う対話システムの実現のためには，ユーザの間接的な発話に暗示された意図を推定する語用論的言い換え技術の実現が重要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia4f1.pdf}
\end{center}
\hangcaption{対話における間接的応答と直接的応答の例．これらの応答は字義通りに解釈すると異なる意味を持つが，この対話履歴上においては言い換え可能な関係にある．}
\label{figure:example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

大規模な対話コーパス \cite{li-etal-2017-dailydialog,MultiWoZ2.0,MultiWoZ2.1} と深層学習技術により，近年では対話応答生成 \cite{zhao-etal-2020-learning-simple,zhang-etal-2020-dialogpt} や対話状態追跡 \cite{SimpleTOD,minTL} など様々なタスクにおいて高い性能を誇るモデルや手法が提案されている．
また，最近では語用論的言い換えに関するコーパスもいくつか存在する \cite{Pragst,Louis}．しかし，\citeA{Pragst} らは人工的に生成したコーパスを用いており，多様性や自然さに欠ける．また，\citeA{Louis} の構築したコーパスでは Yes/No 型かつ一問一答型の質問応答対のみを扱うため，それ以外の間接的発話には対応できない．
対話応答生成等の対話システム関連技術の分野においては，ユーザの間接的応答に着目した研究は未だに行われていない．
語用論的言い換え技術の対話システムへの適用のためには，より複雑かつ自然な語用論的言い換えを含む対話コーパスの構築が必要である．

本研究ではより高度な語用論的言い換え技術の開発のために，$71,498$
の間接的な応答と直接的な応答の対からなる，対話履歴付きの英語言い換えコーパス DIRECT (Direct and Indirect REsponses in Conversational Text)\footnote{\url{https://github.com/junya-takayama/DIRECT/}} を構築する．間接的な応答は対話履歴のような文脈を伴うことで初めてその意図が解釈できるような応答である．そこで本コーパスは既存のマルチドメイン・マルチターンのタスク指向対話コーパス MultiWoZ \cite{MultiWoZ2.1} を拡張して作成した．
我々は MultiWoZ の各ユーザ発話に対してクラウドソーシングを用いて「ユーザ発話をより間接的に言い換えた発話」と「ユーザ発話をより直接的に言い換えた発話」の対を収集する．
そのため，DIRECT コーパスには元の発話・間接的な発話・直接的な発話の $3$ つ組が収録される．

本研究では DIRECT コーパスを用いて，語用論的言い換えの生成・認識能力を評価するための $3$ つのベンチマークタスクを設計する．
ベースラインとして，最先端の事前学習済み言語モデルである BERT \cite{BERT} と BART \cite{BART} を用いた性能調査も行う．
また，言い換え生成モデルを用いてユーザの入力発話を事前により直接的に言い換えることで，MultiWoZ コーパスにおいて対話応答生成の性能が向上することを確認する．

本稿の構成を記す．第~\ref{section:related}~章では本研究の関連研究を紹介する．第~\ref{section:direct_corpus}~章では DIRECT コーパスの構築方法について述べたのち，データ例や統計的な分析結果を基にコーパスの特徴について説明する．第~\ref{section:benchmark}~章では DIRECT コーパスを用いた $3$ つのベンチマークタスクを導入する．第~\ref{section:response_generation}~章では，語用論的言い換えを考慮した対話応答生成モデルを構築し，その性能を評価する．
最後に，本研究のまとめを第~\ref{section:conclusion}~章にて述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{section:related}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{間接的な応答に関する研究}

本研究において扱う「間接的な応答」は，間接発話行為 \cite{searle} を純粋なテキストベースの人間--システム間対話で起こりうる範囲の問題に限定したものとして位置づけられる．間接発話行為とは，字義通りの解釈とは異なる効力を持つ発話のことである．例えばある駅において A が B に対し「出口はどちらかわかりますか？」と尋ねたとする．これは字義通りに解釈すれば「わかるかどうか」を問うだけの疑問文であるが，B としてはその発話が「出口の場所を教えてほしい」という要請を伝えるものだと判断するのが自然である．間接発話行為とは逆に，発話の字義通りの解釈がそのまま効力を成す発話を直接発話行為と呼ぶ．
間接発話行為は対話システム分野においても従来より重要な課題として取り組まれてきた \cite{perrault-1980-plan,4059159,roque-etal-2020-developing} が，直接性の異なる応答（発話）間の言い換え関係を直接的に扱ったコーパスの構築に取り組んだのは本研究が初めてである．

相手への要求を間接的に表現することは，対話において互いの立場や心的距離を損なわないようにするためのポライトネス戦略の一つである \cite{brown-and-levinson}．対話システム分野においてもポライトネスは重要な観点であり，ポライトな振る舞いをする対話システムの実現に向けて多くの研究が多くなされている \cite{gupta-etal-2008-polly,niu-bansal-2018-polite,firdaus-etal-2020-incorporating}．本研究はポライトネスを直接扱うものではないが，DIRECT コーパスはポライトネス研究においても活用が期待できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話における語用論的言い換えに関する研究}

本研究では対話における語用論的言い換えに着目したコーパスを構築する．そこで本節では，対話システム分野において言い換えや間接的応答と直接的応答の関係性を扱った関連研究を紹介する．
対話における発話の言い換えを扱った事例としては \citeA{hou-etal-2018-sequence,PARG} が挙げられる．
これらの研究では言い換え生成技術を用いて発話の言い換えを生成することでデータ拡張を行い，応答生成の性能向上を達成している．
しかし，発話の言い換えにおいては字義的な意味のみを考慮しており，語用論的な言い換えには対応していない．
\citeA{Pragst} は間接的な発話と直接的な発話からなる言い換え対が含まれた対話コーパスをルールベースで自動構築する手法を提案している．
また，再帰的ニューラルネットを用いた発話選択器を用いることで，対話中の間接的な発話をその発話と同じ意図を持つ直接的な発話に置き換えられることを示している．
しかし，ルールベースであるために自動生成可能な対話データのパターンは限られており，多様性に欠けるコーパスとなっている．
\citeA{Louis} は，Yes/No 型の質問と，それに対する間接的な応答の対 $34,268$ 件からなるコーパスを構築している．
各質問応答対に対しては，応答が質問に対して肯定と否定のどちらの意図を示すものであるかがアノテーションされている．
コーパス構築にあたってはまず著者らが事前に用意した $10$ パターンの対話シナリオのいずれかに基づく質問をクラウドソーシングを用いて収集しており，質問数は合計で $3,431$ 件である．
また，それぞれの質問に対して最大で $10$ 件の応答をクラウドソーシングを用いて収集している．
そのため，人間らしくかつ多様な質問応答対からなるコーパスとなっている．
しかし，一問一答型かつ Yes/No 型の質問応答対に限定されており，Yes/No で言い換えられないような間接的応答には対応していない．
本研究ではこれらの既存研究とは異なり，人手で作成された対話履歴に対して人手で間接的応答・直接的応答の言い換え対を作成する．そのため DIRECT コーパスは人間らしく多様な応答が含まれ，かつ複雑な間接的応答を扱う最初の対話コーパスである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言い換えに関する言語資源}
\label{subsection:paraphrase_corpus}

言い換えに関連する既存のコーパスを紹介し，本研究で扱う語用論的言い換えの位置付けを示す．
これまでに多くの言い換えコーパス \cite{dolan-brockett-2005-automatically,lan-etal-2017-continuously}が提供されている．
\citeA{dolan-brockett-2005-automatically} は，Web ニュース上から単語の一致率などに基づくヒューリスティックな手法によって言い換え候補の文対を抽出し，それらの文対が言い換えになっているかどうかを人手でラベル付けすることで，$5,801$ 件の言い換えコーパスを構築している（うち $3,900$ 件が言い換え対と判定されている）．
\citeA{lan-etal-2017-continuously} は Twitter\footnote{\url{https://twitter.com}} 上から同じ URL を参照するツイートの対を言い換え候補対として収集し，それらのツイート対が言い換えになっているかどうかを人手でラベル付けしており，$51,534$ 件の言い換えコーパスを構築している（うち $12,988$ 件が言い換え対と判定されている）．
これらの言い換えコーパスは全て対話履歴等の文脈を伴わないものであり，語用論的言い換えに着目したコーパスは存在しない．

含意関係認識タスクに関するコーパス \cite{giampiccolo-etal-2007-third,marelli-etal-2014-semeval,bowman-etal-2015-large} も本研究との関連が深い．
含意関係とは，ある $2$ 文 $t_1$ と $t_2$ があったとき，$t_1$ が真であればそのことから $t_2$ も真であることが推論できるような関係のことを言う．
含意関係認識コーパスには字義通りの意味だけではなく世界知識や語彙の上位下位関係なども考慮しなければ解けない問題も含まれている．
対話における含意関係を扱ったコーパスとしては \citeA{welleck-etal-2019-dialogue} がある．このコーパスはシステムの持つペルソナとシステムが生成した発話との間の意味的な一貫性の向上を目的として構築されたものであり，ペルソナ情報と各発話との間での含意関係が付与されている．

既存のコーパスにおいては，文同士が言い換え関係にあるかや文が仮説を含意するかどうかは，その文が用いられる文脈等を考慮せずとも世界知識や文の明示的な意味のみに依存して判断可能である．
これに対し本研究で扱う語用論的言い換えでは，発話同士が言い換え関係にあるかどうかを判断するためには対話履歴等の文脈が重要な要素となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{DIRECT コーパス}
\label{section:direct_corpus}

語用論的言い換えとは，
\pagebreak
ある文脈において使用されたときに同等の結果をもたらす発話対であり，主に対話において頻繁に生じるものである．
よって語用論的言い換えを含むコーパスを構築するためには，まず対話履歴を作成する必要がある．本研究ではデータ作成コストを低減するため，既存の対話コーパスを拡張する形で言い換え対を収集する．また，トピックが限定されない雑談対話コーパスでは，作業者のトピックに関する知識に言い換え文が依存しやすく，品質のコントロールが難しい．そこで本研究では言い換え対の作成にあたって特別な知識を要しないと期待されるタスク指向対話コーパスを用いる．
具体的には MultiWoZ$2.1$（以降は MultiWoZ と表記する） \cite{MultiWoZ2.0,MultiWoZ2.1} コーパスを基に，クラウドソーシングを用いて発話対を収集する．

本章ではまず言い換え対の収集方法と得られたデータ例について \ref{subsection:collect}~節で説明する．
また，収集したデータの品質評価を \ref{subsection:assess}~節にて行う．
構築した DIRECT コーパスの特徴や性質について，\ref{subsection:statistcs}~節では統計的な観点から，\ref{subsection:qualitive}~節では定性的な観点からそれぞれ分析する．
\ref{subsection:modelbased_analysis}~節においては，既存の言い換え認識モデルを用いて，DIRECT と既存の言い換えコーパスの比較分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{間接的な応答と直接的な応答の対の収集}
\label{subsection:collect}

MultiWoZ は $10,438$ 対話 からなるマルチドメインかつマルチターンの英語タスク指向対話コーパスであり，対話行為や対話状態など豊富なアノテーションが付属している．
各対話はユーザとシステムの二者が交互に発話する形式であり，ユーザ発話は合計で $71,524$ 件存在する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{04table01.tex}
\caption{間接的応答と直接的応答の収集のための指示書}
\label{table:instruction_collectiontask}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究ではクラウドソーシングサービスの Amazon Mechanical Turk\footnote{\url{https://www.mturk.com/}} を用いて，MultiWoZ を拡張する形で語用論的言い換え対を収集する．
作業者にはまず表~\ref{table:instruction_collectiontask} の指示書と作業例を提示する．
また，図~\ref{figure:hit_collectiontask} のように，各作業者の作業画面上には MultiWoZ から抜粋された対話履歴が表示される\footnote{元々の MultiWoZ データは システム (system) 役とユーザ (user) 役による二者間対話からなる．しかし本研究においては，人間同士の対話において自然に発生するような間接的な応答を収集するために，システム役の発話を ``operator'' による発話として表現し，人工的に生成されたものだと認識されないようにする．}．
表示された対話履歴に基づいて，各作業者は指定されたユーザ応答（図~\ref{figure:hit_collectiontask} 中の赤字の応答）を間接的な応答と直接的な応答のそれぞれに言い換え，入力フォームに入力する．
なお，対話履歴のみでは話者の意図を十分に理解できない場合に備え，「Hints」ボタンを押すことで MultiWoZ から抜粋したその対話の対話目標を表示できる機能を作業画面上に実装する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia4f2.pdf}
\end{center}
\caption{クラウドソーシングを用いた間接的な応答と直接的な応答の対の収集に用いる作業画面例}
\label{figure:hit_collectiontask}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{作業者の選定}
数単語の置き換えや入れ替えなどのように語用論的な言い換えとは言えないものや，言い換えにもなっていないようなデータの収集を防ぐため，本番の収集タスクに登用する作業者を事前に選定した．
具体的には，$2$ 回のパイロットタスクを実施した．
なお，$2$ 回目のタスクにおいては $1$ 回目のタスクにおいて作業者から受けた質問や得られたデータの品質などを基に指示書を部分的に修正し，本番のタスクにおいて使用したものと同一の指示書を使用した．
本番タスクにおいては，間接的な応答と直接的な応答の間の単語レベルの Jaccard 係数が $0.75$ 以上のデータを自動的に不採択にした．
また，得られたデータの抜き打ち検査も実施した．
最終的には，これらの手動評価と自動評価に合格した $655$ 人中の $536$ 人の作業者によってデータが作成された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{応答対の収集}
$1$ 件あたりの作業にかかる平均時間を $1$ 分と見積もり，平均報酬は $1$ 件あたり $0.12$ 米ドル（$1$ 時間あたりでは $7.2$ 米ドル．$2021$ 年 $6$ 月 $23$ 日現在のレートで日本円換算すると約 $799$ 円）とした．
最終的には $71,498$ 件\footnote{自然言語文として成り立っていない $26$ 件のデータを除外した．}の間接的な応答と直接的な応答の対を収集できた．
得られたデータは，MultiWoZ と同じ設定で訓練データと評価データに分割した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{04table02.tex}
\hangcaption{DIRECT コーパスのデータ例．``USER （間接的）'' と ``USER （直接的）'' はそれぞれ本研究においてクラウドソーシングによって収集した間接的応答と直接的応答で，``USER （オリジナル）'' は MultiWoZ から抽出したオリジナルの応答である．}
\label{table:examples_collecteddata}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データ例}
収集した言い換えの例を表~\ref{table:examples_collecteddata} に示す．上段の例におけるオリジナルのユーザ応答（MultiWoZ に元々収録されている応答）を見ると，ユーザは中間的な価格帯のレストランを希望していることがわかる．
この応答を間接的に言い換えたものとして ``I don't want to overspend but remember its also vacation''（あまり使いすぎたくはないけれど，休暇でもあるということを忘れないで）という発話が得られた．
この例では ``its also vacation'' というフレーズが直接的な応答における ``not too cheap''（安すぎない）に対応している．
下段の例では，間接的な応答の中に ``Do you know of any in town?'' というフレーズがある．
対話履歴を考慮すれば，これは単に「何か街にあるもの」を知っているかどうかを問うための発話ではなく，直接的な応答における ``Can you find me a guesthouse...?'' のように「ゲストハウスを探してほしい」という要求を伝えるための発話であることが汲み取れる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia4f3.pdf}
\end{center}
\caption{クラウドソーシングを用いたコーパスの品質評価に用いる作業画面例}
\label{figure:hit_assessmenttask}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{品質評価}
\label{subsection:assess}

言い換え収集の実施後，最終的な成果物の品質評価を実施した．
具体的には評価セットに含まれる $7,372$ 件分のユーザ応答に対し，得られた語用論的言い換え対の品質をクラウドソーシングを用いて評価した．
品質評価において作業者に提示した作業画面の例を図~\ref{figure:hit_assessmenttask} に示す．
作業者には評価対象となる言い換え対とその対話履歴を提示した．
その際，言い換え対には ``Response-A'', ``Response-B'' のラベルをランダムに割り当て，どちらが間接的（あるいは直接的）な応答として収集されたデータかわからないようにした．
作業者にはまず，言い換え対が実際に MultiWoZ のオリジナルの応答と同じ意図を表現できているかどうかを ``Yes'', ``No'' の二値で評価してもらった．
次に，Response-A と Response-B のどちらがより直接的かについても評価してもらった．
なお，判断に迷った場合のみ ``no difference'' を選ぶことを許容した．
$1$ 件あたりの作業にかかる平均時間を $30$ 秒と見積もり，平均報酬は $1$ 件あたり $0.06$ 米ドル（$1$ 時間あたりでは $7.2$ 米ドル．$2021$ 年 $6$ 月 $23$ 日現在のレートで日本円換算すると約 $799$ 円）とした．
各言い換え対に対して $5$ 人の作業者による評価を収集した．
最終的な評価値はその多数決によって決定した．
なお，評価タスクにおいては，収集タスクに参加した作業者が自分が作成したデータを自己評価することがないように作業者の割り当てを行った．

評価結果を表~\ref{table:results_qualityassessment} に示す．
Intention-accuracy は収集した言い換えのうち，オリジナルの応答と同じ意図を表現していると判断されたものの割合である．
間接的な応答への言い換えでは $95.0\%$，直接的な応答への言い換えでは $99.7\%$ と高い割合のデータがオリジナルと同じ意図を持っていることがわかる．
間接的な応答の Intention-accuracy が直接的な応答の場合より $4.7\%$ 低い結果となった．
これは，ユーザの意図を間接的に表現しているために，人間の評価者にとっても解釈が困難な曖昧な表現が多少含まれているためであると考えられる．
Directness-accuracy は，Response-A と Response-B のどちらがより直接的かとの問いに対し，直接的な応答として収集された方の応答が正しく選ばれた割合である．
``Exact'' は``no difference'' と判断されたデータを許容しない設定，``Relaxed'' は許容した設定での Directness-accuracy であり，それぞれ $81.4\%$, $89.4\%$ と高い割合となった．
DIRECT コーパスにおいては，これらの評価ラベルも提供する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3 and 4
\begin{table}[b]
\begin{minipage}[c]{0.49\hsize}
\input{04table03.tex}
\caption{評価データの品質評価結果}
\label{table:results_qualityassessment}
\end{minipage}
\begin{minipage}[c]{0.49\hsize}
\input{04table04.tex}
\caption{収集した言い換え対の統計情報}
\label{table:stats}
\end{minipage}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{統計的分析}
\label{subsection:statistcs}

DIRECT コーパスにおける語用論的言い換えの特徴を明らかにするために，まずトークン単位での統計的分析を行う．
表~\ref{table:stats} に単語レベルでの統計情報を示す．
なお，単語分割には nltk\footnote{\url{https://www.nltk.org/}} ライブラリの `word\_punct\_tokenize()' メソッドを用いた．
また，大文字小文字は区別していない．
まず，語彙サイズについては，間接的な応答の方が直接的な応答よりも $1.3$ 倍程度大きいことがわかる．
これは，同じ意図を持った発話であっても，直接的に表現した場合よりも間接的に表現した場合の方がより多様な表現を取り得ることを示唆している．
また，文長（応答に含まれる平均単語数）に関しては，間接的な応答では $15.59$，直接的な応答では $12.38$ で，間接的な応答の方が長い．
平均文長について Wilcoxon の検定 \cite{10.2307/3001968} を実施したところ，$0.1\%$ 有意水準で有意であった． 
図~\ref{figure:histogram_diff} に，対応する間接的な応答と直接的な応答の文長の差のヒストグラムを示す．
図を見ると，文長の差はやや正の側に偏りつつも，負の側にも多く分布していることが読み取れる．
このことから，平均文長に有意差はあれど，発話をより直接的に言い換える際に単に文長を短くすることが必ずしも有効というわけではないことが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia4f4.pdf}
\end{center}
\caption{間接的応答と直接的応答それぞれの文長の分布}
\label{figure:histogram_diff}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{04table05.tex}
\caption{頻度上位 $20$ 件の tri-gram}
\label{table:trigram}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，間接的な応答と直接的な応答において使用されるフレーズの違いを調査する．表~\ref{table:trigram} に，それぞれにおける単語 tri-gram の頻度上位 $20$ 件を掲載する．
表を見ると，直接的な応答の tri-gram には ``book''や ``find'' などユーザがオペレータにして欲しいことを直接的に伝える動詞や，``the reference number'' のように特定のオブジェクトを指すフレーズが頻繁に含まれていることがわかる（表中太字で表記）．
一方，間接的な応答の tri-gram には，直接的な応答では頻出でない ``is there any'' や``I think that'' などのフレーズが含まれている．
以上のことから，間接的な応答と直接的な応答では，それぞれ頻出するフレーズに違いがあることが読み取れる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定性的分析}
\label{subsection:qualitive}

DIRECT コーパスにおいて，直接的応答と比較して間接的応答にはどのような特徴があるかを調査するため，訓練データから無作為に抽出した $300$ 件の応答対について類型化を試みる．第一著者による分析の結果，応答対は以下の $5$ つの類型に大別できた．以下に各類型の割合とその説明を記す．なお，複数の類型に該当する応答もあったため，割合の和は $100\%$ に一致しない．
\begin{description}
    \item[要求や行為の曖昧化 $(54.0\%)$] 
    直接的応答では明示的に言及されている要求や行為について，間接的応答ではより曖昧になっているもの．\\
    \textbf{例$1$}: （ユーザがレストランを探している文脈で）\\
    直接的応答: Find me a good gastropub in town.\\
    間接的応答: It would be ideal if there were good gastropubs in town. （「探して」という要求が明示されていない）\\
    \textbf{例$2$}: （システムの「Pizza Hut Cherry Hinton serves Italian food on the south part of town. Would you like their phone number?」という発話に対して）\\
    直接的応答: Yes, you can get me the phone number.\\
    間接的応答: I will want to call them. （「（電話番号を）提供してほしい」という要求が明示されていない）
    \item[対象の曖昧化 $(18.3\%)$] 
    直接的応答では明示的に言及されている物体や概念について，間接的応答ではより曖昧になっているもの．\\
    \textbf{例}:（映画館の予約が済んだ後で）\\
    直接的応答: Yes, I also need the address of the \textbf{theatre}?\\
    間接的応答: I've never been there. I'll need help finding it. （theatre が there, it によって参照されている）
    \item[世界知識に依存する言い換え $(10.3\%)$] 直接的応答におけるある表現が，対話状況に依存しない形でより間接的な表現に言い換えられているもの．\\
    \textbf{例}:（システムがユーザに立地の希望を聞いた文脈で）\\
    直接的応答: Yea the \textbf{north} sounds like it would work out for me.\\
    間接的応答: I am just hoping to be \textbf{as far from the south side as possible}. （対話状況によらず，「north」と「as far from the south side as possible」は言い換え可能）
    \item[丁寧さ・モダリティの調整 $(41.3\%)$] 間接的応答において，直接的応答に比べてより丁寧な言い回し（``Could you…'' や ``Would you…'' など）や断定を避けるようなモダリティ表現（``I think…'' や ``maybe'' など）が付与されているもの．\\
    \textbf{例}: \\
    直接的応答: Please book for 4 people on Tuesday at 12:00\\
    間接的応答: Can you make a reservation for 4 people at 12:00?
    \item[自己開示の追加 $(7.0\%)$]
    発話意図を間接的に伝えるために，自己に関する何らかの情報を追加しているもの．\\
    \textbf{例}: \\
    直接的応答: Yea can you find me a place to eat that is in the expensive category.\\
    間接的応答: \textbf{I want to take my girl} to the nicest place to eat in town.
\end{description}
このうち，「要求や行為の曖昧化」と「対象の曖昧化」については間接的応答の意図の解釈が対話履歴に依存して変わりうるもの（対話履歴に依存した言い換え）であると言える．これら二つの類型の少なくともどちらか一方に属するデータの割合は $60.3\%$ であった．よって，DIRECT コーパスのうち $6$ 割程度は対話履歴に依存した言い換えが行われていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{04table06.tex}
\caption{言い換えかどうかの判定に対話履歴の有無が与える影響の調査結果}
\label{table:effectiveness_history}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，応答の意図を人間が解釈する際に，対話履歴の有無がどの程度影響を与えるかを調査する．
検証データから無作為に抽出した $500$ 件の応答対について，Amazon Mechanical Turk を用いて，それらがオリジナルの応答と言い換え関係にあるかどうかを，対話履歴を提示した場合と提示しない場合のそれぞれについて判定してもらった．各応答につき $5$ 人の作業者による判定を行ったのち，多数決によって最終的なラベルを決定した．表~\ref{table:effectiveness_history} に言い換えと判定された割合を示す．対話履歴を提示した場合，間接的・直接的応答はともにほぼ全ての応答がオリジナル応答と同義だと判定されていることがわかる．一方で対話履歴を提示しない場合は，提示した場合に比べて間接的応答では言い換えと判定された割合が $12.3\%$ 低い．このことから，DIRECT コーパスには対話履歴の情報が重要な言い換え対が少なくとも $12\%$ 程度は含まれていると推定される．
しかし，この値は先の類型化において「対話履歴に依存する言い換え」としたデータの割合である $60.3\%$ よりはるかに小さい．
これは，``I'm looking forward…'' と ``Find me…'' のように必ずではないがほとんどの状況において慣習的に同じ意図で用いられるような応答対が，対話履歴を提示しなかった場合でも言い換え関係として判定されてしまったことが原因だと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデルを用いた分析}
\label{subsection:modelbased_analysis}

本節では，最先端の文符号化器や言い換え認識モデルを用いて，DIRECT コーパスと既存の言い換えコーパスの比較調査を行う．
まず，DIRECT コーパス，MRPC \cite{dolan-brockett-2005-automatically}，Twitter URL Paraphrase コーパス \cite{lan-etal-2017-continuously} のそれぞれの言い換え対（DIRECT コーパスにおいては間接的応答と直接的応答の対）全てについて，文符号化器 Sentence-BERT\footnote{\url{https://www.sbert.net/} にて公開されている `stsb-roberta-base' モデルを用いた．} \cite{reimers-gurevych-2019-sentence} を用いてその文間のコサイン類似度を計算する．
図~\ref{fig:histogram_sbert} に示す類似度のヒストグラムを見ると，DIRECT は他の既存のコーパスに比べて類似度が低い言い換え対が多いことがわかる．
Sentence-BERT は，文間の類似度を推定するタスクである STSBenchmark \cite{cer-etal-2017-semeval} を用いて事前訓練されたモデルであり，文脈を考慮しないレベルでの文の意味的類似度を扱うモデルとなっている．
DIRECT ではコサイン類似度が低い言い換え対が大量に存在することから，文脈を考慮しなければ言い換えだと判断できないような言い換え対が多く含まれていることが確認できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia4f5.pdf}
\end{center}
\caption{Sentence-BERT を用いて算出した言い換え対のコサイン類似度の分布}
\label{fig:histogram_sbert}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，既存の言い換えコーパスを用いて訓練された言い換え認識モデルを DIRECT コーパスや既存のコーパスに適用して比較分析を行う．
具体的には，BERT\footnote{実装には transformer ライブラリ \url{https://huggingface.co/transformers/} の version $3.5.1$ を用いた．また，事前訓練済みモデルとしては ``bert-base-cased'' を用いた．} \cite{BERT} を既存の言い換え認識用コーパスでファインチューニングした言い換え認識モデルが，実際に言い換えだと認識できた言い換え対の割合を計算する．
また，特性の異なる言い換え認識モデルでの挙動の違いを分析するため，MRPC と Twitter URL Paraphrase コーパスで訓練したモデルに加え，Paraphrase Adversaries from Word Scrambling (PAWS) \cite{PAWS} で訓練したモデルについても分析を行う．PAWS コーパスは単語の重複度が高い言い換え対を扱うコーパスで，MRPC や Twitter コーパスに比べて構文レベルでの判断が必要なコーパスとなっている．
図~\ref{fig:histogram_bert_twitter} に MRPC と Twitter URL Paraphrase を用いてファインチューニングした場合の結果を，図~\ref{fig:histogram_bert_paws} に PAWS を用いてファインチューニングした場合の結果を掲載する．
図~\ref{fig:histogram_bert_twitter}, \ref{fig:histogram_bert_paws} を見ると，DIRECT コーパスはどちらのモデルにおいても言い換えと認識される対の割合がそれぞれ $64.9\%$，$35.3\%$ と最も低いことが読み取れる．
このことから，既存の語彙や構文レベルでの言い換えに着目したモデルでは，DIRECT に含まれる語用論的言い換えは十分に扱えないことが示される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6 and 7
\begin{figure}[t]
\setlength{\captionwidth}{198pt}
\begin{minipage}[t]{200pt}
\includegraphics{29-1ia4f6.pdf}
\hangcaption{MRPC, Twitter URL paraphrase コーパスでファインチューニングした BERT によって言い換えだと認識された言い換え対の割合}
\label{fig:histogram_bert_twitter}
\end{minipage}
\hfill
\begin{minipage}[t]{200pt}
\includegraphics{29-1ia4f7.pdf}
\hangcaption{PAWS コーパスでファインチューニングした BERT によって言い換えだと認識された言い換え対の割合}
\label{fig:histogram_bert_paws}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ベンチマークタスク}
\label{section:benchmark}

語用論的な言い換えを処理する能力を評価するための $3$ つのベンチマークタスクを，DIRECT コーパスを用いて設計する．
具体的には，間接的な応答を直接的に言い換える Indirect-to-Direct タスク（\ref{subsection:indirect2direct}~節），直接的な応答を間接的に言い換える Direct-to-Indirect タスク（\ref{subsection:direct2indirect}~節），発話の直接性を推定する直接性推定タスク（\ref{subsection:classification}~節）を設計する．
また，各タスクにおいて，ベースラインとして最先端の事前学習済み言語モデルである BART \cite{BART} と BERT \cite{BERT} を用いて性能調査を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Indirect-to-Direct タスク}
\label{subsection:indirect2direct}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タスクの概要と動機}
Indirect-to-Direct は，対話履歴を用いて，間接的な応答をその意図を保ったまま直接的な応答に変換するタスクである．
本タスクの応用例としては，タスク指向対話システムのための発話の前編集などが考えられる．
ユーザが入力した間接的な発話をモデルに入力する際に事前に解釈しやすい直接的な発話に変換することで，応答生成の品質が向上することが期待される．
評価尺度としては BLEU \cite{BLEU} と Perplexity を用いる．
なお，Indirect-to-Direct モデルの対話応答生成への適用実験を第~\ref{section:response_generation} 章にて行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベースライン}
\label{subsubsection:baseline_for_indirect2direct}
本タスクは入力された発話を意図を保持したままより直接的なスタイルに置き換えるスタイル変換タスクであると言える．そこで，文平易化 \cite{martin2021muss} やフォーマル性変換 \cite{chawla-yang-2020-semi} などのスタイル変換タスクにおいて高い性能を記録している BART \cite{BART} をこのタスクのベースラインとして用いる．
ベースラインモデルのアーキテクチャを図~\ref{figure:model_architectures} (a) に示す．
特殊トークンとして ``\verb|<|user\verb|>|'', ``\verb|<|system\verb|>|'',  ``\verb|<|query\verb|>|'' を追加する．``\verb|<|user\verb|>|'' トークン, ``\verb|<|system\verb|>|'' トークンをそれぞれ対話履歴中のユーザ発話の直前，システム発話の直前に付与することで，モデルがそれぞれの発話の話者を区別しやすいようにする．
また，変換対象である間接的な応答の直前には ``\verb|<|query\verb|>|'' トークンを付与する．
対話履歴中の発話と変換対象の応答を時系列順に連結し，BART のエンコーダに入力する．なお，入力データのトークン数が $512$ を超えた場合は末尾から $512$ トークン目までのみを入力する．
モデルのファインチューニングはクロスエントロピー損失を用いて行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia4f8.pdf}
\end{center}
\caption{ベンチマークタスクにおけるベースラインモデルのモデルアーキテクチャ}
\label{figure:model_architectures}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実装には transformers \cite{wolf-etal-2020-transformers} ライブラリを使用した．また，事前学習済みモデルとして ``facebook/bart-base''\footnote{\url{https://huggingface.co/facebook/bart-base}} を用いた．
オプティマイザとして AdamW \cite{loshchilov2018decoupled} を用い，学習率は $2\mathrm{e}-5$\footnote{検証データにおいて最も損失が小さくなるように選んだ．} とした．
バッチサイズは GPU メモリ容量上の上限となる $8$ を採用した\footnote{使用した GPU は GeForce RTX 2080 Ti, 11GB Memory．}． 
訓練データのうちランダムに $2,000$ 件をハイパーパラメータチューニング用の 検証 データとして抽出し，残りを訓練に用いた．$30$ エポックの学習を経て，最も検証データでの損失が小さいモデルを評価データでの評価に用いた．

また，対話履歴の影響を調査するために，対話履歴を入力しないモデル（BART w/o 対話履歴）も構築した．
事前学習の効果を検証するために，事前学習されていない Transformer モデルを DIRECT コーパスのみを用いて訓練したモデルについても評価を行った．
なお，Transformer モデルについてはエンコーダ・デコーダ共に層数や中間層の出力次元数などの各種ハイパーパラメータを BART と同一の値に設定した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{実験結果と考察}
表~\ref{table:results_indirect2direct} に各モデルの評価データにおける BLEU と Perplexity を示す．
BART を用いたモデルでは，対話履歴を考慮するモデルの方が BLEU スコアが高い．
これは，語用論的な言い換えは対話履歴などの文脈に依存しており，文脈を考慮しなければ正確に意図を反映した言い換えができないことを示唆している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{04table07.tex}
\caption{Indirect-to-Direct タスクの実験結果}
\label{table:results_indirect2direct}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

BART と Transformer については BART の方が BLEU，Perplexity 共に大きく上回っていることがわかる．
この結果から，他の多くのタスクと同様に語用論的言い換えに対しても事前学習によって得られる知識が効果的に作用することがわかる．

表~\ref{table:examples_indirect2direct} に生成された直接的な応答の例を示す．
上段の例では，BART モデルは間接的な応答の ``the best place'' というフレーズを価格帯に関する表現だと解釈できていることがわかるが，一方で Transformer モデルはこの解釈に失敗している．
下段の例は文脈の考慮が特に重要な例である．
対話履歴を利用しない BART（BART w/o 対話履歴）では，参照文とは逆の意図を持つ文を生成してしまっている．
一方，対話履歴を利用する $2$ つのモデルは共に参照文と同じ意図の文を生成できている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{04table08.tex}
\caption{Indirect-to-Direct タスクにおける直接的応答の生成例}
\label{table:examples_indirect2direct}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Direct-to-Indirect タスク}
\label{subsection:direct2indirect}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タスク概要と動機}
Direct-to-Indirect タスクでは先のタスクとは逆に，文脈のもとで意図を保ったまま直接的な応答を間接的な応答に変換することを目的とする．
対話システムのユーザの中には，間接的な応答を返すシステムを好む人と直接的な応答を返すシステムを好む人がほぼ同数ずついることが \citeA{miehle} によって報告されている．
したがって，対話システムが人間と円滑なコミュニケーションを行うためには，直接的な応答を間接的に言い換える技術の実現も重要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベースライン}
Indirect-to-Direct タスクでの設定と同様，ベースラインとしては対話履歴を入力とする BART モデルを用いる． 図~\ref{figure:model_architectures} (b) にモデルアーキテクチャを示す．
対話履歴と言い換え対象の直接的応答を \ref{subsubsection:baseline_for_indirect2direct}~節で述べたのと同様の方法で BART エンコーダに入力する． 
また，対話履歴を無視したBARTモデルや，事前訓練を行わずに訓練した Transformer モデルとの比較も行う．
ハイパーパラメータやその他の学習設定についても Indirect-to-Direct タスクと同様である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{04table09.tex}
\caption{Direct-to-Indirect タスクの実験結果}
\label{table:results_direct2indirect}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{実験結果と考察}
表~\ref{table:results_direct2indirect} に各モデルの評価データにおける BLEU と Perplexity を示す．
BART をファインチューニングしたモデルが，事前訓練を行わない Transformer モデルに比べて高い BLEU スコアと低い Perplexity を達成しており，事前学習がこのタスクにおいても有効であることが確認できる．

全体的に，Direct-to-Indirect タスクに比べて BLEU と Perplexity は共に悪化した．
また，対話履歴を用いても BLEU，Perplexity 共に改善が見られなかった．
これらの結果から，Direct-to-Indirect タスクの方が Indirect-to-Direct タスクよりも難易度の高いタスクであることが示唆される．
実際，\ref{subsection:statistcs}~節における統計的な分析でも述べたように，間接的な応答には直接的な応答よりも豊富な語彙が用いられている上に，平均文長も長い．
そのため，対話履歴の有無に関わらず，直接的な応答を間接的な応答に適切に変換する能力を獲得できていないのではないかと推測できる．
表~\ref{table:examples_direct2indirect} の生成例から見て取れるように，全てのモデルにおいて生成された応答は入力された直接的な応答の意図を保持できていない．
直接的な応答から間接的な応答への変換のためにはより高度なモデルが必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{04table10.tex}
\caption{Direct-to-Indirect タスクにおける間接的応答の生成例}
\label{table:examples_direct2indirect}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{直接性推定タスク}
\label{subsection:classification}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タスク概要と動機}
直接性推定タスクでは，発話の直接性の度合いを推定することを目的とする．
この技術を用いることで，ユーザの入力発話が間接的かどうかを事前に判定し，もし間接的であった場合にその意図を聞き直したり，あるいは間接的な発話を直接的に言い換えたりすることができる．

DIRECT コーパスには，それぞれの対話履歴に対して MultiWoZ のオリジナルの応答，間接的な応答，直接的な応答の $3$ つの応答が付与されている．
これらの応答は直接性が高い順に並べると直接的な応答，オリジナルの応答，間接的な応答の順になる．
このタスクでは，モデルが推定した入力発話の直接性スコアを用いて $3$ つの応答を降順に並び替えたときに，それが実際の直接性の順番通りに並んでいるかどうかを基に評価を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベースライン}
本タスクのベースラインとしては，対話行為推定 \cite{yu-yu-2021-midas} や対話状態追跡 \cite{wu-etal-2020-tod} などの対話データに対する分類タスクにおいて高性能を誇る BERT を用いる．
モデルアーキテクチャを図~\ref{figure:model_architectures} (c) に示す．
先の $2$ つのタスクと同様に，まず直接性の推定対象である応答と対話履歴を特殊トークンを挟んで連結して BERT エンコーダに入力する．
``[CLS]'' トークンに対応する最終層の出力を線形層に入力してスカラー値に変換し，sigmoid 関数を通して $\left(0, 1\right)$ の範囲のスカラー値を得る．
最終的な出力を入力された応答の直接性を示すスコアとみなす．

モデルの学習には，ランキング学習 \cite{mitra2018an} タスクでよく用いられる Pointwise 損失と Pairwise 損失を用いる．
Pointwise 損失では，推定値と正解の直接性スコアの間の平均二乗誤差を最小化する．
なお，今回は擬似的な正解値として，間接的な応答に $0.0$, オリジナルの応答に $0.5$, 直接的な応答に $1.0$ のスコアを割り振る．

Pairwise 損失は，より直接的な応答の推定スコアが他方の応答よりも大きくなるような損失関数である．例えば，直接的な応答 $A$ と間接的な応答 $B$ があって，その推定スコアを $s_A$，$s_B$ としたとき，Pairwise 損失は以下で定義される:
\[
    -\log{\frac{1}{1 + e^{-\left(s_A - s_B\right)}}} 
\]
評価尺度としては，推定スコアに基いたランキングと正解のランキングに対して，それらが完全一致する割合 (Exact match) とそれらの間の Kendall's tau を用いる．

モデルの実装には transformersライブラリを用いた．
また，事前学習済みモデルとして ``bert-base-cased'' を使用した．
また，比較のために対話履歴を入力しないモデルも構築した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{実験結果と考察}

表~\ref{table:results_classification} に実験結果を示す．なお，太字は $t$ 検定の結果 $1\%$ 水準で他の群との有意差が認められたものを示す．太字で示された $2$ モデル間では有意差を認められなかった．
Exact-match と Kendall's tau の両方において，対話履歴を利用しないモデルと利用するモデルではほぼ変わらない値となっていることがわかる．
\ref{subsection:statistcs}~節にて述べたように，間接的な応答と直接的な応答の間には使用される語彙やフレーズに大きな違いがあることがわかっている．
このことから，直接性については対話履歴を用いずともフレーズや単語のみをする手がかりとしてある程度予測可能なのではないかと考えられる．
しかし，Exact-match は $0.813$ にとどまっており，更なる性能向上のためには対話履歴の利用方法の改良を含め，より高度なモデルの構築が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{04table11.tex}
\caption{直接性推定タスクの評価結果}
\label{table:results_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{対話応答生成への語用論的言い換えの適用}
\label{section:response_generation}

ユーザ応答が直接的であるほど対話応答生成の性能は向上するという仮定に基づき，語用論的言い換えを考慮した対話応答生成モデルの構築と評価を行う．
具体的には，最先端の対話応答生成モデルである UBAR \cite{yang2021ubar} に対し，入力発話に加えてそれをより直接的に言い換えたものも考慮するようにモデルを改良する．

本章ではモデルの構築に先あたって，ユーザ応答の直接性が対話応答生成に与える影響を \ref{subsection:effect_indirectresponses}~節で調査し，仮定の妥当性を検証する．
\ref{subsection:ubar}~節では，語用論的言い換えを考慮した対話応答生成モデルの構築方法について説明する．
\ref{subsection:responsegeneration_result}~節にて，応答生成実験の結果と考察を述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話システムにおける間接的発話の影響調査}
\label{subsection:effect_indirectresponses}

\ref{subsection:classification}~節で構築した直接性推定モデルを用いて，ユーザ応答の直接性がシステム応答の生成に与える影響を調査する．
まず，表~\ref{table:results_classification} で最も高性能であった BERT w/o history の Pairwise 損失モデルを用いて，MultiWoZ の評価データのユーザ応答を間接的・直接的のいずれかに振り分ける．
ここで，振り分けの閾値は $0.5$ に設定し，それより高いものは直接的，それ以下のものを間接的とする．
次に，間接的なユーザ応答群と直接的なユーザ応答群のそれぞれに対して最先端の End-to-End タスク指向対話モデルである UBAR \cite{yang2021ubar} を用いてシステム応答を生成する．
なお，実装には著者らが公開しているスクリプトを用いた\footnote{\url{https://github.com/TonyNemo/UBAR-MultiWOZ}}．
それぞれのユーザ応答群に対するシステム応答の BLEU を計算したところ，間接的な応答群に対しては $10.25$，直接的な応答群に対しては $14.09$ となった．
この結果から，対話システムにとっては直接的なユーザ応答の方が間接的なユーザ応答に比べてよりシステム応答を生成しやすいという仮定は妥当であると言える．よって，ユーザ応答を予めより直接的に言い換えて応答生成モデルに入力することで，対話応答生成の性能は改善できると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{語用論的言い換えを考慮した対話応答生成器の構築}
\label{subsection:ubar}

本実験においては最先端のタスク指向対話応答生成モデルである UBAR \cite{yang2021ubar} に対し，語用論的言い換えを考慮するように改良を加える．
UBAR は事前学習済みのテキスト生成モデルである GPT-2 \cite{radford2019language} を基にして構築された End-to-End 型のタスク指向対話応答生成モデルであり，MultiWoZ データにおける応答生成において高い性能を記録している．
UBAR のモデルアーキテクチャを図~\ref{figure:ubar} (a) に示す．
UBAR では GPT-2 に対して対話履歴中の最初のユーザ発話を入力し，その入力を基に，ユーザが何を求めていて何が解決されていないか等，現状の対話状態を予測する．
予測された対話状態を基にホテルやレストランの空き情報等が登録されたデータベースを検索し，条件に合致したレコードを GPT-2 に入力する（図中「DB」）．
その後，次にどのような応答を生成するべきかを示す対話行為を推定し，最後にシステム応答を生成する．
次のユーザ発話が入力された後も同様の処理を繰り返すことで，対話履歴を考慮しながら応答を生成していくようなモデルとなっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia4f9.pdf}
\end{center}
\caption{応答生成モデルのモデルアーキテクチャ}
\label{figure:ubar}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本実験では UBAR への入力ユーザ発話に対して，それをより直接的に言い換えたものを図~\ref{figure:ubar} (b) のように連結して入力することで，入力発話を直接的に言い換えた場合の応答生成性能を検証する．
なお，予測対象の応答の直前の発話のみを言い換え対象としている．
訓練時には直接的な応答として参照文（DIRECT コーパスに収録されている直接的な応答）を用いる．
評価時には第~\ref{subsection:indirect2direct}~節で構築した Indirect-to-Direct モデルを用いて生成した直接的な応答を用いる．
また，言い換えによる性能向上の上限を調査するため，参考として評価時に直接的応答として参照文を用いた場合の性能についても報告する．

訓練設定やパラメータについては全てのモデルについて \citeA{yang2021ubar} での設定に準拠した．
実装は著者らが公開しているスクリプトを用いた．
実験データとしては引き続き MultiWoZ を使用しており，訓練データと評価データ への分割方法もベンチマークタスクや \citeA{yang2021ubar} での設定と同様である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果と考察}
\label{subsection:responsegeneration_result}

評価データにおける評価結果を表~\ref{table:results_responsegeneration} に示す．
なお，評価尺度は BLEU, INFORM, SUCCESS, COMBINED の $4$ 種類である．
このうち INFORM, SUCCESS, COMBINED は MultiWoZ \cite{MultiWoZ2.0} 等のタスク指向対話データセットを用いた応答生成実験において代表的に利用されている評価尺度である．
INFORM は対話全体を通して提示したエンティティ（ホテル名やレストラン名など）が正解と一致した割合であり，ユーザのニーズに合致した場所を案内できたかどうかを図る尺度である．
SUCCESS は要求された属性値（住所や予約番号，列車番号など）を正確に出力できた割合であり，予約等の成功率を図る尺度である．
COMBINED はこれら $3$ つの尺度を統合したもので，$\text{COMBINED} = \text{BLEU} + 0.5 \cdot (\text{INFORM} + \text{SUCCESS})$ で計算される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{04table12.tex}
\caption{対話応答生成の評価結果}
\label{table:results_responsegeneration}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表より，全ての尺度において直接的な応答への言い換えを考慮したモデルが UBAR のスコアを上回っていることがわかる．
特に，SUCCESS においては生成された言い換えを用いた場合で $1.0$ ポイント，参照文を用いた場合で $1.6$ ポイント上昇している．
よって，ユーザ発話の直接的な発話への言い換えは対話応答生成の性能向上に寄与することがわかった．
また，生成文と参照文を比較した場合，BLEU 以外の全ての尺度で参照文の場合の方が性能が高いことが読み取れる．
このことから，より正確な語用論的言い換えモデルを構築することで，さらなる応答生成性能の向上が見込める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{section:conclusion}

本研究では $71,498$ 対の間接的応答と直接的応答の語用論的言い換え対を含むタスク指向対話コーパスを，既存のマルチターンタスク指向対話コーパスである MultiWoZ を拡張する形で構築した．
また，$3$ つのベンチマークタスクを提案し，最先端の事前学習済み言語モデルの語用論的言い換えに対する処理能力を調査した．
さらに，DIRECT コーパスでの実験において，入力発話をより直接的に言い換えることで応答生成の性能が向上することを確認した．
今後はより性能の高い語用論的言い換え生成・認識モデルの構築に取り組む．

本研究ではタスク指向対話コーパスである MultiWoZ を対象として語用論的言い換えコーパスを構築したが，雑談対話においてはそのドメインの広さや発話の多様さから，より複雑な語用論的言い換えが発生すると考えられる．
雑談対話における語用論的言い換えコーパスの構築や言い換えモデルの構築も将来的な課題として挙げられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は JSPS 科研費 JP18K11435 および公益財団法人 木下記念事業団の助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{04refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{高山　隼矢}{2017年豊田工業大学工学部先端工学基礎学科卒業．2019年大阪大学大学院情報科学研究科博士前期課程修了．同年同研究科博士後期課程に進学．現在に至る．自然言語生成，対話システムに興味を持つ．修士（情報科学）．言語処理学会，ACL各学生会員．}

\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\bioauthor{荒瀬　由紀}{2006年大阪大学工学部電子情報エネルギー工学科卒業．
2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京の Microsoft
Research Asia に入社，自然言語処理に関する研究開発に従事．
2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．
言い換え表現認識と生成，言語教育支援，対話システムに興味を持つ．}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate


\end{document}


