\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%\usepackage{jnlpbbl_2.1}
%%%% Citation Format
%% \cite{Article_01} -> "(LastName 2006)"
%% \citeA{Article_01} -> "LastName (2006)" 
%%%%%\renewcommand\UrlFont{\rmfamily}


% following packages are added by the author of this papaer
%%%%%\usepackage[dvipdfmx]{color}  % to display figure
% \usepackage{color}
%%%%%\newcommand{\comment}[1]{\textcolor{red}{#1}}  % to be removed


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{1}
\Month{March}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}


\received{2023}{7}{1}
\revised{2023}{11}{5}
%%%%%\rerevised{2006}{5}{6}
\accepted{2023}{12}{6}

\setcounter{page}{212}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{語りの傾聴において不同意を示す応答の生成}
\jauthor{伊藤滉一朗\affiref{meidai} \and 村田　匡輝\affiref{toyota-ct} \and 大野　誠寛\affiref{dendai} \and 松原　茂樹\affiref{meidai}}
\jabstract{ % 和文で522/600字
コミュニケーションロボットなどの会話エージェントが語りを聴く役割を担うことが期待されている．
これらが聴き手として認められるには，語りを傾聴していることを語り手に伝達する機能を備える必要がある．
このための明示的な手段は語りに応答することであり，傾聴を示す目的で語りに応答する発話，すなわち傾聴応答の表出が有力である．
語りの傾聴では，語り手の発話を受容することが聴き手の基本的な応答方略となる．
しかし，語りには，自虐や謙遜などの発話が含まれることがある．
この場合，語り手の発話に同意しないことを示す応答，すなわち，不同意応答を確実に表出できることが求められる．
本論文では，語りの傾聴において不同意応答を適切に生成することの実現性を示す．
そのために，本研究ではまず，時間制約のない環境で語りデータに不同意応答のタイミングと表現をタグ付けする方式を定めた．
作成したコーパスを用いて，不同意応答タイミングを網羅的に，不同意応答表現を安定的にタグ付けできることを検証する．
続いて，事前学習済みのTransformerベースのモデルに基づく，不同意応答タイミングの検出手法，及び，不同意応答表現への分類手法を実装し，実験により応答コーパスを用いた不同意応答生成の実現性を検証した．
}
\jkeywords{会話エージェント，語り，傾聴，応答生成，応答タイミング}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{Responsive Utterance Generation to Show Disagreement to Narrative in Attentive Listening}
\eauthor{Koichiro Ito\affiref{meidai} \and Masaki Murata\affiref{toyota-ct} \and Tomohiro Ohno\affiref{dendai} \and Shigeki Matsubara\affiref{meidai}} 
\eabstract{% 英語で177/200 words
Conversational agents, such as communication robots, are expected to play a role in listening to narratives.
To recognize these robots as the listeners, it is essential for them to have a function that indicates their attentive listening to a narrative.
The basic response strategy in attentive listening involves generating responsive utterances that show acceptance.
However, the narratives occasionally contain self-deprecation or modesty.
In such cases, the listener must be able to produce a response that shows disagreement with the narrator's utterance, that is, a disagreement response.
This study demonstrates the feasibility of generating appropriate disagreement responses.
First, we define a method to tag the timing and expression of the disagreement response to narrative data in a non-real-time environment, and verify that the method enables to construct a corpus to which the disagreement response timing and response expression are comprehensively and stably assigned, respectively.
Next, we implement detection and classification methods for disagreement response timing and expressions, respectively, based on a pre-trained transformer-based model and verify the feasibility of generating disagreement responses using the response corpus through experiments.
}
\ekeywords{Conversational Agents, Narrative, Attentive Listening, Response Generation, Response Timing}

\headauthor{伊藤，村田，大野，松原}
\headtitle{語りの傾聴において不同意を示す応答の生成}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{meidai}{名古屋大学}{Nagoya University}
\affilabel{toyota-ct}{豊田工業高等専門学校}{National Institute of Technology, Toyota College}
% \affilabel{dendai}{東京電機大学}{Tokyo Denki University}
\affilabel{dendai}{東京電機大学}{Tokyo Denki University\\
本論文の内容は一部，言語処理学会第29回年次大会の発表論文「語りの傾聴において不同意される発話とその検出」(c) 伊藤・村田・大野・松原 (CC BY 4.0) で報告したものである．
}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}\label{sec:introduction}

語ることは人間の基本的な欲求である．
語る行為は，聴き手がいて初めて成立する．
国内では，独居高齢者の増加など社会の個人化が進み\cite{EN_kozinka-2019}，聴き手不在の生活シーンが増加しており，人が語れる機会を増やすことが重要な社会課題となっている．
これに対し，コミュニケーションロボットやスマートスピーカーなどの会話エージェントが語りを聴く役割を担うことが考えられる．
これらが聴き手として認められるには，語りを傾聴していることを語り手に伝達する機能を備える必要がある．
このための明示的な手段は語りに応答することであり，傾聴を示す目的で語りに応答する発話，すなわち{\emph{傾聴応答}}の表出が有力である．
これまでに，相槌をはじめとする傾聴応答の生成法が検討されている\cite{EN_Noguchi-1998,EN_Ward-2000,EN_Cathcart-2003,EN_Fujie-2004,EN_Kitaoka-2005,EN_Poppe-2010,EN_Morency-2010,EN_Yamaguchi-2016,JP_EN_Ohno-2017,EN_Ruede-2017,EN_Jang-2021}．
\par
語りの傾聴では，語り手に理解を示し，共感を伝えることが重要とされており，反対に，傾聴において相手の話を否定することは，語り手の心を遠ざける原因になりかねない\cite{JP_EN_Ohtani-2019}．
そのため，語り手の発話を受容することが，語りを傾聴する聴き手の基本的な応答方略となる．

例えば，傾聴応答の代表例である相槌は，「語りを続けて」というシグナルや内容理解を示す機能を持っており\nocite{JP_EN_Maynard-1993}(メイナード 1993)，これも，語りを受容していることを伝えるものといえる．

一方で，語りでは，時として自虐や謙遜などの発話が行われることがある．
この場合，その発話内容を否定することなくそのまま受容することは必ずしも適切ではなく，語り手の発話に同意しないことを示す応答，すなわち，{\emph{不同意応答}}を積極的に表出することが求められる．
このように，語りの傾聴を担う会話エージェントが不同意を示すべき発話を検出し応答できることは不可欠な機能であるものの，傾聴応答生成に関する従来研究において，不同意応答の生成に関する試みは行われていない．
\par

そこで本論文では，語りを傾聴する会話エージェントによる不同意応答生成の実現性を示す．
語り手による自虐や謙遜などの発話をそのまま受容することは致命的であり，このような場面で適切に不同意応答を生成できれば，語りの傾聴を語り手に伝達する上で高い効果が見込まれる．
\par

傾聴応答における不同意応答生成の適切なタイミングや表現は規則的に定まるものではなく，データに基づき決定することが現実的である．
そのような不同意応答生成の実現性を示すために，

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
  \item 不同意応答の生成に利用できる応答コーパスを作成できること，ならびに， \label{enu:approach1}
  \item 応答コーパスを用いて不同意応答を適切に生成できること \label{enu:approach2}
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
を示す必要がある．
そのために本研究では，まず，語りデータに対して，不同意応答をタグ付けする基準を定め，不同意応答の生成に適したコーパスの作成可能性を実証する．
続いて，事前学習済みのTransformer \cite{EN_Vaswani-2017}ベースのモデルに基づく手法を実装し，不同意応答の表出に適したタイミング（以下，不同意応答タイミング）の検出実験，及び，表出する表現（以下，不同意応答表現）への分類実験を通して，不同意応答生成の実現性を実証する．
\par
本論文の構成を以下に示す．
\ref{sec:attentive_listening}章では，傾聴応答と不同意応答について関連研究を交えて概説する．
\ref{sec:disagreement_response_corpus}章では，不同意応答の生成に利用できるコーパスの設計について論じ，コーパスの具体的な作成法とその結果について述べる．
\ref{sec:main_experiment}章で不同意応答タイミングの検出実験について，\ref{sec:following_response}章で不同意応答表現への分類実験について，それぞれ報告する．
最後に，\ref{sec:conclusion}章で本論文のまとめを行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{傾聴応答における不同意応答}\label{sec:attentive_listening}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{会話エージェントによる傾聴応答}\label{subsec:attentive_listening_response}

コミュニケーションロボットやスマートスピーカーなどの会話エージェントが聴き手を担うことは，人が語る機会の創出に効果的である．
これらが語りの聴き手として認められるには，単に語りを聴いて理解するだけでなく，そのこと自体を語り手に伝達する必要がある．
このための明示的な手段は語りに応答することであり，傾聴を示す目的で語りに応答する発話，すなわち傾聴応答の生成が有効である．
\par

一般に，傾聴応答にはいくつかの種類があり，「はい」や「ええ」などの相槌のほか，感心，繰り返し，評価，同意，納得，驚き，言い換え，補完などがある\cite{JP_EN_kuroshio-2009}．
表\ref{tab:example_of_attentive_listening_response2}に，傾聴応答の例をその種類と共に示す．
【 】で囲んだ文字列が傾聴応答の種類である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[t]
\input{08table01.tex}
\caption{傾聴応答の例とその種類}
\label{tab:example_of_attentive_listening_response2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関連研究}\label{subsec:related_works}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{相槌の生成に関する研究}\label{subsubsec:related_works_bc}
相槌の生成法について，これまで多くの研究が行われている\cite{EN_Noguchi-1998,EN_Ward-2000,EN_Cathcart-2003,EN_Fujie-2004,EN_Kitaoka-2005,EN_Poppe-2010,EN_Morency-2010,EN_Yamaguchi-2016,JP_EN_Ohno-2017,EN_Ruede-2017,EN_Jang-2021}．
これらの研究では，主に，語りから抽出されるピッチやパワーなどの音響情報，及び，単語や品詞などの言語情報に基づき，相槌の生成に適したタイミングを検出する手法を提案している．
これまでに，ルールベースによる手法\cite{EN_Ward-2000,EN_Poppe-2010}，n-gramモデルによる手法\cite{EN_Cathcart-2003}，有限状態トランスデューサによる手法\cite{EN_Fujie-2004}，決定木による手法\cite{EN_Noguchi-1998,EN_Kitaoka-2005}，CRFによる手法\cite{EN_Morency-2010}，SVMによる手法\cite{EN_Yamaguchi-2016,JP_EN_Ohno-2017}などがある．
近年では，LSTMやTransformerなどのニューラルネットワークを用いた手法\cite{EN_Ruede-2017,EN_Jang-2021}も提案されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{相槌以外を含めた傾聴応答の生成に関する研究}\label{subsubsec:related_works_others}
繰り返しや評価など，相槌以外を含めた傾聴応答を生成するシステムを開発する試みもある\cite{EN_Kobayashi-2010,EN_Meguro-2011,JP_EN_Shitaoka-2017,EN_Inoue-2020}．
これらのシステムは，事前に定義したルールやアルゴリズムに従い，まず応答タイミングを同定し，生成する応答の種類を選択した後，生成する応答表現を決定する．
また，特定の種類の傾聴応答に着目した研究として，繰り返し応答の表現をTransformerベースの手法により生成する手法も提案されている\cite{EN_Kawamoto-2022}．
他にも，傾聴応答の生成に適したタイミングを直接検出するのではなく，その表出されやすさを推定する試みもある\cite{JP_EN_Ito-2023}．
\par

傾聴応答の生成法に関する研究では，その生成タイミングや表現が付与されたコーパスを用いることが多い．
また，コーパスとしては，人間同士で遂行された対話を収録したデータが用いられる\cite{EN_Meguro-2011,EN_Inoue-2020}．
このような収録データから，話し手の発話と聴き手の応答が相互作用する自然なやり取りを観察することができる．
しかし一方で，話し手の発話が聴き手の応答の影響を受けることになるため，評価実験でやり取りを再現することは難しいという問題がある．
この問題を解決するために，事前に収録された語りの音声に同期して，聴き役の作業者が表出するに相応しい傾聴応答を発声することでコーパスを作成する試みがある\cite{JP_EN_Murata-2018}．
リアルタイム環境下での自然な応答音声を収録できるとともに，聴き手の反応が話し手に影響しない分，聴き手は傾聴応答の積極的な表出に集中できるという特徴がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{不同意応答}\label{subsec:disagreement_response}
語りの傾聴では，語り手に理解を示し，共感を伝えることが重要とされており，反対に，傾聴において相手の話を否定することは，語り手の心を遠ざける原因になりかねない\cite{JP_EN_Ohtani-2019}．
そのため，語りの傾聴では，語り手の発話を受容することが聴き手の基本的な応答方略となる．
しかし，語りには，次に示すような発話が含まれることがある．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{itemize}
  \item 老い先短い私にとっては今回のイタリア旅行が人生最後の旅行でしょう
\end{itemize}
これは，話し手の謙遜が込められた発話であり，聴き手がこれをそのまま受容することは，話し手にとって必ずしも本意ではない．
他にも，
\begin{itemize}
  \item 私は子どもの頃から気が利かないというか空気が読めなくて
\end{itemize}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
のような話し手の自虐が含まれる発話も同様である．
このような発話に対して，会話エージェントがそれを受容するような応答をすれば，語りが理解されているかに関する疑念が生じるとともに，語り手が不快に感じる可能性がある．
発話内容をそのまま受容することが相応しくない場面では，語り手の発話に同意しないことを示す応答，すなわち，{\emph{不同意応答}}を確実に表出できることが重要となる．
\par
これまでに，主に言語学の視点から，不同意という言語行為の定義とその分類が行われている．
日本語の雑談における不同意を対象とした先行研究\cite{JP_EN_Kiyama-2006}によると，不同意は，「相手の発話が表す事実あるいは意見について，納得しない，または受け入れていないことを伝える発話（群）」と定義されている．
さらに，不同意の先行発話の内容に基づき，不同意を以下の2つに分類している．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
  \item 実質的不同意：不同意の対象となる先行発話（群）が，相手に対するプラス評価，または自己に対するマイナス評価ではない場合
  \item 儀礼的不同意：不同意の対象となる先行発話（群）が，相手に対するプラス評価，または自己に対するマイナス評価である場合
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
上述した，自虐や謙遜などの発話は，語り手が自己をマイナス評価するものであり，これらに対する不同意は儀礼的不同意に該当する．
なお，儀礼的不同意のうち，相手をプラス評価する発話の例としては，相手を褒める発話が挙げられているが，本研究では，特定の聴き手の存在を前提としておらず，聴き手に対して言及する発話は含まれてない語りを対象とすることから，本研究の対象外とする．
すなわち，本研究における不同意応答とは，語り手が自己をマイナス評価している発話に対して，聴き手がその評価を受容しないことを示す応答であるとする．
\par
なお，応答を表出せずにあえて沈黙することも，不同意を示すための戦略の1つとして挙げられる．
ただし，沈黙によって不同意を示すためには，単に応答を表出しなければよいというわけではなく，その代わりに，表情やジェスチャによって，不同意を伝える必要があると考えられる．
本研究では，コミュニケーションロボットやスマートスピーカーなどの，主に音声によって応答する会話エージェントを対象としている．
これらの会話エージェントにおいては，不同意を明示的に示す応答を生成できることが重要となる．
\par
しかし，傾聴応答に関する従来研究では，相槌に代表されるように，語り手の発話内容をそのまま受容することを前提とした応答の生成が対象とされており，不同意応答の生成に関する検討は行われていない．
そこで本研究では，不同意応答を生成することの実現性を明らかにするために，
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
  \item 不同意応答の生成に利用できる応答コーパスの作成，ならびに， \label{enu:todo1}
  \item 応答コーパスを用いた不同意応答の適切な生成 \label{enu:todo2}
\end{enumerate}
に取り組む．
\par

不同意応答が収録されたデータとして，\ref{subsubsec:related_works_others}節で言及した村田 他 (2018) のコーパス（以下，傾聴応答コーパス）が挙げられる\footnote{傾聴応答コーパスは，音声データの書き起こしと分割処理の見直し，応答の種類の拡張などの更新が行われている．本論文における傾聴応答コーパスとは更新版データを指し，その統計量などは更新版データを用いて算出されたものである．}．
傾聴応答コーパスでは，\ref{subsubsec:related_works_others}節で述べた方法で語りに対する傾聴応答を収録し，各傾聴応答の種類を人手で分類している．
このコーパスには，16種類の傾聴応答が合計17,036個収録されている．
その59.94\%にあたる10,211個が相槌であり，相槌以外の傾聴応答の内訳は図\ref{fig:ALRC_response_type_dist}に示す通りである．
感心や繰り返しが多数出現しているのに対し，不同意応答はわずか1.51\%にあたる103個の出現に留まっている．
このコーパスの収録では，作業者は，事前に収録された語りの音声の再生に同期して傾聴応答を表出する．
このため，作業による応答の付与は時間制約下で行われる．
このようなリアルタイム環境での応答付与では，作業者は必ずしも一様に振舞うことは難しく，不同意応答が期待される場面であっても，必ずしも適切に遂行されない可能性がある．
また，対話における妥当な応答は唯一でないため，不同意応答が適する語りの発話であっても，そこで作業者が必ずしも不同意応答を表出するとは限らない．
\par
不同意応答生成の実現性を明らかにするには，不同意応答タイミングの検出結果と不同意応答表現への分類結果を適切に評価できる必要がある．
その評価に利用可能なコーパスには，不同意応答タイミングが網羅的に付与され，かつ，不同意応答表現が揺れが少なく，すなわち，安定的に付与されていることが求められる．
上述の傾聴応答コーパスは，語りに対する自然な応答音声を収録したのちに，各応答をその種類で分類することにより構築されているため，この要求を満たしていない可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \begin{center}
%%%%%   \includegraphics[width=0.70\linewidth]{figures/JNLP_eps/ALRC_response_type_dist_wo_bc.eps}
\includegraphics{31-1ia8f1.pdf}
  \end{center}
  \caption{傾聴応答コーパスにおける相槌を除く応答の種類の内訳}
  \label{fig:ALRC_response_type_dist}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{不同意応答生成のための傾聴応答コーパス} \label{sec:disagreement_response_corpus}
語りに対して不同意応答を生成することの実現性を示すために，不同意応答の生成に利用可能なコーパスを作成できることを示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題設定とコーパスの作成方針} \label{subsec:problem_setting_AND_corpus_collection_policy}
語りの音声に同期して応答を表出するリアルタイム環境下で収録されたデータでは，不同意応答タイミングが網羅的に，また，不同意応答表現が安定的に付与されたコーパスを作成することは容易ではない．
この問題を解決するために，本研究では，語りに同期しない時間制約なしの環境で，不同意応答をタグ付けする方式を採用する．
具体的には，語りのテキストに対して，その内容に基づき，不同意応答の生成に適したタイミングと表現を付与する．
テキストに対して付与することで，網羅性と安定性を備えた結果を期待できる．
\par

語りのテキスト上に付与するために，まず，不同意応答が生成されるタイミング上の候補を定める必要がある．
一般に，同意や不同意の応答は，語り手の言明に対する肯定または否定の提示であり，その対象は命題に相当するものであると考えられる．
命題に対応する言語的な最小単位は，「節（述語を中心としたまとまり）」であることから，本研究では節を語りの構成単位とし，節の境界を不同意応答タイミングのタグ挿入位置の候補とする．
すなわち，タグ付けでは，節の並びで表現された語りに対して，作業者は節ごとにその直後が不同意応答に適したタイミングであるか否かを判断する．
\par

次に，付与可能な不同意応答表現の候補を定める必要がある．
傾聴応答コーパスに含まれる103個の不同意応答について，その応答表現の出現分布を調査した．
まず，「いえ」や「いえいえ」など「いえ」を含む応答表現の総数が全体の59.22\%にあたる61個と最も多かった．
その他，「いや」や「いやいや」など「いや」を含む応答表現の総数は全体の6.80\%にあたる7個と少なかった．
応答表現「いえ」と「いや」を比較した先行研究\cite{JP_EN_Togashi-2006}は，「いえ」の方がより丁寧であり，「いや」が非丁寧（ぞんざい，威圧的）であると位置づけている．
傾聴における不同意応答表現として，「いえ」を含む応答表現の出現が最も多かったことは，その丁寧さによるものと考えられる．
「いえ」を含む応答表現の中でも「いえいえ」が全体の27.18\%にあたる28個と最も多かったことから，本研究では「いえいえ」を不同意応答の代表表現と定めた．
\par

不同意応答表現「いえいえ」は，ほとんどの場合，それが表出されれば不同意を示すことになる．
しかし，不同意の対象や意図をより明確に語り手に提示するために，「いえいえ」のみではなく，それに適切な表現を付加することが効果的であると考えられる．
上述の先行研究\cite{JP_EN_Togashi-2006}においても，応答表現「いえ」の後に何らかのコメント（提示された情報を否定する内容，根拠）が付加されやすく，単独の発話では若干の不足感を感じさせる，と指摘されている．
そこで本研究では，「いえいえ」と付加表現を連接したものを不同意応答表現とし，付加表現のタイプごとに代表表現を定める．
作業者は，付与した不同意応答タイミングに対し，そこで生成するのに適した付加表現を選択する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{語りデータへのタグ付け方針} \label{subsec:annotation_method}
タグ付けの対象の語りデータとして，高齢者のナラティブコーパスJELiCo \cite{EN_JELiCo-2016}を用いた．
この語りデータには，合計で30名の高齢者による1人約20分の語りの音声が収録されている．
全高齢者共通の10個の質問に対し，その回答を語るという収録形式が採用されている．
このうち本研究では，高齢者29名が共通の質問9個に対して回答した語りをタグ付け対象とした\footnote{10個の質問のうち，「動物の名前を思いつくだけ言ってください」という質問に対して回答する形式の語りは，本研究が対象とする語りとは性質が異なるので，作業の対象外とした．また，高齢者1名分の語りについては，作業者への不同意応答のタグ付けの説明に利用したため，作業の対象外とした．}．
\par
語りの分割には，節境界解析ツールCBAP \cite{JP_EN_CBAP-2004}を用いた．
ツールによって挿入された節境界で挟まれた区間を「節」と定めた．
\par

\ref{subsec:disagreement_response}節で述べた通り，本研究における不同意応答とは，語り手が自己をマイナス評価している発話に対して，聴き手がその評価を受容しないことを示す応答のことをいう．
そこで本研究では，不同意の対象となる先行発話（群）におけるマイナス評価のされ方に基づき，「いえいえ」に連接する付加表現のタイプを決定する．
具体的には，傾聴応答コーパスにおいて不同意応答が付与された周辺の語りの発話における，マイナス評価のされ方の観察を通して，付加表現のタイプを定めた．
その結果6種類に分類され，各分類に対して代表表現を定めた．
定めた代表表現をそのタイプ，すなわち，どのようなマイナス評価に対して利用可能であるか，と共に以下に示す．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
  \item そんなことないですよ\\
  以下の (2)$\sim$(6) に該当しない
  \item いいと思いますよ\\
  プラス評価になりうることを否定的に捉える
  \item 十分ですよ\\
  プラス評価の水準に達していないことを示す
  \item これからですよ\\
  過去と比較し現在を否定的に捉える
  \item 大丈夫ですよ\\
  謝罪あるいは恐縮する
  \item 仕方ないですよ\\
  自責，後悔，無念，卑下を感じさせる否定的な事実（失敗談等）を自己開示する
\end{enumerate}
上述の分類とそれに対する代表表現の割り当てが，過不足ないものとなっているかを確認するために，作業者が付加表現を選択する際には，上述の6つの代表表現に加えて，いずれにも属さない「その他」を選択することも可能とした．
「その他」を選択した際には，上述の代表表現以外の，「いえいえ」に連接する付加表現を付与するよう指示した．
\par

タグ付けは，1名の作業者が実施し，実施にあたり参照可能な作業マニュアルを作成した．
マニュアルでは，作業の目的，傾聴における不同意応答の説明，データの説明，タグ付け作業内容の説明，タグ付け作業の参考例を記すとともに，不同意応答の表出に適するタイミングを網羅的にタグ付けするよう指示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{作成されたコーパスとその評価} \label{subsec:made_corpus}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{不同意応答タイミングのタグ付け結果とその評価} \label{subsubsec:made_corpus_timing}
% 不同意応答タイミングの個数と割合
作成した不同意応答コーパスの規模を表\ref{tab:response_timing_distribution}に示す．
459個の不同意応答タイミングが付与された．
節の直後の4.31\% (459/10,662) に不同意応答タイミングが出現している．
比較には，語りに対する傾聴応答をリアルタイム環境下で収録することで作成された傾聴応答コーパス\cite{JP_EN_Murata-2018}を用いる．
傾聴応答コーパスの作成には，本研究の不同意応答コーパスと同じ語りデータが用いられている．
両コーパスの不同意応答タイミングの比較のために，傾聴応答コーパスに含まれる不同意応答を節の直後に対応付ける処理を行った．
具体的には，不同意応答を，その発声開始時刻が，語りデータ内の節の発声終了時刻のうち，最も近くにある節に対応付けた．
この処理によって，対応付けられた不同意応答が存在する節の直後を，傾聴応答コーパスにおける不同意応答タイミングとみなした．
% workspace/AnalysisMaterials/ALRC/聴き手ごとの不同意応答タイミングの数.csv
その結果，傾聴応答コーパスにおける不同意応答タイミングは93個であり，節全体の0.87\% (93/10,662) であった．
両コーパスにおける不同意応答タイミング数の差は著しく，時間制約のない環境で不同意応答のみに限定してタグ付けを実施することの効果が示された\footnote{本研究の不同意応答コーパスにおける不同意応答タイミングにおいて，傾聴応答コーパスではどのような応答がなされていたのかの分析を付録\ref{appendix_sec:vs_ALRC}に示す．}．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table02.tex}
  \caption{作成した不同意応答コーパスの規模}
  \label{tab:response_timing_distribution}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


時間制約のない環境で作業することにより，網羅的にタグ付けが行われたかを評価するために，コーパス作成のタグ付け作業者 (X) とは別の作業者 (A) を設け，タグ付けの一致率を測定した．
作業者間の一致度が高ければ，付与されたタグ付け位置の他にタグ付けの余地が少ないことを意味し，作成されたコーパスが高い網羅性を備えていることを示唆する．
一致率の測定には，Cohenのkappa値\cite{EN_Cohen-1960}を用いた．
この指標は，観測された一致率を $P(O)$, 期待される一致率を $P(E)$とするとき，
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{eqnarray}
  \kappa = \frac{P(O)-P(E)}{1-P(E)}
\end{eqnarray}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
で算出する．
$.80 < \kappa$であればgood reliability, $.67 < \kappa < .80$であればusable qualityの水準にあるとされる\cite{EN_Carletta-1996}．
測定の結果，$\kappa=0.771$であり，実質的に一致している水準にあった．
比較のために，傾聴応答コーパス\cite{JP_EN_Murata-2018}に含まれる1名の作業者 (x) と同様の作業を，別の10名の作業者 (a,b,c,d,e,f,g,h,i,j) が実施して節と対応付けたデータ（以下，比較データ）を用いる．
具体的には，新たに10名の作業者が，\ref{subsec:disagreement_response}節で述べた事前に収録された語りの音声の再生に同期して傾聴応答を表出する作業を実施した．
この作業では，不同意応答に限らず，幅広く傾聴応答を表出している．
表出された傾聴応答のうち，不同意応答のみを対象に，その発声開始時刻が，語りデータ内の節の発声終了時刻のうち，最も近くにある節に対応付けた．
すなわち，比較データには，傾聴応答コーパスの作業者 (x) による不同意応答タイミングに加えて，10名の作業者 (a$\sim$j) によるものが付与されている．
表\ref{tab:kappa_ARLC}に，比較データにおける傾聴応答コーパスの作業者 (x) と，追加分の10名の各作業者 (a$\sim$j) との間のkappa値を示す．
最も低い作業者間でkappa値が0.075，高い場合でも0.390であった．
以上の結果から，時間制約のない環境で不同意応答タイミングを付与することで，相対的に高い網羅性を備えた応答コーパスを作成できることが示された


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table03.tex}
  \caption{比較データにおける作業者間のkappa値}
  \label{tab:kappa_ARLC}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\subsubsection{不同意応答表現のタグ付け結果とその評価} \label{subsubsec:made_corpus_expression}
図\ref{fig:breakdown_following_response}に，作成されたコーパスにおいて，不同意応答タイミングに付与された不同意応答表現の出現数を示す．
いずれのタイプの表現も多く出現していること，また，「その他」の出現はわずか2個に留まっていることから，\ref{subsec:annotation_method}節で述べた6つの分類が概ね過不足なく定められたものであることが示唆された\footnote{代表表現として「その他」が選択された2つの不同意応答タイミングでは，「体が痛くても我慢する」といった内容の語りの発話に対して，作業者によって「無理しないでください」という表現が付与されていた．}．

表\ref{tab:following_response_sample}に，表現ごとに，それがタグ付けられた不同意応答タイミングの例を示す．
表では，不同意応答タイミングから遡って5つの節を記載している．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[b]
  \begin{center}
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/worker2_following_response_type_count_1fig.eps}
\includegraphics{31-1ia8f2.pdf}
  \end{center}
  \caption{「いえいえ」に付加される表現の出現数}
  \label{fig:breakdown_following_response}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table04.tex}
  \caption{不同意応答タイミングと不同意応答表現の例}
  \label{tab:following_response_sample}
  % \footnotesize
  % \tabcolsep=0.5mm
 \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


不同意応答表現のタグ付けが安定的に実施されているかを評価する．
\ref{subsubsec:made_corpus_timing}節で述べた作業者 (A) が，自身が付与した不同意応答タイミングに同様のタグ付けを実施した．
作業者 (X) と (A) の両者でタグ付けが一致した不同意応答タイミング349個の節の直後を対象に，それぞれがタグ付けた表現に関する混同行列を図\ref{fig:worker_following_response_confusion_matrix}に示す．
78.80\% (275/349) において表現が一致しており，安定的に不同意応答表現をタグ付けできているといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=0.70\linewidth]{figures/JNLP_eps/following_response_type_match_wo_none.eps}
\includegraphics{31-1ia8f3.pdf}
  \caption{「いえいえ」に付加される表現に関する作業者間の混同行列}
  \label{fig:worker_following_response_confusion_matrix}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{不同意応答タイミングの検出実験} \label{sec:main_experiment}
語りの傾聴において，不同意応答を生成することの実現性を示すために，本論文の以下では，不同意応答コーパスが不同意応答の生成に効果的に機能することを示す．
本章では，不同意応答タイミングの検出における応答コーパス利用の有効性を実験的に検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験概要} \label{subsec:main_experimental_overview}
本実験では，語りの節ごとに，その直後が不同意応答タイミングであるか否かの判定を行う．
実験は5分割交差検定で実施した．
不同意応答コーパスを8:2に分割し，前者を学習及びテスト用データ，後者を開発データとした．
学習及びテスト用データを5分割し，そのうちの1グループをテストデータ，残りの4グループを学習データとした実験を5回繰り返した．
開発データは，交差検定の各試行における，ハイパーパラメータの調整に用いた．
表\ref{tab:experimental_data}に，実験データにおける不同意応答タイミングの個数と節数に対する割合を示す．
評価指標は，不同意応答タイミングに対する適合率，再現率，F値とした．
 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{不同意応答タイミングの検出手法とその実装} \label{subsec:main_experimental_implementation}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table05.tex}
  \caption{実験データにおける不同意応答タイミングの個数と割合}
  \label{tab:experimental_data}
 \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


本節では，作成したコーパスを用いて不同意応答タイミングを検出する手法について述べる．
本手法では，節の並び$c_{1} \cdots c_{n}$で表される語りに対して，語りにおける節が1つ入力されるごとに，その直後が不同意応答タイミングであるか否かを判定する．
本研究の目的は，不同意応答タイミング検出の実現性を示すことであるため，不同意応答タイミングであるか否かの判定には，幅広いタスクで用いられている事前学習済みのTransformer \cite{EN_Vaswani-2017} ベースのモデルを単純に用いた手法を採用した．
具体的には，事前学習済みモデルを2クラス分類タスク用にfine-tuningすることで，語りにおける節の直後が不同意応答タイミングであるか否かを判定するためのモデルを構築した．
図\ref{fig:method_overview}に本手法の概略を示す．
語りにおける節$c_{t}$の直後の判定の際には，節$c_{t}$を含めて直前$m$個の節の並びを入力として用いる．
すなわち，節の並び$c_{t-(m-1)} c_{t-(m-2)} \cdots c_{t}$で表される語りの文字列を入力とする．
入力の文字列をTransformerベースの事前学習済みモデルでエンコードしたのち，全結合層とsoftmax関数による分類層で処理することで，2次元のベクトルを得る．
最後に，argmax関数を適用することによって，節$c_{t}$の直後が不同意応答タイミングであるか否かの判定結果が出力される．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[b]
  \centering
%%%%%  \includegraphics[width=0.70\linewidth]{figures/JNLP_eps/method_overview.eps}
  \includegraphics{31-1ia8f4.pdf}
  \caption{不同意応答タイミングの検出手法の概略}
  \label{fig:method_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


不同意応答タイミングの検出のためには，語りの文脈を考慮することが望ましい．
そこで本実験では，節$c_{t}$を含めて直前5個の節の並びを入力として用いる．
すなわち，図\ref{fig:method_overview}における$m$を5に設定した \footnote{入力節数が検出性能に与える影響については付録\ref{appendix_sec:LEN}を参照されたい．}．
検出手法で用いる事前学習済みのTransformerベースのモデルとしては，この実装を開始した時点における主流なものとして，BERT \cite{EN_BERT-2019}, RoBERTa \cite{EN_RoBERTa-2019}, DeBERTa-v2 \cite{EN_DeBERTa-v2-2021}, GPT2 \cite{EN_GPT2-2019}を採用した．
いずれも，huggingface\footnote{\url{https://huggingface.co/models}}で公開されている，隠れ層のサイズが768次元，レイヤー数が12のモデル 
\footnote{\url{https://huggingface.co/cl-tohoku/bert-base-japanesse-whole-word-masking}}\,\footnote{\url{https://huggingface.co/nlp-waseda/roberta-base-japanese}}\,\footnote{\url{https://huggingface.co/ku-nlp/deberta-v2-base-japanese}}\,\footnote{\url{https://huggingface.co/rinna/japanese-gpt2-small}}である．
モデルの学習における損失関数はCross Entropy Lossとして，バッチサイズを32, エポック数を50とした．
モデルの最適化手法には，weight decayを0.01としたAdamW \cite{EN_AdamW-2019}を用いた．
学習率には，warmup ratioを10\%とした，線形スケジューリングを採用した．
すなわち，学習開始時から学習全体の10\%が終了するまでの間は，事前に定めた学習率の最大値まで線形に学習率を増加させ，それ以降は線形に学習率を減少させた．
本実験では，各モデルの学習率の最大値は，1e-6, 5e-6, 1e-5, 5e-5のうち，学習終了時のモデルの開発データにおけるF値が最良となったものとした．
\par

上述の事前学習済みモデルによる手法の性能を評価するために，節の直後が不同意応答タイミングであるか否かを，不同意応答コーパスに基づくことなくランダムに分類する以下の2つの手法を実装し，その結果を参照することとした．
\begin{itemize}
  \item \textbf{random (even)}: 50\%の確率でランダムに分類する手法
  \item \textbf{random (balanced)}: 学習データにおける不同意応答タイミングの割合に従ってランダムに分類する手法
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[b]
\input{08table06.tex}
 \caption{不同意応答タイミング検出の実験結果}
 \label{tab:experimental_results1}
 % \footnotesize
 % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}\label{subsec:main_experimental_results}
表\ref{tab:experimental_results1}に，各手法の適合率，再現率，F値を示す．
ランダム手法は，random (even) のF値が0.079, random (balanced) のF値が0.037と極めて低い．
一方で，事前学習済みモデルを用いた手法のF値は，最低で0.324, 最高で0.437を達成した．
事前学習済みモデルを単純にfine-tuningした手法を用いており，その性能に向上の余地があるとはいえ，不同意応答タイミングを一定の水準で検出できること，ならびに，不同意応答コーパスの利用の効果が示された．
\par
表\ref{tab:experimental_output1}に，事前学習済みモデルに基づく4つの手法のいずれかで検出に成功した不同意応答タイミングの例を，その直前の語りと共に示す．
成功例1は末尾の「ごめんなさい」の直後（4つの手法すべてで成功），成功例2は末尾の「悪いんですけれども」の直後（DeBERTa-v2による手法とGPT2による手法で成功）が，それぞれ正解の不同意応答タイミングである．
これらの例では，謝罪の発話を含む語りを対象とした不同意応答のタイミング検出に成功している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エラー分析}\label{subsec:disagreement_target_type}
実験結果のエラー分析を行う．
エラーの要因を明らかにするために，\ref{subsec:annotation_method}節の付加表現の分類ごとに，実験結果における不同意応答タイミング検出の再現率を算出した．
表\ref{tab:disagreement_clause_type_recall_for_each_model}にその結果を，事前学習済みモデルに基づく4つの検出手法ごとに示す．
1行目の ( ) 内の数字は，学習及びテストデータ区分の各応答表現の個数である\footnote{実験データには「その他」が付与された不同意応答タイミングが2つ存在するが，いずれも開発データに割り当てられている．}．
いずれも，「大丈夫ですよ」に対する不同意応答タイミングの再現率が相対的に高いという結果となった．
この表現は，謝罪や恐縮などを含む発話に対して利用可能であり，そのような発話には，「申し訳ない」「すいません」「ごめんなさい」などのフレーズが含まれることが多い．
したがって，モデルはその特徴を捉えやすかったものと考えられる．
\par


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table07.tex}
  \caption{検出に成功した不同意応答タイミングとその直前の語り}
  \label{tab:experimental_output1}
  % \footnotesize
  % \tabcolsep=0.5mm
 \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table08.tex}
  \caption{不同意応答タイミング検出の再現率（付加表現の分類別）}
  \label{tab:disagreement_clause_type_recall_for_each_model}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


一方で，「そんなことないですよ」「いいと思いますよ」については，「大丈夫ですよ」と同程度の出現頻度であるにも関わらず，その再現率は高くなかった．
表\ref{tab:experimental_output2}に，事前学習済みモデルに基づく4つの手法のいずれかが，検出すべきか否かの判断を誤った例を，その直前の語りと共に示す．
失敗例1は末尾の「暇があるので」の直後，失敗例2は末尾の「私がその暇を持て余しているっていうことから」の直後が，正解の不同意応答タイミングである．
それぞれ，付加表現としては，「いいと思いますよ」「そんなことないですよ」が選択されていた．
これら2つの不同意応答タイミングは，4つの手法すべてで検出できていなかった．
いずれも，語り手自身に暇があることを自虐的に話す発話であるが，それぞれ語りの表現は異なる．
一方，実験データには，「ちょっとできたんですけれどもね特別うーん遊びって小さい時はあんまり遊べない子でしたね今やっと暇ができて」という語りの発話も存在していた．
これは，語り手が自身に暇があることを前向きに語っている発話であり，この発話の直後は不同意応答タイミングではない．
このように，語られる内容が似ていても，それが自虐や謙遜として語られるかは，語り手の立場や状況によって異なる．
さらに，語りの発話に自虐や謙遜が含まれているか否かの判断には，語りの対象が何であるかにも依存する．
例えば，表\ref{tab:experimental_output2}の失敗例3の語りの末尾「人がないっていう」の直後は，不同意応答タイミングではない．
しかし，RoBERTaによる手法とDeBERTa-v2による手法は，誤って不同意応答タイミングであると検出していた．
失敗例3の語りの対象は，語り手ではなく，語り手よりも10歳から15歳年下の別の人物である．
「自分は誰も相談する人がない」という語りの発話は，文脈によっては自虐や謙遜になりうる．
しかし，失敗例3における「自分」は語り手ではないため，自虐や謙遜の発話とは異なる．
このように，自虐・謙遜に対する不同意応答タイミングの検出には，語りをより深く理解することが必要であり，その検出は容易ではなかったと考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table09.tex}
  \caption{検出に失敗した不同意応答タイミングとその直前の語り}
  \label{tab:experimental_output2}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{検出結果の主観評価}\label{subsec:subjective_evaluation}

\ref{subsec:main_experimental_results}節では，不同意応答タイミングを網羅的にタグ付けしたコーパスを正解データとし，それとどの程度一致するかという観点から，不同意応答タイミングを一定の水準で検出できること，ならびに，不同意応答コーパスの利用の効果を確認した．
しかしながら，会話エージェントに対する語り手の印象は様々な要因によって影響を受ける．
そのため，語り手の印象に影響を与えるような水準の不同意応答を生成できることを確認するには，正解データとの一致に基づく評価だけでは十分ではない可能性がある．
そこで本節では，主観評価に基づき，不同意応答タイミングの検出における不同意応答コーパスの利用の有効性を評価する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation_process.eps}
  \includegraphics{31-1ia8f5.pdf}
  \caption{不同意応答タイミングの検出結果の主観評価の手順の概略（ダミーのペアの比較の工程は除く）}
  \label{fig:subjective_evaluation_process}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価の概要}\label{subsubsec:subjective_evaluation_overview}
主観評価の手順の概略を図\ref{fig:subjective_evaluation_process}に示す．
実験データにおいて，本手法が検出したタイミングで，実際に不同意応答を生成し，それを被験者が主観評価する\footnote{一方で，正解のタイミングで検出されなかった場合についても，同様に主観評価することは有意義である．不同意応答が生成されないときの損失の程度を被験者実験により測定することが考えられ，その実施は今後の課題である．}．
被験者は，不同意応答「いえいえ」が挿入された語りの音声を聴取し，その印象を評価する．
本手法は，語りの節ごとに，その直後が不同意応答タイミングであるか否かを，直前の語りの文字列から判定することで検出を行う．
不同意応答「いえいえ」の挿入位置は，検出された節の最終形態素の発声終了時刻の200ミリ秒後とした．
検出には，表\ref{tab:experimental_results1}のF値が最も高かったRoBERTaによる手法を用いた．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table10.tex}
  \caption{主観評価における評価項目}
  \label{tab:subjective_evaluation_criterion}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


評価は，表\ref{tab:subjective_evaluation_criterion}の積極性，自然さ，理解度の3つの項目で実施した．
ただし，挿入された不同意応答を絶対評価することは必ずしも容易ではない．
そこで本実験では，不同意応答のタイミングで，相槌が挿入された語りの音声を別途用意し，不同意応答が挿入された音声との比較評価を行った．
すなわち被験者は，積極性，自然さ，理解度の3つの項目で，不同意応答が挿入された音声と相槌が挿入された音声のどちらが優れていたかを評価する．
相槌の応答表現としては，傾聴応答コーパス\cite{JP_EN_Murata-2018}で最も出現が多かった「はい」を用いた．
不同意応答「いえいえ」と相槌「はい」の音声には，Amazon Polly \footnote{\url{https://aws.amazon.com/jp/polly/}}によって生成された合成音を用いた．
いずれの応答についても，合成音ができるだけ自然となるように，アクセント，話速，発声の強度を調整して音声合成を行った．
被験者が聴取する語りの音声の範囲は，検出されたタイミングの直前5つ目の節から直後2つ目の節までとし，コーパスから抽出した人間の語り手の音声を用いた．
\par

実験データのうち，RoBERTaを用いた手法が検出したタイミングは261個存在していた．
そのうち40個をランダムに抽出して主観評価に用いた．
また，主観評価は，30代から50代の被験者10名が各々実施した．
すなわち，10名の被験者が，同一の語り音声に対して不同意応答「いえいえ」が挿入された音声と相槌「はい」が挿入された音声の比較評価を40回行った．
\par

主観評価では，被験者が評価の目的や意図を推測して偏見を持っていると，純粋な評価が行われないリスクがある．
これを軽減するために，上述の不同意応答「いえいえ」と相槌「はい」がそれぞれ挿入された音声のペア40個に加えて，ダミーのペアを20個用意した．
すなわち，10名の被験者が各々，不同意応答「いえいえ」と相槌「はい」がそれぞれ挿入された音声ペア40個に，ダミーのペア20個を加えた合計60個の音声ペアを比較評価した．
ダミーのペアは，不同意応答「いえいえ」と相槌「はい」を挿入する際に，少なくとも一方を別の応答に置き換えることで作成した．
置き換えに用いる応答は，傾聴応答コーパス及び\ref{subsubsec:made_corpus_expression}節の比較データに含まれる応答からランダムに選択し，Amazon Pollyによって音声合成した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[b]
  \centering
%%%%%  \includegraphics[width=0.80\linewidth]{figures/JNLP_eps/subjective_evaluation_box_plot_ver_ratio.eps}
  \includegraphics{31-1ia8f6.pdf}
  \caption{被験者が不同意応答「いえいえ」の方が優れていると判定したペアの割合の分布}
  \label{fig:subjective_evaluation_result1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[b]
  \centering
%%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation_bar_plot_1by3.eps}
  \includegraphics{31-1ia8f7.pdf}
  \caption{不同意応答「いえいえ」の方が優れていると判定した被験者数ごとのペア数の分布}
  \label{fig:subjective_evaluation_result2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価結果}\label{subsubsec:subjective_evaluation_result}

図\ref{fig:subjective_evaluation_result1}に，被験者が不同意応答「いえいえ」の方が優れていると判定したペアの割合の分布を示す．
被験者10人中，積極性では3人，自然さでは5人，理解度では4人において，不同意応答「いえいえ」の方が優れていると判定した回数が，全体の半数以上となった．
相槌「はい」を高く評価する傾向にある被験者の方が多かったものの，不同意応答「いえいえ」を高く評価する傾向にある被験者も存在することを確認できた\footnote{
被験者3は，特に「いえいえ」を好む傾向にあったため，その評価結果の信頼性を調査した．
各評価項目において，被験者3が「いえいえ」の方が優れていると判定したペアと，「はい」の方が優れていると判定したペアのそれぞれにおける，他の9名の被験者の評価傾向を比較した．
その結果，前者のペアの方が，他の9名の被験者も「いえいえ」が優れていると判定する傾向が高かった．
このことから，被験者3の評価が不適当ではないことが示唆された．
}．
語り手の個性や嗜好などによっても，不同意応答への印象は異なるものと考えられる．
これらの情報を考慮した不同意応答の生成は今後の課題である．
\par

図\ref{fig:subjective_evaluation_result2}に，不同意応答「いえいえ」の方が優れていると判定した被験者数ごとのペア数の分布を示す．
「いえいえ」の方が優れていると判定した被験者数について，積極性では2名，自然さでは3名または4名，理解度では3名のペアが最も多かった．
一方で，「いえいえ」の方が優れていると判定した被験者が多くを占めるペアも存在していた．
このことから，「はい」の生成の方が好印象な場面が多かったものの，不同意応答コーパスに基づく本手法によって「いえいえ」を生成することで，好印象を獲得できた場面も存在することを確認できた．
\par

表\ref{tab:subjective_evaluation_result3}に，被験者による主観評価の例を示す．
不同意応答とその周辺の語りの列については，＜＞で囲んだ文字列が不同意応答であり，その他の文字列が語りである．
積極性，自然さ，理解度の数値は，不同意応答「いえいえ」の方を優れていると判定した被験者の数である．
例1と例2は，被験者からの評価が高かった例である．
それぞれ，語り手の自虐的な発話と，謝罪の発話に対して，適切に不同意応答「いえいえ」を生成できたため，評価が高かったものと考えられる．
例3は，被験者内で評価が割れた例である．
語り手の「お世話焼きばっかりしている」という発話が，自虐や謙遜に当たるか否かの判断が被験者ごとに異なったため，評価が割れたものと考えられる．
例4は，被験者による評価が低かった例である．
「いえいえ」の直前には，語り手の「晴耕雨読ではないですが」という否定語と逆接を含む発話があるものの，自虐や謙遜，謝罪などには該当せず，評価が低かったものと考えられる．
否定や逆接を表す表現の扱いは，不同意応答の生成における今後の課題といえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table11.tex}
  \caption{不同意応答タイミングの検出結果に対する主観評価の例}
  \label{tab:subjective_evaluation_result3}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{不同意応答表現への分類実験}\label{sec:following_response}
不同意応答表現への分類における不同意応答コーパス利用の有効性を実験的に検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}\label{subsec:following_response_experimental_setting}

実験では，不同意応答タイミングを，\ref{subsec:annotation_method}節で設定した「その他」を除く6種類の不同意応答表現に分類する．
実験は，不同意応答タイミングの検出実験と同様の交差検定で実施した．

分類手法として，不同意応答タイミングの検出手法と同じく，Transformerベースのモデルを単純に用いた手法を採用する．
具体的には，事前学習済みモデルを6クラス分類タスク用にfine-tuningすることで分類モデルを構築する．
すなわち，不同意応答タイミングを，6つの表現のいずれかに分類するためのモデルを構築する．
モデルの入力には，不同意応答タイミングから遡って5つの節を用いる \footnote{入力節数が分類性能に与える影響については付録\ref{appendix_sec:LEN}を参照されたい．}．
\par

不同意応答表現への分類性能を評価するために，\ref{subsec:main_experimental_overview}節と同じデータを用いた．
ただし，表現として「その他」が付与された2個の不同意応答タイミングは，本実験データから取り除いた．
表\ref{tab:experimental_data2}に，本実験データでの不同意応答タイミングにおける，「いえいえ」に付加される表現の内訳を示す．
評価指標には，正解率に加えて，マクロ適合率，マクロ再現率，マクロF値を用いた．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table12.tex}
  \caption{不同意応答表現への分類実験で使用したデータの内訳}
  \label{tab:experimental_data2}
 \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


事前学習済みのTransformerベースのモデルとしては，BERT, RoBERTa, DeBERTa-v2, GPT2を採用した．
モデルの学習における損失関数はCross Entoropy Lossとして，バッチサイズを8, エポック数を50とした．
最適化手法にはweight decayを0.01としたAdamWを，学習率にはwarmup ratioを10\%とした線形スケジューリングを採用した．
本実験では，各モデルの学習率の最大値は，1e-6, 5e-6, 1e-5, 5e-5のうち，学習終了時のモデルの開発データにおける正解率が最良となったものとした．
上述の事前学習済みモデルによる手法の他に，不同意応答タイミングにてランダムに分類する以下の2つの手法を実装した．
これらの手法による結果は，その性能が分類の難易度を示すものとして参照できる．
\begin{itemize}
  \item \textbf{random (even)}: 50\%の確率でランダムに分類する手法
  \item \textbf{random (balanced)}: 学習データにおける表現の出現分布に従って，ランダムに分類する手法
\end{itemize}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}\label{subsec:following_response_experimental_results}

表\ref{tab:experimental_results2}に，各手法の正解率，適合率，再現率，F値を示す．
事前学習済みモデルを用いた手法に関しては，正解率は0.4程度であった．
一方で，ランダムな手法であるrandom (even) の正解率は0.155, random (balanced) の正解率は0.205であった．
適合率，再現率，F値についても，同程度の結果が得られた．
これらの結果から，事前学習済みモデルを単純に用いた手法によって，一定の水準で不同意応答表現に分類できること，ならびに，不同意応答コーパスの利用の効果が示された．
\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table13.tex}
  \caption{不同意応答表現への分類の実験結果}
  \label{tab:experimental_results2}
  % \footnotesize
  % \tabcolsep=0.5mm
 \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/LEN5_confusion_matrixs_2by3.eps}
  \includegraphics{31-1ia8f8.pdf}
  \caption{不同意応答表現への分類に関する混同行列}
  \label{fig:experimental_result_response_confusion_matrix}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



図\ref{fig:experimental_result_response_confusion_matrix}に，random(even), random(balanced), 事前学習済みモデルに基づく4つの手法の分類結果に対する混同行列を順に示す．
混同行列内の括弧書きの数字は，表\ref{tab:experimental_data2}における表現の番号と対応している．
事前学習済みモデルに基づく手法の混同行列では，対角成分の値が比較的大きくなっている．
このことからも，不同意応答表現への分類可能性を確認した．
表\ref{tab:response_selection_experimental_example}の上段に，事前学習済みモデルに基づく手法の全てで分類に成功した例を，直前の語りと共に示す．
図\ref{fig:experimental_result_response_confusion_matrix}から分かる通り，いずれの手法も，「いえいえ，大丈夫ですよ」については，適切に分類することができていた．
この表現は，表\ref{tab:response_selection_experimental_example}の成功例のように，謝罪の語りに対して表出されることが多く，モデルはその特徴を捉えていたものと考えられる．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エラー分析}\label{subsec:following_response_experimental_error_analysis}
表\ref{tab:experimental_results3}に，各事前学習済みモデルに基づく4つの分類手法のF値を，不同意応答表現ごとに示す．
いずれの手法も，「いえいえ，仕方ないですよ」に対するF値が極めて低く，ほとんど正しく分類できなかった．
表\ref{tab:response_selection_experimental_example}の下段に，事前学習済みモデルに基づく手法の全てが正しく分類できなかった例を，直前の語りと共に示す．
この失敗例では，「いえいえ，そんなことないですよ」に誤って分類した手法が多かった．
「いえいえ，仕方ないですよ」に正しく分類するには，「草書体は一般に難解であり，それを読める人は稀である」という知識を有し，それに基づき「仕方ない」事象であることを推論できる必要がある．
本実験で実装した手法では，そのような知識や機能を備えておらず，分類は困難であったと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table14.tex}
  \caption{不同意応答表現への分類の成功例と失敗例}
  \label{tab:response_selection_experimental_example}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table15.tex}
  \caption{各不同意応答表現に対するF値（「いえいえ」は省略）}
  \label{tab:experimental_results3}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[b]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation2_process_vs_ieie.eps}
  \includegraphics{31-1ia8f9.pdf}
  \caption{不同意応答表現への分類結果の主観評価の手順の概略（「いえいえ」との比較）}
  \label{fig:subjective_evaluation2_process_vs_ieie}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation2_process_vs_random.eps}
  \includegraphics{31-1ia8f10.pdf}
  \caption{不同意応答表現への分類結果の主観評価の手順の概略（ランダムとの比較）}
  \label{fig:subjective_evaluation2_process_vs_random}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分類結果の主観評価}

\ref{subsec:following_response_experimental_results}節では，不同意応答タイミングに不同意応答表現をタグ付けしたコーパスを正解データとし，それとどの程度一致するかという観点から，不同意応答表現への分類を一定の水準で実現できること，ならびに，不同意応答コーパスの利用の効果を確認した．
本節では，主観評価によって，不同意応答表現への分類における不同意応答コーパスの利用の有効性を評価する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価の概要}

主観評価の手順の概略を図\ref{fig:subjective_evaluation2_process_vs_ieie}と\ref{fig:subjective_evaluation2_process_vs_random}に示す．
評価には，不同意応答表現への分類の実験データを用いる．
本手法が分類した不同意応答表現を実際に生成し，それを被験者が主観評価する\footnote{一方で，正解の不同意応答タイミング以外で不同意応答表現を生成した場合についても，同様に主観評価することは有意義である．不同意応答表現が生成されないときの損失の程度を被験者実験により測定することが考えられ，その実施は今後の課題である．}．
被験者は，表\ref{tab:experimental_data2}の6つの不同意応答表現のいずれかが挿入された語りの音声を聴取し，その印象を評価する．
本手法は，語りの文字列を用いて，不同意応答タイミングを不同意応答表現に分類する．
不同意応答表現の挿入位置は，不同意応答タイミング直前の最終形態素の発声終了時刻の200ミリ秒後とした．
分類には，表\ref{tab:experimental_results2}の正解率が最も高かったRoBERTaによる手法を用いた．
\par

評価は，表\ref{tab:subjective_evaluation_criterion}の積極性，自然さ，理解度の3つの項目で実施した．
本手法が分類した不同意応答表現とは別の応答が挿入された音声と比較する．
比較音声として，下記の2つの音声を用意した．
\begin{enumerate}
  \item 不同意応答「いえいえ」を挿入した音声
  \item 表\ref{tab:experimental_data2}の6つの不同意応答表現から，本手法が分類した表現を除いた5種類の表現のいずれかをランダムに挿入した音声
\end{enumerate}
すなわち被験者は，本手法が分類した不同意応答表現が挿入された音声と，上記の2つの比較音声のいずれかとの比較をし，積極性，自然さ，理解度の3つの項目で，それぞれどちらが優れていたかを評価する．
不同意応答「いえいえ」と表\ref{tab:experimental_data2}の6つの不同意応答表現の音声合成には，Amazon Pollyを用いた．
音声合成の際には，応答の音声が自然となるよう，アクセント，話速，発声の強度を調整した．
被験者が聴取する語りの音声の範囲は，不同意応答タイミングの直前5つ目の節から直後2つ目の節までとし，コーパスから抽出した人間の語り手の音声を用いた．
\par

テストに用いた実験データから60個をランダムに抽出して主観評価に用いた．
60個のうち，30個は不同意応答「いえいえ」を挿入した音声との比較，残りの30個は表\ref{tab:experimental_data2}の6つの不同意応答表現のいずれかをランダムに挿入した音声との比較に用いた．
また，主観評価は，30代から50代の被験者10名が各々実施した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=0.80\linewidth]{figures/JNLP_eps/subjective_evaluation2_vs_ieie_box_plot_ver_ratio.eps}
  \includegraphics{31-1ia8f11.pdf}
  \caption{「いえいえ」との比較において本手法が分類した不同意応答表現の方が優れていると被験者が判定したペアの割合の分布}
  \label{fig:subjective_evaluation2_ieie_result1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%





%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{「いえいえ」との比較結果}

本手法が分類した不同意応答表現が挿入された音声と，不同意応答「いえいえ」が挿入された音声との比較結果について述べる．
図\ref{fig:subjective_evaluation2_ieie_result1}に，被験者が本手法が分類した不同意応答表現の方が優れていると判定したペアの割合の分布を示す．
被験者10人中，積極性では10人，自然さでは5人，理解度では8人が，本手法が分類した不同意応答表現の方が優れていると判定した回数が，全体の半数以上に達した．
積極性と理解度において，本手法が分類した不同意応答表現の方を高く評価する傾向にある被験者の割合が高く，不同意応答コーパスに基づく本手法の有効性を確認できた．
特に，積極性における割合は極めて高かったが，一方で，自然さにおける割合は相対的に低かった．
この原因の1つとして，付加表現を伴う不同意応答は，「いえいえ」よりも長い応答となるため，合成音声の不自然さに意識が向きやすかったものと考えられる．
これは，音声合成の性能向上によって改善が期待される．
また，長く応答することに伴い，「いえいえ」よりも語りとの重複が発生しやすくなることも，自然さが低かった原因として考えられる．
本コーパスと本手法では，語りの音響的な情報を考慮していない．
例えば，語りの間の長さを考慮した不同意応答コーパスや不同意応答生成手法の実現によって，語りとの重複を解消することが期待できる．
これらについても今後検討していきたい．
\par

図\ref{fig:subjective_evaluation2_ieie_result2}に，本手法が分類した不同意応答表現の方が優れていると判定した被験者数ごとのペア数の分布を示す．
本手法が分類した不同意応答表現の方が優れていると判定した被験者の数について，積極性では10名，自然さでは4名，理解度では3名または5名のペアがもっと多かった．
評価項目ごとに分布の形状は異なるものの，各評価項目において，本手法が分類した不同意応答表現の方が優れていると判定した被験者が多いペアが存在していた．
このことから，本手法に基づいて付加表現を伴う不同意応答を生成することで，より好印象を獲得できる場面の存在を確認できた．
\par


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation2_vs_ieie_bar_plot_1by3.eps}
  \includegraphics{31-1ia8f12.pdf}
  \caption{「いえいえ」との比較において本手法が分類した不同意応答表現の方が優れていると判定した被験者数ごとのペア数の分布}
  \label{fig:subjective_evaluation2_ieie_result2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


表\ref{tab:subjective_evaluation2_ieie_result3}に，被験者による主観評価の例を示す．
不同意応答とその周辺の語りの列については，＜＞で囲んだ文字列が不同意応答であり，その他の文字列が語りである．
積極性，自然さ，理解度の数値は，本手法が分類した不同意応答表現の方を優れていると判定した被験者数である．
例1は，全ての評価項目で，被験者からの評価が相対的に高かった例である．
語り手の申し訳なさを感じさせる発話に対して，本手法によって「いえいえ，大丈夫ですよ」と適切に応答を生成できたため，被験者からの評価が高かったものと考えられる．
例2は，自然さと理解度の評価が相対的に低かった例である．
この例では，語り手が自身の経験を自虐を交えて話しており，謝罪の発話や例1のような申し訳なさを感じさせる発話とは異なる．
そのため，本手法によって生成された「いえいえ，大丈夫ですよ」は語りの文脈に合わず，評価が低かったものと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table16.tex}
  \caption{「いえいえ」との比較における不同意応答表現への分類結果に対する主観評価の例}
  \label{tab:subjective_evaluation2_ieie_result3}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=0.80\linewidth]{figures/JNLP_eps/subjective_evaluation2_vs_random_box_plot_ver_ratio.eps}
  \includegraphics{31-1ia8f13.pdf}
  \caption{ランダムな分類結果との比較において本手法が分類した不同意応答表現の方が優れていると被験者が判定したペアの割合の分布}
  \label{fig:subjective_evaluation2_random_result1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/subjective_evaluation2_vs_random_bar_plot_1by3.eps}
  \includegraphics{31-1ia8f14.pdf}
  \caption{ランダムな分類結果との比較において本手法が分類した不同意応答表現の方が優れていると判定した被験者数ごとのペア数の分布}
  \label{fig:subjective_evaluation2_random_result2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ランダムな分類結果との比較結果}

本手法が分類した不同意応答表現が挿入された音声と，ランダムに分類した不同意応答表現が挿入された音声との比較結果について述べる．
図\ref{fig:subjective_evaluation2_random_result1}に，被験者が本手法が分類した不同意応答表現の方が優れていると判定したペアの割合の分布を示す．
積極性，自然さ，理解度のすべての評価項目において，10名の被験者全員が，本手法が分類した不同意応答表現の方が優れていると判定した回数の方が多かった．
いずれの評価項目においても，本手法が分類した不同意応答表現の方を高く評価する傾向にある被験者の割合が高く，不同意応答コーパスに基づく本手法の有効性を確認できた．
\par

図\ref{fig:subjective_evaluation2_random_result2}に，本手法が分類した不同意応答表現の方が優れていると判定した被験者数ごとのペア数の分布を示す．
積極性，自然さ，理解度ともに，本手法が分類した不同意応答表現の方が優れていると判定した被験者が10名であるペアが，最も多かった．
各評価項目において，本手法が分類した不同意応答表現の方が優れていると判定した被験者が多いペアが存在していた．
このことから，本手法に基づいて付加表現を伴う不同意応答を生成することで，より好印象を獲得できた場面が存在することを確認した．
\par

表\ref{tab:subjective_evaluation2_random_result3}に，被験者による主観評価の例を示す．
不同意応答とその周辺の語りの列については，＜＞で囲んだ文字列が不同意応答であり，その他の文字列が語りである．
積極性，自然さ，理解度の数値は，本手法が分類した不同意応答表現の方を優れていると判定した被験者数である．
例1は，全ての評価項目で，被験者からの評価が高かった例である．
この例では，語り手が自身の趣味について部分的に自虐を交えて話しており，本手法では「いえいえ，いいと思いますよ」と適切に応答を生成できたため，被験者からの評価が高かったものと考えられる．
例2では，語り手が過去の経験について謙遜を交えて話しており，自責，後悔，無念などを感じさせる語りの発話とはいえない．
そのため，本手法によって生成された「いえいえ，仕方ないですよ」は語りの文脈に合わないといえる一方，ランダムな分類が正解と偶然一致しており，本手法が分類した不同意応答表現の方が優れていると判定した被験者数が0になったものと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}[tb]
\input{08table17.tex}
  \caption{ランダムな分類結果との比較における不同意応答表現への分類結果に対する主観評価の例}
  \label{tab:subjective_evaluation2_random_result3}
  % \footnotesize
  % \tabcolsep=0.5mm
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}\label{sec:conclusion}
本論文では，会話エージェントなどによる語りの傾聴において，自虐や謙遜などの発話に対しては不同意応答を確実に表出できるべきである点に着目し，語りの傾聴における不同意応答生成の実現性を検証した．
このために，本研究ではまず，高齢者の語りデータに対して，不同意応答タイミングと不同意応答表現をタグ付けし，応答コーパスを作成した．
評価の結果，不同意応答タイミングが網羅的に，不同意応答表現が安定的に付与された応答コーパスを作成できることを確認した．
次に，作成した応答コーパスを用いて，不同意応答タイミングの検出実験を実施した．
検出手法は，事前学習済みのTransformerベースのモデルを単純にfine-tuningすることで実装した．
実験の結果，不同意応答タイミングの検出が，一定の水準で可能であることが示された．
同様にして，不同意応答表現への分類実験を行い，その分類の実現性を示した．
\par
本研究では，不同意応答タイミングに対して，不同意を示す対象や意図を明示することを目的に不同意応答表現を付与しているが，表現の分類にあたっては，例えば，不同意の強さなど，いくつかの観点が関係すると考えられる．
今後は，不同意応答表現への分類に関わる様々な観点とその利用について検討したい．
\par
本研究では，不同意応答に限定して，語りデータに網羅的なタグ付けを実施した．
ただし，対話における妥当な応答は唯一でないため，本研究で作成したコーパスにおいて不同意応答が付与されたタイミングであっても，生成可能な不同意応答以外の応答が存在しうる．
そのため，不同意応答を含め，実際に応答を生成する際には，生成可能な応答候補の中から最終的に生成する応答を選択する必要がある．
今後は，このような応答選択タスクにも取り組んでいきたい．
また，本研究で実施した被験者による主観評価の結果から，被験者によっても不同意応答に対する印象は異なることが示された．
応答選択タスクにおいて不同意応答を生成するか否かを判定する際には，語り手の個性や嗜好の考慮も必要であると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

高齢者のナラティブデータは，奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室から提供いただいた．
本研究は，一部，名古屋大学及びJST科学技術イノベーション創出に向けた大学フェローシップ創設事業JPMJFS2120による「名古屋大学融合フロンティアフェローシップ」により実施したものである．
本研究は，一部，名古屋大学のスーパーコンピュータ「不老」の一般利用制度により実施した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{-0.5pt}
\bibliography{08refs}
\endgroup



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{傾聴応答コーパスを用いた不同意応答タイミングの分析}\label{appendix_sec:vs_ALRC}
% 導入とToDo
本付録では，不同意応答コーパスの不同意応答タイミングにおいて，傾聴応答コーパス\cite{JP_EN_Murata-2018}では，どのような応答がなされていたのかの分析について述べる．
分析にあたり，傾聴応答コーパスの各応答を語りデータ内の節に対応付けた．
対応付けは，応答の発声開始時刻と節の発声終了時刻に基づく，\ref{subsubsec:made_corpus_timing}節と同じ方法で実施した．
ただし，\ref{subsubsec:made_corpus_timing}節では，両コーパスの不同意応答タイミングの数の比較が目的であったため，不同意応答に限定して対応付け処理を行ったが，本分析を行うにあたっては，不同意応答以外の傾聴応答も対応付けた．
\par

図\ref{fig:barplot_ALRC_response_occurrences_in_DA_timing}に，傾聴応答コーパスにおける応答の種類ごとに，それが対応付いた不同意応答タイミング数を示す．
不同意応答コーパスにおける不同意応答タイミング459個に対しては，不同意応答以外の種類の応答も対応付けられていることを確認した．
また，相槌，感心，不同意の順に，それぞれが対応付いた不同意応答タイミングの数が多かった．
これらの結果は，不同意応答が期待される場面であるにも関わらず，それを適切に遂行できなかった可能性に加えて，不同意応答の表出が適するタイミングであっても，それ以外にも表出に適する応答が存在することを示している．
\ref{sec:conclusion}章でも述べた通り，不同意応答の生成が適する場合に，不同意応答を生成するのか，あるいは他の応答を生成するのかの選択は，今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[tb]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/barplot_ALRC_response_occurrences_in_DA_timing.eps}
  \includegraphics{31-1ia8f15.pdf}
  \caption{傾聴応答コーパスにおける各種類の応答が対応付いた不同意応答タイミング数}
  \label{fig:barplot_ALRC_response_occurrences_in_DA_timing}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{入力節数の影響分析}\label{appendix_sec:LEN}
本付録では，不同意応答タイミングの検出と不同意応答表現への分類における，入力の節数の影響について述べる．
これらをより正確に実施するには，語りの文脈を考慮することが必要であると考えられる．
\ref{sec:main_experiment}章及び\ref{sec:following_response}章の実験では，入力の節数を5として語りの文脈を考慮した検出と分類を実施し，各手法の学習と評価を行った．
本付録では，入力の節数を変えて，\ref{sec:main_experiment}章及び\ref{sec:following_response}章と同様の実験を実施し，入力の節数が性能に与える影響を考察する．
入力の節数としては，1から10までの10通りについて評価した．
実験データ，事前学習済みモデル，fine-tuningの方法など，入力の節数以外の実験設定は，\ref{sec:main_experiment}章及び\ref{sec:following_response}章の実験と共通である．
\par



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[p]
  \centering
%%%%%  \includegraphics[width=\linewidth]{figures/JNLP_eps/exp1_LEN_metric_1by3_line_plot.eps}
  \includegraphics{31-1ia8f16.pdf}
  \caption{入力節数ごとの不同意応答タイミングの検出性能}
  \label{fig:exp1_LEN_metric_line_plot}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[p]
  \centering
%%%%%  \includegraphics[width=0.70\linewidth]{figures/JNLP_eps/exp2_LEN_metric_2by2_line_plot.eps}
\includegraphics{31-1ia8f17.pdf}
  \caption{入力節数ごとの不同意応答表現への分類性能}
  \label{fig:exp2_LEN_metric_line_plot}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



不同意応答タイミングの検出実験の結果を図\ref{fig:exp1_LEN_metric_line_plot}に示す．
いずれの評価指標においても，節数が1や2の場合は若干性能が低い傾向がみられるものの，節数の増減に伴う性能の差異は大きくなかった．
また，入力節数によらず，BERTによる検出手法の性能が最も低い結果となった．
\par


不同意応答表現への分類実験の結果を図\ref{fig:exp2_LEN_metric_line_plot}に示す．
不同意応答タイミングの検出実験と同様に，いずれの評価指標においても，節数の増減に伴う性能の差異は大きくなかった．
また，入力節数によらず，RoBERTaによる分類手法の性能が相対的に高い結果となった．
\par

以上から，入力節数の増減に伴う，検出性能と分類性能の差異は大きくないことを確認した．
これは，節という言語単位が述語を中心としたまとまりであり，節単体でも一定の情報を有するためであると考えられる．
すなわち，性能向上のためには，単に入力節数を増やせばよいというわけではなく，入力された節をどのように利用するのかの検討が必要となる．
また，検出及び分類に適したモデルと適さないモデルの存在が示唆された．
検出性能と分類性能のさらなる向上のためには，使用するモデルの選定も重要であると考えられる．
今後は，本実験で取り扱った4つのモデル以外についても，利用を検討したい．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{伊藤滉一朗}{%
2019 名大・工・情報卒．2021 同大大学院情報学研究科博士前期課程了．修士（情報学）．現在，同博士後期課程在学中．自然言語処理に関する研究に従事．言語処理学会，情報処理学会，電子情報通信学会，人工知能学会，ACL各会員．
}
\bioauthor{村田　匡輝}{%
2008 名大・工・情報卒．2013 同大大学院情報科学研究科博士後期課程了．博士（情報科学）．同年，豊田工業高等専門学校情報工学科助教．現在，同准教授．自然言語処理，音声言語処理の研究に従事．言語処理学会，情報処理学会，電子情報通信学会各会員．
}
\bioauthor{大野　誠寛}{%
2003名大・工・情報卒．2007同大大学院情報科学研究科博士後期課程了．博士（情報科学）．同年，名古屋大学大学院国際開発研究科助教．2011同大情報基盤センター 助教．2017東京電機大学未来科学部情報メディア学科准教授．現在，同教授．2006～2007日本学術振興会特別研究員．自然言語処理，音声言語処理の研究に従事． 言語処理学会，情報処理学会，電子情報通信学会各会員．
}
\bioauthor{松原　茂樹}{%
1993 名工大・工・電気情報卒．1998 名大大学院博士課程了．博士（工学）．同大助手，助教授，准教授を経て，2017 名古屋大学教授．この間，日本学術振興会特別研究員，ATR 音声言語コミュニケーション研究所客員研究員，情報通信研究機構専攻研究員．自然言語処理，音声言語処理，情報検索，ディジタル図書館の研究に従事．言語処理学会，情報処理学会，電子情報通信学会，人工知能学会，IEEE各会員．}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}

