\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
\usepackage{array}

\usepackage{amssymb}
\newcommand{\argmax}{}


\Volume{26}
\Number{3}
\Month{September}
\Year{2019}

\received{2019}{2}{1}
\revised{2019}{5}{1}
\accepted{2019}{6}{5}

\setcounter{page}{579}

\jsubject{一般論文}
\jtitle{Quality of Life情報の伝達補助を目的とする対話応答候補生成}
\jauthor{赤間　怜奈\affiref{tohoku} \and 徳久　良子\affiref{toyota} \and 乾　健太郎\affiref{tohoku}\affiref{aip}}
\jabstract{
我々は，高齢者のQuality of Life (QOL) を家族に伝えることで，高齢者と離れて住む家族とのコミュニケーションを活性化することを目指している．高齢者のQOL表出発話（高齢者のQOLを推定するのに有用な手がかりを含んだ発話）の生成を補助するシステム構築に向けて，本論文では (1) QOLラベルつき対話コーパスを構築するための方法論を提案し，(2) QOLラベルを用いた特定のQOL情報を伝達する応答の生成について議論する．具体的には，模擬的なワーカを用いることの妥当性を予備実験により示した上で，クラウドソーシングを効果的に利用して高齢者が主体となる高齢者のQOL表出発話を大規模に収集し，QOLラベルつき対話コーパスを構築した．構築したコーパスを用いた応答生成実験により，「着くとすぐに本を読んでいるよ」のような家族の発話に対する高齢者の応答候補として，高齢者のQOLが《健康満足感 (positive)》の場合は「今度本を読んであげよう」，《健康満足感 (negative) 》の場合は「私は新聞を読むのも億劫だよ」など，QOL情報の伝達に役立つ応答が生成されることを確認した．
}
\jkeywords{QOL, 対話, 応答生成}

\etitle{Generating Candidate Responses for Supporting Human-to-human Communication of Quality of Life}
\eauthor{Reina Akama\affiref{tohoku} \and Ryoko Tokuhisa\affiref{toyota}\and Kentaro Inui\affiref{tohoku}\affiref{aip}}
\eabstract{
We aim to build a system to improve the quality of communication between elderly individuals and their families by sharing information about the elderly members’ quality of life (QOL). As the first step in the creation of a system to generate utterances containing information on QOL, we propose a methodology for building a QOL-labeled dialog corpus and discuss the generation of responses that transmit specific QOL information using QOL labels. To build the corpus, we conducted preliminary experiments to demonstrate that certain crowd workers provide responses that are indistinguishable from those given by elderly individuals. Based on this, we constructed a large-scale QOL-labeled dialog corpus using crowdsourcing effectively. Our response generation experiments using the constructed corpus demonstrated that the generated utterances can be useful in transmitting QOL information. For example, the prompt ``She reads a book as soon as she gets home'' generated the response ``I'll read her a book next time'' in case of the QOL label is 《health satisfaction (positive)》 or ``Even reading the newspaper is difficult for me'' in case of 《health satisfaction (negative)》.
}

\ekeywords{Quality of Life, Dialog, Response Generation}

\headauthor{赤間，徳久，乾}
\headtitle{Quality of Life情報の伝達補助を目的とする対話応答候補生成}

\affilabel{tohoku}{東北大学情報科学研究科}{Graduate School of Information Sciences, Tohoku University}
\affilabel{toyota}{（株）豊田中央研究所}{Toyota Central R\&D Labs., INC.}
\affilabel{aip}{理化学研究所革新知能統合研究センター}{RIKEN Center for Advanced Intelligence Project}


\begin{document}
\maketitle


\section{序論}

世界的に高齢化が進む中，高齢者の社会からの孤立は特に深刻な課題である．
内閣府の調査では，65歳以上の高齢者のうち夫婦または単身で生活している高齢者の割合は56.9\%で，子ども世代と同居している高齢者の割合の39\%に比べて高くなっている \cite{naikakufu1}．
また，60歳以上を対象にした「対面だけではなくメールや電話も含めてどのぐらいの頻度で他者と対話するか」という調査では，一人暮らしの高齢者のうち男性では7.5\%，女性では4.9\%が週に1度以下しか他人と会話しないという結果が出ている \cite{naikakufu2}．

このような社会的な背景から，高齢者の話し相手となる対話システムの研究が盛んにおこなわれており，高齢者の話を聴く傾聴対話システム \cite{lala2017attentive,sitaoka2017}や，高齢者の孤独を和らげるシステム \cite{sidner2013always}など，話題を限定せずに高齢者と自然に対話できるシステムが提案されている．
このような対話システムが人の代わりに高齢者と対話することで，高齢者の孤独を紛らわせることができるかもしれないが，高齢者と他者とのコミュニケーションが不足しているという本質的な課題は解決できない．

一方，老年学や老年医学では，高齢者の健康状態の理解やケアのあるべき姿が研究されており，Quality of Life (QOL) という概念が注目されている．
QOLとは，高齢者の健康状態を肉体的・精神的・社会的な側面から多面的に評価するための尺度である．
高齢者の健康状態をQOLでとらえることにより，肉体的な状態だけでなく高齢者の感情や状況などを評価することで，高齢者に合ったケアが実現できると報告されている\cite{Marja2009QOL,Ylva2001QOL}．
また，ICTを活用して高齢者の心身状況を家族や介護士などと共有する仕組みに関する実証も進められている \cite{uchiyama2006}．
この研究の中で，内山らは，介護における関係者間のコミュニケーションモデルのあり方について「関係者間にヒエラルキがあると，気後れや遠慮などのために自由な意思に基づくコミュニケーションが阻害される．医療における医者−患者モデルはその典型とされているが，介護にもコンシューマ（利用者）−サービス提供者間，また家庭内でも家族−本人間で必ずしも対等でない関係が存在し，さらに立場の相違からくる見解の相違が存在する．そうした中で納得や信頼を醸成するには，立場の上下のない，水平型のコミュニケーションが必要となる．」と述べている．
このことから，高齢者と家族とができるだけ対等な立場で高齢者のQOLを共有することは重要な要素である．
高齢者のQOLを共有する方法として，家族から高齢者に対しQOLに関する質問を投げかけるという方法も考えられるが，家族の質問の仕方によっては内山らの指摘する「上下関係」を発生させる可能性がある．
そこで我々は，高齢者と離れて住む家族との日常的なコミュニケーションを通じて自然に高齢者のQOLを家族へ伝えることで，高齢者と家族とのコミュニケーションの質の向上と，活性化を実現するようなシステムの構築をすすめている \cite{tokuhisa}．
図\ref{dialog1}に，我々が目標とする高齢者と家族との対話例を示す．
図\ref{dialog1} (A)の「かわいいね．」は応答としては適切であるが，高齢者のQOLは娘へ伝わらない．
一方で図\ref{dialog1} (B)の「でも私は最近肩こりで頭痛がするから無理だわ．」は高齢者のQOLを表出する応答であり，これにより高齢者のQOL（ここでは健康状態が良くないこと）が娘に伝わったことで「大丈夫？連休には帰るから肩もみするね．」というQOLに配慮した娘の発話が誘発されている．

\begin{figure}[b]
\begin{center}
\includegraphics[scale=1.1]{26-3ia2f1.eps}
\end{center}
\caption{(A) 通常の対話と (B) 本研究の目標の対話}
\label{dialog1}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f2.eps}
\end{center}
\hangcaption{QOL表出発話を誘発するための返信補助システム．「返信候補」から返信を選択すると，「返信メッセージ」に選択した内容が入力される．返信候補の中に高齢者の所望する候補がない場合は，高齢者が自分で返信を記述したり，返信候補を編集することもできる．上記は「かわいいね．」と「折り紙を見つけたら買って送るね．」という返信候補が選択された様子を示している．}
\label{system}
\end{figure}

我々は以前の研究で，家族と高齢者とのメールのやりとりを対象として，
\begin{enumerate}
\item QOL表出発話（高齢者のQOLを推定するのに有用な手がかりを含んだ発話）とはどのような特徴を持つ発話か
\item システムの支援のない状態でQOL表出発話がどのようにやりとりされていて，システムはどんな支援をすべきか
\end{enumerate}
を分析した \cite{tokuhisa}．
その結果，上記の(1)については，高齢者が主体となり高齢者の行動や状態を表す発話が高齢者のQOL表出発話になりやすいことが明らかとなった．
また，上記の(2)については，家族からのメールに対する高齢者の返信のうち85.7\%（3,574発話中3,064発話）が家族が主体となる発話（e.g. かわいいね．）で，高齢者が主体となる発話（e.g. 私は最近肩こりで頭痛がするから無理だわ．）はわずか6.4\%（3,574発話中229発話）であることが明らかとなった\footnote{なお，家族と高齢者の両方が主体となる発話（e.g. 今度一緒にやろう）は3,574発話中69発話であった．本論文では「家族と高齢者の両方が主体となる発話」は，「家族が主体となる発話」や「高齢者が主体となる発話」には含まずに割合を算出している．}．
この結果を受けて，高齢者が主体となり自らのQOLを伝達するような返信を生成することを，システムにより補助することを考える．
具体的には，図\ref{system}のように，「私もやってみようかな．」「折り紙を見つけたら買って送るね．」「でも私は最近肩こりで頭痛がするから無理だわ．」といった高齢者が主体となるQOL表出発話を応答のヒントとして高齢者に提示することで，高齢者を刺激し，システムの支援のない状態では記述されない高齢者のQOL表出発話を誘発するような返信補助システムを目指している．
本システムは，高齢者と家族との過去のコミュニケーションで家族に伝達されていないQOLカテゴリおよび家族が特に知りたがっているQOLカテゴリに関するQOL表出発話を優先的に返信候補として提示することで，高齢者のQOLを家族への伝達を補助する役割を果たすものと想定している．
たとえば，過去のコミュニケーションで経済的な情報がやりとりされていない場合は高齢者の経済的な余裕の有無がわかるようなQOL表出発話を返信候補として提示し，家族が高齢者の健康状態を知りたがっている場合には健康状態に関するQOL表出発話を提示する．
できるだけ文脈にあった候補を提示することは，システムの支援がない状態では家族に伝えられない高齢者のQOL表出発話を誘発できる可能性が高くなると考える．

本研究では，このようなシステムの構築に向けて，QOL表出発話候補の生成を試みる．
本論文で述べる貢献は以下の2点である．
\begin{enumerate}
\item 大規模なQOLラベルつき対話コーパスの構築に向けて，高齢者が主体となる高齢者のQOL表出発話を大規模に収集するためのコーパス収集方法を提案する．提案するコーパス収集に関してふたつの予備実験を実施し，a)本論文で提案するコーパス収集の方法の有用性を示すとともに，b)本論文で提案するコーパス収集の方法でも40代・50代のクラウドワーカから模擬的に高齢者の発話を収集できることを示す．
\item 構築したQOLラベルつき対話コーパスを用いて，QOLラベルにより特定のQOL情報を伝達するように制御しながら，高齢者のQOLを伝達する応答を生成する．これにより，近年提案されている条件付き文生成技術が
どの程度適切なQOL表出発話が生成できるか，
また返信補助システムの実現に向けて残る技術的な課題は何か，を明らかにする．
\end{enumerate}


\section{QOLラベルつき対話コーパスの構築}
\label{sec:corpusconst}

\subsection{QOLラベルつき対話コーパス構築のための予備実験}
\label{sec:pre-exp}

\subsubsection{予備実験1：高齢者が主体となるQOL表出発話の収集}
\label{subsubsec:pre-exp1}

図\ref{system}のようなシステムにおいてQOL表出発話の候補を生成するために，まずはじめに高齢者の返信として想定する高齢者が主体となるQOL発話からなるコーパスを構築したい．
このとき，構築するコーパスはできるだけ規模が大きく質が高いことが望ましい．
しかし，前述した通り，家族からのメールに対する高齢者の返信は，特別なコントロールのない状態では家族が主体となる発話が85.7\%で，高齢者が主体となる発話はわずか6.4\%であることが以前の分析から明らかとなっている \cite{tokuhisa}．
したがって，高齢者が主体となるQOL表出発話を大規模に収集するためには適切な教示が必要と考えられる．
そこで，本論文では，図\ref{yobi1:kyouji}に示す設問\footnote{教示の際の注意事項は4点である．注意事項1は高齢者が主体となるQOL表出発話を記述させるための教示で，注意事項2はやりとりとして適切な応答を記述させるための教示である．また，注意事項3は40代・50代のクラウドワーカに高齢者の立場になって回答してもらうための教示で，注意事項4はポジティブな応答とネガティブな応答の両方を記述させるための教示である．予備調査の結果，注意事項2がない場合はQOL表出発話ではあるものの応答としては適切でない応答が記述されたり，注意事項4がない場合はポジティブな応答ばかりが記述されたりしたことから，このような教示を設計した．}と，図\ref{yobi1:kyouji2}に示すチェック設問\footnote{チェック設問とは，あらかじめ正解が定められた設問のことである．チェック設問に正しく回答できたクラウドワーカのみを採用することができる．}とを用いた教示を提案する．
図\ref{yobi1:kyouji}の『注意事項1：「私は」「おじいちゃんは」などを主語にして，「高齢者の行動や状態や感情を表す返信」を1文で書いてください．』は，高齢者が主体となるQOL表出発話を記述させるための教示である．
この教示は，以前の我々の分析 \cite{tokuhisa}で，QOL表出発話である発話には高齢者の行動や状態を表す発話が多いという特徴が明らかになったことから設計した．
さらに，図\ref{yobi1:kyouji2}に示すチェック設問を用いて，クラウドワーカが教示内容を理解しているかどうかを確認する．
チェック設問を活用してタスクを教示することで，タスクを正しく理解したクラウドワーカの回答のみを採用することができる．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f3.eps}
\end{center}
\caption{高齢者が主体となるQOL表出発話を収集するための設問}
\label{yobi1:kyouji}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f4.eps}
\end{center}
\caption{高齢者が主体となるQOL表出発話を収集するためのチェック設問}
\label{yobi1:kyouji2}
\end{figure}

本論文で我々が提案したコーパス収集方法の有用性を評価するため，提案方法により実際に高齢者が主体となるQOL表出発話が収集できるかどうかを確かめる．
具体的には，以前の分析 \cite{tokuhisa}で用いたメールと同じ6通のメール（表\ref{tab:familymail}）を用いて，図\ref{yobi1:kyouji}および図\ref{yobi1:kyouji2}に示す方法で発話を収集する．
クラウドワーカは40代・50代382名（男性187名，女性195名）\footnote{発話収集自体は合計400名（男性200名，女性200名）で実施したが，18名（男性13名，女性5名；全体の4.5\%）は倫理的に不適切な内容を記載していたことから，分析対象から除外した．}である．
なお，クラウドワーカの年齢は，クラウドソーシング\footnote{Yahoo!クラウドソーシング (https://crowdsourcing.yahoo.co.jp/) を用いた．}のプロフィールにより確認した．
収集された発話に対してアノテータ\footnote{以前の分析の際に，2名のアノテータによりタグ付与作業の信頼性を評価した結果，主体タグについては$\kappa = 0.94$でほぼ完全な一致であった．本研究では，以前の分析でも主体タグの付与を行ったアノテータAが一名でタグを付与する．}が表\ref{tab:syutaitag}に示す主体タグを付与した．
また，ひとつの応答に複数の発話が含まれる場合は，それぞれの発話に対して主体タグを付与した\footnote{応答は1文で記載するよう教示したが，回答の中には複数文で回答された事例もあったため，ひとつの応答に複数の発話が含まれる場合はそれぞれの発話に主体タグを付与した．}．
結果を図\ref{yobi1:result}に示す．
図\ref{yobi1:result}の「コントロールなし」は以前の我々の分析結果で，図\ref{yobi1:result}の「提案手法によるコーパス収集」は本論文で提案したコーパス収集方法（図\ref{yobi1:kyouji}および図\ref{yobi1:kyouji2}）により発話を収集した結果である．
図\ref{yobi1:result}が示す通り，以前の我々の分析では高齢者が主体となる発話は6.4\%（3,574発話中229発話）であったのに対し，本論文で提案したコーパス収集方法を適応した場合には89.2\%（4,717発話中4,207発話）まで増加した．
このことから，本論文で提案した教示を用いたコーパス収集は，高齢者が主体となり高齢者の行動や状態を表す発話が収集に効果的であることが示された．

\begin{table}[p]
\caption{予備実験に用いた家族からのメール}
\label{tab:familymail}
\input{02table01.tex}
\end{table}
\begin{table}[p]
\caption{主体タグの定義}
\label{tab:syutaitag}
\input{02table02.tex}
\end{table}
\begin{figure}[p]
\begin{center}
\includegraphics{26-3ia2f5.eps}
\end{center}
\caption{予備実験1：収集した発話の主体タグの割合}
\label{yobi1:result}
\end{figure}


\subsubsection{予備実験2：実際の高齢者の発話と高齢者を模擬した40代・50代の発話の比較}

大量の発話データを収集する方法として，クラウドソーシングを用いる方法が多くの研究で採用されている \cite{crowd2015}．
しかし，高齢のクラウドワーカが十分に存在しないことから，クラウドソーシングで高齢者の発話データを大量に収集することは容易ではない．
我々は，以前の研究で65歳以上のクラウドワーカから収集した発話と40代・50代\footnote{両親が65歳以上の可能性が高い年代として40代・50代のクラウドワーカを選んだ．}のクラウドワーカから収集した発話を比較し，第三者がこれらの発話を識別することが困難であることを示した \cite{tokuhisa}．
この結果は，高齢者の代わりに高齢者を模擬した40代・50代のクラウドワーカを用いることで，大規模なコーパスが収集できる可能性が示唆している．
しかし，図\ref{yobi1:kyouji}のように教示が複雑になった場合でも，65歳以上の高齢者から収集した発話と40代・50代から収集した発話が類似するかどうかは明らかではない．
特に，高齢者の行動や状態や感情を記述するという指示について，40代・50代が高齢者のことを十分模擬して発話を記述できるかどうかは明らかでない．
そこで我々は，これらを明らかにするため，以下のふたつのグループに対して予備的な発話収集を行い，両者の違いについて分析する．

\begin{table}[b]
\caption{Group A（一般の65歳以上の男女10名）の年齢と性別}
\label{yobi2:age}
\input{02table03.tex}
\end{table}

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f6.eps}
\end{center}
\hangcaption{Group Aの発話収集の実施風景．左の写真は67歳女性と72歳男性，右の写真は71歳女性と71歳男性である．実験に参加した10名のうち，最年少は65歳女性，最高齢は89歳男性であった．}
\label{jikkenpic}
\end{figure}

\begin{description}
\item[Group A:]一般の65歳以上の男女10名（男性3名，女性7名）を対象に発話を収集する．発話収集に参加した高齢者の年齢と性別を表\ref{yobi2:age}に，実施風景を図~\ref{jikkenpic}に示す．収集は高齢者の自宅で実施し，年齢は本人に直接対面して確認した．なお，キーボードが利用できない高齢者がいたことと，オペレータを介さずご自身の言葉で回答していただくため，設問を紙に印刷して収集を行う．また，夫婦で回答する場合は，お互いに話し合わずに独立に発話を記述するよう指示した．発話収集に参加した高齢者は，図\ref{yobi1:kyouji}に示すように，ひとつのメールに対してポジティブとネガティブの返信を記述する．表\ref{tab:familymail}に示す6通のメールに対する返信を図\ref{yobi1:kyouji}の設問を用いて，高齢者ひとりあたり12個の応答，10名で合計120個の応答を収集した．
\item[Group B:]2.1.1項の予備実験1を実施した40代・50代のクラウドワーカ382名から，男女10名（男性3名，女性7名）を無作為に選んで40代・50代のクラウドワーカの発話として利用する．男女の比率はGroup Aにそろえた．表1に示す6通のメールに対する返信を図\ref{yobi1:kyouji}の設問を用いて，各クラウドワーカあたり12個の応答，10名で合計120個の応答を収集した．
\end{description}

\begin{table}[b]
\caption{メール1に対するGroup AとGroup Bの返信の一部}
\label{tab:uttexample1}
\input{02table04.tex}
\end{table}
Group AとGroup Bから収集した発話の一部を表\ref{tab:uttexample1}と表\ref{tab:uttexample2}に示す．表\ref{tab:uttexample1}は表\ref{tab:familymail}のメール1に対する返信で，表\ref{tab:uttexample2}は表\ref{tab:familymail}のメール2に対する返信である．

\begin{table}[p]
\caption{メール2に対するGroup AとGroup Bの返信の一部}
\label{tab:uttexample2}
\input{02table05.tex}
\end{table}
\begin{figure}[p]
\begin{center}
\includegraphics{26-3ia2f7.eps}
\end{center}
\hangcaption{一対比較の画面の例．返信Aと返信Bのどちらに実際の高齢者の発話を対応させるかはランダムとした．上記の例では，返信AはGroup A（65歳以上の実際の高齢者）が書いた発話で返信BはGroup B（40代・50代のクラウドワーカが高齢者を模擬して書いた発話）である．}
\label{fig_ittui2}
\end{figure}

収集したこれらの発話を一対比較にし，発話収集に参加したクラウドワーカとは別のクラウドワーカが「実際の高齢者が書いた発話」を正しく識別できるかどうかを調べた．
図~\ref{fig_ittui2}に一対比較の画面を示す．
返信Aと返信Bのどちらに「実際の高齢者の発話」を対応させるかはランダムとし，各設問に対して3名のクラウドワーカが独立に評価した．
結果を図~\ref{fig_ittuig}に示す．図~\ref{fig_ittuig}の「正解」は返信Aと返信Bのどちらが実際の高齢者の発話かを正しく判断できたクラウドワーカの数を，「不正解」は正しく判断できなかったクラウドワーカの数を，「わからない」は図~\ref{fig_ittui2}の一対比較で選択肢「実際の高齢者が書いた返信は，返信Aと返信Bのどちらか分からない」を選択したクラウドワーカの数を示す．
実際の高齢者の発話を正しく回答できたのは39.2\%（3,600発話中1,411発話）であり，不正解の回答数と大きな差がないことから，「実際の高齢者が書いた発話」と「40代・50代のクラウドワーカが高齢者を模擬して書いた発話」の識別は困難であったと考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f8.eps}
\end{center}
\hangcaption{実際の高齢者の発話と40代・50代のクラウドワーカが高齢者を模擬して書いた発話の一対比較による識別の評価結果}
\label{fig_ittuig}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f9.eps}
\end{center}
\caption{65歳以上の高齢者の返信と40代・50代のクラウドワーカが高齢者を模擬した返信の内容の比較}
\label{fig_eyuttanalysis}
\end{figure}

また，高齢者の行動や状態や感情を記述するという指示について両者が記述した内容に違いがあるかどうかを調べるため，Group AとGroup Bの発話を行動・状態・感情とに分類した．
ひとつの応答に複数の発話が含まれる場合は，それぞれの発話を行動・状態・感情に分類した．
また，ひとつの発話に複数の内容が含まれる場合は，「行動＋感情」のように複数のタグを付与した．
結果を図\ref{fig_eyuttanalysis}に示す．
図\ref{fig_eyuttanalysis}が示す通り，行動・状態・感情の割合に顕著な差は確認されなかった．

これらの結果から，本論文で提案したコーパス収集方法は，65歳以上の高齢者の発話と類似の発話が40代・50代のクラウドワーカから収集できることが示唆された．
40代および50代のクラウドワーカであれば十分な数が存在するため，40代および50代のクラウドワーカから疑似的に高齢者の発話を収集することにより，クラウドソーシングを用いて65歳以上の高齢者の発話を大規模に収集できると考えられる．
次節では，本節で得られた知見を用いた大規模なQOLラベルつき対話コーパスの構築について論じる．


\subsection{QOLラベルつき対話コーパスの構築}
\label{sec.corpus_construction}

\ref{sec:pre-exp}節では，QOLラベルつき対話コーパス構築における高齢者の発話収集について述べた．
本節では，QOLラベルつき対話コーパスの構築の全体の手順について説明する．
我々の提案するQOLラベルつき対話コーパスの構築手順を以下に示す．

\begin{description}
\item[手順1. 家族の発話収集：]両親と離れて住む40代および50代のクラウドワーカから家族の発話を収集する．クラウドワーカには，自分の両親にメールを書くつもりで2〜3文で発話を書くよう教示した．なお，予備調査の際，クラウドソーシングを実施する時期と収集される発話の話題に偏りが見られたため，さまざまな話題に関する発話を収集することを目的として「子どもの学芸会について，日常の家事について，花見について，紅葉狩りについて」など，さまざまな季節や場面をこちらから指定し，クラウドワーカは指定された話題のメールを記述した．
\item[手順2. 高齢者の発話収集：]手順1で収集したさまざまな話題の家族からのメールを1文ずつに分割した上で，\ref{sec:pre-exp}節で述べた方法で40代および50代のクラウドワーカから高齢者の発話を模擬的に収集する．図\ref{yobi1:kyouji}に示す通り，クラウドワーカは各メールに対してポジティブな返信とネガティブな返信を記述する．クラウドワーカへの教示は以下の4点である．
\begin{enumerate}
\item 「私は」「おじいちゃんは」「おばあちゃんは」など\footnote{メールを受け取った高齢者が，メールを書いた家族の父親であるか母親であるかについてはランダムとし，記述される発話の話者の性別が偏らないようにした．}を主語にして，「高齢者の行動や状態や感情を表す返信」を1文で書く．
\item 「家族からのメール」の指定された発話の内容にあった返信を書く．
\item あなたの父親もしくは母親がこのメールを受け取った設定で，あなたの父親もしくは母親のつもりで返信を書く．
\item ポジティブとネガティブを間違えないようにする．
\end{enumerate}
\ref{subsubsec:pre-exp1}項で述べた通り，上記の4点の教示はタスク実施時（図\ref{yobi1:kyouji}）と，チェック設問（図\ref{yobi1:kyouji2}）でクラウドワーカに提示する．チェック設問を用いてタスクの内容を説明することで，タスクを正しく理解できたクラウドワーカのみを採用できると考えられる．なお，図\ref{yobi1:kyouji2}に示すようなチェック設問を複数用意し，クラウドワーカひとりあたり3問のチェック設問を提示した．
\item[手順3. QOLラベル付与：]手順2で収集した高齢者の発話に対して，3名のクラウドワーカが独立に表\ref{tab:qollabel}に示すQOLラベルを付与した\footnote{予備調査の結果，手順2の注意事項4がない場合はポジティブな応答ばかり記述されたことから注意事項4を追加し，ポジティブとネガティブの応答が均等に収集されるようにした．手順3ではポジティブとネガティブのどちらの欄に記述された応答であるかに関わらず，表\ref{tab:qollabel}の12種類から適切なQOLラベルを付与する．}．これらのラベルは太田らのQOLの6項目の尺度（生活活動力，健康満足感，人的サポート満足感，経済的ゆとり満足感，精神的健康，精神的活力）をもとに定義したものである \cite{oota2001}．太田らは，65歳以上の2,944名を用いてQOLの尺度の構成要素の妥当性を評価した結果，高齢者のQOL評価に必要な基本的な要素が備えられていることが確認されたと報告している．高齢者のQOLを家族に伝達する場合に，どのような粒度のQOLを伝達すべきかは議論の余地があるが，本研究では太田らが定義したQOLの尺度を参考にしてQOLラベルを定義した．なお，ひとつの発話に複数のQOLラベルが付与できる場合はすべてのQOLラベルを付与した．
\item[手順4. QOLラベルの選定：]手順3で付与したQOLラベルのうち，2名以上が付与したQOLラベルを当該発話のQOLラベルとして採用する．収集した高齢者の発話のうち，2名以上が一致したQOLラベルがない発話はQOLラベルつき対話コーパスには登録しない．その結果，52,079発話に対して81,228個（1発話あたり1.6個）のQOLラベルが付与されたQOLラベルつき対話コーパスが構築された．
\end{description}

\begin{table}[t]
\caption{ QOLラベルと定義}
\label{tab:qollabel}
\input{02table06.tex}
\vspace*{-0.5\Cvs}
\end{table}

表\ref{qolexample}にQOLラベルつき対話コーパスの例を示す．表\ref{qolexample}の「家族の発話」は手順1で収集した家族の発話を，表\ref{qolexample}の「高齢者の発話」は手順2で収集した高齢者の発話を，表\ref{qolexample}の「QOLラベル」は手順3および手順4で3名中2名のクラウドワーカが付与したQOLラベルを示す．

\begin{table}[t]
\caption{QOLラベルつき対話コーパスの例}
\label{qolexample}
\input{02table07.tex}
\end{table}


\section{QOLラベルつき対話コーパスを用いたQOL表出発話の生成}

本章では，\ref{sec:corpusconst}章で構築したQOLラベルつき対話コーパスを用いてQOL表出発話の生成実験をおこない，その結果を報告する．
ここで生成するQOL表出発話は，図\ref{system}に示す高齢者向け返信補助システムで高齢者に提示される返信候補としての利用を想定している．
図\ref{system}のシステムで提示する返信候補には，その候補を目にすることがきっかけで，高齢者が自身のQOL状態を顧みること，該当するQOL状態に気づくこと，高齢者が自身のQOL状態を相手に伝えようと思うことを補助する役割を期待している．
そのため，ここで生成する応答は，高齢者が応答として適切と感じて自然に選択したくなるような発話であり，かつそこから特定のQOLが読み取れるような発話であることが望ましい．

本章では，我々の目的に合致するいくつかの既存手法により応答生成実験をおこない，生成結果を評価する．
生成した応答が先行発話に対して適切であるか，および特定のQOLを表出するかを人手評価により確かめる．


\subsection{条件付き対話応答生成実験}

本論文では，特定のQOL情報を伝達するように制御しながら高齢者のQOLを伝達する方法として，生成ベースと用例ベースの二通りの方法を用いて応答生成をおこなった．
それぞれの手法について，詳細を以下で述べる．


\subsubsection*{生成ベース応答生成}

近年の機械学習ベースの対話応答生成システムでは，高性能な応答生成モデルとしてsequence to sequence (seq2seq) \cite{seq2seq2014nips,vinyals2015conv}が注目されている．
Seq2seqをベースとした方法により生成される応答は，入力発話に対して流暢かつ適切な内容であることが多数報告されている \cite{sordoni2015conv,li2016persona,akama2017gen,emnlp2017att,wu2018neural,nlp2018sato}．
Liらはseq2seqをベースに，学習時および応答生成時に話者情報の埋め込み表現をデコーダへ合わせて入力することで生成を制御し，話者に条件付けられた内容を含んだ応答を生成する方法を提案している \cite{li2016persona}．
我々はLiらの手法を参考に，図\ref{fig:structure}に示す方法でQOLに関する制御をおこない，特定のQOLを表出する発話を生成する．
図\ref{fig:structure}のモデルは，入力発話を$X=(x_1,\dots,x_T)$，生成応答を$Y=(y_1, \dots, y_{T'})$として，次のように定式化される：
\begin{align}
\label{eq:prob}
p(Y | X, q) = \prod_{t=1}^{T'} p(y_t |X, y_{<t}, q)
\end{align}
ここで，$T, T'$はそれぞれ入力発話および生成応答の文字列長である．
デコーダの各時刻では，前時刻までの出力$y_{<t}$およびQOLラベル$q$を用いて次の単語$y_t$の予測をおこなう．
応答生成時には，入力発話$X$および表出させたいQOLのラベル$q$をモデルに与えることで，特定のQOL情報を伝達する応答$Y$が生成されることを期待する．
この方法を\texttt{S2S-QOL}と表記する．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f10.eps}
\end{center}
\caption{QOLラベルを用いた条件付き対話応答生成．デコーダの各時刻でQOL情報（青色）を入力する．}
\label{fig:structure}
\end{figure}


\subsubsection*{用例ベース応答生成}

本研究のように高品質かつ比較的データ数の少ないデータを扱う応答生成手法として，用例ベースの手法も考えられる \cite{isbell2000aaai,ritter2011emnlp,sordoni2015conv}．
用例ベースの応答生成は，与えられた発話$X$に対して，用例データベース$\mathcal{D}$から最も適切な応答$\widetilde{Y}$を選択する問題である．
$\widetilde{Y}$の選択方法は複数あるが，本研究では$X$と$\widetilde{X}$の類似度を算出し，最も類似する$\widetilde{X}$を含む$(\widetilde{X},\widetilde{Y}) \in \mathcal{D}_q$の$\widetilde{Y}$を発話$X$に対する応答$Y$として獲得するシンプルな方法を採用する：
\begin{equation}
\widetilde{Y} = \argmax_{(\widetilde{X}, \widetilde{Y}) \in \mathcal{D}_q} sim(X, \widetilde{X})
\end{equation}
ここで，$\mathcal{D}_q$は特定のQOLラベル$q$が付与されたペアのみからなる用例データベースであり，QOLラベルごとに全12種類の用例データベースを保持しておく．
生成時に任意のQOLラベル$q$を指定すると，指定されたQOLラベルの用例ベース$\mathcal{D}_q$からのみ応答を選択する．
また，$sim(・)$は2つの文の類似度を返す関数で，ここではコサイン類似度を用いた．
文のベクトル表現の獲得には，一般的に広く利用される埋め込み手法のひとつであるword2vec \cite{mikolov13iclr}と，前後の文脈をよく捉えた埋め込み表現を与えるELMo \cite{peters2018naacl}の二通りの方法を用いた．
これら二通りの方法をそれぞれ\texttt{W2V-QOL}，\texttt{ELMo-QOL}と表記する．


\subsection{実験}
\label{sec:experiment}

構築したQOLラベルつき対話コーパスを用いて，応答生成実験をおこなった．
生成した応答について定性的な分析と人手による主観評価をおこない，生成をQOLラベルで条件付けできているか（特定のQOLを表出する発話が生成できているか）を確かめる．
コーパス全体の95\%を訓練データ，5\%をテストデータとして用いた．


\subsubsection*{\texttt{S2S-QOL}モデルの設定}

12種類のQOLラベルは固定12次元の$\{0,1\}$バイナリベクトルで表現し，これをデコーダへの入力に用いた．
エンコーダおよびデコーダを隠れ層512次元の2層LSTM \cite{hochreiter1997lstm}，単語ベクトルを512次元とし，訓練データを最大100周学習した．
パラメータ最適化にはAdam \cite{kingma2015adam}を用いた．
\ref{sec:vannila_seq2seq}節で用いる純粋なseq2seqモデル \cite{seq2seq2014nips} (\texttt{S2S}) の学習にも同様のモデルパラメータおよび学習方法を用いた．


\subsubsection*{\texttt{W2V-QOL}, \texttt{ELMo-QOL}モデルの設定}

\texttt{W2V-QOL}は，配布されている学習済みword2vecモデル\footnote{https://github.com/Kyubyong/wordvectors．Wikipediaから抽出したデータで学習済み．}を利用した．
単語ベクトルの次元数は300であった．
ある文に含まれるすべての単語に対応する単語ベクトルの平均を文ベクトル（300次元）とし，これを類似度の算出に用いた．
\texttt{ELMo-QOL}は，wikipediaから抽出したデータでモデルを学習し，512次元の単語ベクトルを獲得した．
\texttt{W2V-QOL}と同様の方法で文ベクトル（512次元）を構築し，これを類似度の算出に用いた．
それぞれのQOLラベルに対応する12種類の用例データベースは，訓練データから作成した（各QOLラベルに対応する用例データベースのサイズについては付録Aを参照されたい）．


\subsubsection*{テストセットの用意}

応答生成に用いるテストセットとして，2種類のデータを用意した．
ひとつは，$\mathcal{S}_{10-l12}$である．
まず構築したコーパスのテストデータから，家族の発話（QOL表出発話の先行発話）を無作為に10発話抽出した．
たとえば，「着くとすぐに本を読んでいるよ」「今日は，1日かけて角煮を作りましたがとっても美味しくできました．」「私はウオーキングにハマっています．」などの家族の発話が得られた．
これらの発話に対して表\ref{tab:qollabel}で定義した12種類のQOLラベルで条件づけを行い（家族の発話，\textbf{QOLラベル}）の組を作成した．
10発話それぞれに12種類のQOLラベルを対応させ，最終的に合計120の組を$\mathcal{S}_{10-l12}$として獲得した．
ひとつの発話に対して12種類のQOLラベル通りの応答が生成できるかを評価する目的で$\mathcal{S}_{10-l12}$を使用する．

上述の$\mathcal{S}_{10-l12}$では，家族の発話各々について，12種類すべてのQOLラベルに相当する応答を無理に生成するタスクになっている．
しかし，これは必ずしも自然な設定ではない．
たとえば，家族の発話「私はウオーキングにハマっています．」に対してQOL状態《経済的ゆとり満足感 (positive)》を表出するような自然な応答を思い浮かべるのは簡単ではなく，実際，\ref{sec:corpusconst}章で述べたクラウドソーシングではこのラベルに対応する応答例は得られていない．
そこで，上述のテストデータから（家族の発話，高齢者の発話，QOLラベル）の三つ組を無作為に100組抽出した集合をもうひとつのテストセットとし，これを$\mathcal{S}_{100}$とする．
$\mathcal{S}_{100}$では，$\mathcal{S}_{10-l12}$とは異なり，与えられた家族の発話に対して指定のQOLラベルに対応する応答を人間（クラウドワーカ）が生成できていることが保証されており，応用の観点からより自然な条件での応答性能を評価することができる．

\begin{table}[p]
\caption{異なるQOLラベルを指定したときの生成結果}
\label{output3} 
\input{02table08.tex}
\par\vspace{4pt}\small
左部：モデルが生成した応答（\ref{sec:genresp}節），右部：各応答についての人手評価結果（\ref{sec:humaneval}節）．表中の値は評価者5名のうち正解と判定した人数を表す．
\end{table}


\subsection{生成された応答の例}
\label{sec:genresp}

表\ref{output3}左部に，テストセット$\mathcal{S}_{10-l12}$を用いて生成した応答の一例を示す\footnote{表\ref{output3}右部の数値については\ref{sec:humaneval}節で説明する．}．
表\ref{output3}は「着くとすぐに本を読んでるよ」という家族の発話に対して3種類の生成モデル\texttt{S2S-QOL}，\texttt{W2V-QOL}，\texttt{ELMo-QOL} がQOLラベルごとにどのような内容の応答を生成したかを示している．
たとえば，QOLラベル《経済的ゆとり満足感 (positive)》が与えられた場合，応答として\texttt{S2S-QOL}では「今度本を買ってそちらに行くよ」が，\texttt{W2V-QOL}および\texttt{ELMo-QOL}では「今度本を買って持っていくよ．」が生成されており，これらの応答からは，少なくとも本を購入してそれを発話者のもとへ届けに行くだけの``経済的ゆとりがある''という高齢者のQOL状態が読み取れる．
また，QOLラベル《精神的活力 (negative)》の場合の\texttt{S2S-QOL}の応答「私には興味がないな」，\texttt{W2V-QOL}の応答「本にはわしは興味ないからなあ．」，\texttt{ELMo-QOL}の応答「私は外に出かけることも少なくなったよ．」のいずれの応答にも無関心さや無気力さが表れており，これらからは高齢者の``活力がない''様子が読み取れる．
このような先行発話に対する応答として適切かつ高齢者のQOL状態を十分に表出する応答は，返信補助システムにおける返信候補として我々が想定している通りのものである．
すべての種類のQOLラベルで，《＊ (positive)》には「今度」「〜する」「〜してあげる」というこれからのことについての前向きな表現が多く見られ，反対に《＊ (negative)》には「億劫」「面倒」「無駄」など後ろ向きな表現が多く見られた．
全体として，与えられたQOLラベルに応じた内容の応答が概ね生成されていることが確認された．


\subsection{人手評価}
\label{sec:humaneval}

生成した応答について，指定したQOLが表出された応答の生成制御できていることを確かめるために，クラウドソーシング\footnote{Yahoo!クラウドソーシング (https://crowdsourcing.yahoo.co.jp/) を用いた．}を利用して人手評価を実施した．


\subsubsection*{評価設定}

生成された応答を，次の3つの観点について人手で評価した．
\begin{itemize}
\item 観点(1)：指定したQOLラベル通りのQOL状態が生成した応答に表出していること
\item 観点(2)：指定したQOLラベルの特にポジティブ・ネガティブの状態の一致
\item 観点(3)：先行発話に対する応答としての適切さ
\end{itemize}
観点(1)では，生成した応答とそれに先行する発話を評価者に与え，「応答から最も読み取ることができるQOL状態」と「応答から二番目に読み取ることができるQOL状態」を，表\ref{tab:qollabel}で定義した12種類のQOL状態に「わからない・該当なし」を加えた13種類から選択するよう指示した．
なお，応答に表出しているQOL状態がひとつのみであると評価者が考える場合は，「応答から二番目に読み取ることができるQOL状態」では「わからない・該当なし」を選択するよう指示した．
ひとつの応答につき5人の評価者が評価した．
観点(2)と(3)では，生成した応答とそれに先行する発話を評価者に与え，「応答の内容がどちらの状態を表しているか」という問いに対し選択肢\{ポジティブ，ネガティブ，わからない\}からひとつを，「与えられた発話と応答は対話として適切か」という問いに対し選択肢\{適切である，適切でない，わからない\}からひとつをそれぞれ選択するよう指示した．
ここでの「対話として適切」とは，先行発話に対する返答として自然に繋がっていること，文法的に正しいことを指す．
なお，本タスクは上述のQOL表出に関する評価とは独立に実施した．
本タスクもひとつの応答につき5人の評価者が評価した．


\subsubsection*{結果}

表\ref{tab:humaneval3shu}にQOL表出および応答の適切さに関する人手評価結果を示す．
表\ref{tab:humaneval3shu}の(1)(2)(3)について，以下にそれぞれ説明する．

\begin{table}[t]
\caption{QOL表出および応答の適切さに関する人手評価結果}
\label{tab:humaneval3shu} 
\input{02table09.tex}
\vspace{4pt}\small
(1)の@1は評価者の「応答から最も読み取ることができるQOL状態」が生成時に指定したQOLラベルと一致している割合を，@2は評価者の「応答から最も読み取ることができるQOL状態」もしくは「応答から二番目に読み取ることができるQOL状態」が指定したQOLラベルと一致している割合を表す．(2)の \checkmark・$\times$は生成時に指定したQOLラベルのボジ・ネガと評価者の判断が一致している・一致してない割合をそれぞれ表す．(3)の \checkmark・$\times$は応答として適切である・適切でないと評価者に判断された割合をそれぞれ表す．（）内の数字は人数を表す．
\end{table}

まず，表\ref{tab:humaneval3shu}「(1)QOL表出」列は上述の観点(1)の評価結果である．
@1は評価者の「応答から最も読み取ることができるQOL状態」が生成時に指定したQOLラベルと一致している割合を，@2は評価者の「応答から最も読み取ることができるQOL状態」もしくは「応答から二番目に読み取ることができるQOL状態」が指定したQOLラベルと一致している割合を表す．
表\ref{tab:humaneval3shu}に示すように，テストセット$\mathcal{S}_{10-l12}$では@1は0.31〜0.38，@2は0.43〜0.51程度，$\mathcal{S}_{100}$では@1は0.61〜0.62，@2は0.70〜0.72程度であった．
文脈的に無理がある場合でも必ず12種類すべてのQOLラベルについて生成する条件 ($\mathcal{S}_{10-l12}$) では，指定されたQOLの表出に成功するケースは高々半数に留まったが，クラウドワーカが実際に適当な応答を作ることができた条件 ($\mathcal{S}_{100}$) では比較的高い割合でQOLの表出に成功している．
また，生成時に指定したQOLラベルと生成応答に表出しているQOLとの相関を確かめるためCramerの連関係数 \cite{math1946cramer}を算出したところ，$\mathcal{S}_{10-l12}$上で\texttt{S2S-QOL}は0.32，\texttt{W2V-QOL}は0.38，\texttt{ELMo-QOL}は0.38となり\footnote{生成時に指定したQOLラベルと，\texttt{S2S-QOL}，\texttt{W2V-QOL}，\texttt{ELMo-QOL}により生成した応答に表出するQOLに関する人手評価 (@1) の詳細を付録Bの図\ref{fig:human_vari12total}，図\ref{fig:human_vari12total_w2v}，図\ref{fig:human_vari12total_elmo}にそれぞれ示しており，連関係数の算出にはこれらを用いた．}，生成時に指定したQOLラベルと人手評価により表出が認められたQOLとの間には中程度の相関が認められる結果となった．

次に，表\ref{tab:humaneval3shu}の「(2)ポジ・ネガ一致」の列および付録Cに上述の観点(2)の結果を示す．
これは，生成時に指定したポジティブまたはネガティブ（《＊ (positive)》または《＊ (negative)》）と，評価者が読み取ったポジティブまたはネガティブの極性が一致するかどうかを評価した結果である．
表\ref{tab:humaneval3shu}より，すべてのモデルで生成時に指定したQOLラベルと生成応答で表出が認められたQOLラベルとのポジティブ・ネガティブの極性は，全体として90\%前後で一致した．

表\ref{tab:humaneval3shu}の「(3)応答の適切さ」の列および付録Dには，観点(3)の結果を示す．
これは，生成した応答がどの程度先行発話に対する応答として適切であるかを人手評価により評価した結果である．
\texttt{S2S-QOL}および\texttt{ELMo-QOL}では，全体として60\%以上の応答が適切であると評価された．
\texttt{W2V-QOL}は適切と評価された応答の割合は60\%未満で，他の2つの生成モデルよりも低かった．

具体的な事例に対する評価例として，表\ref{output3}の右部にそれぞれの応答に対する上述の3つの観点での人手評価の結果を示す．
たとえば，「着くとすぐに本を読んでいるよ」という先行発話に対して\texttt{S2S-QOL}が生成した応答「今度わしが見に行くよ」について，(1)の@1では評価者5名のうち1名が生成応答から《生活活動力 (positive)》を読み取り，@2では評価者5名のうち3名が《生活活動力 (positive)》を読み取っている．
(2)については評価者全員が生成応答から高齢者の状態がポジティブであることを読み取り，(3)について評価者5名のうち3名が生成応答は先行発話に対する応答として適切であると判断している．

以上をまとめると，まず，本研究で生成した応答は，QOL状態のポジティブ・ネガティブの極性については生成時に指定した通りの状態が高精度で表出していることがわかる．
また，12種類のQOLラベルについても，$\mathcal{S}_{100}$での評価からわかるように，人間が適切な応答を生成できるような条件下ではモデルも60\%から70\%の精度で指定のQOL状態を表出する発話を生成できている．
図\ref{system}のようなQOL表出発話を誘発するための返信補助システムへの応用を考えた場合，本研究で構築した生成モデルは，特定のQOLをある程度制御可能であるという点で，QOL伝達補助の実証実験に利用可能な水準に達していると考えられる．

一方で，現状，QOL表出発話の生成時に高齢者個人の特性や状態を考慮していないため，たとえば「今度本を買ってそちらに行くよ」という返信候補を生成しても高齢者自身の実際の日常生活の活動力や経済的なゆとりの状況と合っていない可能性もある．
図\ref{system}に示す通り，我々の提案システムは高齢者自身が返信する内容を編集できるインタフェースを想定しているものの，高齢者の特性や状態にできるだけ合った返信候補を生成することが望ましい．
高齢者個人の特性や状況を加味したQOL表出発話の生成モデルの構築に関しては今後検討していきたい．


\subsection{QOL制御の影響：応答の適切さに関する調査}
\label{sec:vannila_seq2seq}

構築した対話コーパスはQOLを制御しない単純な対話応答生成のための学習データとしても利用することができる．
本研究ではQOL表出発話の生成を目的としてQOLラベルを用いた条件付き対話応答生成の枠組みで特定のQOL情報を表出するような制御をしながら応答を生成することを主目的としたが，本節では同じコーパスを用いてQOL制御をすることなく対話応答生成をおこなうことで，QOL制御が生成にもたらす影響を調査し報告する．
具体的には，生成応答の定性的分析と人手評価により，QOL制御の有無による生成された応答の「対話としての適切さ」を比較調査した．
QOLを制御しない応答生成の枠組みとして，構造はシンプルながらも流暢かつ適切な内容の応答を生成するとの報告が多数なされている純粋なseq2seqモデル（\texttt{S2S}と表記）を用いた．
\texttt{S2S}の学習設定は，前述の\ref{sec:experiment}節「\texttt{S2S-QOL}モデルの設定」に示した通りである． 
さらに，QOLを制御しない用例ベースの応答生成手法として\texttt{W2V}および\texttt{ELMo}モデルを用いた．
\texttt{W2V}，\texttt{ELMo}では，用例データベースとしてすべての訓練データを用いた．

\begin{table}[b] 
\hangcaption{QOLを制御したモデル\texttt{S2S-QOL, W2V-QOL, ELMo-QOL}と制御しないモデル\texttt{S2S, W2V, ELMo}の応答例}
\label{output}
\input{02table10.tex}
\end{table}


\subsubsection*{定性的分析}

表\ref{output}に，QOLを制御した3種のモデルおよびQOLを制御しない3種のモデルが生成した応答の例を示す．
生成時の入力には，$\mathcal{S}_{100}$を用いた．
表\ref{output}中のQOLラベルは，生成時にQOLを制御するモデルでのみ用いた．
表\ref{output}の結果から，\texttt{S2S-QOL}では与えられたQOLラベルに応じた応答はある程度生成できているが，\texttt{S2S}と比較して応答の自然性に欠ける例も観察された．
具体的には，表\ref{output}の2つ目の入力に示す「昨日の日曜日，小学校の運動会だったの」という発話に対して，\texttt{S2S}では「言ってくれれば行ったのに」という発話に対する応答として自然な応答が得られているが，一方で\texttt{S2S-QOL}では「私は趣味の散歩ですら最近は億劫なのに」と《健康満足感 (negative)》がQOL状態として読み取れる内容ではあるものの，先行発話との繋がりは不自然で，対話としては許容し難い応答が生成されている様子が確認された．
用例ベースのモデルについても，同様の様子が確認された．


\subsubsection*{人手評価}

QOL制御の影響を調査するために，クラウドソーシング\footnote{Yahoo!クラウドソーシング (https://crowdsourcing.yahoo.co.jp/) を用いた}による人手評価を実施した．

生成時の入力には$\mathcal{S}_{100}$を用い，QOLを制御した3種のモデル
およびQOLを制御しない3種のモデル
によりそれぞれ生成した合計600の応答を評価対象とした．
評価者は，生成した応答とそれに先行する発話を与えられ，「与えられた発話と応答は対話として適切か」という問いに対し選択肢\{適切である，適切でない，わからない\}からひとつを選択した．
ここでの「対話として適切」とは，先行発話に対する返答として自然に繋がっていること，統語的および文法的に正しいことを指す．
ひとつの応答につき，5人の評価者が評価をおこなった．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f11.eps}
\end{center}
\caption{応答の適切さに関する人手評価結果} 
\label{fig:human_vsbase}
\vspace*{-0.5\Cvs}
\end{figure}

人手評価の結果を図\ref{fig:human_vsbase}に示す．
生成応答のうち対話として適切と評価された生成応答の割合は，\texttt{S2S}では約70\%であったのに対し，\texttt{S2S-QOL}ではそれよりも約10\%ほど低い約60\%という結果であった．
\texttt{W2V-QOL}と\texttt{W2V}，\texttt{ELMo-QOL}と\texttt{ELMo}についても同様で，QOLを制御したモデルは制御しないモデルよりも対話としての適切さが低下した．
QOLを制御することよってそれぞれのモデルに生じた約10--15\%の低下は，Mann-WhitneyのU検定 \cite{mann1947utest}により\texttt{S2S-QOL}および\texttt{W2V-QOL}では$p<0.01$，\texttt{ELMo-QOL}では$p<0.05$の有意が認められるものであった．
生成応答の質を損なわないQOL制御の実現は，今後の課題である．

また，\texttt{S2S}が生成した応答の約70\%が人手評価により応答として適切であると評価されたことから，今回構築した数万規模のコーパスがニューラル対話応答生成の学習データとして機能し得るということが示唆された．
一般的にseq2seqを始めとするニューラル生成モデルの学習には数百万オーダーの学習データが必要とされているが \cite{vinyals2015conv,sordoni2015conv,emnlp2017att,wu2018neural}，今回のようにドメインが限定的であることやデータの質が高い（たとえば，統語的および文法的に正しい，内容が明確に記述されている）などの条件下では，より少量のデータでもニューラル生成モデルの学習が可能であることがわかった．


\section{結論}

我々は，高齢者のQOLを家族に伝えることで，
高齢者と離れて住む家族とのコミュニケーションの質を向上させるシステムの構築を進めている．
本研究では，QOL情報の伝達補助を目的としたQOL表出発話の生成に取り組んだ．
具体的には，大規模なQOLラベルつき対話コーパスの構築に向けて，高齢者が主体となる高齢者のQOL表出発話を大規模に収集するためのコーパス収集方法を提案した．
提案するコーパス収集に関してふたつの予備実験を実施し，a)本論文で提案するコーパス収集の方法で高齢者が主体となり高齢者の行動や状態を表すQOL表出発話が収集できていることを示すとともに，b)対面で収集した高齢者の発話と40代・50代が高齢者を模擬した発話とを比較し，本論文で提案するコーパス収集の方法でも40代・50代のクラウドワーカから模擬的に高齢者の発話を収集できることを示した．
さらに，52,079発話のQOLラベルつき対話コーパスを構築した上で，QOLラベルにより特定のQOL情報を伝達するよう制御しながら，高齢者のQOLを表出する応答を生成する実験を行った．
人手による評価の結果，与えられたQOLラベルに応じた応答が生成できているかという観点については，本研究で用いた生成ベースおよび用例ベースのいずれの手法でも，生成応答からは概ね指定通りのQOLが表出できているという評価を得た．
特に，QOL状態のポジティブ・ネガティブの極性については生成時に指定した通りの状態が高精度で表出していることがわかった．
また，12種類のQOLラベルについても，人間が適切な応答を生成できるような条件に関しては生成モデルでは60\%から70\%の精度で指定のQOL状態を表出する発話を生成することがわかった．
また，応答の適切さに関しては生成した応答のうち60\%以上が適切と評価された．
これらの結果から，本研究の応答生成モデルは，高齢者のQOL伝達補助の実証実験ができる水準に達していると考えられる．
一方で，返信候補として提示する応答におけるQOLの表出と応答としての自然性の両立，および，高齢者の個人の特性や状態に合わせたQOL表出発話の生成に関しては，QOL表出発話の生成モデルの改良も含めて今後取り組む必要があることも明らかとなった．

なお，図~\ref{system}のシステムでは「かわいいね．」「上手だね．」なども返信候補として生成しているが，本研究の応答生成実験ではQOL表出発話の生成のみを対象とした．
これらのQOL表出発話以外の応答生成，および図~\ref{system}のシステムの実装については，実証実験に向けて今後取り組む予定である．

また，高齢者のQOLを家族に伝えるシステムとしては，図~\ref{system}で提案したシステムの他にも，高齢者とチャットボットとの対話から高齢者のQOLを推定して家族に伝えるシステムや，家族が高齢者のQOLについて質問することを支援するシステムなど，さまざまなシステムが考えられる．
本論文で提案したシステムの有効性の評価，他のシステムも含めてどのようなシステムが有効かについては，今後実証実験を通じて明らかにしていきたい．
また，どのような粒度でQOLを伝達すると実際にコミュニケーションの質が向上するかについても，今後，実証的に検証していきたい．



\acknowledgment
本論文の査読にあたり，ご意見・ご指摘をくださった査読者の方々へ深く感謝いたします．
本論文の内容の一部は，第84回人工知能学会 言語・音声理解と対話処理研究会で発表したものです \cite{slud2018akama}．


\begin{thebibliography}{}

\bibitem[\protect\BCAY{赤間\JBA 徳久\JBA 乾}{赤間 \Jetal
  }{2018}]{slud2018akama}
赤間怜奈\JBA 徳久良子\JBA 乾健太郎 \BBOP 2018\BBCP.
\newblock Quality of Life 情報の伝達補助を目的とする対話応答生成.\
\newblock {\Bem SIG-SLUD}, {\Bbf B5}  (02), \mbox{\BPGS\ 23--26}.

\bibitem[\protect\BCAY{Akama, Inada, Inoue, Kobayashi, \BBA\ Inui}{Akama
  et~al.}{2017}]{akama2017gen}
Akama, R., Inada, K., Inoue, N., Kobayashi, S., \BBA\ Inui, K. \BBOP 2017\BBCP.
\newblock \BBOQ Generating Stylistically Consistent Dialog Responses with
  Transfer Learning.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing (IJCNLP)}, \mbox{\BPGS\ 408--412}.

\bibitem[\protect\BCAY{Callison-Burch, Ungar, \BBA\ Pavlick}{Callison-Burch
  et~al.}{2015}]{crowd2015}
Callison-Burch, C., Ungar, L., \BBA\ Pavlick, E. \BBOP 2015\BBCP.
\newblock \BBOQ Crowdsourcing for NLP.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics (NAACL): Tutorial
  Abstracts}, \mbox{\BPGS\ 2--3}.

\bibitem[\protect\BCAY{Cramer}{Cramer}{1946}]{math1946cramer}
Cramer, H. \BBOP 1946\BBCP.
\newblock {\Bem Mathematical Methods of Statistics}.
\newblock Princeton University Press Princeton.

\bibitem[\protect\BCAY{Hellst{\"{o}}rm \BBA\ Hallberg}{Hellst{\"{o}}rm \BBA\
  Hallberg}{2001}]{Ylva2001QOL}
Hellst{\"{o}}rm, Y.\BBACOMMA\ \BBA\ Hallberg, I.~R. \BBOP 2001\BBCP.
\newblock \BBOQ Perspectives of elderly people receiving home help on health
  care and quality of life.\BBCQ\
\newblock In {\Bem Health and Social Care in the Community}, \mbox{\BPGS\
  61--71}.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{hochreiter1997lstm}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-Term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Isbell, Kearns, Kormann, Singh, \BBA\ Stone}{Isbell
  et~al.}{2000}]{isbell2000aaai}
Isbell, C.~L., Kearns, M., Kormann, D., Singh, S., \BBA\ Stone, P. \BBOP
  2000\BBCP.
\newblock \BBOQ Cobot in LambdaMOO: A Social Statistics Agent.\BBCQ\
\newblock In {\Bem Proceedings of the 17th National Conference on Artificial
  Intelligence and 12th Conference on Innovative Applications of Artificial
  Intelligence (AAAI)}, \mbox{\BPGS\ 36--41}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\ Ba}{2015}]{kingma2015adam}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem The 3rd International Conference on Learning Representations
  (ICLR)}.

\bibitem[\protect\BCAY{Lala, Milhorat, Inoue, Ishida, Takanashi, \BBA\
  Kawahara}{Lala et~al.}{2017}]{lala2017attentive}
Lala, D., Milhorat, P., Inoue, K., Ishida, M., Takanashi, K., \BBA\ Kawahara,
  T. \BBOP 2017\BBCP.
\newblock \BBOQ Attentive Listening System with Backchanneling, Response
  Generation and Flexible Turn-Taking.\BBCQ\
\newblock In {\Bem Proceedings of the 18th Annual Meeting of the Special
  Interest Group on Discourse and Dialogue (SIGDIAL)}, \mbox{\BPGS\ 127--136}.

\bibitem[\protect\BCAY{Li, Galley, Brockett, Spithourakis, Gao, \BBA\ Dolan}{Li
  et~al.}{2016}]{li2016persona}
Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., \BBA\ Dolan, B.
  \BBOP 2016\BBCP.
\newblock \BBOQ A Persona-Based Neural Conversation Model.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (ACL)}, \mbox{\BPGS\ 994--1003}.

\bibitem[\protect\BCAY{Mann \BBA\ Whitney}{Mann \BBA\
  Whitney}{1947}]{mann1947utest}
Mann, H.~B.\BBACOMMA\ \BBA\ Whitney, D.~R. \BBOP 1947\BBCP.
\newblock \BBOQ On a Test of Whether One of Two Random Variables is
  Stochastically Larger than the Other.\BBCQ\
\newblock {\Bem The Annals of Mathematical Statistics}, {\Bbf 18}  (1),
  \mbox{\BPGS\ 50--60}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013}]{mikolov13iclr}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem International Conference on Learning Representations (ICLR)
  Workshop}.

\bibitem[\protect\BCAY{内閣府}{内閣府}{2015}]{naikakufu2}
内閣府 \BBOP 2015\BBCP.
\newblock 平成27年度版高齢社会白書（全体版）.\
\newblock
  http://www8.cao.go.jp/\linebreak[2]kourei/\linebreak[2]whitepaper/\linebreak[2]w-2015/\linebreak[2]html/s1\_2\_6.html.

\bibitem[\protect\BCAY{内閣府}{内閣府}{2017}]{naikakufu1}
内閣府 \BBOP 2017\BBCP.
\newblock 平成29年度版高齢社会白書（全体版）.\
\newblock
  http://www8.cao.go.jp/\linebreak[2]kourei/\linebreak[2]whitepaper/\linebreak[2]w-2017/\linebreak[2]html/zenbun/s1\_2\_1.html.

\bibitem[\protect\BCAY{太田\JBA 芳賀\JBA 長田\JBA 田中\JBA 前田\JBA 嶽崎\JBA
  関\JBA 大山\JBA 中西\JBA 石川}{太田 \Jetal }{2001}]{oota2001}
太田壽城\JBA 芳賀博\JBA 長田久雄\JBA 田中喜代次\JBA 前田清\JBA 嶽崎俊郎\JBA
  関奈緒\JBA 大山泰緒\JBA 中西好子\JBA 石川和子 \BBOP 2001\BBCP.
\newblock 地域高齢者のための QOL 質問表の開発と評価.\
\newblock \Jem{日本公衆衛生雑誌}, \mbox{\BPGS\ 258--267}.

\bibitem[\protect\BCAY{Peters, Neumann, Iyyer, Gardner, Clark, Lee, \BBA\
  Zettlemoyer}{Peters et~al.}{2018}]{peters2018naacl}
Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., \BBA\
  Zettlemoyer, L. \BBOP 2018\BBCP.
\newblock \BBOQ Deep Contextualized Word Representations.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies (NAACL-HLT)}, \mbox{\BPGS\ 2227--2237}.

\bibitem[\protect\BCAY{Ritter, Cherry, \BBA\ Dolan}{Ritter
  et~al.}{2011}]{ritter2011emnlp}
Ritter, A., Cherry, C., \BBA\ Dolan, W.~B. \BBOP 2011\BBCP.
\newblock \BBOQ Data-Driven Response Generation in Social Media.\BBCQ\
\newblock In {\Bem Proceedings of the 2011 Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 583--593}.

\bibitem[\protect\BCAY{Shao, Gouws, Britz, Goldie, Strope, \BBA\ Kurzweil}{Shao
  et~al.}{2017}]{emnlp2017att}
Shao, Y., Gouws, S., Britz, D., Goldie, A., Strope, B., \BBA\ Kurzweil, R.
  \BBOP 2017\BBCP.
\newblock \BBOQ Generating High-Quality and Informative Conversation Responses
  with Sequence-to-Sequence Models.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 2210--2219}.

\bibitem[\protect\BCAY{下岡\JBA 徳久\JBA 吉村\JBA 星野\JBA 渡部}{下岡 \Jetal
  }{2017}]{sitaoka2017}
下岡和也\JBA 徳久良子\JBA 吉村貴克\JBA 星野博之\JBA 渡部生聖 \BBOP 2017\BBCP.
\newblock 音声対話ロボットのための傾聴対話システムの開発.\
\newblock \Jem{自然言語処理}, {\Bbf 24}  (1), \mbox{\BPGS\ 3--47}.

\bibitem[\protect\BCAY{佐藤\JBA 乾}{佐藤\JBA 乾}{2018}]{nlp2018sato}
佐藤祥多\JBA 乾健太郎 \BBOP 2018\BBCP.
\newblock 因果関係に基づくデータサンプリングを利用した雑談応答学習.\
\newblock \Jem{言語処理学会第 24 回年次大会}, \mbox{\BPGS\ 1219--1222}.

\bibitem[\protect\BCAY{Sidner, Bickmore, Rich, Barry, Ring, Behrooz, \BBA\
  Shayganfar}{Sidner et~al.}{2013}]{sidner2013always}
Sidner, C., Bickmore, T., Rich, C., Barry, B., Ring, L., Behrooz, M., \BBA\
  Shayganfar, M. \BBOP 2013\BBCP.
\newblock \BBOQ Demonstration of an Always-On Companion for Islated Older
  Adults.\BBCQ\
\newblock In {\Bem Proceedings of the 14th Annual Meeting of the Special
  Interest Group on Discourse and Dialogue (SIGDIAL)}, \mbox{\BPGS\ 148--150}.

\bibitem[\protect\BCAY{Sordoni, Galley, Auli, Brockett, Ji, Mitchell, Nie, Gao,
  \BBA\ Dolan}{Sordoni et~al.}{2015}]{sordoni2015conv}
Sordoni, A., Galley, M., Auli, M., Brockett, C., Ji, Y., Mitchell, M., Nie,
  J.-Y., Gao, J., \BBA\ Dolan, B. \BBOP 2015\BBCP.
\newblock \BBOQ A Neural Network Approach to Context-Sensitive Generation of
  Conversational Responses.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies (NAACL-HLT)}, \mbox{\BPGS\ 196--205}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{seq2seq2014nips}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Network.\BBCQ\
\newblock In {\Bem Proceedings of the 27th International Conference on Neural
  Information Processing Systems (NIPS)}, \mbox{\BPGS\ 3104--3112}.

\bibitem[\protect\BCAY{徳久\JBA 寺嶌\JBA 乾}{徳久 \Jetal }{2019}]{tokuhisa}
徳久良子\JBA 寺嶌立太\JBA 乾健太郎 \BBOP 2019\BBCP.
\newblock 高齢者と家族とのコミュニケーションの質の向上に向けて：高齢者の
  Quality of Life 表出発話の分析.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 60}  (2), \mbox{\BPGS\ 1--8}.

\bibitem[\protect\BCAY{内山\JBA 宮川}{内山\JBA 宮川}{2006}]{uchiyama2006}
内山映子\JBA 宮川祥子 \BBOP 2006\BBCP.
\newblock 在宅介護を前提とした小規模コミュニティにおける情報流通と管理.\
\newblock In {\Bem Keio SFC Journal}, \mbox{\BPGS\ 30--53}.

\bibitem[\protect\BCAY{Vaarama}{Vaarama}{2009}]{Marja2009QOL}
Vaarama, M. \BBOP 2009\BBCP.
\newblock \BBOQ Care-related Quality of Life in Old Age.\BBCQ\
\newblock In {\Bem European Journal of Aging}, \mbox{\BPGS\ 113--125}.

\bibitem[\protect\BCAY{Vinyals \BBA\ Le}{Vinyals \BBA\
  Le}{2015}]{vinyals2015conv}
Vinyals, O.\BBACOMMA\ \BBA\ Le, Q. \BBOP 2015\BBCP.
\newblock \BBOQ A Neural Conversational Model.\BBCQ\
\newblock In {\Bem International Conference on Machine Learning (ICML) Deep
  Learning Workshop}.

\bibitem[\protect\BCAY{Wu, Wu, Yang, Xu, \BBA\ Li}{Wu
  et~al.}{2018}]{wu2018neural}
Wu, Y., Wu, W., Yang, D., Xu, C., \BBA\ Li, Z. \BBOP 2018\BBCP.
\newblock \BBOQ Neural Response Generation with Dynamic Vocabularies.\BBCQ\
\newblock In {\Bem 32nd AAAI Conference on Artificial Intelligence (AAAI)},
  \mbox{\BPGS\ 5594--5601}.

\end{thebibliography}
\bibliographystyle{jnlpbbl_1.5}

\vspace*{1\Cvs}
\appendix
\section{用例データベースの規模}

表\ref{tab:numofexample}に，実験で用いる各QOLラベルに対応するそれぞれの用例データベースの規模を示す．
複数のQOLラベル$q_i, q_j$が付与されているようなペア$(\widetilde{X},\widetilde{Y})$については，付与されているすべてのラベルに対応する用例データベースにそれぞれ用例として含まれる：$(\widetilde{X},\widetilde{Y}) \in \mathcal{D}_{q_i}, (\widetilde{X},\widetilde{Y}) \in \mathcal{D}_{q_j}$．

\begin{table}[h]
\caption{各QOLラベルに対応する用例データベースの規模}
\label{tab:numofexample}
\input{02table11.tex}
\end{table}

\vspace*{-1\Cvs}
    \section{生成応答に表出するQOL状態に関する人手評価結果の詳細}

\texttt{S2S-QOL}，\texttt{W2V-QOL}，\texttt{ELMo-QOL}により生成した応答について，生成応答に表出するQOL状態を人手により評価した結果を，図\ref{fig:human_vari12total}，図\ref{fig:human_vari12total_w2v}，図\ref{fig:human_vari12total_elmo}にそれぞれ示す．
評価方法の詳細は，本文中の\ref{sec:humaneval}節「評価設定」を参照されたい．
図の各行は生成時に指定したQOLラベル，各列は評価者によって生成された応答に表出していると判断されたQOLラベルである．
図中の灰色のセルは，生成時に指定したラベルと生成応答のQOL状態の表出に関する評価者の判断が一致している（指定した通りのQOL状態が表出している）ことを示している．
たとえば，図\ref{fig:human_vari12total}より，生成時に《生活活動力 (positive)》を指定して\texttt{S2S-QOL}により生成した100個の応答（1行目）のうち，指定した通りのQOLが表出したと判断された応答の数は13（1列目）で，最も多く表出していると判断されたQOL状態は《精神的活力 (positive)》の18（11行目）であった．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f12.eps}
\end{center}
\caption{\texttt{S2S-QOL}により生成した応答に表出するQOL状態に関する人手評価結果} 
\label{fig:human_vari12total}
\end{figure}
\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f13.eps}
\end{center}
\caption{\texttt{W2V-QOL}により生成した応答に表出するQOL状態に関する人手評価結果} 
\label{fig:human_vari12total_w2v}
\end{figure}
\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f14.eps}
\end{center}
\caption{\texttt{ELMo-QOL}により生成した応答に表出するQOL状態に関する人手評価結果} 
\label{fig:human_vari12total_elmo}
\end{figure}

図\ref{fig:human_vari12total}，図\ref{fig:human_vari12total_w2v}，図\ref{fig:human_vari12total_elmo}より，いずれのモデルでも，程度に差はあるものの指定したQOLラベルに概ね評価が集まっていることから，指定した通りのQOL状態を表出する応答の生成にある程度成功していると考えられる．
また，モデル間で大きな傾向の差は見られなかった．
具体的には，たとえば《健康的満足感 (negative)》や《経済的ゆとり満足感 (negative)》を生成時に指定した場合，いずれのモデルでも評価の約40\%以上がそれぞれのQOL状態を生成応答から読み取ることに成功しており，生成応答におけるQOL状態の表出が特に顕著という結果となった，
一方で，《生活活動力 (positive)》や《健康的満足感 (positive)》を生成時に指定した場合，いずれのモデルでも評価者が生成応答から最も読み取れると判断したQOL状態は《精神的活力 (positive)》であった．
これは，「生活活動力」，「健康的満足感」および「精神的活力」といったQOLが，実際は互いに強く関連し合う概念であるため，それらを明確に識別することが困難であることが原因のひとつと考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f15.eps}
\end{center}
\caption{\texttt{S2S-QOL}により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価}    
\label{fig:human_posneg}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f16.eps}
\end{center}
\caption{\texttt{W2V-QOL}により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価}    
\label{fig:human_posneg_w2v}
\end{figure}


    \section{QOL状態のポジティブ・ネガティブに関する人手評価結果の詳細}


\texttt{S2S-QOL}，\texttt{W2V-QOL}，\texttt{ELMo-QOL}により生成した応答について，生成時に指定したQOLラベルの特にポジティブまたはネガティブの状態が生成応答に表出するポジティブまたはネガティブと一致するかを人手により評価した結果を，図\ref{fig:human_posneg}，図\ref{fig:human_posneg_w2v}，図\ref{fig:human_posneg_elmo}にそれぞれ示す．
評価方法の詳細は，本文中の\ref{sec:humaneval}節「評価設定」を参照されたい．
たとえば，図\ref{fig:human_posneg}より，生成時にQOLラベル《生活活動力 (positive)》を指定して生成した応答に関する評価（全体数は50）のうち，応答の内容はポジティブな状態を表していると評価したもの，すなわち生成時に指定された状態と一致したものが35（全体の70\%に相当）で，ネガティブな状態を表していると評価したものが6（全体の12\%）であった．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f17.eps}
\end{center}
\caption{\texttt{ELMo-QOL}により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価}    
\label{fig:human_posneg_elmo}
\end{figure}

いずれのモデルでも，生成応答に表出するポジティブまたはネガティブの状態が生成時に指定されたものと一致する割合はQOLラベルによって差があり，小さいものでは70\%から，大きいものでは100\%まであった．
また，いずれのモデルでも《経済的ゆとり満足感 (negative)》は一致する割合が大きく，一方で《精神的健康 (negative)》は一致する割合が小さい傾向にあった．
実際の生成応答例を見ると，たとえば本文の表\ref{output3}の\#8，QOLラベル《経済的ゆとり満足感 (negative)》のもとで\texttt{ELMo-QOL}が生成した応答「おばあちゃんあちこち痛いけど湿布買うお金無いわ．」は「お金がない」ということばで経済的ゆとりがない様子が直接的に表現されているが，一方で表\ref{output3}の\#10，QOLラベル《精神的健康 (negative)》のもとで\texttt{ELMo-QOL}が生成した応答「俺が一緒に読んでやれたらいいんだけどな．」は精神の健康状態が良くない様子の直接的な表現が含まれておらず，そのため状態がネガティブであるとの判断が比較的困難となったことで，一致する割合が小さくなったと考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f18.eps}
\end{center}
\caption{\texttt{S2S-QOL}により生成した応答の応答としての適切さに関する各ラベルごとの評価}
\label{fig:human_rep}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia2f19.eps}
\end{center}
\caption{\texttt{W2V-QOL}により生成した応答の応答としての適切さに関する各ラベルごとの評価}
\label{fig:human_rep_w2v}
\end{figure}


    \section{生成応答の適切さに関する人手評価結果の詳細}

\texttt{S2S-QOL}，\texttt{W2V-QOL}，\texttt{ELMo-QOL}により生成した応答について，生成時に指定したQOLラベルの特にポジティブまたはネガティブの状態が生成応答に表出するポジティブまたはネガティブと一致するかを人手により評価した結果を，図\ref{fig:human_rep}，図\ref{fig:human_rep_w2v}，図\ref{fig:human_rep_elmo}にそれぞれ示す．
評価方法の詳細は，本文中の\ref{sec:humaneval}節「評価設定」を参照されたい．
たとえば，図\ref{fig:human_rep}より，生成時にQOLラベル《生活活動力 (positive)》を指定して生成した応答に関する評価（全体数は50）のうち，生成応答の内容が先行発話に対して適切と判断されたものが31（全体の61\%に相当）で，不適切と判断されたものが18（全体の36\%）であった．

それぞれのモデルで傾向は異なり，たとえば，《精神的活力 (positive)》で適切と判断された応答の割合は，\texttt{S2S-QOL}では同モデルの平均程度の60\%であるが，\texttt{W2V-QOL}では同モデルのなかでは比較的大きい66\%で，\texttt{ELMo-QOL}では同モデルのなかで最も大きい78\%であった．


\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia2f20.eps}
\end{center}
\caption{\texttt{ELMo-QOL}により生成した応答の応答としての適切さに関する各ラベルごとの評価}
\label{fig:human_rep_elmo}
\end{figure}



\begin{biography}
\bioauthor{赤間　怜奈}{
2017年東北大学工学部卒業．2018年東北大学大学院情報科学研究科博士前期課程修了．現在，同研究科博士後期課程在学中．自然言語処理に関する研究に従事．人工知能学会，ACL各学生会員．
}
\bioauthor{徳久　良子}{
2001年九工大大学院修士課程修了．同年（株）豊田中研入社．2009年奈良先端大学情報工学研究科博士課程修了．感情や対話に関する研究に従事．博士（工学）．人工知能学会，言語処理学会，IEEE各会員．
}
\bioauthor{乾　健太郎}{
東北大学大学院情報科学研究科教授．1995年東京工業大学大学院情報理工学研究科博士課程修了．同大学助手，九州工業大学助教授，奈良先端科学技術大学院大学助教授を経て，2010年より現職．2016年より理化学研究所AIPセンター自然言語理解チームリーダー兼任．
}
\end{biography}

\biodate




\end{document}
