\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{booktabs}
%%%%%\usepackage{appendix}

\usepackage{colortbl}
%%%%%\newcommand{\red}[1]{\textcolor{red}{#1}}
%%%%%\newcommand{\blue}[1]{\textcolor{blue}{#1}}

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2025}{7}{1}
\accepted{2025}{9}{1}


\setcounter{page}{1241}


%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}

\jtitle{スタイル類似の知覚主体が対話評価に与える影響}

\jauthor{沼屋　征海\affiref{Author_1} \and 守屋　彰二\affiref{Author_1} \and 佐藤　志貴\affiref{Author_1}\affiref{Author_2} \and 赤間　怜奈\affiref{Author_1}\affiref{Author_3}\affiref{Author_4} \and 鈴木　　潤\affiref{Author_1}\affiref{Author_4}}

\jabstract{対話応答生成の分野において，背景情報や対話履歴を活用して，ユーザ個人の嗜好に合わせた応答生成の実現を目的とするパーソナライゼーションが注目されている．先行研究において，応答内容の適応だけでなく，システムがユーザと類似した発話スタイルを用いることが，ユーザの好感度を高める要因になることが示唆されている．しかしながら，スタイル類似に関する評価の多くは，対話の当事者ではない第三者による客観的な評価が用いられており，ユーザ自身の知覚に基づく主観的な評価との違いが十分に検討されていない．本研究では，非タスク指向の対話設定を対象とし，英語と日本語の両言語において，主観的・客観的スタイル類似度およびユーザによる対話の好ましさに関する人手評価を付与した新たなデータセットを構築した．分析の結果，ユーザによって知覚されたスタイル類似度は対話の好ましさと高い正の相関を示した一方で，客観的なスタイル類似度との間には明確な相関が見られなかった．本研究は，パーソナライゼーションにおけるスタイル評価において，評価主体の切り分けの必要性を示す経験的知見を提供する．
\renewcommand{\thefootnote}{}
\footnote[0]{本稿の一部は The 26th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2025) (Numaya et al. 2025) で報告されたものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}

\jkeywords{対話システム，主観評価，客観評価，同調，スタイル，好ましさ}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{Dialogue Evaluation Is Affected by \\ How Raters Perceive Stylistic Similarity}
\eauthor{Ikumi Numaya\affiref{Author_1} \and Shoji Moriya\affiref{Author_1} \and Shiki Sato\affiref{Author_1}\affiref{Author_2} \and Reina Akama\affiref{Author_1}\affiref{Author_3}\affiref{Author_4} \and Jun Suzuki\affiref{Author_1}\affiref{Author_4}}
\eabstract{Personalization has garnered attention in the field of dialogue response generation, with the aim of creating responses tailored to individual user preferences by leveraging background information and dialogue history. Previous studies suggest that, in addition to adapting the content of the response, a system's use of a speaking style similar to that of the user can be a factor in increasing user affinity. For personalization that adapts to subjective preferences, discussions on stylistic similarity should be based on user evaluations. However, numerous evaluations of stylistic similarity rely on objective assessments by third parties who are not participants in the dialogue. The distinction between these and subjective evaluations based on user perception has not been sufficiently examined. In this study, we focused on non-task-oriented dialogue settings and constructed a new dataset in both English and Japanese, annotated with manual evaluations of subjective and objective stylistic similarity, along with user dialogue preferences. Our analysis revealed that stylistic similarity as perceived by the user exhibited a high positive correlation with dialogue preference, whereas no clear correlation was observed with objective stylistic similarity. This study provides empirical evidence for the necessity of distinguishing between evaluation subjects in style assessments for personalization.}

\ekeywords{Dialogue System, User Evaluation, Third Party Evaluation, Entrainment, Style, Preference}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{沼屋，守屋，佐藤，赤間，鈴木}
\headtitle{スタイル類似の知覚主体が対話評価に与える影響}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東北大学}{Tohoku University}
\affilabel{Author_2}{サイバーエージェント}{CyberAgent}
\affilabel{Author_3}{国立国語研究所}{NINJAL}
\affilabel{Author_4}{理化学研究所}{RIKEN}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
\label{sec:intro}

対話型文生成技術は，高性能な大規模言語モデルの出現にも後押しされながら近年急速に発展しており，人間らしい言語コミュニケーションが可能な対話システムも実現しつつある \cite{shuster2022blenderbot3deployedconversational,zhang-etal-2020-dialogpt}．
最近の高性能対話システムは，ユーザとの会話において「自然さ」や「文脈一貫性」の観点でも適切な応答を生成することができ，このことも背景としてユーザ個人の「好み」に合わせた応答生成を実現することを目的とする\textbf{パーソナライゼーション (personalization)}に関する研究も近年高い関心を集めている \cite{poddar-personalizing,chen-etal-2024-recent}．
先行研究では，ユーザの特性に合わせた応答を生成するために，ユーザの背景情報 \cite{tsunomori-higashinaka-2024-remember}や長期的な対話履歴 \cite{du-etal-2024-perltqa,tan-etal-2024-democratizing}を活用する方法論の開発など，ユーザの嗜好を応答の内容に反映させる方法を中心に議論がなされている．

一方で，ユーザ・システム間のコミュニケーションにおけるシステムへのユーザの好感度には，応答の意味内容に関するユーザ適応だけでなく，システムの発話スタイルがユーザと類似していること（スタイル類似）も影響を与えることがパーソナライゼーションに関する一連の研究で示唆されている．
たとえば，人手評価においてシステムとユーザの発話スタイルが類似していると評価された会話は，「楽しさ」に関する人手評価結果も高いことが確認されている \cite{kanezaki2024}．
なお，ここで言うスタイルとは，情報の「伝え方」や「話し方」などの表現形式を指す．
スタイルの一例として，日本語における敬語（尊敬語，謙譲語，丁寧語）の使用，すなわち「丁寧さ」が挙げられる \cite{ouchi-politeness,liu-kobayashi-2022-construction}．
表\ref{tab:politeness_example}は，丁寧さに関するスタイルの類似と非類似を例示するものである．
この場合，ユーザとシステムのスタイルが「カジュアル」で一致している上段の対話がスタイル類似を表している．

しかし，従来研究で人手評価と呼ばれるものには，実際に対話に参加したユーザ（当事者）による評価と，対話に参加していない第三者による評価が混在しており，多くの場合で後者が採用されているという実態がある．
たとえば，先述したKanezakiらのスタイル類似と楽しさの評価結果の間の関係も，第三者による対話評価のみによって確認されている．
スタイル類似性や応答の好ましさのような要素は対話を実際に体験したユーザと第三者の間で受け止め方が特に異なる可能性があり，評価結果に乖離が生じることが懸念される．
対話システムのパーソナライゼーションの最終的な目標がユーザ本人にとって好ましい応答の実現である以上，スタイルの類似についてもユーザの主観評価に基づく議論が必須となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[t]
\input{06table01.tex}
\hangcaption{スタイル（丁寧さ）が類似する発話 (\#1) と類似しない発話 (\#2) の例．対話はKeiCOコーパス\protect\cite{liu-kobayashi-2022-construction}より抽出，丁寧さは予め付与された敬語ラベルの有無により機械的に判定．}
\label{tab:politeness_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


本研究では，対話の当事者であるユーザの主観評価と対話の当事者でない第三者による客観評価を切り分けて議論するために，以下の人手評価データを含む新たな対話データセット\underline{D}ialogue dataset with \underline{U}ser subjective and \underline{O}bjective evaluations (DUO)\footnote{\url{https://github.com/ikuminumaya/duo-dataset}}を構築し，スタイル類似度の知覚主体（当事者または第三者）の異なりが対話の好ましさに関する評価に与える影響を分析する：
%%%%%
\begin{itemize}
    \item ユーザによる対話の好ましさ
    \item ユーザの知覚する主観的なスタイル類似度
    \item 第三者から見た客観的なスタイル類似度
\end{itemize}
%%%%%
本データセットに含まれる対話は，特定のタスクを定めない非タスク指向の対話設定 \cite{rashkin-etal-2019-towards,dinan2018wizard}の，とりわけ主観評価が重視される雑談対話に基づくものである．
本論文では，英語および日本語の両言語で対話データセットをそれぞれ構築し，両言語に基づく観察と分析を提供する．
具体的には，収集した主観評価間の相関分析を通じて，英語・日本語のいずれにおいても，主観的なスタイル類似度と対話の好ましさとの間に相関が認められることを確認する．
合わせて，客観的なスタイル類似度と主観的な対話の好ましさとの間には，明確な相関は認められないことを確認する．
これらの結果をもって，主観的なスタイル類似と客観的なスタイル類似とを明確に区別して独立に評価および議論することの重要性を示す．

本研究の主要な貢献は次の通りである：(1) 英語・日本語において，ユーザの主観評価および第三者の客観評価が付与された非タスク指向の対話データセットを構築した．(2) 構築したデータセットを用いた分析により，主観的なスタイル類似度が対話の好ましさと関連していることを示した．(3)主観的なスタイル類似度と客観的なスタイル類似度を分けて議論する必要性を経験的知見に基づき主張した．
構築したデータセットは主に研究用として公開されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{パーソナライゼーション}
対話分野において，パーソナライゼーションとはユーザの特性や対話履歴に基づいて，対話システムの応答をユーザ個人の嗜好に適応させることを指す．
先行研究では，ユーザの感情を推定することでそれに応じた発話を生成する手法 \cite{firdaus-etal-2021-seprg}や，ユーザの背景情報 \cite{tsunomori-higashinaka-2024-remember}や長期的な対話履歴 \cite{du-etal-2024-perltqa,tan-etal-2024-democratizing}を用いて応答内容に適切に反映させる手法など，多様なアプローチが提案されている．
また，強化学習においてユーザの好みや反応を報酬とすることで，直接主観評価を反映させる取り組みも検討されている \cite{poddar-personalizing}．
本研究では，応答内容だけでなく，情報の伝え方である発話スタイルに着目し，ユーザが感じる好ましさとの関連性を分析する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{非タスク指向対話}
非タスク指向対話とは，旅行計画を立てる \cite{inaba-etal-2022-collection}など特定の目標を達成することを目指したタスク指向対話 \cite{budzianowski-etal-2018-multiwoz}とは異なり，ユーザとのコミュニケーションを通じてユーザが感じた主観評価が重視される．
非タスク指向対話には，与えられたユーザ情報に基づいて行われる対話 \cite{zhang2018personalizing}やユーザの感情的な発話に対して共感を示す対話 \cite{rashkin-etal-2019-towards}，外部知識を用いて特定のトピックに関して深く掘り下げる対話などが含まれる \cite{dinan2018wizard}．これらの対話設定はマルチターンの応答生成における領域で広く用いられており \cite{wang-etal-2025-sibyl,li-etal-2024-knowledge}，適切な応答のみならず，ユーザからの好感度を向上させることを目指すことが多い．
本研究では，これらの設定を用いて，ユーザの主観的な対話の好ましさと関連する要因の分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{言語的同調がシステム評価に与える影響}
\label{subsec:entrainment}
同調 (entrainment) とは，対話を通して発話スタイルや語彙選択，応答のタイミング，声色などが話者間で類似していく現象を指す．
Communication Accommodation Theory (CAT) フレームワーク \cite{giles2007communication}では，人間同士のコミュニケーションにおける同調が魅力度 \cite{Street1983TheIO}や親密度 \cite{lafrance1979nonverbal}，信頼感 \cite{imamura2011japanese}など，相手話者に対する印象を向上させることが確認されている．また，機能語の使用率によって定量化された同調が自然さやタスク成功率に影響を与えることも示唆されている \cite{nenkova-etal-2008-high}．同調現象を対話システムに応用する試みとして，Kanezakiらは語彙や意味の類似度が高い応答候補を選択する手法を提案し，実際に人手評価でスタイル類似度が高く評価された応答は同様に好感度が高くなる傾向にあることを示した \cite{kanezaki2024}．
このようなスタイル同調評価の多くでは，実際に対話に参加していない第三者による客観評価が用いられる．
一方で，ユーザの好感度への影響を議論するうえで，ユーザの知覚するスタイル類似度がより関連していることが考えられる．
そのため，本研究ではスタイル類似の知覚主体を切り分け，それぞれが対話の好ましさに与える影響について議論する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.4
\subsection{スタイルの定義}
スタイルとは，ある内容の「伝え方」や「話し方」を指す．
先行研究において，スタイルは多様な要素からなる概念として言及されており \cite{lai-etal-2024-style}，フォーマルさ \cite{rao-tetreault-2018-dear,liu-etal-2022-semi}や毒性 \cite{logacheva-etal-2022-paradetox,pour-etal-2023-count}，政治的な立場（リベラル vs 保守）\cite{voigt-etal-2018-rtgender}，著者のスタイル（例：初期近代英語 vs 現代英語）\cite{dinu-uban-2023-computational,xu-etal-2012-paraphrasing}などが要素として挙げられる．
本研究では，特に「感情」 \cite{nakanishi2025analyzingsafetyjapaneselarge}と「丁寧さ」 \cite{mukherjee-etal-2023-polite,madaan-etal-2020-politeness}を用いて議論を行う．
「感情」は，テキストをネガティブからポジティブに至る極性軸に基づいて分類する枠組みのもと，応答内容から独立したスタイルの一側面として位置づけられてきた\cite{Dathathri2020Plug,zheng2021stylized,shen-sentiment,mir-etal-2019-evaluating,prabhumoye-etal-2018-style}．
また，Ouchiらの研究では丁寧語の使用有無で「丁寧さ」を分類し，音声アシスタントが丁寧なスタイルを用いることで，より親切にユーザが感じたことが示されている \cite{ouchi-politeness}．

さらに，収集された文に対して「感情」，「丁寧さ」が付与された日本語データセットも存在する．SuzukiらはSNSの投稿文に対して強いポジティブ，ポジティブ，ニュートラル，ネガティブ，強いネガティブの5観点の分類を行い，感情に関するWRIMEデータセットを作成した \cite{suzuki-etal-2022-japanese}．
Liuらは辞書や記事，クラウドソーシングによって収集した日本語の文を敬語レベルに分類することでKeiCOコーパスを作成した \cite{liu-kobayashi-2022-construction}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{分析用データセットの構築手順}
第\ref{subsec:entrainment}節において，スタイル類似度の知覚主体が対話の当事者であるユーザと第三者とで切り分ける必要性に言及した．この問題に対して本研究では，主観評価と客観評価を含む分析用データセットを新たに構築する．英語および日本語における2つの非タスク指向のオープンドメイン設定を用いて対話を収集し，ユーザと第三者の評価値の付与を行った．評価者の立場を切り分けることでスタイル類似度がどのように知覚され，ユーザの好ましさに対して影響するかを分析することができる．図\ref{fig:fig1}に分析用データセット構築の流れを示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}
\begin{center}
\includegraphics{32-4ia6f01.eps}
\end{center}
    \caption{分析用データセットの構築手順概要．}
    \label{fig:fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{対話設定}
非タスク指向対話から，EmpatheticDialogues \cite{rashkin-etal-2019-towards}とWizard of Wikipedia \cite{dinan2018wizard}の2種類の対話設定を採用した．前者はシステムがユーザに共感を示す対話，後者はシステムがユーザの質問に対して知識を提供する対話設定である．

%%%%%
\paragraph{EmpatheticDialogues (ED)．}
ED設定では，タスクを依頼したワーカーはランダムに選ばれた5つの感情ラベルの中から1つを選択し，その感情を抱いた経験を1--3文で記述する．感情ラベルは，英語対話ではもとのEDフレームワークで用いられたラベルを，日本語対話では先行研究同様に日本語に翻訳したラベルを用いた \cite{sugiyama-jed}\footnote{公開した日本語データセットにおける感情ラベルは英語データセットと同様のラベルを用いた．ワーカーにはそれらを日本語に翻訳したラベルを提示した．}．その後，ワーカーは記述した経験に関して発話することで対話を開始する．このような設定を用いることで，ユーザの感情的な発話に対して，システムが適切に共感をし，好感度を獲得できるかを観察することができる．

%%%%%
\paragraph{Wizard of Wikipedia (WoW)．}
WoW設定では，タスクを依頼したワーカーに見習いの役割が与えられ，ランダムに選ばれた対話トピックが1つ提示される．ワーカーには質問や考えを示すことで対話を通してトピックに関する内容を深掘りするように指示を行った．対話システムは外部知識を持ったウィザードとしての役割が与えられる．トピックとそれに対する外部知識として，multi-source Wizard of Wikipedia (Ms.WoW) データセットを用いた \cite{li-etal-2024-knowledge}．このデータセットにはWikipediaやWikidata \cite{42240}，Semantic FramesやOPIEC \cite{gashteovski2019opiec}といった複数の情報源からの知識が収録されている．Ms.WoWは英語であるため，日本語対話ではトピックと知識を翻訳して用いた．対話は対話システムがトピックに関する内容を発話することで開始した．このような設定を用いることで，トピック対話に対して，外部知識を用いて適切に情報を提供し，魅力的な対話をすることができるかを観察することができる．なお，日本語の対話では，話者に馴染みのないトピックを避けるため，日本語版のWikipediaの閲覧数でトピックをソートし，上位のトピックを優先して用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{ユーザ‐システム対話の収集}

%%%%%
\paragraph{対話参加者．}
本研究では，クラウドソーシングプラットフォームを通じて対話参加者を募り，ユーザ‐システム対話の収集を行った．クラウドソーシングプラットフォームとして，英語の対話ではAmazon Mechanical Turk\footnote{\url{https://www.mturk.com/}}において，アメリカ，カナダ，イギリスに住むワーカーにタスクを依頼した．日本語の対話ではYahoo!クラウドソーシング\footnote{\url{https://crowdsourcing.yahoo.co.jp/}}を利用した．
データの質を担保するため，事前に対話に関連したタスクを実施し，品質の良いデータを収集できたワーカーのみに絞って対話収集を行った．
各ワーカーはタスク開始前に，個人情報が保護された上でデータセットとして公開される可能性があることに同意をしている．

%%%%%
\paragraph{対話システム．}
対話システムのモデルとしてGPT-4o\footnote{\url{https://platform.openai.com/docs/overview}}とLLaMA-3.1-70B-Instruct \cite{grattafiori2024llama}を採用した．
採用理由としては，それぞれ高性能なクローズド，オープンモデルとして広く先行研究で用いられているためである．
プロンプトはそれぞれの設定に対して，先行研究で用いられたものを採用した \cite{qian-etal-2023-harnessing,li-etal-2024-knowledge}．
ED設定では，five-shot，WoW設定ではzero-shotかつ知識を含んだプロンプトを採用した．
また，スタイル類似度が対話の好ましさに与える影響を調査するためには，システムがユーザと似たスタイル，違ったスタイルを用いて対話を行ったデータを取得することが望まれる．そこで，多様なスタイル類似現象が存在する対話データの取得を目的に，(1) ユーザと似たスタイルを話す指示，(2) ユーザと異なるスタイルを話す指示，(3) スタイルに関する指示を行わないという3つのプロンプトを作成した．これらをベースのプロンプトに結合し，最終的なプロンプトとした．
以上をあわせて，各言語で2つの対話設定と2つのモデル，3つのスタイルプロンプトを合わせた12の対話システムを対話収集に用いる．それぞれのシステムによる対話データへの効果の違いは付録\ref{sec:system_diff}に示す．   
また，初めに英語のプロンプトを設計し，それらをGPT-4oを用いて翻訳，自然な挙動を示すように人手で調整をすることで日本語用のプロンプトを作成した．
プロンプトの詳細は付録\ref{sec:prompt}に示す．

%%%%%
\paragraph{対話の収集．}
上述の設定を用いて，人間とシステムとの対話をクラウドソーシングによって収集した．その際，対話の好ましさに対するバイアスを抑えるために，ワーカーには全12条件それぞれに一回ずつのみ参加が可能という指示を行った．

また日本語のWoW設定において，LLaMA-3.1-70B-Instructを用いた対話システムがユーザの発話に対して正しい応答ができなかったため，日本語データセットからLLaMA-3.1-70B-Instructを用いたデータを除外した．参考にこのような挙動の具体例を付録\ref{sec:llama}に示す．なお，本データセットに用いた対話システムのフレームワークはAPIの提供を前提としていたため，日本語用にLLaMAをfinetuningしたモデル \cite{ma2025instructiontuning,fujii2024continual}は用いなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3
\subsection{評価値の付与}

%%%%%
\paragraph{主観スタイル類似度と客観スタイル類似度．}
先行研究では，対話に参加したユーザ自身が知覚した類似度合いと第三者が評価する類似度合いとでどちらが対話の好ましさと関連しているかが明らかになっていなかった．これらを明確に区別するために，対話に対して両者のアノテーションの付与を行う．以降では，ユーザ自身が評価したスタイル類似度を主観スタイル類似度，対話に参加していない第三者が評価したスタイル類似度を客観スタイル類似度と定義する．


%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[b]
{\vskip -16pt}
\input{06table02.tex}
\hangcaption{評価ラベルとそれに対する質問文（上が英語，下が日本語）．それぞれの質問に対して，評価者は5段階のスコアで回答した：1（not at all / まったくそう思わない）～5（very much / とてもそう思う）．}
\label{tab:questionnaire}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%
\paragraph{ユーザによる対話評価．}
対話終了後，対話に参加したユーザ本人に対して対話評価のアンケートを実施した（主観評価）．観点としては，好ましさ，一貫性，スタイル類似度を用いた．さらにもとのフレームワークに従って，EDでは共感度，WoWでは魅力度も評価観点として用いた．すべての観点は5段階評価であり，値が高いほど肯定的な評価とした．具体的な質問文は表\ref{tab:questionnaire}の通りである．一貫性と魅力度はFEDメトリック \cite{zhang-etal-2020-dialogpt}を，共感度は元のEDフレームワーク \cite{rashkin-etal-2019-towards}を参考に質問文を作成した．
このとき，データの質を保証するために，それぞれのアンケートにはチェック設問として答えが一意に定まる問題を予め1つ設置し，正しく回答できなかったユーザが参加した対話とその評価はデータセットから除外した．

%%%%%
\paragraph{第三者による対話評価．}
主観評価に加えて，対話に対して参加していない第三者のアノテーターによる対話評価を行った（客観評価）．
対話データの中から評価対象をサンプリングする際，多様な類似度合いのデータを評価するため，スタイル類似度（1～5）の偏りが小さくなるようにランダム抽出を行った．
アノテーターは必ずその対話のユーザでないものとし，各対話3人が客観評価を行った．最終的な評価値は3つの評価の平均を用いる．
主観評価との比較のため，質問文は主観評価で採用した表\ref{tab:questionnaire}の内容と同様とし，アノテーターにはユーザの立場に立って評価を行うように指示を行った．また，アノテーション前には対話収集と同様の説明文を提示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.4
\subsection{データセット概要}
本データセットの基本統計量を表\ref{tab:dataset_stats}に示す．また，追加の統計情報は付録\ref{sec:stats_add}に示す．
対話数は，英語データセットで各設定157対話，日本語データセットではモデルがGPT-4oの1つのみであるため，その半分程度の対話数が収録されている．
EDではユーザが，WoWではシステムが発話を開始するため，対話長はWoWのほうが1発話長い21発話である．
また表\ref{tab:mean_std}に各ラベルの平均と標準偏差を示す．一貫性に注目すると，英語・日本語データセットの両方で平均値が高く，標準偏差が低くなったため，多くの対話でシステムが文脈を捉えた適切な応答を行っていたことが考えられる．また，好ましさやスタイル類似度では標準偏差が高い値を示しており，ユーザの印象やスタイルが多様なデータとなっていることが考えられる．
また，客観評価に関しては3人の評価値の平均を最終値としているため，標準偏差が低くなっている．なお，対話データに付与された3つの客観評価間の同意率 (Krippendorff's $\alpha$) に関しても付録\ref{sec:stats_add}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{06table03.tex}
\caption{構築した分析用データセットの基本統計量．}
\label{tab:dataset_stats}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[t]
\input{06table04.tex}
\caption{主観評価と客観評価の平均と標準偏差（\underline{英語}および\underline{日本語}）．}
\label{tab:mean_std}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{分析：各観点における主観・客観評価の傾向}
本節では，収集した評価ラベル同士のスピアマンの順位相関係数を算出し，どの評価同士が関連しているかの分析を行う．
以降では，主観評価ラベルを$好ましさ_\mathrm{sb}$，$一貫性_\mathrm{sb}$，\mbox{$スタイル_\mathrm{sb}$，}$共感度_\mathrm{sb}$，$魅力度_\mathrm{sb}$とし，客観評価ラベルを$好ましさ_\mathrm{ob}，一貫性_\mathrm{ob}，スタイル_\mathrm{ob}，共感度_\mathrm{ob}，魅力度_\mathrm{ob}$とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.1
\subsection{主観評価ラベル内の相関分析}
\label{subsec:sub_sub}

%%%%%
\paragraph{英語データセット．}
表\ref{tab:sub_corr_en}に英語データセットにおける主観評価ラベル同士のスピアマンの順位相関係数を示す．すべての相関係数に対して，$p < 0.001$であり，統計的に有意であった．
表中の$好ましさ_\mathrm{sb}$と$スタイル_\mathrm{sb}$の相関係数に注目すると，他の相関係数と比較して高い相関が確認できる．
この結果からユーザに対してシステムが似た発話スタイルを用いることで，ユーザが対話に感じる好ましさが高くなることが示唆された．
また，$好ましさ_\mathrm{sb}$と各対話設定独自の評価観点として設定した$共感度_\mathrm{sb}，魅力度_\mathrm{sb}$との高い相関も確認され，目的に合ったシステムの発話が好感度に関与することが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}[b]
\input{06table05.tex}
\caption{\underline{英語}における主観評価間のスピアマンの順位相関係数（すべて$p < .001$）．}
\label{tab:sub_corr_en} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%
\paragraph{日本語データセット．}
表\ref{tab:sub_corr_jp}に日本語データセットにおける主観評価ラベル同士のスピアマンの順位相関係数を示す．$好ましさ_\mathrm{sb}$と$スタイル_\mathrm{sb}$の相関係数に注目すると，両設定においても正の相関を示し，日本語においても主観的な好ましさに対してユーザの知覚したスタイル類似度が関連している可能性が考えられる．
一方で，英語データセットにおける相関よりも弱い値に留まった．
また，WoW設定において，$好ましさ_\mathrm{sb}$と$一貫性_\mathrm{sb}$との相関係数が$好ましさ_\mathrm{sb}$と$スタイル_\mathrm{sb}$との値よりも高いことが確認できる．このことから質問にシステムが適切に回答できたかというような一貫性が重視されることが示唆された．
また，日本語においても\mbox{$好ましさ_\mathrm{sb}$}と設定固有の$共感度_\mathrm{sb}，魅力度_\mathrm{sb}$との高い相関が確認された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[t]
\input{06table06.tex}
\caption{\underline{日本語}における主観評価間のスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
\label{tab:sub_corr_jp} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2
\subsection{主観・客観ラベル間の相関分析}
\label{subsec:sub_ob}

%%%%%
\paragraph{英語データセット．}
表\ref{tab:sub_ob_en}に英語データセットにおける主観評価ラベルと客観評価ラベル間のスピアマンの順位相関係数を示す．
$好ましさ_\mathrm{sb}$と$スタイル_\mathrm{ob}$との相関係数に着目すると，WoW設定では正の相関が見られる一方で，ED設定では負の相関が見られた．
また，ユーザの類似度評価$スタイル_\mathrm{sb}$，第三者類似度評価$スタイル_\mathrm{ob}$との相関係数に注目すると，ED設定において負の相関，WoW設定において相関を示さなかった．
このようなことから，ユーザの知覚する類似度合いと第三者からみた類似度合いとが必ずしも一致しない可能性が考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[b]
\input{06table07.tex}
\caption{\underline{英語}における主観・客観評価間のスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
\label{tab:sub_ob_en} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%
\paragraph{日本語データセット．}
表\ref{tab:sub_ob_jp}に日本語データセットにおける主観評価ラベルと客観評価ラベル間のスピアマンの順位相関係数を示す．
$好ましさ_\mathrm{sb}$と$スタイル_\mathrm{ob}$との相関係数に着目すると，英語データセットと同様に，第\ref{subsec:sub_sub}節で見られた主観スタイル類似度と主観的な好ましさの高い関連性は確認できなかった．
また，ユーザの類似度評価$スタイル_\mathrm{sb}$，第三者の類似度評価$スタイル_\mathrm{ob}$との相関係数に注目すると，ED設定において，負の相関，WoW設定において正の相関を示した．
特に，ED設定では有意に負の相関を示していることから，ユーザと第三者とでスタイル類似度の着目点の間にズレが生じていると考えられる．この結果は，スタイル類似度を用いた分析において，主観評価と客観評価とで分けて議論を行う必要性が確認された．
またWoW設定において，英語・日本語データセット両方で$一貫性_\mathrm{ob}$がユーザの主観評価と高い相関を示した．これはWoW設定の対話システムの役割である，質問に対して適切な応答を行っているかが第三者から捉えやすく，主観評価と関連したことが考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[t]
\input{06table08.tex}
  \caption{\underline{日本語}における主観・客観評価間のスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
  \label{tab:sub_ob_jp} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%
\paragraph{相関分析結果の解釈と考察．}
主観スタイル類似度と客観スタイル類似度のズレが生じた原因を議論するために散布図を用いて考察を行う．
図\ref{fig:scatter_sty_sty}に客観スタイル類似度（横軸）と主観スタイル類似度（縦軸）の分布を示す．主観スタイル類似度の低い評価1，2における客観スタイル類似度に着目すると，ほとんどの値が2を超えていることがわかる．このことから，対話参加者であるユーザは，自分とのスタイルの類似度合いを感覚的に捉え，極端な判断を下す傾向があることが考えられる．一方で，第三者の評価はより中間的な値に集中しており，スタイルを段階的・連続的に捉えている可能性がある．以上をまとめると，主観評価は直感的判断になりやすく，客観評価は表現上のスタイル差異を相対的に評価した結果，主観スタイル類似度と客観スタイル類似度のズレが相関係数に現れたと考えられる．

ここまでの議論でスタイル類似度におけるユーザ自身による主観評価と第三者による客観評価について言及をしているが，このズレは他の評価観点においても例外ではないという可能性が考えられるため，注意が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia6f02.eps}
\end{center}
\caption{スタイル類似度の客観（横）と主観（縦）の評価値の分布．点が濃く大きいほど頻度が大きい．}
\label{fig:scatter_sty_sty}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{議論}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1
\subsection{主観・客観的スタイル類似における着目点}
\label{subsec:style_analysis}
第\ref{subsec:sub_ob}節では，主観スタイル類似度と客観スタイル類似度の相関が低く，視点によって異なる評価をしている可能性に言及した．
本節ではこの原因を分析するために，感情と丁寧さの\mbox{2つ}のスタイルに着目する．EDは自身の感情が介入する対話設定であるため，主観スタイル類似度が感情のスタイルにより強く影響されることが仮説として考えられる．
仮説検証のため，各話者の発話集合に対して，2つのスタイルそれぞれの分類（ポジティブまたはネガティブまたはニュートラル，フォーマルまたはカジュアル）を行う．その後，ラベル数に基づいた話者間スタイル一致度を類似性スコアとして算出する．算出された類似性スコアと主観スタイル類似度，客観スタイル類似度との相関を測ることでどちらのスタイルが重視されているかを観察することができる．

%%%%%
\paragraph{スタイルの分類．}
本分析では，BERTベースの分類器を用いる．英語文のスタイル分類モデルは，感情に対してTwitter-roBERTa-base for Sentiment Analysis\footnote{\url{https://huggingface.co/cardiffnlp/twitter-roberta-base-sentiment}} \cite{rosenthal-etal-2017-semeval,barbieri-etal-2020-tweeteval}，丁寧さに対してMultilingual Politeness Classification Model\footnote{\url{https://huggingface.co/Genius1237/xlm-roberta-large-tydip}} \cite{srinivasan-choi-2022-tydip}を採用した．
日本語文のスタイル分類モデルは，既存のデータセットを用いて新たにBERT base Japanese\footnote{\url{https://huggingface.co/tohoku-nlp/bert-base-japanese-whole-word-masking}}をfine-tuningすることで作成を行った．
データセットは，感情に対してWRIMEデータセット \cite{suzuki-etal-2022-japanese}，丁寧さに対してKeiCOコーパス \cite{liu-kobayashi-2022-construction}を用いた．
WRIMEデータセットは強いポジティブ，ポジティブ，ニュートラル，ネガティブ，強いネガティブの5段階のアノテーションが付与されており，学習したラベルはポジティブに関連した2つのラベルとネガティブに関連した2つのラベルをまとめたポジティブ，ニュートラル，ネガティブの3段階とした．
KeiCOコーパスは敬語レベル (1--4) が付与されている．レベル1--3が敬語を用いている文，レベル4が敬語を用いていない文としてアノテーションされているため，Ouchiらの先行研究 \cite{ouchi-politeness}を元にそれぞれフォーマル，カジュアルとして分類を行った．
これらの分類器を用いて対話中の各発話スタイルの分類を行った．
各分類器のテストデータに対する正解率を表\ref{tab:classifier_acc}に示す．
感情は3値分類，丁寧さは2値分類であるため，前者（約70％）よりも後者（約90％）のほうが正解率が高くなっている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table}[t]
\input{06table09.tex}
  \caption{スタイル分類モデルの正解率．}
  \label{tab:classifier_acc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%
\paragraph{類似性スコアの算出．}
スタイルの定量にはNakanishiらの先行研究の手法 \cite{nakanishi2025analyzingsafetyjapaneselarge}を参考とする．話者$x \in \{\mathrm{user, system}\}$に対するスタイルスコアを以下に示す．
%%%%%(1)
\begin{equation}
    \mathrm{Sentiment}_x = \frac{\mathrm{positive\_counts}_x - \mathrm{negative\_counts}_x}{\mathrm{positive\_counts}_x + \mathrm{negative\_counts}_x}
\end{equation}
%%%%%

%%%%%(2)
\begin{equation}
    \mathrm{Politeness}_x = \frac{\mathrm{formal\_counts}_x - \mathrm{casual\_counts}_x}{\mathrm{formal\_counts}_x + \mathrm{casual\_counts}_x}
\end{equation}
%%%%%

それぞれポジティブ度合い，丁寧度合いを表し，各話者の全発話に付与されたラベルの数によって算出される．ポジティブ，ネガティブのラベル数をそれぞれ$\mathrm{positive\_counts}_x，\mathrm{negative\_counts}_x$とし，フォーマル，カジュアルのラベル数をそれぞれ$\mathrm{formal\_counts}_x，\mathrm{casual\_counts}_x$とする．
話者$x$に対するスタイルスコアを$\mathrm{Style}_x \in \{\mathrm{Sentiment}_x, \mathrm{Politeness}_x\}$とし，以下のように話者間の類似性スコアを算出する．
%%%%%(3)
\begin{equation}
    \mathrm{Similarity} = 1 - |\mathrm{Style}_\mathrm{user} - \mathrm{Style}_\mathrm{system}|
\end{equation}
%%%%%
これは，1から話者間のスタイルの距離を引いた値であり，$-1\textrm{～}1$の範囲を取る．

%%%%%
\paragraph{結果．}
感情，丁寧さの類似性スコアと主観，客観スタイル類似度のスピアマンの順位相関係数を表\ref{tab:style_analysis_en}，\ref{tab:style_analysis_jp}に示す．
英語データセットにおけるED設定で感情・丁寧さの両方が主観スタイル類似度と正の相関を示し，他の相関係数で高い相関が認められず，各設定における明確な傾向は確認できなかった．
日本語データセットにおけるED設定では，感情の類似性スコアと主観スタイル類似度が正の相関を示した一方で，客観スタイル類似度は負の相関を示した．これは感情の介入する対話において，ユーザが感情のスタイル類似度に注目することを示唆している．
WoW設定では，丁寧さの類似性スコアが主観スタイル類似度と客観スタイル類似度両方と正の相関を示した．WoWはトピックを掘り下げる対話であり，このような対話においてはユーザと第三者ともに丁寧さのスタイル類似度に注目することを示唆している．

以上より，ユーザは対話における主体であるため，対話の設定や自身の感情によってスタイルの着目点が変化する可能性がある．このような変化が第三者評価とのズレの原因の1つであることが考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10
\begin{table}[t]
\input{06table010.tex}
\hangcaption{\underline{英語}における主観・客観スタイル類似度と，感情・丁寧さの類似性スコアとのスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
\label{tab:style_analysis_en} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T11
\begin{table}[t]
\input{06table011.tex}
\hangcaption{\underline{日本語}における主観・客観スタイル類似度と，感情・丁寧さの類似性スコアとのスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
\label{tab:style_analysis_jp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2
\subsection{主観・客観スタイル類似度の異なりに関する事例分析}
ここまで，主観スタイル類似度と客観スタイル類似度の着目点の違いを議論してきた．
本節では，第\ref{subsec:style_analysis}節でラベルを付与した具体的な対話例を用いて，同じように着目点の違いが見られるかを確認する．
ED設定における主観スタイル類似度と客観スタイル類似度で差が生じた対話例を表\ref{tab:dialogue_example}，\ref{tab:dialogue_example_2}に示す．
それぞれの発話には分類した感情と丁寧さのラベルが付与されている．
表\ref{tab:dialogue_example}はユーザ本人がスタイルが似ていると判断し，第三者が似ていないと判断した対話である．感情に着目すると，両者の発話のほとんどがポジティブと分類されており，類似していることがわかる．一方，丁寧さに着目すると，初めは両者が敬語を使った丁寧な発話をし，その後システムのみが敬語を使わずに類似しなくなったことが確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T12
\begin{table}[t]
\input{06table012.tex}
\hangcaption{ユーザによる主観スタイル類似度が高く，第三者による客観スタイル類似度が低い対話例（実際の評価値：主観 4，客観 1.33）．各発話に感情と丁寧さの分類ラベルが付与されている．}
\label{tab:dialogue_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T13
\begin{table}[t]
\input{06table013.tex}
\hangcaption{ユーザによる主観スタイル類似度が低く，第三者による客観スタイル類似度が高い対話例（実際の評価値：主観 2，客観 4.00）．各発話に感情と丁寧さの分類ラベルが付与されている．}
\label{tab:dialogue_example_2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



表\ref{tab:dialogue_example_2}はユーザ本人がスタイルが似ていないと判断し，第三者が似ていると判断した対話である．感情に着目すると，ユーザがネガティブな発話をしているのに対して，システムがポジティブな発話で返答しており，一貫して感情のスタイルが類似していないことがわかる．一方，丁寧さに着目すると，初めはユーザが敬語を用いて丁寧な発話をし，システムが敬語を用いていなかったが，後半ではユーザも敬語を使わずに同調をしていることが確認できる．
以上の観察からも，ED設定においてユーザは感情を重視してスタイル類似度合いを判断している可能性が確認できる．
第三者の着目点としては，丁寧さにおいて両者が敬語を使わない発話をしていると類似していると判断しやすいことが示唆される．
さらに，第三者は時系列が後半の発話を判断に用いやすい可能性が考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.3
\subsection{好ましさの前提条件：一貫性}
主観評価における一貫性と好ましさの散布図を図\ref{fig:scatter_con_pre}に示す．
これらを見ると，英語のEDとWoW，日本語のEDの散布図において一貫性が低い部分では好ましさが低い値に分布し，一貫性が高い部分では好ましさが広く分布していることがわかる．
このことから，システムの発話が文脈を捉えた自然な応答になっているときのみにおいて，他の要因に応じてユーザの好感度が変化し，前提として一貫性が担保されていないと好感度を示さないことが示唆される．
一方，日本語のWoWの散布図においてはやや異なる傾向が確認できる．表\ref{tab:sub_corr_jp}における相関係数 ($p = 0.68$) が示す通り，こちらの条件においては一貫性が好ましさとより強く相関していることがわかる．よって，他よりも一貫性が直接好ましさに影響することで前提条件とは異なる役割を持ったことが要因の1つと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia6f03.eps}
\end{center}
  \caption{主観評価における一貫性（横）と好ましさ（縦）の評価値の分布．点が濃く大きいほど頻度が大きい．}

  \label{fig:scatter_con_pre}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T14
\begin{table}[t]
\input{06table014.tex}
\hangcaption{主観評価における好ましさと一貫性・スタイル類似度のスピアマンの順位相関係数 ($* p < .05, ** p < .01, *** p < .001$)．}
\label{tab:en_jp_corr} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.4
\subsection{言語間の比較}
本節では日本語・英語データセット間の比較分析を行う．
その際，日本語データセットではGPT-4oのシステム対話のみが収録されているため，英語データセットに関してもGPT-4oのみのデータに絞って定量分析を行う．この比較を行うため，英語データセットにおけるGPT-4oのサンプル数が50となるように追加の客観評価を収集した．
$好ましさ_\mathrm{sb}$に対する$一貫性_\mathrm{sb}，スタイル_\mathrm{sb}$のスピアマンの順位相関係数を表\ref{tab:en_jp_corr}に示す．英語データセットでは，一貫性よりもスタイル類似度が好ましさと強く相関しているが，日本語データセットでは，一貫性のほうが好ましさと強く相関していることがわかる．
この要因の1つとして，英語話者と日本語話者との自己開示性の違いが考えられる．先行研究において，アメリカ人と比較して日本人のほうが自己開示性が低いことが示されている \cite{Kito01042005}．つまり，スタイル類似度が高いと親密さが高くなる傾向がある一方で \cite{lafrance1979nonverbal}，自己開示してない状態の同調は効果的でない可能性が示唆される．
逆に，日本語話者に対してはスタイル類似度よりも対話の一貫性というような質問や文脈に対する適切な応答が重要であることが示唆される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{本研究成果に関する倫理的リスク}

%%%%%
\paragraph{データ収集における倫理的配慮．}
データ収集において，英語データセットではAmazon Mechanical Turk，日本語データセットではYahoo!クラウドソーシングを介してワーカーを募集した．
すべての参加者には，タスクの構成や説明，注意事項として個人情報を入力しないこと，個人情報は保護されること，収集したデータが公開される可能性があることを対話開始前に提示し，すべての同意を得たうえでタスクを実施した．
また，Amazon Mechanical Turkのワーカーには時給15ドル相当の報酬，Yahoo!クラウドソーシングのワーカーには東京の最低賃金と同等の時給1164円相当の報酬を支払った．
収集されたデータにおいて，差別的または明らかに攻撃的な表現を含む対話は人手で除外された．
さらに匿名性を確保するために，ユーザ名や個人に関連する固有名詞を含むすべての個人識別情報にマスキング処理を施した．

%%%%%
\paragraph{データ利用におけるリスク．}
本研究のために作成したデータセットには政治的思考や社会的価値観に関する個人の見解などが含まれており，一部の発話には一般的とは言い難い特定の立場に偏った発言も含まれている．%
本データセットをモデル学習時のデータとして用いる場合，学習データに含まれる文化的および思想的に偏った意見がモデルの出力に悪影響を及ぼす可能性がある\footnote{本データセットは，主に研究用として公開されている．本データセットでは文化的または思想的にセンシティブな内容が含まれている可能性があることを明記し，利用者には事前にデータを確認した上で適切に利用する旨を示している．}．なお，本研究でのデータセットの利用目的は対話評価分析に限られており，モデルの学習データとしての利用は一切ない．発話内容の文化的・思想的偏りに依存する上述のリスクは，本論文の報告内容に影響しない．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{おわりに}
本研究では，ユーザ個人の対話における好ましさの要因の1つとして，システムとのスタイル類似に着目し，その知覚主体の違いが評価に与える影響を明らかにした．
先行研究では，スタイル類似がユーザの好感度に寄与することが指摘されてきたが，当事者であるユーザと第三者の評価を明確に切り分けた検討は十分に行われてこなかった．
そこで本研究では，非タスク指向対話を対象に，英語と日本語の両言語において，主観的・客観的スタイル類似度およびユーザによる対話の好ましさに関する人手評価を付与した新たなデータセットを構築し，相関分析を通じてその関係性を検証した．
分析の結果，主観スタイル類似度が対話の好ましさと有意に相関する一方で，客観スタイル類似度と対話の好ましさは明確な相関が確認されなかった．
これは，対話の当事者と第三者とで注目するスタイルの側面が異なる可能性を示唆しており，スタイルに関する評価においては知覚主体を区別して取り扱う必要があることを示すものである．

本研究ではスタイル類似度に焦点を当てて評価主体の違いを検討したが，他の評価指標においても，知覚主体によって捉えられる側面が異なることが考えられる．
今後の研究においては，評価構造の設計や結果の解釈に際して，主観評価と客観評価を明確に区別して議論することが求められる．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本研究の一部は，JSPS 科研費 JP25K21263, JST BOOST JPMJBY24A1, JST BOOST JPMJBS2421, JST ムーンショット型研究開発事業 JPMJMS2011-35 (fundamental research) の助成を受けたものです．
本論文は，SIGDIAL 2025に採択された以下の論文を拡張したものです：
Ikumi Numaya, Shoji Moriya, Shiki Sato, Reina Akama and Jun Suzuki. (2025). ``How Stylistic Similarity Shapes Preferences in Dialogue Dataset with User and Third Party Evaluations.'' In Proceedings of the 26th Annual Meeting of the Special Interest Group on Discourse and Dialogue. 



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{06refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SA
\section{システムごとの対話データの比較}
\label{sec:system_diff}
表\ref{tab:ed_system}，\ref{tab:wow_system}にシステムごとの主観スタイル類似度の平均値を示す．上から順に，ユーザのスタイルと異なる発話をする指示をしたシステム，スタイルに関して指示をしていないシステム，ユーザのスタイルと似た発話をする指示をしたシステムである．システム間で，ユーザが知覚するスタイル類似度の差が確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T15
\begin{table}[b]
\input{06table015.tex}
\caption{EDデータセットにおける各システムを用いたときの主観スタイル類似度の平均．}
\label{tab:ed_system}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T16
\begin{table}[ht]
\input{06table016.tex}
  \caption{WoWデータセットにおける各システムを用いたときの主観スタイル類似度の平均．}
  \label{tab:wow_system}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SB
\section{プロンプト}
\label{sec:prompt}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SB.1
\subsection{ED設定で用いたプロンプト}
図\ref{fig:prompt-template-ed}，\ref{fig:prompt-template-ed_jp}にED設定で用いたプロンプトを示す．こちらのプロンプトは先行研究のテンプレート \cite{qian-etal-2023-harnessing}に独自のスタイルプロンプトを結合したものとなっている．日本語版ではテンプレートをGPT-4oを用いて翻訳したものを用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[b]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f04.eps}
\end{center}
\caption{英語のED設定で用いたプロンプトテンプレート．}
\label{fig:prompt-template-ed}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F5
\begin{figure}[t]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f05.eps}
\end{center}
\caption{日本語のED設定で用いたプロンプトテンプレート．}
\label{fig:prompt-template-ed_jp}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SB.2
\subsection{WoW設定で用いたプロンプト}
図\ref{fig:prompt-template-wow}，\ref{fig:prompt-template-wow_jp}にWoW設定で用いたプロンプトを示す．こちらのプロンプトは先行研究のテンプレート \cite{li-etal-2024-knowledge}に独自のスタイルプロンプトを結合したものとなっている．日本語版ではテンプレートをGPT-4oを用いて翻訳したものを用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SB.3
\subsection{スタイル制御用プロンプト}
図\ref{fig:prompt-style-en}，\ref{fig:prompt-style-jp}にシステムの発話スタイルを制御するために用いたプロンプトを示す．これらは本文で言及した，(1) ユーザと似たスタイルを話す指示，(3) ユーザと異なるスタイルを話す指示にあたり，設定ごとのプロンプトに結合させる形で用いた．(2) スタイルに関する指示を行わないプロンプトは，ED，WoWそれぞれで用意したプロンプトにスタイル制御用プロンプトを結合しない形とした．
日本語におけるスタイル制御では，発話ごとに語尾が変わるなどの不自然な挙動を示すことが多く確認された．よって，英語版をGPT-4oを用いて翻訳後，「スタイルの一貫性を保ちながら自然に語尾や言葉遣いなどの」という表現を人手で追加することで日本語のプロンプトとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F6
\begin{figure*}[t]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f06.eps}
\end{center}
  \caption{英語のWoW設定に設定で用いたプロンプトテンプレート．}
  \label{fig:prompt-template-wow}
\end{figure*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F7
\begin{figure*}[t]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f07.eps}
\end{center}
  \caption{日本語のWoW設定で用いたプロンプトテンプレート．}
  \label{fig:prompt-template-wow_jp}
\end{figure*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F8
\begin{figure}[t]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f08.eps}
\end{center}
  \caption{英語の対話で用いたスタイル制御用プロンプト．}
  \label{fig:prompt-style-en}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SC
\section{LLaMA-3.1-70B-Instructを用いた日本語対話システムの挙動}
\label{sec:llama}
LLaMA-3.1-70B-Instructを用いた日本語対話システムがユーザの発話に正しく応答できなかった例を表\ref{tab:llama_example1}，\ref{tab:llama_example2}に示す．
表\ref{tab:llama_example1}では，システムが同じ発話を繰り返してしまっていることが確認できる．
表\ref{tab:llama_example2}では，システムの語尾に一貫性がなく，一部は知識の語尾``である''をそのまま用いてしまっている．
これらの挙動の原因の1つとして，知識を無理やり使おうとしてしまっていることが考えられる．ユーザの発話に注目すると，同意やシステム発話の内容を繰り返しており，質問をしていないことが多い．その際にも知識を提供しようとしたため，適切な返答ができていなかったことが考えられる．また，質問の答えがプロンプトに含まれていない場合もこのような挙動を示すことが見受けられた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F9
\begin{figure}[t]
\begin{center}
\includegraphics[scale=0.98]{32-4ia6f09.eps}
\end{center}
  \caption{日本語の対話で用いたスタイル制御用プロンプト．}
  \label{fig:prompt-style-jp}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T17
\begin{table}[b]
\input{06table017.tex}
\caption{日本語WoW設定におけるLLaMA-3.1-70B-Instructの挙動例．同じ発話を繰り返している．}
\label{tab:llama_example1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T18
\begin{table}[t]
\input{06table018.tex}
\caption{日本語WoW設定におけるLLaMA-3.1-70B-Instructの挙動例．語尾が不自然に変化している．}
\label{tab:llama_example2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%SD
\section{追加の統計情報}
\label{sec:stats_add}
本文で示さなかった本データセットの追加統計情報量を表\ref{tab:dataset_stats_add}に示す．
WoW設定は知識を提供するという内容であるため，EDの設定に比べてトークン数や発話長，語彙数が高い値になっていることがわかる．
また，各対話に付与された3つの客観評価の同意率を表\ref{tab:agreement}に示す．同意率は順序尺度によるKrippendorff's $\alpha$によって算出を行った．
0付近の値が多く見られる原因として，約20発話が含まれる対話ごとに主観的な評価をつけているため，ワーカーごとの着目点にばらつきがあったことが考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T19
\begin{table}[h]
\input{06table019.tex}
\caption{追加の基本統計量．}
\label{tab:dataset_stats_add}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T20
\begin{table}[t]
\input{06table020.tex}
\caption{第三者評価の同意率（順序尺度によるkrippendorffs's $\alpha$）．}
\label{tab:agreement}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{沼屋　征海}{%
2025 年東北大学工学部卒業．現在，東北大学大学院情報科学研究科博士前期課程1 年．
}
\bioauthor{守屋　彰二}{%
2023 年東北大学工学部卒業．2025 年東北大学大学院情報科学研究科博士前期課程修了．現在，東北大学大学院情報科学研究科博士後期課程\mbox{1年}．
}
\bioauthor{佐藤　志貴}{%
2024 年東北大学大学院情報科学研究科博士後期課程修了．現在，株式会社サイバーエージェントAI Labリサーチサイエンティスト，東北大学言語AI研究センター学術研究員．
}
\bioauthor{赤間　怜奈}{%
2021年東北大学大学院情報科学研究科博士後期課程早期修了．現在，東北大学言語AI研究センター助教，国立国語研究所次世代言語科学研究センター助教（クロスアポイントメント），理化学研究所革新知能統合センター客員研究員．
}
\bioauthor{鈴木　　潤}{%
2001年から2018年まで日本電信電話株式会社 NTT コミュニケーション科学基礎研究所研究員（主任研究員／特別研究員）．2005年に奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，東北大学言語AI研究センター長・教授，理化学研究所AIPセンター客員研究員．国立情報学研究所客員教授／大規模言語モデル研究開発センター科学主幹．
}
\end{biography}



\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}


