\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow}
%%%%\usepackage{multicol}
%%%%\usepackage{enumitem}
%%%%\usepackage{url}
%%%%\usepackage{seqsplit}
%%%%\usepackage{ascmac}
%%%%\usepackage{fancybox}
%%%%\usepackage[dvipdfmx]{color}
%%%%\renewcommand{\topfraction}{1.0}
%%%%\renewcommand{\bottomfraction}{1.0}
%%%%\renewcommand{\dbltopfraction}{1.0}
%%%%\renewcommand{\textfraction}{0.01}
%%%%\renewcommand{\floatpagefraction}{1.0}
%%%%\renewcommand{\dblfloatpagefraction}{1.0}
%%%%\setcounter{topnumber}{5}
%%%%\setcounter{bottomnumber}{5}
%%%%\setcounter{totalnumber}{10}
%%%%\def\sec#1{\mbox{節\ref{sec:#1}}}
%%%%\def\ssec#1{\mbox{節\ref{ssec:#1}}}
%%%%\def\sssec#1{\mbox{節\ref{sssec:#1}}}
\def\fig#1{\mbox{図\ref{fig:#1}}}
\def\tab#1{\mbox{表\ref{tab:#1}}}
%%%%\def\eq#1{\mbox{Eq. (\ref{eq:#1}})}
%%%%% \def\hl#1{\textcolor{red}{#1}}
\def\hl#1{{#1}}
\def\hll#1{\textcolor{red}{#1}}
%%%%\newsavebox{\FVerbBox}
%%%%\newenvironment{FVerbatim}
%%%% {\VerbatimEnvironment \fontsize{8pt}{8pt}\selectfont
%%%%   \begin{center}
%%%%	\begin{lrbox}{\FVerbBox}
%%%%	 \begin{BVerbatim}}
%%%%	 {\end{BVerbatim}
%%%%	\end{lrbox}
%%%%	\fbox{\usebox{\FVerbBox}}
%%%%   \end{center}}
\def\taskname{共同図形配置課題}
\def\corpusname{共同図形配置コーパス}
\def\SimpleFig{単純図形}
\def\MapFig{建物図形}
\def\cgpattern{最終図形配置パタン}
\def\cgpatterns{最終図形配置パタン}
\def\cgscore{図形配置間距離}
\def\patfont{}
\def\patperf{\patfont 完全一致}
\def\patzero{\patfont 原点ずれ}
\def\patconfsame{\patfont 同種図形混同}
\def\patconf{\patfont 異種図形混同}
\def\patsym{\patfont 対称ずれ}
\def\patsize{\patfont 縮尺ずれ}
\def\paterr{\patfont 完全不一致}
\def\MBase{Const-Baseline}
\def\MBaseX{Mean-Baseline}
\def\MDial{Dialogue}
\def\MPic{Layout}
\def\MDialPic{Dialogue+Layout}
\def\finsuc{成功}
\def\finalm{中間}
\def\finfail{失敗}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{30}
\Number{3}
\Month{September}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{12}{23}
\revised{2023}{4}{8}
\accepted{2023}{5}{11}

\setcounter{page}{907}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{共同作業を行う対話における共通基盤構築過程の記録と分析}
\jauthor{光田　　航\affiref{ntt}\affiref{rin} \and 東中竜一郎\affiref{ntt} \and 大賀　悠平\affiref{ntt} \and 吉田　　仙\affiref{ntt}\affiref{mitsu}}
\jabstract{%
共通基盤を構築可能な対話システムを実現するためには，対話において共通基盤が構築される過程を明らかにすることが重要である．しかしながら，既存研究では対話の結果得られる最終的な成果物のみを共通基盤と関連付けて分析しており，共通基盤が構築される過程は明らかにされていない．本研究では，共同作業を行う対話において，共通基盤構築の過程を明らかにすることを目指し，データ収集手法を提案する．具体的には，課題の中間結果をその時点における共通基盤に相当するものとして，自動的に記録するデータ収集手法を提案する．提案手法を用いて 984 対話を収集し，共通基盤構築の過程を定量的に調査した結果，共通基盤の構築過程にいくつかのパタンが見られた．また，共感や同意，ポジティブな表現を通じて自身の理解を伝える発話が出現している場合，共通基盤が構築されている傾向にあると考えられる．さらに，対話中の共通基盤構築の度合いを対話や課題の内容から推定する実験を行い，双方の内容が推定に有用なことを示した．
\renewcommand{\thefootnote}{}
\footnote[0]{本研究はLREC2022の予稿集における``Dialogue Collection for Recording the Process of Building Common Ground in a Collaborative Task''をもとに翻訳したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{対話システム，コーパス構築，共通基盤，共同作業}

\etitle{Recording and Analyzing the Process of Building Common Ground in Dialogues in a Collaborative Task}
\eauthor{Koh Mitsuda\affiref{ntt} \and Ryuichiro Higashinaka\affiref{ntt} \and Yuhei Oga\affiref{ntt} \and Sen Yoshida\affiref{ntt}\affiref{mitsu}} 
\eabstract{%
To develop a dialogue system that can build common ground with users, the process of building common ground through dialogue needs to be clarified. However, the studies on the process of building common ground have not been well conducted; much work has focused on the final task results as common ground in which users perform a collaborative task. In this study, to clarify the process of building common ground in the dialogue where workers collaboratively perform a given task, we propose a data collection method for automatically recording the process of building common ground through a dialogue by using the intermediate result of a task. We analyzed 984 dialogues, and the result of investigating the process of building common ground suggests that several typical patterns can exist in that process and that common ground tends to be built if each worker's understanding is conveyed through the affirmation of a counterpart's utterances. In addition, toward dialogue systems that can build common ground with users, we conducted an automatic estimation of the degree of built common ground and found that its degree can be estimated with a dialogue and intermediate task result.
}
\ekeywords{Dialogue System, Data Collection, Common Ground, Collaborative Task}

\headauthor{光田，東中，大賀，吉田}
\headtitle{共同作業を行う対話における共通基盤構築過程の記録と分析}

\affilabel{ntt}{日本電信電話株式会社}{NTT Corporation}
\affilabel{rin}{現所属：rinna株式会社}{Present affiliation: rinna Co., Ltd.}
\affilabel{mitsu}{現所属：三菱ケミカルグループ株式会社}{Present affiliation: Mitsubishi Chemical Group Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

対話において，対話の参加者の間で共有される知識や信念の情報を共通基盤（または相互信念）と呼ぶ\cite{CLARK1989259,traum94,kopp21}．複雑な内容を伴う対話は，その内容の理解を積み上げていく必要があるため，ユーザとの高度な対話（例えば，教育，議論，交渉などを目的とする対話）が可能なシステムを実現するためには，対話を通じてユーザとともに共通基盤を構築していき，それに基いて対話を行うモデルを確立することが望ましい．対話をモデル化する上で，共通基盤は重要な概念の一つとされてきたが，共通基盤が構築される過程を分析した研究は少なく，その過程は明らかではない\cite{nakano19}．

共通基盤を扱った従来の研究では，話者が対話を通じて共同作業を行う課題を設定し，対話や課題に関する情報を記録，分析するというアプローチが取られてきた\cite{benotti21,chandu21}．課題の達成には作業者間で共通基盤を構築する必要があることから，課題の最終的な結果を共通基盤と関連付けて分析することで，対話と共通基盤の関係性が分析されている\cite{anderson91,foster08,he17}．そのため，対話を通じてどのように共通基盤が構築されるかという過程そのものに関する研究は，いくつかの例外を除き行われてきていない．例外として，\citeA{udagawa19}は，共通基盤の構築過程を分析するために，課題に関するオブジェクト，および，対話中に出現する参照表現を人手で結び付けたデータを作成し，参照表現からオブジェクトを推定する研究を行った．また，\citeA{bara21}は，仮想空間上で話者が対話を通じて共同作業を行う課題において，対話相手の信念や行動についてどの程度理解しているかを問う質問をリアルタイムに話者に回答させることで，対話中の共通基盤を記録している．これらの研究では，対話中の共通基盤を手作業で記録する必要があり，高いコストがかかる．また，分析可能な情報は，あらかじめ定義された参照表現や質問の内容に限定される．

本論文では，\hl{共同作業を行う対話を対象とし，}課題の中間結果を構築中の共通基盤に相当するものとして自動的に記録することで，共通基盤構築の過程を分析する手法を提案する．課題の中間結果をその時点における共通基盤に相当するものとして記録することで，共通基盤が記録された対話を低いコストで収集でき，対話の各段階における各話者の信念やその共通部分である共通基盤を分析することが可能になる．このために，2名の作業者がテキストチャットを用いて，ランダムに配置されたオブジェクトを共通のレイアウトに配置する課題，{\bf \taskname}（\fig{diagram}）を設定した．本課題において，2名の作業者が作成したレイアウトを各作業者の信念とみなし，それらの類似度を利用することで，対話を通じて構築される共通基盤を定量化することが可能である．

{\taskname}を用いて984対話を収集し，共通基盤構築の過程を調査した結果，\hl{共通基盤の構築過程にいくつかのパタンが見られ，また，対話相手の発話を肯定したり，話者自信の理解を相手に伝えたりする表現が出現している場合，共通基盤が構築できている傾向にあると考えられる．}さらに，共通基盤を構築可能な対話システム\hl{の実現}に向けて，対話の各段階における共通基盤構築の度合いを推定する実験を実施した結果，対話とレイアウトの双方の情報が推定に有用であることが明らかになった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-3ia2f1.pdf}
\end{center}
\hangcaption{本研究で提案する{\taskname}．各作業者は自身の図形配置しか参照することができず，相手の図形配置は参照することはできない．}
\label{fig:diagram}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本論文の貢献は以下の3点である．
\begin{enumerate}
\item 対話中の共通基盤を自動的に記録する手法を提案した．提案手法を利用することで，人手によるアノテーションやアンケートへの回答を経ることなく共通基盤が構築される過程を記録することが可能となる．また，提案する共同図形配置課題の対話を984対話収集した共同図形配置コーパスを構築した．

\item 共通基盤構築の過程を初めて定量的に明らかにした．具体的には，共通基盤構築の過程が複数の典型的なクラスタに分けることができ，また，\hl{対話中に肯定的な評価や共感を示す発話が出現している場合，共通基盤が構築できている傾向にあると考えられる．}

\item 共通基盤を構築可能な対話システムの実現に向けて，共通基盤構築の度合いを対話と課題の内容から推定する実験を行い，その双方の内容が推定に有用であることを示した．
\end{enumerate}
%
本研究で提案する共同図形配置課題は，共通基盤を記録することを目的として設計されており，その対話の内容は一般的な対話と比較して限定的である．しかしながら，我々の知る限り，共通基盤構築の過程を定量化した試みは本研究が初めてである．共通基盤の構築過程は，相互理解を必要とするあらゆる対話に現れうるため，本研究の知見は共通基盤を扱う対話システムの研究一般において有用だと考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

共通基盤の研究はこれまで，主に話者間で共通基盤構築を必要とする特定の課題を対象に，人対人の対話を分析することで扱われてきた\cite{benotti21,chandu21}．共通基盤構築の成否は課題の最終結果に基づいて定義され，課題達成に成功した場合，対話を通じて共通基盤が適切に構築されたとみなされる．初期の研究では，具体的な課題として，地図を用いて経路の伝達やオブジェクトの操作を行う課題\cite{anderson91,carletta97,bard00,danise12}や，二次元平面上に配置されたパズルを解く課題\cite{clark86,foster08,spanger09,tokunaga12}が提案されてきた．\hl{また，共通基盤は，対話研究における基盤化のモデルの中でも扱われてきた．代表的なものとして，対話を通じた基盤化の過程をグラフ\cite{CLARK1989259}やオートマトン\cite{traum94}として表現するモデルが存在する．これらは本研究と同様対話の基盤化の過程に着目しており，先行研究とみなせる．本研究は共通基盤の構築度合いの定量化しており，従来のモデルと組み合わせることで，これらのモデルの検証につながる可能性がある．}

近年は，共通基盤を対象とした研究において，与えられた環境の中で話者が特定のオブジェクトを見つけたり，作成したりするという課題が数多く提案されている．話者に与える環境として，例えば，テキスト\cite{he17,lewis17,gero20}，画像\cite{liu12,vries17,kim17,udagawa19}，仮想空間\cite{polyak17,ilinykh19,hahn20,jayannavar20}，現実空間\cite{liu16}を扱う課題が提案されている．また，人対システムの対話ではあるものの，もう一つの主要な研究分野として，実空間でロボットを操作することを目的として，入力されたユーザ発話を現実空間のオブジェクトに関連付ける研究\cite{moratz09,hough17,chai17,waveren19}も取り組まれている．これらの研究では，主に対話と課題の最終結果に基づいて，対話と共通基盤の関係が分析されている．なぜならば，これらの研究は，対話を通じて課題を成功させるために，どのような対話現象が生じているかを明らかにしたり，その対話現象に基づき課題を自動的に達成するシステムを構築することを目的としているからである．しかしながら，先行研究の枠組みでは共通基盤構築の過程を記録することはできないため，共通基盤が構築される過程の分析が難しいという問題がある．

我々の研究は共通基盤構築の過程を記録することを試みるものであり，同様の目的で設計された課題であるOneCommon \cite{udagawa19,udagawa20}，および，MindCraft \cite{bara21}との関連が深い. OneCommon \cite{udagawa19}は，複数の点（ドット）がランダムな位置，大きさ，色で配置された二次元平面の画像が与えられた状況で，二名の作業者が共通の点を選択する課題である．二名の作業者には，二次元平面に関して，作業者間でわずかに異なる領域が与えられ，テキストチャットを通じて共通のドットを1つ選択する．作業者間で選択されたドットが同じであれば，課題は成功となる．このとき，作業者間で参照表現等の多様な言語表現を利用しつつ共通のドットを探す過程は，共通基盤の構築過程とみなすことができる．そのため，ドットへの参照表現が人手でアノテーションされている\cite{udagawa20}. また，MindCraft \cite{bara21}は，ビデオゲームのMinecraft\footnote{\url{https://www.minecraft.net/ja-jp}}において，二名の話者（プレイヤ）がそれぞれ異なる知識とスキルを与えられた状況で，協力して特定のオブジェクトを作成する課題である．課題を進める間，75秒ごとにプレイヤが共通基盤に関する所定の質問（例えば，「あなたの相手は今，何を作っていると思いますか？」という質問）に回答することで，共通基盤が構築される過程を記録している．我々の研究はこれらの研究と類似するものの，共通基盤を自動的に記録することが可能であるという点において異なる．共通基盤を自動的に記録することで，データ収集のコストを削減することができ，かつ，共通基盤に関する情報が対話の各時点について得られるため，収集されたデータと対話を紐づけることで，共通基盤の構築過程を扱う研究の可能性を大きく広げると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{共同図形配置コーパスの構築}

本節では，まず，共通基盤構築の過程を記録するための課題として必要な要件を述べる．次に，要件に基づき設定した共同図形配置課題の定義を述べた後，本研究で実施した対話データ収集について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{課題設定のための要件}
\label{ssec:conds}

特定の課題を通じて共通基盤構築の過程を記録するため，まず，課題の要件を設定した．この要件の設定には，OneCommon \cite{udagawa19}で述べられている課題の要件を参考にした．具体的には，OneCommonでは要件として，課題の中に{\it continuous}な（連続性のある）要素，および，{\it partially-observable}な（部分的可観測性のある）要素を含めている．{\it continuous}な要素とは，課題に関して，離散的な情報（例えば，有限の候補からなるラベル集合）ではなく，画像のような連続的な情報が含まれることを意味する．連続的な情報は離散的な情報と異なり，その情報を対話の中で端的に表現することが難しいため，作業者には複数の発話を通じて情報をやり取りする必要が生じる．また，{\it partially-observable}な要素とは，課題の初期状態において，作業者間で課題に関する部分的な情報のみが共有されることを意味する．このような状況では，作業者は対話を通じて自身の情報を相手に共有する必要が生じる．

OneCommonで提案されている要件に加え，本研究で扱う課題には新たに二つの要件を追加した．第一の要件は，課題が達成されるまでに，作業者が一回の操作ではなく，複数回の操作を行う必要があるというものである．本要件を導入することで，操作結果，すなわち，課題の結果が複数段階に分割され，課題の中間結果をその時点における共通基盤に相当するものとして記録することが可能になる．第二の要件は，構築される共通基盤を定量化するために，課題の中間結果はその進捗が定量化可能であるというものである．本要件を導入することで，対話の各段階における共通基盤を定量的に扱うことが可能になる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共同図形配置課題}

\fig{diagram}に，テキストチャットを通じて，同じ図形の集合を共通のレイアウトに配置する課題（{\taskname}）の概要を示す．作業者には初期配置として，作業者ごとに図形がランダムに配置されているレイアウトが与えられる．このレイアウトは，各作業者の課題に関する信念とみなされる．作業者はテキストチャットを通じて，最終的なレイアウトの目標を議論しながら，一つずつ順に図形を共通の位置に配置していくことで，共通基盤となる共通のレイアウトを作成する．このとき，課題の制限として，作業者は自身のレイアウトしか見ることができない．そのため，相手のレイアウトを想像しながら，自身の図形を配置する必要がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{30-3ia2f2.pdf}
\end{center}
\hangcaption{{\taskname}の対話を収集するためのインターフェース．図には1名の作業者に提示されるインターフェイスを示している．各作業者は，共通のチャット画面，および，自身の図形配置画面を見ることができるが，相手の図形配置画面を見ることはできない．}
\label{fig:tool}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\fig{tool}に，{\taskname}の対話を収集するためのインタフェース（二名の作業者AとBのそれぞれに提示される画面）を示す．インタフェースは作業の開始と終了のボタン，カウントダウンタイマ，図形配置画面，チャット画面（メッセージ入力ボックスとメッセージ送信ボタンを含む）から構成されている．作業開始時，図形配置画面には作業者ごとにランダムに配置された図形が表示されている．作業者は図形配置画面の中で，マウスを利用して図形を操作することで共通のレイアウトを作成する．図形の操作としては平行移動のみが許容されており，図形の削除，回転，拡大，縮小はできない．このとき，インタフェースは作業者が図形を移動する際の全てのマウス操作（ドラッグ＆ドロップ）を，座標，タイムスタンプと共に操作ログとして自動的に記録する．\hl{作業者は対話中にいつでもレイアウトを操作可能であり，インタフェースはその操作結果とタイムスタンプを全て記録する．}作業者は自身の図形配置画面しか見ることができないが，チャット画面については作業者間で共通の内容のものを見ることができる．作業が進み，チャットを通じて作業者の間で配置が同一になったと作業者が判断した場合，作業者は終了ボタンを押し課題を終了する．または，課題開始から10分が経過したとき，課題は終了となる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{30-3ia2f3.pdf}
\end{center}
\caption{ {\taskname}で使用する図形セット2種類，{\SimpleFig}（左）と{\MapFig}（右）}
\label{fig:objects}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\fig{objects}に，{\taskname}で配置の対象となる二種類の図形集合（{\SimpleFig}と{\MapFig}）を示す．図中の左側は{\bf \SimpleFig}を表し，右側は{\bf \MapFig}を表す．{\SimpleFig}は10個の基本図形（例えば，四角形や円形）から構成されており，{\MapFig}は10個の建物アイコン（例えば，バーや警察）から構成されている．単純図形にはMicrosoft PowerPoint\footnote{\url{https://www.microsoft.com/ja-jp/microsoft-365/powerpoint}}に登録されている図形を利用し，建物図形には建物を端的に表す白黒のアイコンセット\footnote{\url{https://www.flaticon.com/packs/city-life-3}における白黒アイコンを利用した．}を利用した．{\MapFig}は{\SimpleFig}と異なり，作業者が図形に関する前提知識を利用することができる（例えば，前提知識に基づき配置方針を伝える発話として，「安心してバーに行けるよう，近くに警察を配置しよう」という発話が考えられる）．{\SimpleFig}と{\MapFig}という二種類の異なる性質の図形を配置対象のオブジェクトとすることで，収集対象の対話が特定の種別のオブジェクトのみを扱う対話にならないよう配慮している．これらの図形集合を用いて，図形配置画面に表示する図形の個数を5個または7個とし，重複ありでランダムな大きさ，位置に設定することで初期配置を作成した\footnote{レイアウトの大きさを$1 \times 1$の正方形としたとき，各図形の大きさ（図形を包含する正方形の辺の長さ）を0.1以上0.2以下と定義した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話データ収集}

作業者のペアが{\taskname}を行う対話を大規模に収集し，コーパスを構築した．以降，本コーパスを{\bf {\corpusname}}と呼ぶ．対話の収集実験には，287名の作業者が参加した．作業者はクラウドソーシングを専門とする会社を通じて募集され，実験への参加条件として，日本語を母国語としており，かつ，簡単なPC操作に慣れている作業者という条件を設定した．募集の際には，作業者の属性（年齢，性別，職業等）が偏らないよう努めた．実験に参加した287名の作業者の中で，初対面の作業者2名をランダムに組み合わせることでペアを作成し，その結果，213組が課題を実施した．このとき，各作業者ペアは4回ずつ課題を実施した（{\SimpleFig}5個，{\SimpleFig}7個，{\MapFig}5個，{\MapFig}7個の計4回）．作業者への教示として，実験の目的，タスク概要，図形の種別，理想的なレイアウトの配置方針（できるだけ相手の意見を聞き，かつ，工夫を\hl{凝らす}ようなレイアウトを作成するようするというもの）を与えた．\hl{さらに，図形の操作は対話を行いながら実施するよう作業者に指示した．}また，実験参加にあたって，身体的負担を考慮し，いつでも実験の継続を中止することが可能である旨を伝えた上で作業を実施させた．\hl{データ収集にあたっては，監督者が教示に基づいて実際の作業前に各作業者にインストラクションを行い，対話ごとに作業者とコミュニケーションを取るようにした．そのため，タスクを理解していないケースはほとんど存在しないと考えている．これを裏付けるものとして，各対話の内容を人手で確認することで，作業の品質に問題がないことを確認した．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{02table01.tex}%
\caption{{\corpusname}の統計量}
\label{tab:stats}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{stats}に，{\corpusname}として収集されたデータの統計情報を示す．213組の作業者ペアが課題を実施することで，合計984の対話が収集された\footnote{作業者ペアの割り当ての都合により，例外的に213組のうち24組の作業者ペアは4回課題を実施する作業を複数回実施した．}．表の通り，各対話には平均28.8発話が含まれており，平均65.4回の図形操作が含まれていた．図形集合間の比較として，{\MapFig}は{\SimpleFig}に比べ，対話あたりの発話数が多く，一方で操作数が少ない傾向が確認できる．これは，建物に関する前提知識を使用することができる{\MapFig}の方が，{\SimpleFig}よりも最終的なレイアウトを議論しやすく，効率的に図形を配置できたためと考えられる．なお，288組が平均521秒と10分以内に課題を完了し，その他のペアは最長10分，\hl{すなわち}時間切れまで作業を行っていた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\vspace{-1\Cvs}
\input{02table02.tex}%
\hangcaption{{\taskname}で収集された対話の例．この対話は\fig{tool}に示すセッションで収集されたものである．}
\label{tab:dialogue}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{dialogue}に，収集された対話の例を示す．この例は，\fig{tool}のインタフェースの説明において示したレイアウト（図形集合が{\SimpleFig}であり，図形個数が5個のもの）を対象に特定の作業者ペア二名（AとB）によって収集された対話である．最終的なレイアウトのアイデアは，$U_{14}$までに作業者間で合意されており，各図形は$U_{15}$以降，お互いが指示を出し合うことで順に配置されている．$U_7$から$U_{14}$までの発話において，相談を通じて図形のレイアウト方針が決定したり，また，$U_{24}$や$U_{29}$の発話において，作業者が配置を指示したり，自身の配置を伝えたりしており，対話を通じて共通基盤が構築されている様子が確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{共通基盤構築過程の分析}

収集した{\corpusname}に基づき，共通基盤構築の過程を分析した．まず，各対話において，二名の作業者が作成した最終的な二つのレイアウトが一致しているかを人手で確認した．次に，レイアウトの類似度に基づいて，課題の中間結果を共通基盤として定量化した．最後に，定量化した共通基盤の系列に対して時系列分析を適用し，共通基盤構築における典型的な流れを調査した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\cgpattern}
\label{ssec:classify}

収集したデータを人手で確認した結果，多くの作業者ペアが課題を達成したと判断しているにも関わらず，一部のレイアウトのペアは同一になっていないことが明らかになった．共通基盤を定量化するためには，どのようなレイアウトのペアを一致とみなすか，すなわち，レイアウトのペアがどのような状態になっていれば共通基盤が構築できたとみなすかを明らかにする必要がある．そのため，まず，最終的なレイアウトペアの一致，不一致のパタンを明らかにした．

\fig{patterns}に，最終的なレイアウトのペアにおける一致，不一致のパタン（{\cgpatterns}）を示す．{\cgpatterns}を作成するために，最終的なレイアウトのペアをランダムに50組選択し，著者らが手作業で類似するペアをまとめることでパタンを作成した．その結果，{\cgpatterns}は大きく3つのパタン（{\finsuc}，{\finalm}，{\finfail}）に分類され，詳細には7つのパタン（パタン1--7）に分類された．\hl{パタン3の同図形混同は，大きさの異なる同一の図形（例えば，大きさの異なる二つの三角形や警察署の図形）の配置のみが異なるものを指す．}このとき，パタン1--2（{\patperf}, {\patzero}）において課題が成功，パタン3--6（{\patconfsame}, {\patconf}, {\patsym}, {\patsize}）において部分的に成功，パタン7（{\paterr}）において失敗しているものとみなすこととした．{\patperf}に加え，{\patzero}も課題が成功したとみなした理由は，作業者への教示として，図形全体を絶対座標において同じ位置に配置するよう指示しなかったためである．\hl{また，教示では，図形全体の配置を合わせるという課題において，対称ずれ（鏡像）が成功とみなされないことは自明と考えたため，対称ずれを避ける指示は行っていない．なお，アノテーションの一致率を確認するため，著者と同組織に所属する作業者二名がランダムサンプリングした50件のレイアウトペアについてアノテーションを行ったところ，単純一致で74\%，Cohen's kappaで0.68となり，妥当な分類になっていることを確認した．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f4.pdf}
\end{center}
\caption{最終図形配置パタン}
\label{fig:patterns}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{patternfreq}に，著者らとは異なる作業者（同組織に所属する専門のアノテータ）が{\corpusname}に含まれる全984件のレイアウトペアに{\cgpattern}をアノテーションした結果を示す．この表から，成功率（{\patperf}または {\patzero}）は25\% ($=19\%+7\%$) となることが確認できる．図形集合については，{\SimpleFig}よりも{\MapFig}の方が成功率が高い．これは，{\MapFig}で図形に関する前提知識を利用することで共通基盤の構築が容易になったためと考えられる．一方，図形数については，各パタンの出現頻度は5個と7個でほぼ同じ傾向となり，図形数が増えたとしても課題の難易度は大きく変化しないことが確認できる．\hl{複雑な図形は複数の類似の図形（例．直角三角形と正三角形，四角形と平行四辺形など）を含むため，一致しにくい傾向があった．}興味深い点として，図形が全く一致しないもの（{\paterr}）が{\SimpleFig}で27\%，{\MapFig}で13\%または15\%存在しており，共通基盤が構築される過程のみならず，共通基盤の構築に失敗する過程をも分析可能なコーパスになっていることが確認できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{02table03.tex}%
\caption{{\cgpatterns}の頻度}
\label{tab:patternfreq}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共通基盤の定量化}

{\cgpatterns}に基づき，対話中の共通基盤を定量化する尺度として{\cgscore}を導入する．このとき，パタン1--2（{\patperf}, {\patzero}）において課題が成功，パタン3--6（{\patconfsame}, {\patconf}, {\patsym}, {\patsize}）において部分的に成功と定義していることから，{\finsuc}で{\cgscore}の値が最も小さくなるよう尺度を設計した．この指標は，レイアウトペアに含まれる任意の二図形間の距離の和であり，次式で示される．
\[
図形配置間距離(L_{A}, L_{B}) = \frac{1}{2}\sum_{i \in {\rm Figures}}^{}\sum_{j \in {\rm Figures}}^{} \|\vec{a}_{i,j} - \vec{b}_{i,j}\|
\]
$L_A$, $L_B$ は作業者A，Bが作成したレイアウト，\hl{Figuresは一つのレイアウトに含まれる全図形の集合，}$a_{i,j}$および$b_{i,j}$は，$L_A$および$L_B$に含まれる二つの図形，$i$と$j$（例えば，\fig{ld}の図形1と図形2）を結ぶベクトルを表す．\fig{ld}に，二図形間の距離 ($\|\vec{a}_{i,j} - \vec{b}_{i,j}\|$) の例を示す．これらのベクトルの差の距離をレイアウトに含まれる全ての図形の組み合わせに対して足し合わせたものが{\cgscore}であり，{\cgscore}の値が小さいほど，共通基盤の構築が進んでいることを表す．この{\cgscore}に基づいて，対話内の各タイムステップにおける共通基盤が構築されている度合いを定量的に評価することができる．\hl{対話のある時点において図形配置間距離を計算する際には，その時点に最も近いタイムスタンプの$L_A$ および $L_B$（各作業者がその時点までに行った全操作を反映したレイアウト）を利用する．なお，本尺度の他に，ユーザ間で同一の図形間の距離（例えば，作業者Aの図形1と作業者Bの図形1の距離）を足し合わせるという尺度を検討したが，原点ずれの場合において距離が小さくならないという問題があったため，採用しなかった．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f5.pdf}
\end{center}
\caption{{\cgscore}の計算に用いる，レイアウト$L_A$と$L_B$の間で定義される二図形間の距離}
\label{fig:ld}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\fig{mean}に，対話中の{\cgscore}（共通基盤構築の度合い）の遷移を示す．\hl{横軸は対話の進行度を表しており，1回の発話，または，同じ図形を複数回連続して動かす操作を1タイムステップとした\footnote{\hl{本研究で定義しているタイムステップ（1 回の発話，または，同じ図形を複数回連続して動かす操作）は，ターン（ある作業者の発話と操作，および，もう一方の作業者の発話と操作を一つにまとめたもの）とは異なる概念である．}}．各ステップにおける図形配置間距離をプロットする際には，線形補完を用いて，全ての対話のタイムステップ数を50に正規化した．}課題終了時（タイムステップが50の時点）の{\cgscore}は{\finsuc}，{\finalm}，{\finfail}の順に高くなっており，我々の定義通りに共通基盤が構築されている度合いを定量化できることが確認できる．\hl{また，図形配置間距離の変化と発話を目視で確認したところ，発話単位でずれが生じていることはなかった．このことにより，ずれは本研究におけるスコアの計算結果に影響は与えないと考えている．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f6.pdf}
\end{center}
\hangcaption{対話における{\cgscore}（共通基盤構築の度合い）の遷移．ステップ数は対話の進行度を表しており，0は対話の開始時点，50は対話の終了時点を表す．}
\label{fig:mean}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

定義した{\cgscore}に基づいて，共通基盤構築の典型的な過程を明らかにするために，k-meansに基づく時系列クラスタリング手法であるk-Shape \cite{paparrizos15}を使用して{\cgscore}の系列をクラスタリングした．具体的には，{\corpusname}に含まれる全984対話（すなわち，984個の{\cgscore}の系列）に対して，k-Shapeを適用することで，{\cgscore}の系列における典型的なクラスタを調査した．

\fig{clustering}に，{\cgscore}に対して時系列クラスタリングを適用した結果を示す．各クラスタの図において，X軸はタイムステップ，Y軸はz正規化した{\cgscore}を表す．クラスタ数は5に設定されており，理由として，クラスタ数を6以上にした場合，類似のクラスタが出現し，また，4以下にした場合，複数の特徴が混じり合ったようなクラスタが構成されたためである．各クラスタ (C1--5) の対話数の比率は，それぞれ 29\%，28\%，24\%，12\%，7\%であった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[b]
\begin{center}
\includegraphics{30-3ia2f7.pdf}
\end{center}
\caption{共通基盤の構築過程をクラスタリングした結果 (C1--C5)}
\label{fig:clustering}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\hl{各クラスタの傾向を明らかにするために，クラスタごとに10 対話をサンプリングし，著者らで傾向を分析した．}クラスタ1は，対話を通じて一貫して{\cgscore}が減少しており，共通基盤が終始滞りなく構築されている対話のクラスタである．クラスタ1に含まれる対話として，例えば，対話の序盤で目標が決定され，目標に従って図形を順に配置していくことで{\cgscore}が順調に低下している対話が見られた．\hl{クラスタ2--4は，対話の中盤まで図形配置間距離が減少しておらず，共通基盤構築が停滞する期間を含む対話のクラスタである．特徴は共通基盤の構築が進み始めるタイムステップが異なっている点であり，それぞれタイムステップがおよそ15，25，35の時点から進み始めている．またその他の特徴として，クラスタ4において，作業者が図形をグルーピングし，グループごとに図形の配置を合わせる対話が含まれていた．作業者が図形をグルーピングし，グループごとに作業を行ったことで，終盤まで図形配置間距離が減少しなかったと考えられる．}クラスタ5は{\cgpatterns}の{\paterr}に相当しており，共通基盤がうまく構築されていない対話のクラスタである．クラスタ5に含まれる対話としては，例えば，位置の確認を怠った対話や，最終的なレイアウトの目標の認識に齟齬がある対話（具体的には「斜めに配置」という目標を一方の作業者は「右下がり」と理解し，他方の作業者は「左下がり」と理解して作業を進めた対話）が見られた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{02table04.tex}%
\hangcaption{{\taskname}の成否（\finsuc，\finalm，\finfail）と，\fig{clustering}で示した共通基盤構築過程クラスタリング結果 (C1--C5) との対応関係}
\label{tab:mapping}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{mapping}に，{\taskname}の成否と，\fig{clustering}で示した共通基盤構築過程クラスタリング結果との対応関係を示す．表中の各数値は，各クラスタにおける課題の成否（\finsuc，\finalm，\finfail）の割合を表す（列方向に値を足すと100\%となる）．クラスタ1--3では，{\finsuc}と{\finalm}の割合が多く，共通基盤の構築に成功した対話が含まれていることが確認できる．\hl{クラスタ1とクラスタ2を比較すると，クラスタ2の方が成功の比率が多く，課題に成功するために必ずしもクラスタ1のような共通基盤構築の過程を経る必要はない（図形配置間距離が停滞する期間があってもよい）と考えられる．}一方，クラスタ4，5には，{\finfail}に対応する{\paterr}が多く含まれており，共通基盤の構築に失敗した対話が含まれていることが確認できる．これらの結果から，{\finsuc}の対話では，比較的早い段階から共通基盤が構築され始め，対話が終わる頃には十分な共通基盤が構築されている傾向があると考えられる．{\finfail}の対話では，対話の後半から共通基盤が構築され始め課題終了までに十分な水準に達しなかったり，対話全体を通して共通基盤を構築できないという傾向があると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共通基盤構築過程と対話の分析}

定義した{\cgpattern}，および，{\cgscore}に基づき，共通基盤の構築に成功した対話と失敗した対話に出現する言語表現や対話の特徴を調査し，どのような言語表現や特徴を持った対話を実現することが共通基盤構築において重要なのかを調査した．これらの言語現象や対話の特徴は，ユーザと共通基盤を構築可能な対話システムを構築するための有用な知見となると考えられる．

調査方法として，まず，言語表現を調査するために，収集された対話を先に述べた3種類の課題の成否({\finsuc}，{\finalm}，{\finfail})に基づいて分け，それぞれの対話において頻繁に出現する言語表現と対話行為を調査した．また，対話の特徴を調査するために，それぞれの対話における対話行為の遷移を隠れマルコフモデル (Hidden Markov Model; HMM) を用いてモデル化し，対話の大局的な構造や，どの遷移が特に共通基盤の構築に有効であるかを{\cgscore}に基づき調査した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{02table05.tex}%
\hangcaption{課題の成否で分類した各対話において統計的に有意に出現する上位10個の言語表現．``**''は$p<.01$，``*''は$p<.05$を表す．}
\label{tab:phrases}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{phrases}に，対話の中で統計的に有意な上位10個の言語表現を示す．各表現は述語相当表現（動詞はまた形容詞を含む文節）を表しており，表現の抽出には，日本語形態素解析器JTAG \cite{fuchi98}を使用した．検定手法としてフィッシャーの正確確率検定を利用し， $p$値を用いて昇順に表現をランキングすることで，三種類の対話のいずれかの対話において有意に出現頻度が高い表現を列挙した．この表から，{\finsuc}では，「良いと」などの肯定的な評価や，「しましょう」，「できました」などの図形操作に関する表現が多く出現していることが分かる．また，{\finalm}では，「いいですね」のような肯定的な表現が出現しているものの，「しました」，「置きました」などの図形操作を示す表現がより多く見られる．一方，{\finfail}では，肯定的な評価や図形操作に関する表現は見られず，「どうしますか」や「眺めている」 など，意図が曖昧な表現が多く見られた．\hl{これらの結果から，対話において自身の理解や行動を伝えるための評価表現，共感，具体的指示が出現している場合，共通基盤が構築できている傾向にあると考えられる．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{02table06.tex}%
\hangcaption{課題の成否で分類した各対話において統計的に有意に出現する上位5つの対話行為．``**''は$p<.01$，``*''は$p<.05$を表す．}
\label{tab:da}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tab{da}に，課題の成否で分類した各対話において統計的に有意に出現する上位5つの対話行為を示す．対話行為として，\citeA{meguro11}が提案したラベルセットを利用し，各発話に対して自動的にラベルを付与することで検定を行った．\hl{推定精度は45\%，人手のアノテータ間の単純一致は59\%と報告されており\cite{higashinaka14}，得られる推定結果は妥当と考えられる．}ラベルセットには，33種類（例：自己開示：話者の好みや感情の開示，情報提供：客観的情報の伝達，共感・同意：共感的な発話や賞賛）の対話行為が定義されている．ラベルの推定には\citeA{higashinaka14}において学習されたサポートベクトルマシンに基づく分類器を利用した．また，\tab{phrases}と同様に，フィッシャーの正確確率検定を利用した．この表から，{\finsuc}では，ポジティブな評価を表す自己開示，感謝，共感など，相手を肯定する表現が多く出現していることが確認できる．{\finsuc}と同様に，{\finalm}でも共感を示す表現が多く出現しており， また，評価に関する質問が多く出現している．{\finfail}では，情報提供や挨拶など，{\finsuc}や{\finalm}とは異なる対話行為が多く見受けられる．評価に関連する表現も出現するが，その内容はネガティブなものである．\hl{これらの結果から，\tab{phrases}に示した言語表現の結果同様，対話において肯定的な評価や話者の理解を伝える共感，同意を示す発話が出現している場合，共通基盤が構築できている傾向にあると考えられる．}

上記で述べた言語表現の調査では，述語や対話行為などの言語現象のみに焦点を当ててきた．さらなる調査として，言語現象（以降，対話行為を対象とする）と{\cgscore}の双方の遷移を組み合わせて分析することで，対話の大局的な構造と共通基盤構築の関係性や，どのような対話行為が共通基盤構築に大きく寄与するかを定量的に明らかにできる可能性がある．このために，対話行為の遷移をモデル化する手法として，状態数が未知の系列における構造を学習する手法であるHMMを利用し，対話のモデル化を行った\cite{rabiner86}．実装として，HMMの学習と推論が可能なライブラリであるHMMlearn\footnote{\url{https://github.com/hmmlearn/hmmlearn}}を使用した．HMMの学習方法は，\citeA{meguro13}に準じ，具体的には，エルゴードHMM（遷移先の次の状態から前の状態にも戻ることができるHMM）における半数の状態集合から特定の話者（例えば話者A）の対話行為のみを出力し，残りの半数の状態集合から他方の話者（例えば話者B）の対話行為を出力するよう初期化し，学習を行った．このとき，状態数は1～10
とし，各状態数において10個のHMMを学習することで，計100個のHMMを作成した．作成したHMMから，最適なHMMをMinimum Description Length (MDL) 基準で選択することで，対話の最終的なモデルを決定した．

\fig{hmm}に，{\finsuc}における対話，および，{\finfail}における対話に含まれる対話行為の系列から学習されたHMMを示す．なお，{\finalm}は{\finsuc}と同様のHMMが構築されたため省略している．各状態において，`A'と`B'は二名の話者を表しており，また，該当話者による対話行為のうち観測確率の高いもの（観測確率が0.1以上のもの）が列挙されている．状態間のエッジに付与されている`p'は遷移確率を表し，辺の太さに相当する．また，`d'は遷移における{\cgscore}の差の平均を表しており，下記の式で定義される，隣接する二つの状態に含まれる各対話行為のペアにおける{\cgscore}の差を出現確率で重み付けして計算した値である．
\[
d(s_i, s_j) = \sum_{o_k \in s_i}{\sum_{o_l \in s_j}{p(o_k | s_i)p(o_l | s_j)f(o_k, o_l)}}
\]
$s_i$はHMMモデルの状態$i$，$o_k$は各状態における観測である対話行為，$p(o_k | s_i)$は状態$s_i$における対話行為$o_k$の観測確率を表す．また，$f(o_k, o_l)$は{\corpusname}全体において，対話行為が$o_k$と分類された発話の直後に，対話行為$o_l$の発話が出現したときの，{\cgscore}の平均変化量を表す．すなわち，あるエッジの`d'（{\cgscore}の差）が小さい値（負の値）である程，そのエッジで遷移する二つの状態の間で共通基盤の構築が進んでいることを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f8.pdf}
\end{center}
\hangcaption{対話行為の系列から学習されたHMMモデル．左側は課題の結果が{\finsuc}の対話，右側は課題の結果が{\finfail}の対話に対応する．`A'と`B'は二名の話者を表し，エッジ上の`p'は遷移確率，`d'は{\cgscore}の差分（平均値）を表している．エッジは遷移確率`p'が高いほど太くなっている．また，{\cgscore}の差分`d'の値が小さい値（負の値）である程，共通基盤の構築が進んでいることを表す．}
\label{fig:hmm}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

二つのHMMから，これらの対話の構造は全く異なるものであり，{\finfail}の対話よりも{\finsuc}の対話の方が複雑な構造を持つという傾向が確認できる．二つのHMMの間で共通する構造として，挨拶に関する状態のペア（両HMMの状態1と状態2），および，情報・共感に関する状態のペア（両HMMの状態3と状態4）が見られる．すなわち，基本的にはどちらの対話もお互いによる挨拶から始まり，その後，互いの情報提供に進むと考えられる．また，二つのHMMの間で異なる構造として，共感・同意やポジティブな評価の自己開示に関する状態のペア（成功の場合のHMMにおける状態5と状態6）は，成功の対話のみに見られ，失敗の対話には見られない．エッジ上の`d'の値（共通基盤構築の進捗を表すもの）に着目すると，この共感・同意やポジティブな評価の自己開示のペアの間のエッジが最も小さい値 ($-0.15$) になっており，特に共通基盤の構築が進んでいるとみなせる．

ここまで述べてきた三種類の分析（頻出する述語の分析，頻出する対話行為の分析，対話行為と{\cgscore}を用いたモデル化）の結果をまとめる．{\taskname}において共通基盤の構築に成功した対話では，共感や同意の発話，および，評価に関する自己開示の発話が多く出現する傾向が見られた．これらの発話を通じて，作業者が自身の理解を伝えたり，相手の発話や配置に対する肯定的な評価を伝えたりする言語表現が見られた．\hl{特に，共感や同意の発話を伝える際に，図形配置間距離が最も低下する（共通基盤の構築が進む）傾向があることから，これらの発話を行っている場合，共通基盤が構築できている傾向にあると考えられる．}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{図形配置間距離の推定}

ユーザと共通基盤を構築可能な対話システムの実現の第一歩として，作業者の間で構築された共通基盤の程度を自動で推定する問題に取り組む．ユーザと共同作業を行うことができる対話システムは，過去の対話，および，自身の課題の状況に基づいて，ユーザとの間でどの程度共通基盤が構築できているかを把握しながら課題を遂行することが望ましい．したがって本研究では，最も基本的な問題として，対話と一方の作業者のレイアウトのみを入力とし，{\cgscore}で表される共通基盤構築の度合いを推定する問題に取り組む．具体的には，対話中のあるタイムステップ$i$において，対話文脈がU$_1$～U$_i$の発話，U$_i$の話者が作業者A（もう一方の作業者はB）であるとする．このとき，対話文脈U$_1$～U$_i$，および，AのレイアウトL$_{A,i}$が与えられたとき，タイムステップ$i$における{\cgscore}$_i$を，Bのレイアウト$L_B$に関する情報なしに推定するというものである．\hl{なお，入力として対話はタイムステップ$i$までの全ての発話を利用するが，画像についてはタイムステップ$i$の画像のみを利用する．}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデルとデータセットの作成}

\fig{model}に，対話と一方の作業者のレイアウトのみから{\cgscore}を推定するモデルを示す．本研究では，テキストおよび画像に関する事前学習済みモデルに基づいて，対話とレイアウトの両方を考慮して目的の出力を得るモデルを採用した\cite{soleymani19}．事前学習済みモデルとして，多様な問題に汎用的に適用できることを期待し，対話からの特徴量抽出にはBERT (Bidirectional Encoder Representations from Transformers) \cite{devlin19} を利用し，レイアウトからの特徴量抽出にはResNet (Residual Network) \cite{he16} を使用した．\citeA{soleymani19}が提案したモデル同様，対話とレイアウトについて，事前学習済みモデルから得られた特徴量を結合し，結合層を通じて混合ベクトルを作成し，再度結合層に入力することで，最終的に{\cgscore}（共通基盤構築の度合い）を示すスカラー値を出力するようにした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f9.pdf}
\end{center}
\hangcaption{対話と一方の作業者のレイアウトのみから{\cgscore}を推定するモデル (\MDialPic)．レイアウトは，話者XがU$_i$を発話した時点のものである．FCは完全連結層を表す．}
\label{fig:model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験設定として，収集した全984対話を8：1：1（それぞれ，学習セット，開発セット，テストセット）に分割した．このとき，同じ作業者ペアが実施した対話がいずれかのセットのみに含まれるようデータを分割した．\hl{入出力を作成する際の手順を述べる．入力については，一つ目の入力として，対話の先頭の発話U$_1$からある発話U$_i$までの文脈を取得する（図9左上の対話に対応）．二つ目の入力として，U$_i$が発話された時点でのU$_i$の話者のレイアウトを取得する（図9左下の配置画像に対応）．出力については，U$_i$が発話された時点での図形配置間距離を計算する（図9右の図形配置間距離に対応）．このとき，図形配置間距離はmin-max正規化を用いて0から1の値に正規化した．}学習済みモデルとして，huggingface/transformerにおける，日本語用のBERT-baseのモデルを利用し\footnote{\url{https://huggingface.co/cl-tohoku}}，また，torchvisionにおけるResNet-18のモデルを利用した\footnote{\url{https://pytorch.org/vision/stable/models.html}}．モデルを学習する際には損失関数として平均二乗誤差 (MSE) を利用し，最適化器として Adam \cite{kingma14} を用いて，学習率を$2\mathrm{e}-5$に設定して学習を実施した．

モデルが利用する対話とレイアウトの情報の有効性を調査するために，\hl{5}種類のモデル (\hl{{\MBase}，}{\MBaseX}，{\MDial}，{\MPic}，{\MDialPic}) を用意した．\hl{{\MBase}は，一定値（学習セットにおける図形配置間距離の平均値）を出力するベースラインである．{\MBaseX}は，学習セットにおいて正規化した各ステップにおける平均値を出力するベースラインである．}{\MDial}，および， {\MPic}は，対話またはレイアウトの一方のみを入力とするモデルである．{\MDialPic} は， \fig{model}で示した対話とレイアウトの両方の情報を考慮したモデルである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価結果}

\tab{mse}に，対話とレイアウトから推定した{\cgscore}のMSEを示す．
\pagebreak
Steel-Dwassの多重比較\cite{dwass60}において，{\MDialPic}のMSEが有意に最も小さく ($p<.05$) ，対話とレイアウトの双方を考慮したモデルの有効性が確認できた．{\MDialPic}に比べ，{\MDial}，および，{\MPic}の性能が低くなっている．これは，対話の内容とレイアウトの双方の情報に基づいて推定を行うことで，対話やレイアウト等の単一の情報のみで推定を行うよりも，共通基盤の構築が進んだか否かをより正確に推定できることを示す．この結果から，共通基盤が構築された程度を推定しながらユーザと{\taskname}を行う対話システムを構築するにあたって，本研究で収集した共通基盤の構築過程（対話とレイアウトの情報）が有用であると考えられる．\hl{また，LayoutはMean-Baselineよりも有意に性能が低く，レイアウトの情報のみから図形配置間距離の推定を行うことは難しいことが確認できる．なお，データセットを異なるランダムシードで再度分割し実験を行ったところ，同様の結果が得られることを確認した．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{02table07.tex}%
\hangcaption{与えられた対話とレイアウトから推定された図形配置間距離と真の図形配置間距離の平均二乗誤差(MSE)．添え字は，Steel-Dwassの多重比較において，添字が付与されているスコアが添字のモデルのスコアより有意に良い ($p<.05$) ことを示す．}
\label{tab:mse}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以降，誤り分析として，推定が適切または適切でない対話の特徴，および，その要因を考察する．これらの対話に共通する特徴を調査するにあたって，{\MDialPic}におけるMSEが最大となった対話，および，最小となった対話を計10対話ずつ（図中の4対話を含む）を抽出し，著者らが人手で対話と各作業者のレイアウトを確認した．

\fig{erranalysis}に，図形配置間距離の推定値と真の値を対話ごとにプロットした図を示す．また，\fig{dialogues}に，\fig{erranalysis}に対応する各対話を示す．各プロット上の番号はコーパス中の対話のIDを示す．\fig{erranalysis}と\fig{dialogues}において，左の2対話はモデル ({\MDialPic}) の推定値と真の値のMSEが最小のもの（推定が適切に行えたもの）を表し，右の2対話はMSEが最大のもの（推定が適切に行えなかったもの）を表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f10.pdf}
\end{center}
\hangcaption{図形配置間距離の推定値と真の値の対話ごとのプロット．左の2対話はモデル ({\MDialPic}) の推定値と真の値のMSEが最小のもの（推定が適切に行えたもの）を表し，右の2対話はMSEが最大のもの（推定が適切に行えなかったもの）を表す．}
\label{fig:erranalysis}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 11
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia2f11.pdf}
\end{center}
\caption{\fig{erranalysis}に対応する各対話の抜粋}
\label{fig:dialogues}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各対話について概略を述べると，MSEが最小となった一つ目の対話``73-2''では，具体的な図形配置を指示する表現とそれを承認する表現が少ない．そのため，図形配置間距離が十分に低下しないという過程をモデルが正しく推定できていたと考えられる．MSEが最小となった二つ目の対話``137-1''では，具体的な指示とその承認が頻出している．すなわち，図形が規則的に配置されていく過程を対話とレイアウトに基づきモデルが正しく推定できたと考えられる．対話例に示した``73-2''と``137-1''の発話を比較すると，``137-1''の対話の方が各発話の内容が具体的であることが確認できる．\hl{MSEが最大となった対話は，図7で示した図形配置間距離のクラスタリング結果におけるクラスタ4に見られるような，図形をグルーピングし作業を行う対話であった．具体的には，}MSEが最大となった一つ目の対話``125-3''では，図形をグループ（目，鼻，口など）に分け，個々のグループでレイアウトを合わせるものの，最後までグループ間のレイアウトに齟齬が生じており，その齟齬を推定することができていなかったと考えられる（具体的には，右目と左目の図形全体が入れ替わっていた）．MSEが最大となった二つ目の対話``131-4''では，同様にグループ分けを行ってグループ内のレイアウトを決定し，最後にグループ間のレイアウト（発話``B19''で言及されている空港等の位置）を合わせていた．そのため，``131-4''同様に，これらのグループごとの基盤化の過程を捉えることができず，推定が正しく行えなかったと考えられる．

以上の図形配置間距離の推定，および，その誤り分析の結果から，傾向として，図形配置間距離の推定が適切な対話では，作業者が図形を一つずつ順に最終位置に移動させている過程が見られ，推定が適切でない対話では，作業者が図形をグルーピングし，グループごとに作業を行っている過程が見られた．図形の位置を一つずつ順に確定させる対話では，対話において理解を示す肯定的な評価や共感の評価が出現したり，レイアウトにおいて図形の配置が規則的（例えば，一直線の配置や隣接した配置）になることで，モデルが図形配置間距離の低下を適切に推定できたと考えられる．一方で，作業者が図形をグルーピングしながら作業を行う対話では，グループ内のレイアウトを一致させた後にグループ間のレイアウトを合わせる複雑な基盤化の過程が見られた．その結果，モデルが基盤化の過程を捉えることができず，図形配置間距離の推定が適切に行えなかったと考えられる．今後の課題として，図形単体のみならず，複数の図形をグループ化した集合を対象として，言語と共に共通基盤を扱う枠組みを検討する必要があると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

\hl{本研究では，共同作業を行う}対話における共通基盤の構築過程を明らかにするために，二名の作業者が対話を通じて共通のレイアウトに図形を配置する共同図形配置課題を提案した．{\taskname}において，二名の作業者のレイアウトにおける図形配置の共通部分をその時点の共通基盤に相当するものとし，対話中の共通基盤が構築される過程を自動的に記録する．コーパスとして，{\taskname}を行った対話を984対話収集した．収集したデータを調査した結果，課題の結果として7つの{\cgpatterns}を発見した．この{\cgpatterns}に基づいて，共通基盤を定量化する方法として{\cgscore}を導入した．\hl{この{\cgscore}の遷移に対して時系列クラスタリングを行った結果，共通基盤の構築過程にいくつかのパタンが見られた．}また，課題達成につながる言語現象を対話と{\cgscore}の観点から分析した．\hl{その結果，肯定的な評価や共感が対話中に出現している場合，共通基盤が構築できている傾向にあると考えられる．}また，対話とレイアウトの情報を入力として{\cgscore}を推定する問題に取り組み，対話とレイアウトの双方の情報が推定に有用であることを確認した．

\hl{今後は，共通基盤を扱う上で対話システムが相手の信念を推定できることが重要であるため，対話から次のレイアウト変更の操作を予想する問題に取り組む．最終的には，レイアウト変更や図形配置間距離の推定器を対話システムに組み込むことで，ユーザと共に共同図形配置課題を達成可能なシステムを確立したい．}そのためには，ユーザと共にOneCommonを達成するシステムが参考になると考えられる\cite{fried21}．このとき，5節で述べたグループ化された図形を適切に扱えるよう，言語とグループ化された図形を紐付けて扱う手法を確立することも重要な課題である\cite{saito22}．\hl{図形の配置画像を入力とし，図形配置間距離を推定するモデル (Layout) が手掛かりとする情報の考察も行いたい．}

\hl{本研究では，図形配置間距離が課題の成功，中間，失敗を反映できていることで正当性を確認したが，本数値と共通基盤に関する心象との相関を確認することで，さらなる検証が可能と考えている．本研究では，対話内容の分析にフィッシャーの正確確率検定を利用したが，今後は線形回帰・分類等で特徴量の重みの分析も行いたい．本研究と関連の深い研究として共通基盤を扱った\citeA{bara21}と本研究を比較すると，本論文で述べた課題は実際的ではないと考えられる．今後，より実際の共同作業に近い課題に取り組むことも重要である．}また，本研究ではテキストを介した対話のみを対象にしたが，音声や映像といったマルチモーダルな情報を介する対話における共通基盤の構築過程を明らかにすることも重要な課題である\cite{furuya22}．

本研究で扱った課題は，対話を通じて話者の理解を一致させるという一般的な過程を含んでおり，明らかになった共通基盤構築の過程は他の課題にも適用できると考えている．\hl{具体的には，作業者が対話を通じ共同で課題を達成する状況，かつ，作業者が課題を独立に行い，その課題の状態の定量化が可能なもの（例えば，グラフィカルな要素を含むもの）であれば，作業者間での課題の状態の一致度を定義することができるため，本論文のデータ収集手法，および，分析手法が適用できると考えられる．}今後，他の課題でも同様の調査を実施し，本研究で得られた知見の一般性を検証していきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文の一部は，The 13th Language Resources and Evaluation Conference (LREC2022) で発表したものです\cite{mitsuda22}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{02refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{光田　　航}{%
2013年東京工業大学情報工学科卒業．2015年同大学大学院情報理工学研究科修士課程修了．2021年筑波大学大学院システム情報工学研究科博士課程修了．2015年から2023年まで日本電信電話株式会社研究員．2023年よりrinna株式会社Applied Scientist．自然言語処理，対話システムの研究開発に従事．言語処理学会会員．博士（工学）．
}

\bioauthor{東中竜一郎}{%
2001年慶應義塾大学大学院政策・メディア研究科修士課程，2008年博士課程修了．2001年日本電信電話株式会社入社．2020年より，名古屋大学大学院情報学研究科教授．NTT人間情報研究所客員上席特別研究員．慶應義塾大学環境情報学部特別招聘教授．2004年から2006年まで英国シェフィールド大学客員研究員．質問応答システム・対話システムの研究に従事．人工知能学会，言語処理学会，情報処理学会，電子情報通学会各会員．博士（学術）．
}

\bioauthor{大賀　悠平}{%
2020年千葉大学情報画像学科卒業．2022年筑波大学大学院システム情報工学研究科修士課程修了．2022年日本電信電話株式会社入社．自然言語処理，文書画像処理に関する研究開発に従事．
}

\bioauthor{吉田　　仙}{%
1995年東北大学大学院情報科学研究科博士前期課程修了．1995年から2022年まで日本電信電話株式会社，2003年から2007年まで西日本電信電話株式会社．2022年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社）．現在，自然言語処理の応用業務に従事．情報処理学会，人工知能学会各会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate

\end{document}

