\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks
\newcommand{\hyp}{-}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{4}
\Month{December}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1322}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{マルチモーダル対話コーパスHazumi}
\jauthor{駒谷　和範\affiref{Author_1} \and 岡田　将吾\affiref{Author_2}}
\etitle{Multimodal Dialogue Corpus Hazumi}
\eauthor{Kazunori Komatani\affiref{Author_1} \and Shogo Okada\affiref{Author_2}}

\headauthor{駒谷，岡田}
\headtitle{マルチモーダル対話コーパスHazumi}

\affilabel{Author_1}{大阪大学 産業科学研究所}{SANKEN, Osaka University}
\affilabel{Author_2}{北陸先端科学技術大学院大学}{Japan Advanced Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

大阪大学マルチモーダル対話コーパスHazumiを収集し，
国立情報学研究所 情報学研究データリポジトリ
(NII-IDR)\footnote{\url{https://www.nii.ac.jp/dsc/idr/rdata/Hazumi/}}\cite{大須賀22}
とGitHubにて公開している．
このコーパスには，
一般から募集した実験参加者と，Wizard-of-Oz (WoZ)方式で
動作するエージェントとの間の，
のべ214人分の雑談が収録されている．
1対話はおおよそ15分から20分程度である．
対話中の実験参加者の様子を複数のセンサを用いて収録し，
交換と呼ぶ単位ごとに複
数アノテータによる多様なアノテーションを付与した．対話単位でも，
実験参加者の性格特性や，事前事後のアンケート結果を収集している．
また，簡便に機械学習の実験が可能となるよう，マルチモーダルデータから特徴量を抽出した
ファイルも公開している．



対話は自然言語を使用した他者とのやりとりであるため，
言語情報やそれを伝える音声は重要な役割を担う．
しかしながら
言語以外の要素も対話を構成する重要な要素である．
とりわけ，
話すこと自体が目的とされる
雑談では，
言語以外の情報，
つまり
表情や韻律などから，相手の意図や態度，感情を読み取ることの重要性が増す．
本稿では，言語情報以外の情報も扱う対話をマルチモーダル対話と呼ぶ．

Hazumiには6つのバージョンがある．
バージョンを表す数字4桁は，収集開始年月（西暦の下2桁と月）を示す．
なお，Hazumiという名前は，話を弾ませることができる対話システムを作りたいという願
いから名付けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{設計・特徴}
\label{sec:design}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人とシステムとの対話}

「システムと話す」人のデータを収録した．
マルチモーダル対話コーパスは，人どうしの対話を
収録したものが多い\cite{janin03,carletta07,busso08}．
しかしながら，
対話システムに対するユーザのふるまいは，
\pagebreak
人どうしで対話をする場合
とは大きく異なる．
したがって，多様なユーザを想定した実用的な対話システムの設計や，システム
に対する人のふるまいを分析・学習するには，
人対人ではなく，人対システムの対話データが必要である\footnote{
ただしその人のふるまいは，データ収集に用いたシステムやその性能に影響される点
に注意は必要である．
}．

Hazumiの収集では，
システムはWoZ方式で動作させた．
つまり別室にいる人間のオペレータ (Wizard)\footnote{
Hazumi1712では2名の学生が，Hazumi1902以降では全て同じ1名が，Wizardとして
システムを操作した．
}がエージェントを操作し，
対話を行った．
多様な実験参加者に対して十分に安定して動作するマルチモ
ーダル対話システムがなかったため，WoZ方式とした．
対話相手となるエージェント（インタフェース）には
MMD-Agent\footnote{\url{http://www.mmdagent.jp/}}を用いた．
人間のオペレータがエージェントを操作していることは，
収録の間は実験参加者に開示せず，
収録の終了時に開示した．



タスクは雑談とし，
Wizardは基本的に実験参加者が対話を楽しんでいる時間が長くなる
ように発話を選択した．
Hazumi1712のみ，
興味のある話題とない話題を3つずつ設定し，
それらの話題を一定時間継続するようWizardに指示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ユーザを収録対象}

システムと話す人のふるまいを得ることを目的として，実験参加者から顔の映像
を含むマルチモーダルデータを収録した．
マルチモーダル対話には，
対話相手であるユーザを観測対象とするものと，話題の対象（例えば買い物中の
対話での商品）を観測対象と
するものがある．
Hazumiは前者であるが，後者の一例としてSIMMC \cite{kottur21}などがある．

実験参加者には，
このシステムとの対話が初めてである人を一般から募集した．
これはこのシステムを知らないユーザのふるまいを得るためである．
一般ユーザがシステム開発者の期待通りにふるまうことはほぼない．
ただしHazumi2105では，一度収録に参加した者を募った．


実験参加者に対して，例えば感情を強く表出するよう演じさせる等の教示は行っていない．
感情ラベルが付与された対話データとして有名なIEMOCAP\cite{busso08}は，人
どうしの対話で，役者が感情を表出するように指示されて，シナリオを演じたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{収集データ}
\label{sec:data}

対面とオンラインで収集したデータの概要を，それぞれ表\ref{tab:summary}と表
\ref{tab:summary-online}に示す．
対面収録とオンライン収録での設定の最大の差異は，
使用したセンサである\footnote{2020年度以降コロナ禍により対面でのデータ収集は困難となったため，オンライン収録に移行した．生体信号を含む多様なセンサによる収録や，実験参加者本人による本人心象アノテーションは，Hazumi1911の特長であったが，オンライン収録では収録手続きの複雑さを減らすため，残念ながら断念した．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[p]
\scalebox{0.9}{%
\begin{tabular}{c|c|c|c} \hline
& Hazumi1712 & Hazumi1902 & Hazumi1911 \\ \hline\hline
収集時期
& 2017年12月 & 2019年2月開始 & 2019年11月開始 \\ \hline
\multirow{2}{*}{\shortstack{Wizardへの\\指示}}
& 雑談 & \multicolumn{2}{c}{雑談} \\ 
& 興味あり3話題となし3話題 & \multicolumn{2}{c}{「実験参加者が対話を楽し
  む時間が長くなるように」} \\ 
\hline
\multirow{2}{*}{参加者}
& 29名（男性14女性15）& 30名（男性10女性20） & 30名（男性15女性15） \\ \cline{2-4}
& 20代～50代 & \multicolumn{2}{c}{20代～70代} \\ \hline
1対話の長さ
& \multicolumn{3}{c}{15分～20分} \\
\hline
交換数 & 2,422 & 2,514 & 2,859 \\ 
\hline
\multirow{4}{*}{センサ}
& \multicolumn{3}{c}{実験参加者のビデオ（顔＋上半身）} \\
& \multicolumn{3}{c}{Microsoft Kinect収録データ（深度，姿勢，音声）} \\ \cline{2-4}
& --- & \multicolumn{2}{c}{エージェントのビデオ} \\ \cline{2-4}
& \multicolumn{2}{c|}{---} & 生体センサ (Empatica E4) \\ 
\hline
\multirow{5}{*}{\shortstack{\\交換ごとの\\アノテーション}}
& 興味度（3段階；3 or 6名） & \multicolumn{2}{c}{---} \\ \cline{2-4}
& \multicolumn{3}{c}{第三者による心象（7段階；5名）} \\
& \multicolumn{3}{c}{第三者による話題継続（7段階；5名）} \\ \cline{2-4}
& --- & \multicolumn{2}{c}{実験参加者本人による心象（7段階）} \\ \cline{2-4}
  & \multicolumn{3}{c}{システム発話，システム発話の対話行為，実験参加者
  の発話の書き起こし} 
\\ \hline
\multirow{4}{*}{\shortstack{\\対話ごとの\\ アンケート}}
& \multirow{2}{*}{---} & \multicolumn{2}{c}{実験参加者本人による事前・事後アンケート（8段階；18項目）} \\
& & \multicolumn{2}{c}{Wizardによる事前・事後アンケート（8段階；3項目）} \\ \cline{2-4}
& \multicolumn{2}{c|}{---} & 性格特性 (TIPI-J) \\ 
& \multicolumn{2}{c|}{---} & 人間による操作に気づいたか \\ \hline
\end{tabular}
}%
\caption{対面収録3バージョンの概要\protect\cite{komatani21acii}}
\label{tab:summary}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[p]
\begin{center}
\scalebox{0.9}{%
\begin{tabular}{c|c|c|c} \hline
& Hazumi2010 & Hazumi2012 & Hazumi2105 \\ \hline\hline
収集時期
& 2020年10月開始 & 2020年12月開始 & 2021年5月開始 \\ \hline
\multirow{2}{*}{\shortstack{Wizardへの\\指示}}
& \multicolumn{3}{c}{雑談} \\ 
& \multicolumn{3}{c}{「実験参加者が対話を楽しむ時間が長くなるように」} \\ 
\hline
\multirow{3}{*}{参加者}
& 33名（男性17女性16）& 63名（男性29女性34） & 29名（男性14女性15） \\ \cline{2-4}
& \multicolumn{3}{c}{20代～60代} \\  \cline{2-4}
& \multicolumn{2}{c|}{---} & 実験参加2回目の参加者 \\ 
\hline
1対話の長さ
& \multicolumn{3}{c}{15分～20分} \\
\hline
交換数 & 2,798 & 5,334 & 2,235 \\ 
\hline
\multirow{1}{*}{センサ}
& \multicolumn{3}{c}{Zoom収録ビデオ（実験参加者とエージェントを並置）} \\
\hline
\multirow{3}{*}{\shortstack{\\交換ごとの\\アノテーション}}
& \multicolumn{3}{c}{第三者による心象（7段階；3名）} \\
& \multicolumn{3}{c}{第三者による話題継続（7段階；3名）} \\ \cline{2-4}
& \multicolumn{3}{c}{システム発話，システム発話の対話行為，実験参加者の発話
  の書き起こし} \\
\hline
\multirow{4}{*}{\shortstack{\\対話ごとの\\ アンケート}}
& \multicolumn{3}{c}{実験参加者本人による事前・事後アンケート（8段階；18項目）} \\
& \multicolumn{3}{c}{Wizardによる事前・事後アンケート（8段階；3項目）} \\ \cline{2-4}
& \multicolumn{3}{c}{性格特性 (TIPI-J)} \\ 
& \multicolumn{3}{c}{人間による操作に気づいたか} \\ \hline
\end{tabular}
}%
\end{center}
\caption{オンライン収録3バージョンの概要}
\label{tab:summary-online}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

利用手続きや，データの仕様，GitHubサイトのURLなど
を含む詳細情報は，NII-IDRのサイト
\url{https://www.nii.ac.jp/dsc/idr/rdata/Hazumi/}
にある．
また個人情報が含まれる映像データやサイズが大きい姿勢データは，NII-IDRから配布
している．
これら以外のデータは全てGitHubサイトからダウンロード可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{使用センサ}
\label{subsec:sensor}

\noindent{\bf 映像データ}
　対話中の実験参加者の上半身の映像を，正面からビデオで撮影した．
Hazumi1902とHazumi1911ではエージェントの映像も別途収録した．
Hazumi2010以降のオンライン収録では，Zoomの画面録画機能により，実験参加者
とエージェントを並べた画面構成で収録した．


\noindent{\bf 姿勢データ}
　対面収録の3バージョンでは，実験参加者の正面に Microsoft Kinect を配置し，
その深度センサとマイクロホンアレイにより，
実験参加者の音声，深度画像，姿勢を収録した．
深度画像データは，深度カメラからの距離情報が各フレームごとに画像として保存されている．
姿勢データは，各時刻における，実験参加者の25個の関節の3次元位置座標の推
定値である．


\noindent{\bf 生体信号データ}
　Empatica社製のE4 wristbandを
用いて，Hazumi1911では対話中の生体信号データを収録した．
これはワイヤレスのリストバンド型生体センサであり，
皮膚電位データ，容積脈波データ，心拍データ，皮膚温度データ，加速度データ
を測定できる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{交換ごとのアノテーション}
\label{subsec:annotation}

交換を単位として，
様々なアノテーションを付与した．
具体的には，図\ref{fig:exchangeExample}のように，
システム発話開始時刻から，次のシステム発話開始時刻までを一交
換(exchange)とした．
テキスト対話ではエンターを入力するなどして発話の終わりが明示される
のに対して，
音声を用いた対話では発話という単位は自明ではない\cite{駒谷18ieice}．
我々は，システム発話の開始時刻を用いて交換を定義することで，この問題を回避した．
具体的には，Wizardが発話開始ボタンを押した時刻を記録して用いた．
6つのバージョンでの交換の総数は18,162である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia29f1.pdf}
\end{center}
\caption{アノテーションの対象とする区間（交換）}
\label{fig:exchangeExample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各交換には以下のアノテーションを付与した．

\begin{description}

\item[第三者心象]
5名（または3名）のアノテータが，
システム発話を受けて実験参加者がどのように感じているように見える
かを付与した．
主観的印象を表すこの度合を，ここでは心象と呼ぶ．
対話の映像を順に見ながら，
各交換に対して7段階
（1をネガティブ，7をポジティブ）で付与した．
ポジティブの例として，楽しい，話し続けたい，満足などを示し，
ネガティブの例として，楽しくない，話し続けたくない，不満，困惑などを示
した．

\item[話題継続]
5名（または3名）のアノテータが，
自分がシステム役だったとした場合に，実験参加者の発話を聞いた後，
次に話題を変えようと思うかどうかを付与した．
対話のビデオを最初から順に見ながら，
各交換に対して7段階（1が「話題を変える」，7が「この話題を続ける」）で付
与した．

\item[興味度]
現在の話題に実験参加者が興味を持っているように見えるかどうかを
付与した．
興味あり (o)，不明 (t)，興味なし (x)の主に3段階で付与した．
Hazumi1712のみで付与されている．
アノテータは6名または3名である．

\item[本人心象]
実験参加者本人が，
対話終了直後に，
各交換で自分がどう感じていたかを，撮影された映像を見ながら付与した．
尺度は第三者心象と同じ7段階である．
Hazumi1902とHazumi1911でのみで付与されている．
\end{description}

各交換には上記に加え，
実験参加者の発話の書き起こし，
システム発話，システム発話の対話行為も付与されている．
対話行為は簡略化した9種類で，作業者1名で簡易的に付与した．


これらの全てを含むeaf (ELAN
 annotation fomat) ファイルを対話ごとに作成し，
公開している．
ELAN
\cite{wittenburg06}
で
閲覧・分析できる．
画面表示の例を図\ref{fig:ELANexample}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia29f2.pdf}
\end{center}
\caption{ELANでの表示画面の例．交換ごとに複数のアノテーションが付与されている．}
\label{fig:ELANexample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話ごとのアンケート}
\label{subsec:questionnaire}

実験開始前と実験終了後にアンケートを行った．
会話者の対人コミュニケーション認知に関する
18項目\cite{kimura05}を，対話の開始前と終了後に実験参加者に対して尋ねた．
各項目は8段階である．
またWizardも，
この18項目を簡略化した3項目
に対して同様に回答した．

Hazumi1911以降では，対話終了後に，
対話相手のエージェントを人間が操作していたことに気づいた度合と，
各実験参加者の性格特性を調査した．
性格特性の調査には，ビッグファイブ
の5特性を10項目で測定する
日本語版TIPI-J\cite{小塩12}の質問文を利用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験用ダンプファイル}
\label{subsec:dump}

簡便に機械学習の実験が行えるように，マルチモーダルセンサデータの処理結果をダンプした
ファイルも公開している．
対話（実験参加者）ごとのCSVファイルであり，
各行が交換，各列が時刻情報やアノテーション結果，特徴量に対応する．
特徴量は各センサ情報の処理結果であり，韻律，顔表情，動作（対面収録のみ），
言語の各特徴量からなる．
特徴量の詳細は，NII-IDRのサイトにある概要説明ドキュメントやGithubのREADME
を参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{倫理的配慮}

収集したデータは顔画像などの個人情報を含む．
テキストコーパスは単純にWebに置くなどして公開できるが，
個人情報を含むデータを配布するには倫理的配慮が必要である．


データは
同意書に同意した者のみから収集した．
収集したデータを
研究者に対して研究開発目的で配布できることも，同意書に明記されている
\footnote{データ収集の手続きは，大阪大学産業科学研究所 研究倫理委員会の審査を受け，承認を得た．またデータの配布にあたって，別途，配布機関の倫理委員会の承認も必要となる場合がある．}．
データ公開への同意を得る必要があることから未成年者は対象外とした．
また収録したデータの中には，
住所など個人の属性が特定され得る表現を含む発話や，個人の信条嗜好を表明している
発話が一部存在した．
これらの部分に対しては，配布に際して，音声を無音化し，書き起こしテキストを
伏字にするなどした．


上記の倫理的な配慮から，
同意書に記載されている条件を遵守する旨を含む覚書を，
利用者が所属する組織の代表者との間で交わすことにしている．
組織の代表者とされているのは，異動などにより利用者と連絡が取れなくなるリスクを
考慮したためである．
やや慎重な設定であり，利用開始時に手間が必要にはなっているが，
是非多くの方に利用していただきたい\footnote{映像データやKinectの生データを除く，特徴量やアノテーションは，Githubサイトから自由に入手可能である．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

データの配布には，国立情報学研究所 大須賀智子氏にご尽力いただいた．
本研究の始点となった人工知能学会SIG-SLUD研究会「人システム間マルチモーダル対話共有コ
ーパス構築グループ」のメンバー各位に感謝する．
本研究の一部は，JSPS科研費19H05692，19H04171
，および，物質・デバイス領域共同研究拠点
共同研究プログラム
の支援を受けた．

本稿は，日本音響学会誌に掲載された記事\cite{駒谷22asj}を基に加筆・再構成
したものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{29refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{駒谷　和範}{%
1998年京都大学工学部情報工学科卒業．
2000年同大学院情報学研究科知能情報学専攻修士課程修了．
2002年同研究科博士後期課程修了．京都大学博士（情報学）．
同年京都大学大学院情報学研究科助手，同助教，2010年名古屋大学大学院工学研究科准教授を経て，2014年より大阪大学産業科学研究所教授．
言語処理学会，人工知能学会，情報処理学会，電子情報通信学会，ACM各会員．
}

\bioauthor{岡田　将吾}{%
2003年横浜国立大学工学部知能物理工学科卒業．
2005年東京工業大学大学院総合理工学研究科知能システム科学専攻修士課程修了．
2008年同研究科博士後期課程修了．東京工業大学博士（工学）．
同年京都大学大学院情報学研究科特定助教，
2011年東京工業大学大学院総合理工学研究科
助教を経て，2017年より北陸先端科学技術大学院大学准教授．
人工知能学会，電子情報通信学会，ACM, IEEE各会員．
}

\end{biography}




\end{document}



