\documentclass[japanese,tombow,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{url}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{arydshln}
\usepackage{color}
\usepackage{pifont}
\newcommand{\cmark}{{\color{green}\ding{51}}}
\newcommand{\xmark}{{\color{red}\ding{55}}}



\Volume{28}
\Number{1}
\Month{March}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{259}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{言語返答と非言語返答を有する一人称視覚対話データセット}
\jauthor{亀澤　尚志\affiref{Author_1}}
\etitle{A Visually-grounded First-person Dialogue Dataset \\with Verbal and Non-verbal Responses}
\eauthor{Hisashi Kamezawa\affiref{Author_1}} 

\headauthor{亀澤}
\headtitle{言語返答と非言語返答を有する一人称視覚対話データセット}

\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


\section{はじめに}

本稿では, EMNLP 2020に採択された論文 ``A Visually-grounded First-person Dialogue Dataset with Verbal and Non-verbal Responses'' について解説を行う．
採択論文では, 言語返答と非言語返答を有する一人称視覚対話データセットを提案した．
私たちのデータセットの大きな特徴は, 視線を含む一人称の視覚情報と言語的かつ非言語的な返答がアノテーションされている点である．
実世界の対話では, 相手の意図を理解するために, 相手がどこにいるのかや何に注意を払っているのかという一人称の視覚情報が重要である．
また, 微笑むといった非言語的な返答も人とのコミュニケーションにおいて重要な役割を果たす．
本解説記事では, どのように論文公開・採択まで至ったかについて採択論文の内容の説明を加えながら, 時系列で紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{テーマ決め}

多くの新入生がテーマ決めに難航するように, 私も最初に取り組む研究テーマを決めるのに苦しんでいた．
特に私は修士で専攻を変えており, 学部時代も卒業論文を書かずに卒業したのでほぼゼロからのスタートであった．
研究室配属から約2ヶ月経ったころ, 研究テーマを決めあぐねている私に対して研究室の先輩が, 「共同研究でテーマをもらって研究の1サイクルを回してみるのもいいんじゃない」と声をかけてくれた．
幸いにも所属する研究室ではいくつかの共同研究があったのでその中から興味があるテーマを選ぶことができた．
そのテーマがマルチモーダル対話である．
対話というとチャットボットのようにテキストのみが使われるケースが多いが, 音声や画像・映像などの複数のモダリティを組み合わせた入出力を扱うのがマルチモーダル対話システムである．
共同研究先のヤフー株式会社が作成していたデータセット（VFDデータセット）では, 対話文のテキストのみではなくロボットなどの視覚を持つ対話エージェントを想定した一人称視点の画像と対話相手の視線の位置を有している．
また, 対話文の返答は言語返答だけでなく非言語返答もアノテーションされている点がユニークである．
VFDデータセットは, (1)エージェントの一人称画像, (2)画像中の話者の発話, (3)話者の視線の位置, (4)エージェントの言語返答と非言語返答を有する．
既存のGazeFollowデータセット \cite{recasens2015they}の視線位置を含む一人称画像に対して, クラウドソーシングを用いて, 画像内の話者の発話とエージェントの言語および非言語返答をアノテーションした．
数としては約3万4千枚の一人称画像に対して, 約30万個の言語返答と8万個の非言語返答がアノテーションされている．
VFDデータセットの一例を図~\ref{fig:example}に示す．
この例を見ても分かるように, 対話エージェントは一人称画像が無いと, 話者の発話の代名詞「これ」が, 他の商品（例えば茶色の服）ではなく, 黄色の服の商品を指していることを認識するのが難しい．
このデータセットを共有していただいた2019年12月に私は新しいマルチモーダル対話データセットの提案を行う研究を開始した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-1ia102f1.pdf}
\end{center}
\hangcaption{提案したVFDデータセットの例．U, V, NはそれぞれUtterance, Verbal response, Non-verbal responseを示す．}
\label{fig:example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{大枠の作成}

まず返答生成のタスクで, テキストのみを使った場合に比べて画像や視線の情報を加えるとより自然な返答が出力されるのか簡単に予備実験を行ってみた．
シンプルなSeq2Seqモデルで実験した結果, 比較的短く無難な返答が生成される問題が発生した．
生成結果は良好ではなかったが, 現段階の定量的なスコアを数値で出す必要があると感じ, 当時評価指標にあまり詳しくなかった私はBLEUスコアを出してみた．
ここまでの進捗結果を研究室内ミーティングで共有したところ, 雑談対話タスクの評価でBLEUは適していないので他の自動評価尺度を探した方が良いとの指摘を受けた．
評価指標について先行研究を調べてみると雑談対話のタスクを自動で評価するのは難しいことが分かってきた．
機械翻訳であればBLEU, 要約であればROUGEといった自動評価尺度が一般に使用されるが, 非タスク志向型の雑談対話では事実上標準の自動評価尺度は存在しない．
予備実験の段階だったので別のタスク, 返答選択タスクを次に試すことにした．
選択タスクでは一つの正解を含む返答候補の中から正解文を正しく選ぶことができるかを測る．
自動評価尺度としては, Ubuntu対話コーパス \cite{lowe2015ubuntu}で用いられていたRecall@kという指標を使用できた．
予備実験において画像, そして視線のモダリティを加えることで精度が向上したので, 返答選択タスクの実験を論文に載せることに決定した．

最終的に論文に掲載した定量的な評価を表~\ref{tab:result_score_comparison}に, 定性的な評価を図~\ref{fig:result}に示す．
数値結果を見ると, 一人称画像は言語および非言語返答の選択性能を最大5.6ポイント向上させる（U vs U+Iを参照）．
視線の位置は最大1.4ポイントまで性能をさらに向上させる（U+I vs U+I+G参照）．
これらの結果は, エージェントの視線付き一人称視点の視覚情報が人間の意図を理解する上で有効であることを示している．
図~\ref{fig:result}に示す個別の例では, 発話のみを使用した場合, 代名詞「これ」が何を指しているのか理解できていない．
画像情報(U+I)を使うと, モデルは画像の中の人間の顔に誤って焦点を合わせてしまい, 「面白い顔だね」と反応してしまう．
視線の位置(U+I+G)を使うことで, モデルは発話者がリンゴに注目していることを理解し, 正しい返答を選択することに成功する．
ベースラインモデルで予備実験を完成させ, 上記の様な実験結果を一通り出したのが2020年2月中頃であった．
論文執筆経験が無いとはいえ春休みで十分に時間が取れることから4月上旬締切のCOLING 2020への投稿を目指して論文執筆を開始した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\setlength{\tabcolsep}{0.4em}
\begin{center}
\begin{tabular}{|lll||cccc|cccc|}
\hline
& \multicolumn{2}{c||}{Encoders} & \multicolumn{4}{c|}{Verbal Response} & \multicolumn{4}{c|}{Non-verbal Response} \\ \cline{4-11}
Input & Text & Image & $R_{10}@1$ & $R_{10}@2$ & $R_{10}@5$ & $R_2@1$ & $R_{10}@1$ & $R_{10}@2$ & $R_{10}@5$ & $R_2@1$ \\ \hline
U & BERT & \multicolumn{1}{c||}{-} & 50.1 & 67.4 & 89.7 & 84.3 & 42.3 & 60.1 & 86.2 & 80.6 \\
U+I & BERT & VGGNet & 52.7 & 71.1 & 91.9 & 86.1 & 44.8 & 65.7 & 89.7 & 82.6 \\
U+I+G & BERT & VGGNet & {\bf 53.6} & {\bf 72.1} & {\bf 92.5} & {\bf 86.6} & {\bf 46.2} & {\bf 66.3} & {\bf 90.7} & {\bf 82.9} \\
\hline
\end{tabular}
\end{center}
\hangcaption{ベースラインモデルの言語・非言語返答選択問題での比較結果．U, I, Gは, それぞれ入力にUtterance, Image, Gazeを使用していることを示す．}
\label{tab:result_score_comparison}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{28-1ia102f2.pdf}
\end{center}
\hangcaption{ベースラインモデルにより選択された言語返答と非言語返答の例．U, VはそれぞれUtterance, Verbal responseを, U, I, Gは, それぞれ入力に発話, 画像, 視線位置を使用していることを示す．V*はリファレンスの返答である．正解は\cmark, 不正解は\xmark でマークした．}
\label{fig:result}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{締切延期からの詰め}

4月上旬締切に向けて着々と進めていき, 締切2週間前には論文を約8割方埋めることに成功していたが, かなり荒削りで完成にはまだまだ時間が必要だった．
締切が近くなったとき, COLINGの約2ヶ月の締切延長が通知された．
COVID-19の影響で現地開催が危ぶまれる中, 本会議の日程を後ろにずらことで現地開催に望みを繋いだ結果であった．
EMNLPの締切の方が早く来るので共著の方々と相談の上, 6月初旬のEMNLPへの投稿を目指すことに方針を変更した．
改めて注意深く論文全体を見直したところ, 関連研究の調査が甘いことが発覚した．
それまで我々のVFDデータセットはマルチモーダル対話という分野で先行研究が無いため新規性があると思い込んでいたのだが, よくよく調べてみると先行研究は存在した．
例えば, 画像中の視覚的感情や表情, シーン特徴を用いた対話エージェントを開発した研究 \cite{huber2018emotional}や, 公開データセットとして画像に基づいた対話をアノテーションした研究 \cite{mostafazadeh2017image}がすでに提案されていた．
今一度, 共著の方々とVFDデータセットの売り出し方について議論した結果, 一人称視点を強調することに決まった．
既存のマルチモーダル対話の研究では画像は対話のトピックとして与えられており, 対話エージェントが画像中の人物と話す状況を想定したものではなかった．
VFDデータセットに最も近いIGCデータセット \cite{mostafazadeh2017image}と比較する．
図~\ref{fig:comparison}はVFDデータセット（上）とIGCデータセット（下）を比較したものである．
IGCデータセットでは, 対話の話題として画像を用いており, 話者はエージェントの視界には現れない．
一方, 我々のVFDデータセットでは, 画像はエージェントの一人称視点であり, 画像内の話者と対話する状況を想定している．
当初投稿を予定していた会議の締切延長の通知を受けてからの約2ヶ月で中身を充実させ何度も推敲したことで論文の完成度を高めることができた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{28-1ia102f3.pdf}
\end{center}
\hangcaption{VFDデータセット（上）とIGCデータセット（下）の比較．U, V, NはそれぞれUtterance, Verbal response, Non-verbal responseを示す．}
\label{fig:comparison}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

はじめにの章で話したように, 私は研究や論文執筆の経験が全くなかったため, 共同研究のテーマで修士の研究をスタートした．
共著の皆さんの大きな支えがあり, 着手してから約半年で論文を投稿し研究の1サイクルを早めに回すことができた．
私は現在, 対話とは異なる別の自然言語処理のタスクの研究を行っているが, EMNLPへの論文投稿・採択の経験がとても役に立っていると感じる．
EMNLPで発表した論文では, データセットの紹介に重きを置いているため, ベースラインモデルはシンプルなものになっている．
視線の位置情報の扱い方や複数モダリティの結合の仕方など工夫できる点は多くある．
また, 返答選択タスクだけではなく生成タスクにおいても複数モダリティが役に立つのか確かめる意義はある．
VFDデータセットに少しでも興味をお持ちいただけたら公開URL\footnote{\url{https://github.com/yahoojapan/VFD-Dataset}}からぜひチェックしてみてほしい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{22refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{亀澤　尚志}{%
2017年慶應義塾大学経済学部卒業．東京大学大学院情報理工学系研究科修士課程在籍中．
}

\end{biography}



\end{document}



