\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{textcomp}
\usepackage{linguex}
\usepackage{cgloss4e}
%%%%\usepackage{bm}
%%%%\usepackage{here}
%%%%\usepackage{indentfirst}
\usepackage{multirow}
%%%%\usepackage{comment}
%%%%\usepackage{linguex}
%%%%\usepackage{tabularx}
\usepackage{booktabs}
%%%%\usepackage{footnote}
\usepackage{pifont}
%%%%\makesavenoteenv{tabular}
% \usepackage{hyperref}
%%%%\newcommand{\bvec}[1]{\mbox{\boldmath $#1$}}  % ベクトル用太字
%%%%\newcommand{\bs}{$\bigstar$}
\newcommand{\ours}{J-CRe3}
\newcommand{\cmark}{\ding{51}}
\newcommand{\xmark}{\ding{55}}
\renewcommand{\mc}[3]{\multicolumn{#1}{#2}{#3}}
%%%%\newcommand{\blfootnote}[1]{
%%%%  \begingroup
%%%%  \renewcommand\thefootnote{}\footnote{#1}
%%%%  \addtocounter{footnote}{-1}
%%%%  \endgroup
%%%%}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{31}
\Number{3}
\Month{September}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}


\received{2024}{3}{1}
\revised{2024}{6}{1}
\accepted{2024}{6}{6}

\setcounter{page}{1107}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{J-CRe3：実世界における参照関係解決のための \\
	日本語対話データセット}
\jauthor{植田　暢大\affiref{ku}\affiref{riken}\affiref{nec} \and 波部　英子\affiref{riken} \and 松井　陽子\affiref{riken} \and 湯口　彰重\affiref{tus}\affiref{riken} \and 河野　誠也\affiref{riken}\affiref{naist} \and 川西　康友\affiref{riken}\affiref{naist} \and 黒橋　禎夫\affiref{ku}\affiref{riken}\affiref{nii} \and 吉野幸一郎\affiref{riken}\affiref{naist}}
\jabstract{%
実世界で人間を支援するロボットにとって，身体世界を含む状況の理解は重要な課題である．特に対話のような言語を用いたインタラクションを通じて人間との協業を行おうとする場合，ロボットの1人称視点の画像等から得られる情報とインタラクション中の情報における参照関係を適切に紐解かねばならない．本研究ではこうした実世界における，マルチモーダル参照解析タスクを提案し，本タスクのための参照タグ付き実世界対話データセット (J-CRe3) を構築する．本データセットには家庭内における主人とそのお手伝いロボットを想定した2者間の実世界対話動画および音声が含まれる．さらに，対話書き起こしテキスト中のメンションに1人称視点動画におけるフレーム内の物体領域が紐付けられている．この紐付けには直接的な参照関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる．既存のテキスト間の照応解析モデルおよび画像のフレーズグラウンディングモデルを組み合わせた実験を行った結果，今回提案するタスクは，テキスト間の解析に比べテキストと物体間の関係解析が非常に困難で挑戦的な課題であることを示した．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，言語処理学会第29回年次大会 (NLP2023)，言語処理学会第30回年次大会 (NLP2024)，および The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)で発表した論文 (植田 他 2023; 植田 他 2024; Ueda et al. 2024) を和訳し，加筆・修正を行ったものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{実世界対話，照応解析，グラウンディング，1人称視点動画}

\etitle{J-CRe3: A Japanese Conversation Dataset \\
	for Real-world Reference Resolution}
\eauthor{Nobuhiro Ueda\affiref{ku}\affiref{riken}\affiref{nec} \and Hideko Habe\affiref{riken} \and Yoko Matsui\affiref{riken} \and Akishige Yuguchi\affiref{tus}\affiref{riken} \and \\
Seiya Kawano\affiref{riken}\affiref{naist} \and Yasutomo Kawanishi\affiref{riken}\affiref{naist} \and Sadao Kurohashi\affiref{nii}\affiref{ku}\affiref{riken} \and \\
Koichiro Yoshino\affiref{riken}\affiref{naist}}
\eabstract{%
\addtolength{\baselineskip}{-0.25pt}Understanding the situation in the physical world is crucial for robots assisting humans in the real world. Especially, when a robot is required to collaborate with humans through verbal interactions, such as dialogues, the verbal information that appears in user interactions must be grounded in the visual information observed in egocentric views. To this end, we proposed a multimodal reference resolution task and constructed a Japanese Conversation dataset for Real-world Reference Resolution (J-CRe3). Our dataset contains egocentric videos and dialogue audio from real-world conversations between two people acting as a master and an assistant robot at home. It is annotated with crossmodal tags between phrases in the utterances and object bounding boxes in the video frames. These tags include indirect reference relations, such as predicate-argument structures and bridging references as well as direct reference relations. We also constructed an experimental model that combined an existing textual reference resolution model with a phrase grounding model. Our experiments with this model showed that crossmodal reference resolution is significantly more challenging than textual reference resolution in the proposed task.
}
\ekeywords{Real-world Dialogue, Reference Resolution, Grounding, Egocentric Video}

\headauthor{植田，波部，松井，湯口，河野，川西，黒橋，吉野}
\headtitle{J-CRe3データセット}

\affilabel{ku}{京都大学}{Kyoto University}
\affilabel{riken}{理化学研究所}{RIKEN}
\affilabel{tus}{東京理科大学}{Tokyo University of Science}
\affilabel{naist}{奈良先端科学技術大学院大学}{NAIST}
\affilabel{nii}{国立情報学研究所}{NII}
\affilabel{nec}{現所属：日本電気株式会社}{NEC}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

社会の少子高齢化進行に伴い不足する労働人口を補うため，産業界だけでなく，介護といった家庭における支援においてもロボットの活用が進められている \cite{Toyota-ARSO2013}．
このような家庭における汎用生活支援ロボットは，あらかじめ決められた作業を行う産業用ロボットとは異なり，人間と対話などの言語を用いたインタラクションにより協働する能力が求められる \cite{taniguchi-2019-survey}．

人間との共同作業を伴う対話においては物体への参照表現が頻出する．
例えば他人に料理を手伝ってもらう場面では，「まな板の上の人参を切っておいて」や「お皿を運んで」など，材料や食器が頻繁に参照される．
ロボットがこのような参照表現を理解し適切な行動を選択するためには，材料や食器のテキスト上の意味を理解するだけでは不十分であり，実世界において参照している「人参」や「お皿」の実体を知る必要がある．

テキスト中のメンション（mention, 参照表現）が参照している実体を視覚情報，特に画像中の物体矩形の形で特定するタスクはフレーズグラウンディング \cite{kamath2021mdetr,gupta2020contrastive}として知られる．
対話テキストにおけるフレーズグラウンディングを扱ったデータセットとしては，SIMMC 2.1 \cite{kottur-etal-2021-simmc,kottur-moon-2023-overview}が挙げられる．
SIMMC 2.1は，ユーザとアシスタントを想定した2者の対話形式のテキストと，対話場面に対応するCG画像からなるデータセットである．
テキスト中のメンションには，対応する画像中の物体矩形が付与されている．
SIMMC 2.1はCG画像を利用することで大規模なデータ作成を可能とした．
しかし一方で，実世界での活動における物体の移動や操作およびそれに伴う視覚的変化が表現されておらず，実世界への適用には限界がある．
例えば，コップに入っている液体が水かスポーツドリンクかを判断するためには1枚の画像だけでは不十分であり，その液体がどのように注がれたかといった物体操作を含む視覚的文脈が必要である．

加えて，SIMMC 2.1には直接的な参照関係しか含まれていない．
直接的な参照関係とは，テキスト中に出現するメンションとそれが直接指し示す物体の関係である．
例えば，「テーブル」というメンションとそれが指す物体としてのテーブルの関係である．
一方で，テキストの中には「テーブル」という表現が現れず，代わりに「置いといて」といったメンションが間接的にテーブルを参照する場合がある．
本研究ではこれをテキスト間におけるゼロ照応 \cite{sasano-etal-2008-fully}になぞらえてゼロ参照とよぶ．
特に日本語では，主語や目的語が省略されることが多いため，テキストと物体間にこのようなゼロ参照の関係が頻出する．
実世界参照解析のデータセットでは，こうしたゼロ参照が起こるケースの考慮も欠かせない．

こうした課題を踏まえ，本研究では実世界での物体操作を伴う対話においてゼロ参照も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットJ-CRe3\footnote{Japanese Conversation Dataset for Real-world Reference Resolution}を構築する．
本データセットは，2者の実世界における対話シーンにおいて1人称視点動画と対話音声を収録し，音声の書き起こしテキストと動画フレームに対して種々の参照関係を付与したものである．
家庭における支援ロボットへの応用を考え，対話参与者として主人とそのお手伝いロボット役2者の対話が収録されている．
1人称視点動画はロボット役の話者のものである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia10f1.pdf}
\end{center}
\hangcaption{\ours の例．\ours には動画フレームと発話書き起こしテキストに対して，物体矩形，テキスト間照応関係，テキスト・物体間参照関係が付与されている．物体矩形には物体のクラス名とインスタンスIDが付随する．テキスト・物体間参照関係は，メンションが物体を直接指し示す直接的参照関係（図中「=」と表記）と，メンションと物体が述語とその項といった関係で間接的に結びつく間接的参照関係（図中「ガ」「ヲ」「ニ」と表記）に分類される．例えば，「スポーツドリンク」は物体矩形「bottle\_1」と直接的参照関係を持ち，「置いといて」は物体矩形「table\_2」とニ格の間接的参照関係を持つ．}
\label{fig:dataset-overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

構築したデータセットの具体例を図~\ref{fig:dataset-overview}に示す．
1人称視点動画から抽出した画像系列には発話中に参照された物体の物体矩形が付与されている（図~\ref{fig:dataset-overview}左）．
物体矩形には物体のクラス名とインスタンスIDが付与されている．
対話に含まれるそれぞれの発話はテキストとして書き起こされ，メンション間の種々の意味的関係（\ref{sec:textual-reference-resolution}節，\ref{sec:textual-reference-annotation}節参照）が付与されている（図~\ref{fig:dataset-overview}右）．
最後に，発話書き起こしテキスト中の各メンションと動画フレーム中の物体矩形の間に，直接的（図中「=」の関係）および間接的（図中「ガ」「ヲ」「ニ」の関係）参照関係が付与されている．

タスクの提案とデータセットの構築に合わせて，提案タスクがこれまでに行われてきたアプローチを統合することでどの程度解ける問題であるかを評価するための実験的なモデルを構築した．
既存のモデルやデータセットを効果的に活用するため，提案タスクをテキスト間照応解析，物体検出，テキスト・物体間参照解析の3つのサブタスクに分割した．
実験結果から，テキスト間照応解析は既存のモノローグデータセットと同程度の精度（F値約0.7）を達成できることが示された．
一方で，物体検出およびテキスト・物体間参照解析は非常に困難であり（Recall@1約0.5），大きな改善の余地があることが示された．
本研究で構築したデータセットは\url{https://github.com/riken-grp/J-CRe3}に公開した．
実験に使用したソースコードやモデルの重みは\url{https://github.com/riken-grp/multimodal-reference}に公開した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{10table01.tex}%
\hangcaption{メンションと物体間の関係が付与されたデータセットの比較．いずれのデータセットにおいても，物体は画像あるいは一人称動画中の物体矩形として与えられる．}
\label{tab:dataset-comparison}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

表~\ref{tab:dataset-comparison}に示すように，テキスト中のメンションと物体間の関係が付与されたデータセットは多く提案されている．
しかし，その中でも対話形式のテキストを含むものはわずかである．
VisCoref \cite{yu-etal-2019-see}は，画像に対話形式のテキストが付随したVisDialデータセット \cite{visdial}に含まれるテキストに対して，同一の実体を指し示す名詞句同士の関係を画像キャプションを含めて付与したデータセットである．
画像キャプションには物体名が含まれるが，VisCorefにおいてその物体名に対応する物体矩形は付与されていない．
また，含まれる対話はQA形式になっており，実世界での自然な対話とは隔たりがある．
SIMMC 2.1はより自然な対話形式のテキストを含むが，VisCorefと同様，画像に基づくため，物体の移動や操作およびそれに伴う視覚的変化が表現されていない．
本研究で構築したデータセットには，「ものを運ぶ」，「容器からものを出す」，「冷蔵庫の扉を開ける」などの，より実世界での活動に近い視覚情報が含まれる．

人間と物体とのインタラクションを含む1人称視点動画データセットとしてはEgo4D \cite{Ego4D2022CVPR}，EPIC-Kitchens \cite{Damen2022RESCALING}，Home Action Genome \cite{Rai-2021-HomeActionGenome}，BioVL2 \cite{nishimura-2021-iccvw,nishimura-2022-jnlp}，RefEgo \cite{Kurita_2023_ICCV}が挙げられる．
Ego4D, EPIC-Kitchens, Home Action Genome, RefEgoは我々のデータセットと同じく日常動作を含み，BioVL2は生化学分野の実験動画を含む．
Ego4D, EPIC-Kitchens, Home Action Genomeは動画に対して動作認識などの粗い特徴が付与されているのみで，参照表現のグラウンディングは扱っていない．
BioVL2は物体矩形が付与されているが，対象となる物体は実験プロトコルに存在し，かつ手と触れているものに限られる．
RefEgoはテキスト中のメンションについて参照先の物体矩形が付与されているが，含まれるテキストは対話形式ではない短い物体参照表現であり，より深い文脈理解を要する対話における参照解析には適さない．
また，表~\ref{tab:dataset-comparison}に示したいずれの先行研究もゼロ参照を扱っていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{マルチモーダル参照解析}

本章では，本研究で提案する実世界での対話を通じた協働を想定したマルチモーダル参照解析タスクを説明する\footnote{本論文ではテキスト中のメンションが実世界の事物や他のメンションを指し示す現象を包括的に「参照」とよぶ．}．
本タスクでは，動画あるいは画像と，対応するテキストが入力として与えられる．
入力テキストに含まれるメンションの参照先を，別のメンションだけでなく動画や画像中の物体も含めて特定する．
メンションの参照先を別のメンションの中から特定するタスクをテキスト間照応解析とよぶ（\ref{sec:textual-reference-resolution}節）．
動画や画像中から参照先候補である物体が存在する領域を特定するタスクを物体検出とよぶ（\ref{sec:object-detection}節）．
物体検出結果から，メンションが参照している物体を特定するタスクをテキスト・物体間参照解析とよぶ（\ref{sec:text-to-object-reference-resolution}節）．
マルチモーダル参照解析はこれら3つのサブタスクから構成される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テキスト間照応解析}\label{sec:textual-reference-resolution}

テキスト間照応解析は，テキスト中のメンション間に存在する参照関係を解析するタスクである\footnote{本論文ではテキスト中のメンション間の参照を特に照応とよぶ．}．
本研究では先行研究 \cite{ueda-2020,umakoshi-etal-2021-japanese-zero,Ueda-2023-kwja}にならい，述語項構造，共参照関係，橋渡し照応関係を対象とする．
述語項構造は述語を中心とし，その述語の「誰が」や「何を」に相当する項からなる関係である．
述語項構造には，述語とその項だけでなく，両者の関係を表す格（例：ガ格，ヲ格）が含まれる．
図~\ref{fig:dataset-overview}の例において述語「置いといて」は，ガ格の項「ロボット」とヲ格の項「スポーツドリンク」を持つ．
ニ格の項に関してはテキスト中に表出しないため，特殊な照応先である「不特定:物」が割り当てられる．
共参照関係は実世界において同一の実体を指し示すメンション間の関係である．
橋渡し照応関係はある名詞句を含むメンション（照応詞）と，その必須的な意味を補完する異なるメンション（先行詞）との関係である．
これらの関係はいずれも，実世界で動作する対話ロボットが行う理解として重要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{物体検出}\label{sec:object-detection}

物体検出は，画像中の物体が存在する領域を特定するタスクである．
図~\ref{fig:dataset-overview}においては図中の物体矩形を推定することに対応する．
本参照解析タスクでは後段のテキスト・物体間参照解析において割り当てられるメンションが物体名の役割を果たすため，物体のクラス名の推定は対象としない．
入力が動画の場合は動画中のそれぞれのフレームに対して同様の処理を行う．
推定された物体矩形はテキスト・物体間参照解析の入力となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テキスト・物体間参照解析}\label{sec:text-to-object-reference-resolution}

テキスト・物体間参照解析は，テキスト間照応解析における参照の対象を物体検出によって特定された物体領域から選択するタスクである．
図~\ref{fig:dataset-overview}の例においては単語と物体矩形を結ぶエッジを推定することに対応する．
表現が直接参照している対象を画像中から検出するタスクはフレーズグラウンディング \cite{kamath2021mdetr,gupta2020contrastive}として知られる．
しかし，物体を間接的に参照する場合もあるため，直接的参照関係の解決だけでは発話理解には至らない．
本研究では述語項構造や橋渡し照応に相当する，ゼロ参照を含む間接的な関係も扱う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\ours データセット}

本研究では，マルチモーダル参照解析のための参照タグ付き実世界対話データセット (\ours) を構築する．
本データセットは，実世界における主人役とロボット役2者の対話シーンにおいて動画，音声を収録し，音声書き起こし，照応・参照関係アノテーションを付与したデータセットである．
対話内容は，人間とお手伝いロボットの対話を想定する．
対話の場面は，家庭内のリビング，ダイニング，キッチンを模した3種類である．
衣類と家具の買い物ドメインを対象としたSIMMC 2.1と比べ，本データセットはより多様な物体クラスを含むことが期待される．
本章では\ours データセットの構築方法について順に述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話シナリオ収集}

現実的かつ多様な対話を収録するため，クラウドソーシングを利用してシナリオを収集した．
SIMMC 2.1では，対話シーンをVR空間で生成し，対話に使用する物体の位置や属性に基づく対話シミュレータを用いてシナリオを半自動生成した．
実世界に基づく本設定では，SIMMC 2.1とは異なり物体や環境の情報が構造化された形式で得られない．
さらに対話収録に使用する設備の制約もあり，対話シミュレータでは実際の収録に利用可能な現実的な対話は得られない．
したがって，設備の画像等による柔軟な条件付けが可能な人手によるシナリオ収集が必要である．
加えてシナリオの多様性を確保するため，クラウドソーシングの利用が適している．

クラウドソーシングタスクではワーカーに対話収録に使用する部屋の状況と使用可能な物体の写真を提示した．
その上で，人間とロボットの発話およびその際の動作や場面状況を記述してもらった．
発話数は，長すぎずかつ対話が十分な文脈を持つよう10--16発話に制限した．
シナリオは各場面60件ずつ，計180件収集した．
これらシナリオを実行可能性，十分な頻度の参照表現，十分な粒度の場面状況説明，の3つの観点からフィルタリングし，残ったシナリオ93件を自然な対話になるよう修正した．
付録~\ref{sec:scenario-collection-interface}にクラウドソーシングタスクのインターフェイスを示す．
付録~\ref{sec:scenario-example}に修正後のシナリオの例を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対話収録}

収集したシナリオに基づいた対話を収録するため，合計5人の演者から2人をペアにして主人役とロボット役を演じてもらった．
演者にはできる限りシナリオを暗記してもらい，対話中の振る舞いが自然になるようにした．
シナリオと軽微に異なる発話を行った場合は，後段の発話書き起こしの際に実際に行われた発話に対応するよう，台詞を修正して書き起こす．
すなわち，シナリオ中の台詞と発話書き起こしテキストは一致しない場合がある．

収録はリビングとダイニングとキッチンを模した設備が備え付けられた実験室で行った．
2人の演者にはそれぞれピンマイクを付けてもらい，発話音声を録音した．
ロボット役の演者には頭部にカメラ\footnote{GoPro HERO10 Black}を付けてもらい，対話中の1人称視点動画を撮影した．
さらに，実験室に定点カメラを4箇所設置し，部屋全体の様子を撮影した．
なお，収録には音声，1人称視点動画，3人称視点動画の3種類のデータを同期して収録するため専用のシステム\footnote{\url{https://github.com/riken-grp/multimodal-recording}}を構築して使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーション}\label{sec:annotation}

収録した対話音声と1人称動画に対して，マルチモーダル参照解析タスクの学習および評価のためのアノテーションを行った．
3人称視点動画にはアノテーション対象となる物体が十分な大きさで写っていないことが多かったため，タグ付けの際に参照する程度の利用にとどめた．

まず対話音声は発話単位\footnote{1発話とはほとんどの場合で話者の発話開始から話者交代までの一連の文のことである．ただし，\citeA{yoshino-etal-2018-japanese}にならい，話者交代までの間に長い休止がある場合は複数の発話に分割する．}
でテキストに書き起こし，1人称視点動画は1秒ごとにフレームを抽出し画像系列に変換した．
書き起こしの際には，動画との対応が取れるよう発話の開始時間と終了時間を記録した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{テキスト間照応アノテーション}\label{sec:textual-reference-annotation}

書き起こされた対話テキストに対して述語項構造，共参照関係，橋渡し照応関係を付与した．
図~\ref{fig:dataset-overview}ではタグ付けの例として述語「注いで」について以下の述語項構造が示されている．

\ex. 【主人】 コーラはここに\underline{注いで。} （ガ格:ロボット, ヲ格:コーラ, ニ格:ここ）

\noindent
ここで，【】内に発話者，（）内に下線部のメンションに対するタグを示す．
ガ格の「ロボット」はテキスト中には出現していないが，対話参与者であるロボットと主人はそれぞれを表す特殊なタグを用意することで付与を可能にしている．
共参照関係については，図~\ref{fig:dataset-overview}のケースでは主人が「それは後で飲むから置いといて。」と言った場合に対して以下のように付与される．

\ex. 【主人】 \underline{それは}後で飲むから置いといて。（共参照:スポーツドリンク）

\noindent
橋渡し照応関係については，ロボットが最後に「賞味期限が近いので早めに飲んでください。」と言った場合に対して以下のように付与される．

\ex. 【主人】 賞味\underline{期限が}近いので早めに飲んでください。（橋渡し:スポーツドリンク）

タグ付けの単位には京都大学テキストコーパスにならい，基本句を採用した．
基本句とは自立語1語を核として，その前後に存在する接頭辞，接尾辞，助詞，助動詞などの付属語をまとめた単位である\footnote{\url{https://github.com/ku-nlp/KWDLC/blob/master/doc/rel_guideline.pdf}}．

アノテーションの基準は京都大学ウェブ文書リードコーパス (KWDLC) \cite{kwdlc-paclic-2012,kwdlc-jnlp-2014} に準拠した．
ただし，基本的にモノローグ形式の書き言葉を対象としたKWDLCとは異なり，本研究では実世界対話を対象とするため追加の基準
\footnote{\url{https://lotus.kuee.kyoto-u.ac.jp/~ueda/dist/mmref_annotation_spec.pdf}}
を設けた．
一つは対話形式の話し言葉に特有の表現に関する基準である．
例えば，対話形式の話し言葉で頻繁に使用される感動詞については，以下のように発話の主体と発話相手を付与する．

\ex. 【ロボット】 \underline{はい。} （ガ格:ロボット, ニ格:主人）

\ex. 【主人】 \underline{どういたしまして。} （ガ格:主人, ニ格:ロボット）

\noindent
ただし，はっきりと相手に向けられた発話でなく，フィラーや独り言に近い感動詞にはタグを付与しない．

\ex. 【主人】 \underline{あら} （タグなし）

\ex. 【主人】 \underline{ええと} （タグなし）

もう一つの基準は，メンションの同一性に関する基準である．
KWDLCでは，「≒関係」とよばれる関係タグが次のように定義されている\footnote{格・省略・共参照タグ付けの基準 (\url{https://github.com/ku-nlp/KWDLC/blob/master/doc/rel_guideline.pdf}) 5.2節を参照した．}．

\begin{quotation}
\noindent
同じような表現が用いられるが、指している事象が異なるものにタグを付与する場合、「=」ではなく「≒」、「ガ, ヲ, ニ, …」ではなく「ガ≒, ヲ≒, ニ≒, …」格を用いる。
\end{quotation}

\noindent
ここで，「=」は共参照関係を表す関係タグである．
本研究では後述するテキスト・物体間参照アノテーションにおいて一貫したタグ付けを行うため，「≒関係」の利用場面をより厳密に定義する．
具体的には，メンション同士が\textbf{総称名詞・非総称名詞の関係}を持つ場合とメンション同士が\textbf{状態変化の関係}にある場合に限定する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{総称名詞・非総称名詞の関係}
以下の例では，「コーラ{\scriptsize1}」は特定のコーラを指しておらず総称名詞である．
一方，「コーラ{\scriptsize2}」は手元にあるコーラを指しており，非総称名詞である．
このとき，表層表現が同じでもこれらは区別し，共参照タグではなく共参照≒タグを付与する．

\ex. 【主人】 コーラ{\scriptsize1}が飲みたいな。【ロボット】 こちらに\underline{コーラ{\scriptsize2}を}お持ちしました。 （共参照≒:コーラ{\scriptsize1}）\label{ex:coke}

\noindent
述語項構造におけるヲ格についても同様である．

\ex. 【主人】 コーラ{\scriptsize}が飲みたいな。【ロボット】 こちらに\underline{お持ちしました。} （ガ格:ロボット, ヲ≒格:コーラ{\scriptsize}, ニ格:こちら）


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{状態変化の関係}
収録した対話には物体の移動や操作が多く含まれ，しばしばそれに伴い物体の状態が変化する．
例えば，火を通すことで生卵は目玉焼きに変化し，お湯を注ぐことでインスタントコーヒーの粉末はコーヒーの液体に変化する．
他にも，物体の構成要素が変化する場合がある．
例えば，人参は皮を剥くことでその構成要素（皮）が減少する．
これらを総称して本研究では状態変化とよぶ．
状態変化の関係にあるメンション同士は総称名詞・非総称名詞の関係と同様に区別し，≒関係を付与する．

\ex. 【主人】 この卵{\scriptsize1}を一個ずつ割り入れてくれる？（中略）【主人】 今\underline{卵{\scriptsize2}は}どんな感じ？ （共参照≒:卵{\scriptsize1}）\label{ex:eggs}

\noindent
例~\ref{ex:eggs}では，「卵{\scriptsize1}」は割られる前の卵を指し，「卵{\scriptsize2}」はフライパンに割り入れられ火が通された卵を指すため，共参照≒タグを付与する．

作業においては事前に\citeA{ueda-2020}の単語選択モデルでシルバーアノテーションを付与し，手作業で修正した．
修正には京大コーパスアノテーションツール\footnote{\url{https://github.com/ku-nlp/KyotoCorpusAnnotationTool}}を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{物体領域アノテーション}

1人称視点動画から抽出された各画像に対し，対話中で参照された物体の物体矩形を付与した．
また，それぞれの物体矩形に対して物体のクラス名およびインスタンスIDを付与した．
クラス名は物体認識タスクにおいて広く利用される LVIS データセット \cite{gupta2019lvis}において定義されている 1,203 クラスの集合から選択した．
インスタンスIDは動画中のそれぞれの物体を一意に識別するための文字列である．
なお，複数の動画間で一貫している必要はない．

作業においては，一般物体認識器 Detic \cite{zhou2022detecting}の学習済みモデル\footnote{\url{https://github.com/facebookresearch/Detic/blob/main/docs/MODEL_ZOO.md}}と複数物体追跡器StrongSORT \cite{strongsort}を使用してシルバーアノテーションを事前付与し，手作業で修正した．
修正には専用のアノテーションツール\footnote{\url{https://github.com/riken-grp/annotator}}を開発して使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{テキスト・物体間参照アノテーション}

テキスト中の (1) 名詞句および (2) 述語と，画像中の物体矩形のすべての組み合わせについて参照関係を付与した．
(1) 名詞句については，直接参照している物体および橋渡し照応関係にある物体に矩形を付与した．
(2) 述語についてはその項に対応する物体矩形を格ごとに付与した．
この基準は，テキスト間照応アノテーションにおける参照先を物体矩形に拡張したものに相当する．
なお，いずれの画像中にも参照先が現れない名詞句や述語にはタグを付与しない．

テキスト・物体間参照アノテーションは付与対象の関係が非常に多くなる．
しかし，付与済みのインスタンスIDを利用することで大部分のアノテーションを省くことができる．
例えば，ある動画フレーム中の「コップ」に対して参照関係を付与した場合を考える．
このとき，別フレームに同じインスタンスIDを持つ「コップ」が出現したとしても自動的に参照関係を付与できる．
また，付与済みのテキスト間照応関係も利用できる．
例えば，以下のようなテキスト間照応アノテーションが付与済みだった場合を考える．

\ex. 【主人】 そこにあるコップを、机に\underline{運んで} （ガ格:ロボット, ヲ格:コップ, ニ格:机）

\noindent
このとき，「コップ」とコップに対応する物体矩形に直接的参照関係を付与すれば，「運んで」とコップに対応する物体矩形の関係は自動的にヲ格と推定できる．
したがって，「運んで」のヲ格のタグ付けは不要である．
「机」についても同様である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia10f2.pdf}
\end{center}
\caption{領域矩形のアノテーション例}
\label{fig:region}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実世界対話において特徴的な現象として「ここ」，「あそこ」，「隣」など，場所を指す指示詞の使用が挙げられる．
指し示された場所の特定は，人間との協働において不可欠である．
本研究では，このような指示詞を領域参照表現とよび，テキスト・物体間参照アノテーションにおいて対応する領域を付与する．
この領域は物体領域とは異なり矩形が一意に定まらないため，その位置・大きさはアノテータの主観に依存する．
そのため，特殊なクラス名である「region」を付与し，他の物体矩形とは区別する．
図~\ref{fig:region}に以下の発話についての領域矩形アノテーションの例を示す．

\ex. 【ロボット】 ソファーの\underline{下}とかじゃないんですか？

\noindent
発話中の「下」という表現はいずれの物体にも対応せず，床の一部の領域を参照しているため，その領域を領域矩形としてタグ付けする．
同時に，この領域矩形と「下」に直接的参照関係を付与する．

テキスト・物体間参照アノテーションの作業において，シルバーアノテーションは付与しなかった．
これは，テキスト間照応アノテーションの結果や物体のインスタンスIDを利用することで作業量が十分に削減できるためである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[p]
\input{10table02.tex}%
\caption{\ours の統計値．関係数が多くなるため「≒」付きの関係は除外した．}\label{tab:statistics}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセットの統計値}\label{sec:statistics}

我々はデータセットを学習，開発，テストの3つに分割した．
表~\ref{tab:statistics}にそれぞれの分割におけるデータセットの統計値を示す．
表において，X2格は述語が複数のX格の項を持つ場合に用いられる\footnote{例えば「象は鼻が長い」における「長い」は2つのガ格を持つ．}．
テキスト間照応の統計値は我々のデータセットが十分なテキスト間照応を持つことを示している．
物体領域アノテーションにおける物体インスタンス数とクラス数は，対話中で参照される物体の多様性を示している．
なお，我々のデータセット全体におけるユニークな物体クラスの数は166である．
テキスト・物体間参照アノテーションにおけるゼロ参照の数は直接参照の数を大きく上回っており，ゼロ参照の解決が重要であることが示唆されている．

データセットに含まれるテキスト表現の多様性を定量化するため，データセット全体でDistinct-1とDistinct-2 \cite{li-etal-2016-diversity}を計算した．
Distinct-1とDistinct-2はそれぞれ対象テキストに含まれるユニークなuni-gramとbi-gramの割合である．
表~\ref{tab:distinct-n}にSIMMC 2.1 データセット\footnote{\url{https://github.com/facebookresearch/simmc2}}との比較を示す．
いずれの指標においても我々のデータセットの方が高い値を示しており，多様なテキスト表現を含むことがわかる．
なお，日本語テキストの単語分割には日本語形態素解析器 Juman++ \cite{tolmachev-2018}を，英語テキストの単語分割には nltk ツールキット \cite{bird2009natural}を使用した．
比較に用いたSIMMC 2.1データセットについては，我々のデータセットと同じ単語数を持つよう，開発セットから発話を無作為に抽出して使用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{10table03.tex}%
\caption{Distinct-1とDistinct-2を用いたテキストの多様性の比較}
\label{tab:distinct-n}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{作業者間一致度}

アノテーションの一貫性を調査するため，無作為に抽出した9対話について2人の作業者がタグ付けを行った．
タグ付けはテキスト間照応アノテーションとテキスト・物体間参照アノテーションについて行った．
物体領域アノテーションに関してはタグ付けの基準が比較的明確であり，タグ付けは十分に一貫していると考えられる．

テキスト間照応アノテーションにおける作業者間一致度は\citeA{kwdlc-jnlp-2014}にならい，一方の作業者を正解とした場合のF値により求めた．
その結果を表~\ref{tab:textual-inter-annotator-agreement}に示す．
タグ付けが一致しなかった事例のうち，多くは作業ミスによるものだった．
本データセットは現在タグ付けの見直し作業を進めており，このような事例のほとんどは取り除かれる見込みである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{10table04.tex}%
\hangcaption{テキスト間照応アノテーションにおける作業者間一致度．括弧内に適合率と再現率の分子と分母を示す．分母はメンション数を表すため整数だが，分子はメンションの参照先が複数存在したとき整数とならない場合がある．}
\label{tab:textual-inter-annotator-agreement}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方，作業者の判断の揺れに由来する事例としては例~\ref{ex:filler}があった．

\ex. 【ロボット】 じゃあ、これで混ぜます。【主人】 \underline{うん}いい感じ。 \\
作業者A: （ガ格:主人, ニ格:ロボット） \\
作業者B: （タグ付けなし）\label{ex:filler}

\noindent
この例では「うん」がフィラーなのか相手への応答なのかが曖昧であり，作業者間で格を付与するかどうかの判断が分かれた．

その他の判断が分かれた例としては，総称名詞と非総称名詞の判断に由来するものが目立った．

\ex. 【主人】 （中略）食べれるようにスプーンの準備をしておいて。【ロボット】 はいはい分かりました。食器棚から出して、えーとこっちだ、一緒にお盆に\underline{載せて、}準備しておきます。 \\
作業者A: （ガ:ロボット, ヲ≒:スプーン, ニ:お盆） \\
作業者B: （ガ:ロボット, ヲ:スプーン, ニ:お盆）\label{ex:general}

\noindent
この例では主人が言及した「スプーン」が食器棚の中にある特定のスプーンを指すのか，それとも総称的な特定されないスプーンを指すのかが曖昧であり，作業者間で≒関係を付与するかどうかの判断が分かれた．
なお，一致度の計算後，両作業者のアノテーションは作業者間で相談の上，統合してデータセットに含めた\footnote{統合前のアノテーションも本データセットの一部として公開した．}．

テキスト・物体間参照アノテーションについても一方の作業者を正解とした場合のF値により一致度を求めた．
この時，\ref{sec:annotation}節で述べたようにタグ付けは一部省略されているが，テキスト間照応アノテーションの結果や物体のインスタンスIDを用いて省略を復元した上で比較した．
テキスト間照応アノテーションの結果は統合済みのものを使用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{10table05.tex}%
\hangcaption{テキスト・物体間参照アノテーションにおける作業者間一致度．括弧内に適合率と再現率の分子と分母を示す．}
\label{tab:text-to-object-inter-annotator-agreement}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

結果を表~\ref{tab:text-to-object-inter-annotator-agreement}に示す．
テキスト間照応アノテーションに比べ，高い一致度が得られている．
これは統合済みのテキスト間照応アノテーション結果を用いたことで，ある程度タグの付与基準が共有されていたためと考えられる．
また，タグが一致しなかったものについても多くは作業ミスによるものであった．
一方，作業者の判断が分かれた例としてはテキスト間照応アノテーションと同様，総称名詞と非総称名詞の判断に由来するものがあった．

\ex. 【主人】 本棚からさ、分厚い\underline{辞書}持ってきてくれる？

この例では，テキスト中の「辞書」と物体としての辞書に直接的参照関係が付与されるが，そこに≒関係を付与するかについて作業者間で判断が分かれた．
主人が特定の辞書を指して「分厚い辞書」と言っているのか，分厚ければどんな辞書でも良いと思っているのかが曖昧なためである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{マルチモーダル参照解析タスクの評価}

構築したデータセットを使用して既存手法の評価を行うことで，本データセットにおけるベースラインを提供するとともに提案するタスクに取り組む際の課題を明らかにする．
マルチモーダル参照解析は，テキスト間照応解析，物体検出，テキスト・物体間参照解析の3つのサブタスクから構成される．
\ref{sec:textual-reference}節ではまず，テキスト間照応解析を扱う．
\ref{sec:visual-reference}節では物体検出とテキスト・物体間参照解析をend-to-endで扱うモデルを評価する．
最後に\ref{sec:combining-results}節においてこれらの結果を統合したマルチモーダル参照解析の結果を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テキスト間照応解析}\label{sec:textual-reference}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{タスク設定}

テキスト間照応解析はメンション間の意味的関係を推定するタスクであり，述語項構造解析，橋渡し照応解析，共参照解析から構成される．
主人とロボット両者の発話書き起こしテキストから解析タスクごとにメンションを抽出し，学習および評価の対象とする．
述語項構造解析については，述語および事態性名詞が含まれるメンションが対象となる．
橋渡し照応解析については，事態性を持たない名詞を含むメンションを対象とする．
共参照解析は名詞を含むすべてのメンションを対象とする．

橋渡し参照解析や共参照解析とは異なり，述語項構造解析では述語とその項の間の関係（格）を特定する必要がある．
本実験では出現頻度の比較的多い，ガ，ヲ，ニ，デ，ト，カラ，ガ2格の7種類を解析対象とする．

評価指標には\citeA{ueda-2020,Ueda-2023-kwja}にならい，F値を用いる．
具体的には，解析対象のメンションそれぞれについて意味的関係を持つメンションを選択できたかどうかについて適合率・再現率・F値を計算する．
計算の際，システムによって選択されたメンションが正解のメンションと異なっていても，両者が共参照関係を持つ場合は正解とする．
テキスト中に現れないメンションと関係を持つ場合（外界照応）についても評価するため，「書き手」「読み手」「不特定:人」「不特定:物」の4種類の特殊な照応先を用意し，通常のメンションと同様に照応先の候補として扱う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

解析モデルとして\citeA{ueda-2020,Ueda-2023-kwja}の汎用言語モデルに基づく単語選択モデルを採用する．
このモデルは，述語項構造解析，橋渡し照応解析，共参照解析の3つのタスクを全て単語選択タスクとして定式化する．
モデルは与えられたテキスト中の解析対象の単語と関係を持つ単語を選択する．
モデルは事前学習済みのエンコーダモデル\footnote{日本語コーパスで事前学習された DeBERTa V2 large モデル (\texttt{\mbox{https://huggingface.co/ku-nlp/deberta-v2-}\linebreak large-japanese})}の上に各タスクごとに2層のfeed-forward neural network (FFN)を追加し，全体を fine-tuning した．

fine-tuningには\ours に加え，以下のテキスト間照応関係が付与されたコーパスを混合して使用した．
\begin{itemize}%[parsep=0mm]
\item 京都大学テキストコーパス\footnote{\url{https://github.com/ku-nlp/KyotoCorpus}} \cite{kyotocorpus-lrec-1998,kyotocorpus-lrec-2002}
\item 京都大学ウェブ文書リードコーパス\footnote{\url{https://github.com/ku-nlp/KWDLC}} (KWDLC) \cite{kwdlc-paclic-2012,kwdlc-jnlp-2014}
\item 注釈付き不満買取センターコーパス\footnote{\url{https://github.com/ku-nlp/AnnotatedFKCCorpus/}}
\item 注釈付きウィキペディアコーパス\footnote{\url{https://github.com/ku-nlp/WikipediaAnnotatedCorpus}}
\end{itemize}
これらコーパスの学習セットには合計7,815の文書が含まれており，我々のデータセットのみでは不足する学習データ量を補うことができる．

これらデータセットと本データセットを混合して使用するため，我々は本データセットにおける話者のラベル（「主人」および「ロボット」）を相対的になるよう変換する．
既存のコーパスはテキスト中に表出するメンション間の関係だけでなく，テキストの「書き手」や「読み手」などテキスト中に表出しないエンティティとの関係（外界照応関係）も付与されている．
これらの関係ラベルを活用するため，我々は本データセットに付与されている「ロボット」および「主人」という外界照応ラベルを，発話ごとに「話し手」あるいは「聞き手」に変換する．
実験では，この相対的なラベルを「書き手」や「読み手」ラベルと同一視することで既存のコーパスと本データセットを混合してモデルを学習する．
なお，モデルは相対ラベルを予測するよう学習されるが，発話に付与された話者ラベルを使用することで，「主人」と「ロボット」の絶対ラベルに変換が可能である\footnote{予備実験として，絶対ラベルを使用した場合のモデルを評価したが，相対ラベルを使用した場合の方がほとんどの場合で良い結果を示した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

結果を表~\ref{tab:textual-reference-result}に示す．
日本語テキスト間照応解析のタスクとして標準的に用いられているKWDLCと比べ，いずれのタスクにおいても遜色ない結果が得られた．
KWDLCとのスコアの違いで特筆すべき点として，ガ格，ニ格，ガ2格の外界照応の精度が高いことが挙げられる．
ガ格やガ2格の項は主体が入ることが多く，\ours においては主体のほとんどが主人かロボットであるため解きやすいタスクになっていたと考えられる．
ニ格も相手に何かをしてもらう場合にその相手が入ることが多く，同様の理由で精度が高くなったと考えられる．
したがって，対話参与者が3者以上になった場合の精度についてはさらなる検証が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{10table06.tex}%
\hangcaption{\ours と KWDLC におけるテキスト間照応解析のF値．文脈照応はテキスト中に出現する実体を指す参照を，外界照応はテキスト中に出現しない実体を指す参照を表す．表中の値は，3つの異なる乱数シードでモデルを fine-tuning した結果の平均である．括弧内の数字は正解の参照先の数を示す．}
\label{tab:textual-reference-result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ヲ格やデ格に注目すると，事例数は少ないものの外界照応の精度が著しく低い．
ヲ格やデ格の項に人物は入らないため，「不特定:物」の予測が十分にできなかったと考えられる．
ただし，「不特定:物」ラベルは実際にメンションがどの物体を参照していたのかについての情報を持たないため，精度が低いことは大きな問題ではない．
このような事例は「不特定:物」を予測できるよりも，テキスト・物体間参照解析において適切な物体を特定できるかが実用上重要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{物体検出およびテキスト・物体間参照解析}\label{sec:visual-reference}

テキスト・物体間参照解析は，直接的参照関係（図~\ref{fig:dataset-overview}における「=」の関係）の解析と間接的参照関係（図~\ref{fig:dataset-overview}における「ガ」「ヲ」「ニ」の関係）の解析に分類できる．
このうち，直接的参照関係の解析はフレーズグラウンディングともよばれる．
フレーズグラウンディングに関してはゼロ照応を含む間接的参照関係の解決はできないが，多くのモデルとデータセットが提案されている \cite{kamath2021mdetr,gupta2020contrastive,flickrentitiesijcv,nakayama-tamura-ninomiya:2020:LREC}．
本節では直接的参照関係に注目し，既存のフレーズグラウンディングモデルの性能を物体検出を含め評価する．
加えて，既存のフレーズグラウンディング用データセットの直接的参照関係の解析における有効性についても議論する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{タスク設定}

フレーズグラウンディングは，テキストと画像が与えられたときテキスト中のメンションが指す画像中の物体を矩形として推定するタスクである \cite{kamath2021mdetr,gupta2020contrastive}．
\ours は画像ではなく動画に基づくため，システムにはあらかじめ動画から1秒ごとに切り出した画像系列を入力する．
発話書き起こしテキスト中のそれぞれのメンションについて，そのメンションが指す物体の矩形を画像中から特定する．
このとき，1メンションについてグラウンディング対象の画像が複数存在する．
本実験では，メンションが含まれる発話を考え，グラウンディング対象をその発話の開始時刻から次の発話の開始時刻までの間に含まれる画像フレームに限定する．
これは，一般に発話がその時点の視覚情報を前提にしており，離れた時点の動画フレームにグラウンディングしたとしても実用上意味を持つことが稀であるためである．

評価指標は Recall@$k$を使用した．
既存のフレーズグラウンディングモデルは，それぞれのメンションについて複数の物体矩形とその予測確率を出力する．
Recall@$k$は正解の物体矩形のうち，出力物体矩形の予測確率上位$k$件に含まれるものの割合である．
ここで，先行研究 \cite{kamath2021mdetr}にならい出力された物体矩形が正解の物体矩形と 0.5 以上の Intersection-over-Union (IoU) を持つ場合に両者が一致すると判断した．
なお，正解の物体矩形を持たないメンションはRecall@$k$では考慮されない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

フレーズグラウンディングモデルとしてGLIP \cite{li-2022-glip}を使用した．
GLIPは，物体検出をフレーズグラウンディングと同一の枠組みで扱うことで事前学習において大量の画像・テキストペアの使用を可能にしたモデルである．
GLIPを用いることで広範囲にわたる物体を検出することができると期待される．

本タスクでは発話書き起こしテキストと画像系列が与えられる一方，GLIPは1組の画像・テキストペアを入力とする．
本実験では，1発話の書き起こしテキストと1画像のペアそれぞれを独立にGLIPに入力し，独立に評価した．

GLIPは事前学習済みモデルが公開されており，本実験ではGLIP-Tモデル\footnote{\url{https://huggingface.co/GLIPModel/GLIP/resolve/main/glip_tiny_model_o365_goldg.pth}}を使用した．
GLIPのアーキテクチャは大きく言語エンコーダ，画像エンコーダ，そしてこれらエンコーダから得られた表現を統合するfusionモジュールから構成される．
我々は事前学習済みモデルの知識をできる限り活用できるように，これらのモジュールを2段階に分けてfine-tuningした．

1段階目は，事前学習済みモデルの日本語への適応を目的とする．
英語テキストのみで訓練されたGLIPの言語エンコーダ\footnote{\url{https://huggingface.co/bert-base-uncased}}
を，多言語で訓練されたモデルであるmDeBERTaV3 base\footnote{\url{https://huggingface.co/microsoft/mdeberta-v3-base}}に置き換え，Visual Genome \cite{krishna-2016-visualgenome}，GQA \cite{hudson-2019-gqa}，Flickr30k Entities JP \cite{nakayama-tamura-ninomiya:2020:LREC}を混合してfine-tuningした．
\citeA{li-2022-glip}にならい，Visual GenomeおよびGQAは\citeA{kamath2021mdetr}によって前処理された約62万の画像・テキストペアを使用した．
Flickr30k Entities JPに関しては前処理済みデータが用意されていないため，\citeA{kamath2021mdetr}が提供しているFlickr30k Entities用の前処理スクリプトを日本語用に修正して使用した．
前処理の結果，約15万の画像・テキストペアが得られた．
3種類のデータセットを無作為に混合し，データセットを区別することなく学習に使用した．
このとき，英語テキストの過学習を防ぐため，言語エンコーダのパラメータは固定した．
また，画像エンコーダの性能は言語非依存のため，画像エンコーダのパラメータも固定した．

2段階目は，モデルの1人称視点画像および対話形式テキストへの適応を目的とする．
予備実験にて\ours のみを使用してfine-tuningしたところRecall@5とRecall@10がfine-tuning前と比べて低下したため，\ours とFlickr30k Entities JPを混合して使用した．
1学習事例に含まれるテキストデータの長さを揃えるため，\ours は連続する3発話を1学習事例に含めた．
また，連続する3発話のスパンを1発話ずつ移動させることで1対話から複数のテキスト事例を得た．
1学習事例中の画像データとしては，テキストデータ中のメンションと直接参照関係を持つ物体が一つ以上含まれる画像を選択した．
2段階目のfine-tuningでは，モデルを日本語の対話形式テキストに適応させるため言語エンコーダのパラメータは固定しなかった．
また，モデルを1人称視点画像に適応させるため画像エンコーダのパラメータも固定しなかった．
fusionモジュールのパラメータも固定せず，全パラメータをfine-tuningした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{10table07.tex}%
\hangcaption{フレーズグラウンディングモデルの性能．FT1，FT2はそれぞれ1段階目，2段階目のfine-tuningを表す．括弧内の数値は正解した物体矩形数を表す．\ours のRecall@1のみ分母に全正解数を示す．}
\label{tab:phrase-grounding-result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

実験結果を表~\ref{tab:phrase-grounding-result}に示す．
フレーズグラウンディングにおいて標準的に使用されるFlickr30k Entitiesの日本語版であるFlickr30k Entities JPの結果も同時に示す．
fine-tuningはいずれも本データセットにおける性能向上に寄与している．
しかし，Flickr30k Entities JP と比較すると Recall@$k$ のスコアは大幅に低い．
このことから，本データセットは既存のデータセットと比べドメインが大きく異なり，既存手法では解くことが難しいことが分かる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia10f3.pdf}
\end{center}
\hangcaption{「卵と人参はありますが、キュウリはないですね。」という発話中の「人参」に対する解析結果．白色の物体矩形は正解を表し，その他の物体矩形が上位5件のシステム出力を表す．システム出力には予測確率が記載されている．}
\label{fig:baseline-failure-1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{10table08.tex}%
\hangcaption{物体矩形の画面占有率とRecallの関係．テストセットと開発セットを合わせた18対話で評価した結果を示す．括弧内の数値は正解した物体矩形数を表す．Recall@1のみ分母に全正解数を示す．}
\label{tab:frame-size}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

解析事例の一つを図~\ref{fig:baseline-failure-1}に示す．
この例では冷蔵庫の中の人参が参照されているが，システムは検出に失敗している．
図のように1人称視点動画では物体の一部のみが小さく写っている場合があり，解析失敗の一因になっている．
物体のサイズごとにRecallを評価した表~\ref{tab:frame-size}からも，小さく写っている物体に対する精度が低いことがわかる．
小さな物体に対する物体検出が困難であることは先行研究 \cite{rekavandi2023transformers}でも指摘されており，物体検出とフレーズグラウンディングを同時に扱うGLIPの代わりに，専用の物体検出器を用いることで精度が改善する可能性がある．

図~\ref{fig:baseline-failure-2}に他の対話における解析事例を示す．
図ではワイングラスが正解の物体となるが，物体名が言及されておらずグラスよりも皿に高い確率が与えられている．
表~\ref{tab:referring-expression}は参照表現の品詞ごとのRecallを示す．
具体的な物体名を含む普通名詞に対する精度に比べ，指示詞や形式名詞など曖昧な表現に対する精度が低い．
これはGLIPの訓練に画像キャプションを元にしたデータセットが多く使用されているためと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia10f4.pdf}
\end{center}
\caption{「これはまだ飲みますか？洗っちゃいますか？」という発話中の「これ」に対する解析結果}
\label{fig:baseline-failure-2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{10table09.tex}%
\hangcaption{参照表現の品詞とRecallの関係．テストセットと開発セットを合わせた18対話で評価し，頻度上位5種類の品詞を示す．}
\label{tab:referring-expression}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本データセットには動画が含まれるが，本実験ではモデルに動画から抽出した1枚の画像を入力した．
視覚的文脈，すなわち動画における先行するフレームの情報の利用が性能向上に寄与するかを調査するため，開発セット9対話から視覚的文脈を利用しなければ参照先物体が特定できない事例を抽出した．
結果，Recall@1における誤り事例256件のうち，17件が視覚的文脈を要する事例であった．
したがって，現在のモデルでは視覚的文脈を考慮できないことによる誤りよりも，上記の曖昧な表現等他の要因による誤りが支配的である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ロボット役演者の行動の解析精度への影響}

本データセットはロボットと人間の対話を想定するが，収録においてはロボット役を人間の演者に依頼している．
そのため，視線移動や物体把持などの行動に人間の思考が介在し，解析モデルにとって都合の良い1人称視点動画が得られている可能性がある．
例えば，複数のコップが並んでいる場面で，「一番大きなコップに水を入れて」と主人が発話した場合，ロボット役演者は一番大きなコップに目を向けそれを手に取ることが予想される．
演者がコップを手に取った後の動画フレームには，そのコップが大きく映っていることが期待され，解析モデルにとって「一番大きなコップ」の参照先を特定することは容易となる．

演者の行動の解析精度への影響を調査するため，発話に対する解析対象フレームの時間的な位置ごとにモデルの性能を評価した．
演者の行動は相手の発話を受けて行われるため，モデルが演者の行動を手がかりにしている場合，時間的に後ろのフレームに対する性能が高くなると考えられる．
フレームをその時間的な位置に基づき以下の3種類に分類し，それぞれのカテゴリにおけるRecall@$k$を評価した．
\begin{itemize}
\item 発話開始時点から発話区間中央までの間のフレーム（発話中前半）
\item 発話区間中央から発話終了時点までの間のフレーム（発話中後半）
\item 発話終了時点から次の発話開始時点までの間のフレーム（発話以降）
\end{itemize}
表~\ref{tab:temporal-location}に結果を示す．
発話中前半に比べ，発話中後半や発話以降のフレームに対する性能が高く，演者の行動が解析モデルにとっての手がかりになっていることが示唆された．
したがって，本データセットを用いてシステムを評価する際には，発話中前半のフレームにおける性能を重視する必要がある．
また，実世界で他者と協働するロボットにおいては，視線移動等の行動を正しく行う能力が重要であることも示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{10table10.tex}%
\hangcaption{動画フレームの時間的位置とRecallの関係．テストセットと開発セットを合わせた18対話で評価した結果を示す．}
\label{tab:temporal-location}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果の統合}\label{sec:combining-results}

フレーズグラウンディングモデルは間接的参照関係を扱えない．
すなわち，述語に対してそのヲ格に相当する物体を特定したり，名詞に対して橋渡し照応関係を持つ物体を特定することができない．
しかし，フレーズグラウンディングモデルの出力結果とテキスト間照応解析モデルの出力結果を統合することで，これら解析が可能になる．
具体的には，述語に対してまずテキスト間照応解析モデルの結果から間接的関係を持つメンションを得る．
フレーズグラウンディングモデルの結果にそのメンションが参照する物体が含まれていた場合，述語とその物体が間接的参照関係を持っていると判断する．
本統合手法では，参照先物体がメンションとして対話中に現れていない場合を原理的に扱えないことに注意が必要である．

表~\ref{tab:visual-reference-result}に2つのモデルを組み合わせた場合の物体検出およびテキスト・物体間参照解析の結果を示す．
エラー伝播の問題から，いずれのタスクにおいても性能は著しく低い．
特に，フレーズグラウンディングの Recall@1 が0.450 でありこの値が上界になっている影響が大きい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{10table11.tex}%
\hangcaption{間接的参照関係を含むテキスト・物体間参照解析の結果．直接的参照関係の解析はフレーズグラウンディングと同義であり，直接的参照関係の結果は表~\ref{tab:phrase-grounding-result}最下段の値と同一である．}
\label{tab:visual-reference-result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，実世界において人間と対話しつつ協働するロボットの実現を目指し，テキストと動画フレームを対象としたマルチモーダル参照解析タスクを提案した．
本タスクはテキスト中の参照表現の参照先をテキスト中から特定するテキスト間照応解析，参照先の候補を動画フレーム中から検出する物体検出，および物体検出の結果から参照先物体を特定するテキスト・物体間参照解析から構成される．

タスクの提案に加え，本タスクの学習・評価のための参照タグ付き実世界対話データセットを構築した．
本データセットは実世界における2者の対話シーンにおいて，1人称視点動画，3人称視点動画，対話音声を収録したものである．
さらに，1人称視点動画から抽出されたフレームと対話書き起こしテキストに対して，物体とメンションの参照関係が密に付与されている．
構築したデータセットで既存の解析モデルを評価した結果，今回提案するタスクでは，テキスト間の解析に比べテキストと物体間の関係解析が非常に困難で挑戦的な課題であることを示した．
このように，本データセットは実世界において対話を通じて人間を支援するロボットを開発する上でのベンチマークを提供し，取り組むべき課題を明らかにするための基盤となる．

今後の課題として，動画中の動作に対するタグ付けが挙げられる．
本研究では動画に対して，フレーム中の物体および領域に矩形を付与したが，一方で動画に基づく多くのデータセットでは動作の時間的区間が付与されている \cite{Damen2022RESCALING,Rai-2021-HomeActionGenome,Ego4D2022CVPR}．
これらデータセットにならい，動作的な述語に対して動画中の対応する動作区間を付与することが考えられる．
動作区間の付与によって，物体だけでなくその物体に関係する動作を認識し，より高度な状況理解が可能なロボットの実現に役立つ．

また，本タスクにおける解析モデルの改善も課題として挙げられる．
本研究では，既存手法を本データセットにおいて評価した実験から，テキスト・物体間参照解析，特に間接的な参照関係に対する解析に大きな改善の余地があることが明らかになった．
実験に用いたシステムはテキスト間の照応関係とテキスト・物体間の参照関係を独立に解析するものだったが，今後はそれらを統合的に解くことで性能が改善する可能性がある．
また，本データセットは動画を含むためフレーム間の時系列情報を利用することも考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，京都大学科学技術イノベーション創出フェローシップ事業の助成を受けたものである．
本研究の一部はJSPS科研費22H03654の支援を受けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{-0.5pt}
\bibliography{10refs}
\endgroup




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia10f5.pdf}
\end{center}
\caption{リビングにおけるシナリオを収集するためのクラウドソーシングインターフェイス}
\label{fig:crowd-works-living-ja}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\vspace{-1\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{対話シナリオ収集インターフェイス}\label{sec:scenario-collection-interface}

図~\ref{fig:crowd-works-living-ja}に，対話シナリオ収集インターフェイスの例を示す．
インターフェイスには画像が3枚添付されている．
うち2枚（図~\ref{fig:living-images}）はクラウドワーカーにリビングの部屋の状況を提示するためのものである．
ワーカーは画像に示された部屋で実行可能なシナリオを作成することを求められる．
残りの1枚（図~\ref{fig:living-obj1}）は，ワーカーにシナリオに含める物体を提示するためのものである．
図に示された物体はシナリオに含める物体の一例であり，ワーカーはリビングにありそうなものであれば自由に物体を使用することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia10f6.pdf}
\end{center}
\caption{リビングの設備をクラウドワーカーに示すための画像}
\label{fig:living-images}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia10f7.pdf}
\end{center}
\caption{リビングにおけるシナリオに含める物体をクラウドワーカーに示すための画像}
\label{fig:living-obj1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{対話シナリオの例}\label{sec:scenario-example}

表~\ref{tab:scenario}に収集した対話シナリオの例を示す．
括弧内のテキストは場面状況を表す．
括弧外の発話には「あそこ」や「それ」などの参照表現が含まれ，視覚情報も含めなければ理解が困難な対話になっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{10table12.tex}%
\caption{収集したシナリオの例．括弧内は場面状況であり台詞としては使用しない．}
\label{tab:scenario}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{植田　暢大}{
2019年京都大学工学部電気電子工学科卒業．
2021年同大学院情報学研究科修士課程修了．
2021年から2024年，理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム研修生．
2024年京都大学大学院情報学研究科博士課程研究指導認定退学．
同年，日本電気株式会社入社．
修士（情報学）．
自然言語処理の研究に従事．
2021年情報・AI・データ科学博士人材フェローシップ採用．
言語処理学会会員．
}

\bioauthor{波部　英子}{
2017年から2021年，奈良先端科学技術大学院大学先端科学技術研究科情報科学領域知能コミュニケーション研究室技術補佐員．
2021年より理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チームテクニカルスタッフ．
自然言語処理，テキストアノテーションの研究および研究補佐に従事．
}

\bioauthor{松井　陽子}{
2008年から2014年，独立行政法人情報通信研究機構・知能創生コミュニケーションユニバーサルコミュニケーション研究所技術補佐員．
2015年から2023年，国立研究開発法人情報通信研究機構・ユニバーサルコミュニケーション研究所技術補佐員．
2023年より理化学研究所ガーディアンロボットプロジェクト研究パートタイマーII．
自然言語処理，テキストアノテーションの研究および研究補佐に従事．
}

\bioauthor{湯口　彰重}{
2017年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2021年同博士後期課程研究指導認定退学．博士（工学）．
理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム
特別研究員など
を経て，
2023年より東京理科大学先進工学部機能デザイン工学科助教および理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム
客員研究員．ロボティクス
に関する研究に従事．
IEEE，SIGDIAL，日本ロボット学会，日本機械学会各会員．
}

\bioauthor{河野　誠也}{
2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2021年同先端科学技術研究科博士後期課程研究指導認定退学．
博士（工学）．
2020年に日本学術振興会特別研究員 (DC2)を経て，2021年から理化学研究所ガーディアンロボットプロジェクト特別研究員．2023年から奈良先端科学技術大学院大学客員助教．
自然言語処理および音声言語処理に関する研究に従事．
ACL, ISCA, 人工知能学会，言語処理学会各会員．
}

\bioauthor{川西　康友}{
2011年京都大学大学院情報学研究科博士課程指導認定退学．京都大学博士（情報学）．名古屋大学大学院情報学研究科助教などを経て，現在，理化学研究所ガーディアンロボットプロジェクト感覚データ認識研究チーム チームリーダー，名古屋大学大学院情報学研究科客員准教授，奈良先端科学技術大学院大学客員教授．ロボットによる3D環境認識に関する研究に従事．電子情報通信学会シニア会員，IEEE，画像電子学会各会員．
}

\bioauthor{黒橋　禎夫}{
1994年京都大学大学院工学研究科博士課程修了．
博士（工学）．
2006年4月より京都大学大学院情報学研究科教授．
2023年4月より同特定教授および国立情報学研究所長を併任．
自然言語処理，知識情報処理の研究に従事．
JSTさきがけ「社会システムデザイン」研究総括（2016～2022），文部科学官（2020～2022）等を歴任．
言語処理学会10周年記念論文賞，同20周年記念論文賞，第8回船井情報科学振興賞，2009 IBM Faculty Award，文部科学大臣表彰科学技術賞等を受賞．
}

\bioauthor{吉野幸一郎}{
2014年京都大学大学院情報学研究科博士後期課程修了．奈良先端科学技術大学院大学情報科学研究科助教等を経て， 現在，理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム チームリーダー，奈良先端科学技術大学院大学客員教授．京都大学博士（情報学）．音声対話ロボットの研究に従事．IEEE，ACL，SIGDIAL，情報処理学会，人工知能学会，日本ロボット学会各会員．
}

\end{biography}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

