\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{color}  % added
\usepackage{pifont}  % added
%%%%\usepackage{amsthm}  % added
%%%%\usepackage{amssymb}  % added
%%%%\usepackage{amsfonts}  % added
%%%%\usepackage{ulem}  % added
%%%%\usepackage{svg}  % added
%%%%\renewcommand\UrlFont{\rmfamily}
\newcommand{\argmax}{\mathop{\rm argmax}\limits}  % added
%%%%\newtheoremstyle{mystyle}%   % スタイル名
%%%%{}% space above
%%%%{0pt}% space below
%%%%{\normalfont}% body font
%%%%{}% indent amount
%%%%{\bfseries}% theorem head font
%%%%{}% punctuation after theorem head
%%%%{5pt}% space after theorem head (default: 5pt)
%%%%{}% theorem head spec
%%%%\theoremstyle{mystyle}
%%%%\newtheorem*{rest*}{制約}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{4}
\Month{December}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{5}{31}
\revised{2022}{8}{31}
\accepted{2022}{9}{29}

\setcounter{page}{1198}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{マルチモーダル文書におけるテキストと画像の整合タスクの提案}
\jauthor{村岡　雅康\affiref{titech}\affiref{ibm} \and 岡崎　直観\affiref{titech} \and 小比田涼介\affiref{ibm} \and 石井　悦子\affiref{usthk}}
\jabstract{%
本研究では，複数文および複数画像から成るマルチモーダル文書を理解するシステムの構築を目指し，文書内における画像を意味的に望ましいテキストに割り当てる新たなタスク\textbf{I}mage-to-\textbf{Te}xt \textbf{M}atching (ITeM)を提案する．また，提案タスクのためにWikipediaから機械的に66,947文書および320,200画像からなるデータセットを構築する．提案タスクの妥当性および難易度を検証するため，既存のマルチモーダルタスクで最高精度を達成した2手法を本タスク向けに改良し，評価実験を行う．結果から，ベースラインの精度を大幅に上回ったものの，人間の精度に到達するには改良の余地があることを確認した．また，既存タスクに対する提案タスクの寄与度を検証する実験では顕著な差は見られなかった一方で，詳細な分析により，記事内の画像数が多くなるほど，また，画像が分散して配置される記事ほどタスクが難しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど，既存タスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価できることが示唆された．
}
\jkeywords{マルチモーダル文書理解，言語と画像，タスク提案}

\etitle{ITeM: Image-to-Text Matching for Multimodal Documents}
\eauthor{Masayasu Muraoka\affiref{titech}\affiref{ibm} \and Naoaki Okazaki\affiref{titech} \and Ryosuke Kohita\affiref{ibm} \and Etsuko Ishii\affiref{usthk}}
\eabstract{We propose a new task called image-to-text matching (ITeM) to facilitate multimodal document understanding. ITeM requires a system to learn a plausible assignment of images to texts in a multimodal document. To study this task, we systematically construct a dataset comprising 66,947 documents with 320,200 images from Wikipedia. We evaluate two existing state-of-the-art multimodal systems on our task to assess the validity and difficulty of our task. Experimental results show that the systems greatly outperform simple baselines while their performances are still far from that of humans. Further, the proposed task does not contribute significantly to the existing multimodal tasks; however, detailed analysis suggests that the task becomes more complex when more images are present in a document and that the proposed task can offer a new capability for image-to-text understanding not achievable through existing tasks, such as multiple image consideration or image abstraction.
}
\ekeywords{Multimodal Document Understanding, Language and Vision, Task Proposal}

\headauthor{村岡，岡崎，小比田，石井}
\headtitle{マルチモーダル文書におけるテキストと画像の整合タスクの提案}

\affilabel{titech}{東京工業大学}{Tokyo Institute of Technology}
\affilabel{ibm}{日本アイ・ビー・エム株式会社}{IBM Japan ltd.}
\affilabel{usthk}{香港科技大学}{The Hong Kong University of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

言語と画像という二つの異なるモダリティを橋渡しする技術を確立することは，自然言語処理および画像処理の両分野において重要な目標の一つである．
この目標に向けて，これまで複数のマルチモーダルタスクにおいて大きな進歩を遂げてきた．
例えば，画像のキャプション生成タスク \cite{lin2014microsoft}や画像の質問応答タスク \cite{antol2015vqa,agrawal2017vqa}は，盛んに研究が行われている代表的なマルチモーダルタスクである \cite{hossain2019comprehensive,kafle2017visual,wu2017visual}．
画像のキャプション生成タスクでは，入力画像の内容を短く簡潔な自然言語（キャプション）で記述することを目的とし，画像の質問応答タスクでは，自然言語で問われた画像に関する質問（文）に自然言語で回答することがタスクのゴールである．

しかしながら，普段我々人間が目にする実際のマルチモーダル文書\footnote{本研究では，文書に画像が付随するデータをマルチモーダル文書と呼称する．}は，複数文および複数画像から成る場合がある．
ニュース記事には取り上げている事件・イベントに関連する写真が含まれるし，料理のレシピには途中の各工程の様子が描かれた画像を載せることがある．また，Wikipedia\footnote{\url{https://www.wikipedia.org/}}の記事には人物，各国の建造物・街並み，電化製品や自動車などの人工物，草花，鉱物，化学物質など，ありとあらゆる物事が詳しく記述され，それらに関連する画像が付随する．
この時，文書の適切な位置に画像が配置されることで，画像は我々人間が文書理解することを助けている．
言い換えれば，我々人間は，画像と文書内の（多くの場合はその近辺の）テキストの関連性や対応関係を自然に読み取りながら文書を理解している．
一方，画像のキャプション生成タスクや質問応答タスクを含む既存の多くのマルチモーダルタスクでは，タスクの定義上1事例が短文と1画像のペアで構成されるため，複数画像の対応関係や，文書レベルの長いテキスト，および，データセットのアノテーションコストの都合上多種多様な視覚的概念を扱っていない．
これは，既存のマルチモーダルタスクからでは上述した人間が行う文書理解の仕方を明示的に学習させたり，既存のタスク上で学習されたモデルをそのまま上述した我々が普段目にする多様なマルチモーダル文書に適用できないことを示唆している．

この問題に対処するため，我々は実際にWeb上に存在するマルチモーダル文書を対象とした新しいタスク，Image-to-Text Matching (ITeM)を提案する\footnote{本研究の内容の一部はLREC 2020に採択されたものである\cite{muraoka-lrec-2020}．}．
これにより実応用可能なマルチモーダルシステムを構築するための新たな研究の方向性を切り開くことが本研究の目的である．
図~\ref{fig:task_overview}に提案タスクの概要を示す\footnote{\url{https://en.wikipedia.org/w/index.php?title=Headset_(audio)&oldid=899726384}}．
このタスクの目標は，ある1つの入力文書と入力画像集合が与えられた時，読者の文書理解を助けるような画像の文書内における配置位置，すなわち，関連度の高い部分テキストを予測することである．
このタスクを解くためには，複数文および複数画像を考慮することが要求される．
それに加え，このタスクには既存のマルチモーダルタスクでは扱われていない次の3つの技術課題が含まれる．
(i) 文書レベルの長いテキスト，および，内在する文書構造を考慮すること．
(ii) 複数の画像を関連づけること．
例えば，図~\ref{fig:task_overview}の最初の2つの画像は，対比しながら見ることで視覚的形状の違いを強調させつつ，対応するテキスト（``Bluetooth''セクション）を補完している．
(iii) 既存のマルチモーダルタスクで扱われる事前に定義された限られた種類の視覚的概念だけでなく，固有名詞を含む幅広いドメインで扱われる多様な語彙知識に対処すること．
これらの技術課題を含む提案タスクによって，新聞記事の見出し生成や適切な画像選定，物語からの自動絵本生成，イベント写真からのアルバム生成など，マルチモーダル文書に関する新たな研究や応用を期待できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics[height=245.6pt,clip]{29-4ia6f1_org.pdf}
\end{center}
\caption{提案タスクの概要．英語版Wikipedia ``Headset (audio)''より引用，一部改変．}
\label{fig:task_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，ITeMタスクを提案するにあたり，我々はWikipedia dumpから66,947文書および320,200画像からなる大規模なデータセットを低コストで機械的に構築する．
Wikipediaに着目したのは，1つの記事ページを1つのマルチモーダル文書とみなすことができ，また，タスクのゴールである文書内のテキストと画像の対応関係がマークアップファイルに明示的に記述されているためである．
それに加え，Wikipediaでは，様々なトピック・事柄について扱われており，さらにWikipediaのセクション構造を擬似的な文書構造（段落構造）とみなすことができる．
従って，Wikipediaは上述した3つの技術課題を全て満たす言語資源である．
また，構築したデータセットは，既存の単一言語からなるマルチモーダルデータセットと比べ，画像数，文書数，語彙数の観点で大規模であることを\ref{sec:dataset}節で示す．

提案タスクの妥当性と難易度を調査するため，過去に既存のマルチモーダルタスクで最高精度を達成した手法 (Pythia \cite{jiang2018pythia}，OSCAR \cite{li2020oscar})を本タスク向けに改良を行い，評価実験を行う．
実験結果から，改良した既存手法はベースラインを大幅に上回り，提案タスクを解くことができる可能性を示したものの，人間の精度に到達するには改良の余地があることも確認された．
また，提案タスクを事前学習の一種とみなし，提案タスクで学習させたモデルを既存のマルチモーダルタスクでfine-tuningし，性能評価を行った．
その結果，提案タスクで学習を行わなかったモデルとの明らかな差は見られなかった一方で，定量分析および定性分析により，記事内の画像数が多くなるほど，また，画像が分散して配置されている記事ほどタスクが難しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど，既存のタスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価していることが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:rel-work}

これまでに提案された代表的なマルチモーダルデータタスクおよびデータセットについて述べる．
\citeA{lin2014microsoft}によって画像のキャプション生成のベンチマークデータセットとして，MS COCOが構築された．
MS COCOには12万3千以上の画像が含まれ，各画像には5つ以上の正解キャプションが付けられている．
画像はFlickr\footnote{\url{https://www.flickr.com/}}と呼ばれる画像の管理共有サービスから収集され，一方キャプションはAmazon Mechanical Turk\footnote{\url{ https://www.mturk.com/}}を用いて別々にアノテーションされた．
\citeA{goyal2017making}は，初期のVQAデータセット\cite{antol2015vqa}で問題となっていた言語的バイアスの問題に対処し，よりバランスの取れたVQA v2データセットを提案した．
約20万4千を超える画像を含む．
Visual Genome \cite{krishna2017visual}は詳細なアノテーションが付与されたマルチモーダルデータセットであり，物体ごとの矩形の座標情報や，それら矩形ごとの説明フレーズ，物体の属性情報，物体間の関係，シーングラフ，QAペアなどのアノテーションが付けられている．
各画像には平均50個の矩形のアノテーションがなされており，各矩形には説明フレーズとしてその矩形に描かれた内容をフレーズレベルの短い自然言語で記述されたものが付与されている．
これら上記のデータセットにアノテーションされた説明文等のテキストは，その画像が撮影された背景やコンテキストを知らないクラウドワーカーによって独立して付与され，誰が見ても納得する客観的なテキストを付与するように指示されたため，撮影した当事者しか知らないような情報や固有名詞などを含まず，一般的な語を用いて記述されている．
それに対し，\citeA{shah2019kvqa}が作成したKVQAは固有名詞に特化したデータセットであり，世界知識に関する推論を目的として作成された．
タスクを解くためには，Wikipediaの記事が存在するような有名人に関する知識が要求される．

上記のデータセットは多くのマルチモーダル研究で使用される一方，いずれのデータセットにおいても，文書レベルの長いテキストや，1事例内で複数の画像を扱っていない．
それらを扱った研究も存在するが，数は限られている．
\citeA{krause2017hierarchical}は，説明文ではなく説明パラグラフからなるパラグラフキャプション生成のデータセットを構築した．
従って，パラグラフレベルで一貫性のあるキャプションの生成技術が要求される．
TQA \cite{kembhavi2017you}と呼ばれるデータセットは，小学校中学年の理科の教科書から構築され，1事例が1レッスンに対応する．
1レッスンは1つの科学トピックについて書かれた複数のパラグラフからなり，化学反応などの複数のイラストや図を画像として含む．
また，教科書にある練習問題が，TQAのタスクとして解くべき問題として設定されているため，そのタスクを解くシステムも同様に1レッスン全体を理解することが求められる．
ISVQA \cite{bansal2018isvqa}は，屋内または屋外で撮影された複数の画像に対し，1組の質問および解答が付与された複数画像からなるVQAデータセットである．約3割の事例は複数の画像を考慮しないと質問に解答できない事例になっている．
これらのデータセットは，\ref{sec:intro}節で述べた提案タスクに含まれる技術課題(i)から(iii)のいずれかを満たすものであるが，3つ全てを同時に満たすものではない．

\citeA{srinivasan2021wit}は本研究と同様Wikipediaから大規模かつ多言語のマルチモーダルデータセットWITを構築している．我々がマルチモーダル文書としてWikipediaの1記事全体を本タスクの1事例とするのに対し，WIT内ではWikipedia中の画像を主とし，その画像のキャプション，および，画像が使われている記事の第1セクションのテキスト，画像が言及されているセクションのテキストを組み合わせて1事例としている．従って，画像を参照していないセクションはWITデータセットに含まれていない．一方，本研究では一部のテキストを除外したりせず，1つの完結した文書の中でテキストと画像の関連性を捉えることを目指す．

本研究と関連する研究分野として文書画像理解(Document image understanding, DIU)がある \cite{layoutlm,layoutlmv2,docvqa,doccvqa,infographicvqa}．DIUでは，machine-readableではない画像化された文書データを対象として情報抽出を行うことを目指している．例えば，商品レシート画像から特定の商品の値段を抽出したり，手書きの手紙画像から差出人の名前や郵便番号を抽出することが目標である．
そのため，このタスクを解くためにはレイアウト情報を考慮することが重要であることが示されている \cite{layoutlmv2}．
一方で，本研究で扱うデータはWikipediaのマークアップファイルから得られるため既にmachine-readableな形式になっており，本タスクを解くためには，レイアウト情報よりむしろ，テキストと画像の意味的な関連性および内容を考慮することが求められる．

近年，代表的な画像のキャプション生成や画像に関する質問応答以外の，萌芽的なマルチモーダルタスクもいくつか提案されている．
ここでは本研究と関連があるものを取り上げる．
\citeA{zhu2015aligning}は，映画の動画フレームとその元になっている本のパッセージとの対応関係を求めるタスクを提案した．
\citeA{agrawal2016sort}は，シャッフルされた画像とキャプションのペア集合（全て同じある1つのストーリーに関するもの）を，時系列順に並び替えるタスクを提案した．
また，\citeA{bosselut2016learning}は，結婚式などの代表的なイベントの典型的な流れ（新郎新婦入場から退場までなど）をフォトアルバムを用いて学習する試みを行った．
\citeA{iyyer2017amazing}は，漫画からデータセットを構築し，台詞やコマの穴埋め問題をタスクとして提案した．
このタスクを解くためには，漫画のストーリーの一貫性や流れ，さらには明示的に描かれていない行間を理解することが求められる．
\citeA{biten2019good}は，新聞記事のキャプション生成タスクに取り組んだ．
キャプション自体はこれまでのキャプション生成タスク同様，画像の内容に関する短い文を想定していたが，クラウドソーシングを使ってキャプションを付与したデータセットと異なり，様々な固有表現に対処する必要があった．
\citeA{hessel2019unsupervised}は，既存のマルチモーダルデータセットを用いて，テキストと画像の対応関係を教師なしで学習する手法を提案した．彼らの研究は我々の問題意識と共通する点があるものの，扱っているデータセットの規模や種類において大きく異なり，彼らがモデルの学習に使用したデータセットは上記のMS COCOのようなテキストが独立してアノテーションされたデータセットであるのに対し，我々が使用するのはWeb上に実際に存在するデータから構築したデータセットである．
\citeA{radford2021learning}は，CLIP (Contrastive Language-Image Pre-training)と呼ばれるマルチモーダル表現の学習手法を提案し，事前に定義された物体クラス情報を用いるのではなく，キャプション付き画像データセットから画像中の物体とそれに対応するキャプション中のテキスト表現の対応関係を自然に学習できることを示している．学習によって得られたマルチモーダル表現がzero-shotタスクで高成績を収めることも示した．
より最近では\citeA{Tanaka2021VisualMRC_AAAI}が，画像の質問応答タスクの枠組みで入力画像がマルチモーダル文書のスクリーンショットになっているデータセットおよびタスクを提案している．
上述のマルチモーダルタスクではそれぞれ異なる技術課題に着目しているが，本研究ではそれらとはまた異なる新たな技術課題に取り組む．
詳しくは\ref{sec:data_analysis}節で述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{タスクの定式化}
\label{sec:form}

本節では，論文中で使用する用語の定義と提案タスクITeMの定式化を行う\footnote{問題設定において共通する部分があるため，いくつかの記法や表現は\citeA{hessel2019unsupervised}に従った．}．
ITeMで扱うマルチモーダル文書は，図~\ref{fig:task_overview}のような文書と複数画像から成る．
1つの文書は数十から百数十の文からなり，言語的構造，もしくは，番号付きリストやネストされたリストのような順序的階層的構造を持つ．
本タスクにおける文書は，これらの構造に従ってあらかじめ文やパラグラフ，セクションといった意味のあるテキストの単位に分割されているものとする．
本研究ではセクション単位に分割されていると仮定する．
画像はキャプションを伴うことができ，テキストで記述された文書を視覚的に補完し，読者の文書読解を助ける役割を担う．
本タスクのゴールは，ある1つの文書に関する画像の集合と分割されたテキストの集合のペアが与えられた時，テキスト集合中のあるテキストを補完するような画像からテキストへの尤もらしい割り当て（図~\ref{fig:task_overview}中央の画像とテキスト間のエッジ）を求めることである．

このタスクを以下のように定式化する．
あるマルチモーダル文書$d$に含まれる画像集合を$V$，テキスト集合を$S$で表す．
それぞれの要素数は$|V|$，および，$|S|$で表される．
画像集合$V$中の要素$v$は，実際の画像と，キャプションがある場合はそのキャプションのペアから構成され，テキスト集合$S$中の要素$s$ （およびキャプション）は単語列から構成される．
これにより，マルチモーダル文書$d = \langle V, S \rangle$は$|V|$個の画像と$|S|$個のテキストを頂点に持つ（無向） 2部グラフとみなすことができる．
画像と画像が割り当てられるべきテキスト間にのみ2部グラフのエッジが張られる．

上記より，提案タスクは画像集合$V$とテキスト集合$S$間のあり得るエッジを予測するグラフ補完問題として定義される．
グラフを補完するためには，グラフ全体で推論する必要がある．
すなわち，複数のテキスト$S$と複数画像$V$と同時に考慮する必要がある．
エッジの割り当て行列を${\bf A} \in [0, 1]^{|V| \times |S|}$で表すと，行列${\bf A}$の$(i,j)$成分（ただし，$i$は行，$j$は列のインデクスをそれぞれ表す）は，$i$番目の画像が$j$番目のテキストに割り当てられる確率を表す．
画像集合中の各画像は必ずただ1つのエッジを持つが\footnote{2つ以上のエッジを持つ場合も考えられるが，本研究では扱わない．本研究でデータセット構築のために使用するWikipediaにおいては（\ref{sec:dataset}節），そのガイドライン(\url{https://en.wikipedia.org/wiki/Wikipedia:Manual_of_Style#Images})に「画像は関連するセクション“内”に配置すること」とあり，無関係なセクションにむやみに画像を配置することや，あるセクションに配置された画像をそれ以外の異なる複数のセクションから言及することはなるべく避けるような指示がなされているため，このように定義しても問題ないと考える．}，テキスト集合中のテキストは必ずただ1つのエッジを持つとは限らない．
エッジを持たない場合（画像が紐づかないテキスト）や1つのテキストが複数のエッジを持つ場合（複数の画像が割り当てられるテキスト）があることに注意されたい．
この性質を満たすように，割り当て行列${\bf A}$に次の制約を加える．

%%%%\begin{rest*}
\noindent\textbf{制約}~各行${\bf a}_{i}$の確率値の和は必ず1にならなければならない：
%%%%\end{rest*}
%%%%\vspace{-20pt}
\begin{equation}
\Sigma_{j}{a_{i j}} = 1.
\end{equation}
これにより，各行${\bf a}_i = [ a_{i1} \, a_{i2} \, \cdots \, a_{i|S|} ]$はテキスト集合$S$上の確率分布となり，確率質量関数$\phi_i : S \to [0, 1], \phi_i(s_j) = a_{ij}$で表される．

従って，求めるべきマルチモーダル文書$d$における各画像のテキストへの割り当て${\bf y}$は，割り当て行列${\bf A}$の各行${\bf a}_i$の確率最大となる次元を見れば良い．
\pagebreak
\begin{align}
{\bf y} &= \begin{bmatrix}y_1 & \cdots & y_{|V|}\end{bmatrix}, \notag \\
y_i &= \argmax_{j \in \{1, \ldots, |S|\}}{a_{ij}} \\
&= \argmax_{j \in \{1, \ldots, |S|\}}{\phi_i(s_j)}, \notag
\end{align}
ただし，$y_i$は$i$番目の画像$v_i$が割り当てられるテキストのインデクスを表す．
この基準を緩め，各画像について確率値top-$k$個のテキストを考慮することで，top-$k$の割り当てを考えることもできる．

提案タスクを解くシステムの精度は\texttt{accuracy@k}で評価する．
\texttt{accuracy@k}とは，各画像に関してtop-$k$個の割り当てを考慮した際の精度であり，top-$k$個の中に正解テキストが含まれている場合に正解したとみなす．
実験では，$k \in \{1, 3, 5\}$を使用し，\texttt{accuracy@k}は正解した画像数を評価セットに含まれる全画像数で割った平均値を算出し，評価セット全体の精度を求める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データセット}
\label{sec:dataset}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット構築}
\label{sec:curation}

ここでは提案タスクのためのデータセット構築方法を提案する．
先に述べた通り，WikipediaのマークアップMediaWiki\footnote{\url{https://www.mediawiki.org/wiki/Help:Formatting}}に着目し，英語版Wikipediaからデータセットを構築する．
WikipediaのマークアップファイルにはHTMLの$\langle$h$\rangle$タグに相当する見出しタグで囲まれたセクションのテキストと，$\langle$img$\rangle$タグに相当する画像タグ（キャプションを伴うことができる）が含まれる．
画像タグが記述されたセクションをその画像が割り当てられているセクションとみなす．
これにより，Wikipediaの各記事から，提案タスクの入力となるテキスト集合と画像集合，および，予測対象となる画像からテキストへの正解の割り当てが得られ，機械的に大規模なマルチモーダルタスク（提案タスク）のデータセットを構築することができる．
この構築方法は，機械的に低コストで構築するため，多少のノイズは含まれるものの\footnote{著者らが実際に構築されたデータセットのいくつかの事例を確認したところ，適切でないセクションに画像が割り当てられていたり（多くの場合は前後のセクションに割り当てられるのが正しいケース），画像のキャプションが ``300x300px''のように有用でないものが見つかった．}，次節で説明するような既存のマルチモーダルデータセットには含まれない難解な事例が含まれていたり，マークアップのフォーマットが変わらない限りWikipediaの他の言語にも適用できるといった特長を持つ．

以下に実際の手続きを詳述する\footnote{データセットを構築するために使用したコードは\url{https://github.com/muraoka7/tool4ipp}に公開されている．}．
まず，英語版Wikipedia dump\footnote{\url{https://dumps.wikimedia.org/}．2019年6月1日時点で最新のものを使用した．}に含まれる全ての記事からセクション，画像，および，キャプションを抽出した．
この時，インフォボックスや表形式のデータはセクションのテキストには含めなかった．
また，マークアップ言語の解析に失敗した記事も除外した．
その結果，5,870,656文書が得られた．
次に，セクションの数が10以上50以下で，かつ，画像数が2以上30以下の文書のみ保持した．
下限値を設定したのは，タスクとしての難易度が簡単すぎるものを除外するためであり，上限値を設定したのは，画像が極端に多い記事はテキストがほぼ無い写真ギャラリーのような記事になり\footnote{例えば，\url{https://en.wikipedia.org/wiki/Gallery_of_sovereign_state_flags}など．}，本タスクには不適切と考え，それらを含めないようにするためである．
これにより，161,763文書が残った．
続いて，残った文書に含まれる全ての画像を収集した．
この時，拡張子がjpeg，JPEG，jpg，JPG，png，PNGのいずれかである画像を収集対象とした．
加えて，全ての画像をRGB形式に変換し，画像のファイルサイズを圧縮する後処理を行った．
最終的に，66,947文書および320,200画像からなるデータセットが得られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}
\label{sec:data_analysis}

表~\ref{tab:datacomp}，\ref{tab:datastats}に構築したデータセットの統計情報を示す．
また，\ref{sec:rel-work}~節で言及した，広く使われている既存の代表的なマルチモーダルデータセットも合わせて載せている\footnote{これら以外にも近年大規模なマルチモーダルデータセットが提案されている \cite{ordonez2011im2text,yfcc100m,sharma-etal-2018-conceptual,Changpinyo2021CC12M,desai2021redcaps,Schuhmann2021LAION400M,schuhmann2022laionb}．しかしながら，WITを除いていずれも1事例中に複数画像や文書レベルの長文が含まれていないものであり，データ形式は既存の代表的なマルチモーダルデータセットと同様であるため割愛する．また，WITに関しても\ref{sec:rel-work}~節で述べたようにWikipedia中の画像が紐付かないセクションは除外されており文書として不完全であるため割愛する．}．
本節では，提案タスクのために構築したデータセットの特徴を定量的・定性的に述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{06table01.tex}
\hangcaption{ITeMデータセットの統計情報，および，既存の代表的なマルチモーダルデータセットとの比較．データセットによってテキストとして扱われる言語単位が異なるため，単位も合わせて記載．}
\label{tab:datacomp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{06table02.tex}
\hangcaption{文書，テキスト，文単位における統計情報．$^*$1画像に紐付いている全てのテキストを集めて文書とみなして算出（例えば，MS COCOにおいて，1画像に紐付いている独立した複数のキャプション間に文書構造は存在しないが，それらを無視し文書とみなして算出）．}
\label{tab:datastats}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\textbf{文数および単語数はいくらか？}

\noindent 公平な比較を行うため，表~\ref{tab:datacomp}にある全てのデータセットに対し，同一のライブラリ\texttt{spaCy} \cite{spacy2}\footnote{\url{https://spacy.io/}}を用いて，文数および単語数をカウントした．
その結果，我々のデータセットには1千万以上の文が含まれており，各セクションは平均8.9文から構成されることが確認された．
平均文長は22.3単語であり，平均セクション長は198.4単語であった．
また，1文書は平均150.4文から構成され，表~\ref{tab:datastats}中の2番目に平均文数が大きいTQAデータセットの約2倍であり，1文書に含まれる平均単語数は約3.6倍であった．
このことから，提案タスクを解くためには，既存のマルチモーダルタスクに比べてより長いテキストの読解が要求されることがわかる．

\textbf{1文書および1セクションの平均画像数はいくらか？}

\noindent 我々のデータセットに含まれる画像数は32万以上で，表~\ref{tab:datacomp}の中でも大規模である．
先述したように，我々のデータセットにおける1セクションには複数の画像が割り当てられうる（実際には平均1.3枚）が，TQAを除く他のデータセットにおけるテキスト（1キャプションや1質問文）にはタスクの設定上必ず1枚の画像しか結びつかない．
これに加え，我々のデータセットは1文書あたり，すなわち，1事例あたり，平均4.8枚の画像を含む．
従って，タスクを解くためには，複数の画像を考慮した推論が必要になると考えられる．

\textbf{語彙数はどのくらい大きいか？}

\noindent 表~\ref{tab:datastats}の語彙数を見ると，我々のデータセットの語彙数は非常にロングテールであり，他と比べても2桁規模が大きいことがわかる．
Wikipediaはインターネット上にある最大の百科事典の一つであり，誰でも編集可能な性質を持つことから，我々のデータセットが普通名詞や固有名詞に限らず，一般常識および世界知識に関する多種多様な事柄をカバーすることは明らかである．
このことから，既存のマルチモーダルタスクとは異なり，普段我々人間が目にするマルチモーダル文書を読み解く時と同じように，このタスクを解くシステムは多種多様な語彙を扱わなければならない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics[height=367.9pt,clip]{29-4ia6f2_org.pdf}
\end{center}
\hangcaption{ITeMデータセットの具体例．図中のセクションは画像が割り当てられる正解テキスト．各事例を解く際に対処すべき技術課題も合わせて提示（図中の下線部はそれらに関連する部分）．}
\label{fig:skills}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\textbf{ITeMタスクを解くために対処すべき技術課題は？}

\noindent 構築したデータセットからランダムに抽出した事例（サブセット）を著者らが確認し，タスクを解くために対処しなければならない技術課題を特定，分類した．
\ref{sec:intro}~節で述べた大きな3つの技術課題(i)--(iii)に加え，個別の事例を解くためには，次のような技術課題に対処する必要があることを確認した．
具体的には，キーフレーズ抽出，物体とキーフレーズのマッチング，シーン予測，文字認識(OCR)，図の理解，文書全体からの情報統合や選択などである．
図~\ref{fig:skills}に具体例を示す\footnote{それぞれのデータセット構築時点の記事へのリンクは以下の通り．Tricycle：\url{https://en.wikipedia.org/w/index.php?title=Tricycle&oldid=897115862}，Wine：\url{https://en.wikipedia.org/w/index.php?title=Wine&oldid=898479596}，Railway platform：\url{https://en.wikipedia.org/w/index.php?title=Railway_platform&oldid=898450839}，Unified Process：\url{https://en.wikipedia.org/w/index.php?title=Unified_Process&oldid=882821949}，Montacute House：\url{https://en.wikipedia.org/w/index.php?title=Montacute_House&oldid=895284736}．}．
図中(a)の画像の正解セクションを予測するには，画像中の物体が``spidertrike''であることを認識し，（キャプションを使用したとしても）約200語からなるセクションから同じテキスト表現（``spidertrike''という単語）を抽出し対応付けなければならない．
図中(b)の例では画像中の個々の物体ではなく，画像全体としてのシーン（ワインの貯蔵庫, storageであること）を認識する必要がある．また，キャプションに含まれる``Oak''や``barrels''といった表現は正解セクション中では使われていないため，直接的な手がかりになり得ない．
図中(c)はOCR （Optical Character Recognition, 光学文字認識）を使用すれば，画像中の文字を手がかりに正解セクションを予測することが可能である．
図中(d)はOCRに加え，グラフ読み取りが必要な例である．グラフ中の列名を認識し，それを手がかりとして正解セクションの記述がグラフの説明であることを読み取らなければならない．
図中(e)では画像の類似性および互いに隣接し合うセクションの記述内容の類似性から，複数の画像のそれぞれの正解セクションを同時に予測しなければならない．また，図はある建物のフロアマップを表しているため，OCRを行うかキャプション内の表現と，セクション内のテキスト表現のマッチングも行う必要がある．
これらの技術課題は網羅的なものではないが，確認した事例において頻出したものである．
上記の例を通して，実際のマルチモーダル文書における画像の使われ方は多岐にわたることが確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:experiment}

本節では，既存のマルチモーダル手法を提案タスク上で学習することによって提案タスクの妥当性および難易度を検証する．
仮に，既存の最高精度を達成したマルチモーダル手法を本タスクで学習し極端な高成績を収めた場合，タスクの難しさとして既に簡単すぎるため，新たなマルチモーダルタスクとしての価値は低いかもしれない．
逆に，既存の最高精度を達成した手法をもってしても全く解けなかった場合，タスクとして難しすぎるか，構築したデータセットに問題がある可能性がある．
タスクとして難しすぎる場合，将来的に多くの研究者が取り組みたがらなければ，これもタスクの価値として大きいとはいえないだろう．
従って，既存の手法がある程度提案タスクを解くことができるが，改善の余地もある状態というのが適切な難易度であり，妥当なタスク設計であると考えられる．
また，単に性能を評価するだけではなく，現在のマルチモーダル手法の限界や課題を見つけ，今後の研究に生かすことができる示唆に富む分析を行うことも重要であると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{検証モデル}
\label{sec:models}

提案タスクの妥当性および難易度を検証するモデルとして，Pythia \cite{jiang2018pythia}およびOSCAR \cite{li2020oscar}の2手法を考慮する．
Pythiaは2018年に画像の質問応答タスクで最高精度を収めた手法であり，OSCARは2020年に画像の説明文生成や質問応答を含む複数の代表的なマルチモーダルタスクにおいて最高精度を達成したTransformer \cite{vaswani}ベースの手法である．
\ref{sec:intro}~節で述べたように，これら既存のマルチモーダルタスクは，短文と1画像のペアが1事例として構成されているため，PythiaおよびOSCARも入力データ形式が異なる本タスクではそのままの形では学習できない．
そのため，本タスクで学習を行うために，複数文および複数画像を1事例として受け付けるための拡張を行う\footnote{本実験の目的はあくまで既存のマルチモーダル手法がどの程度提案タスクを解けるかを調査することにあるため，拡張は最低限であり，提案タスクを解く新たな手法の提案ではないことに注意されたい．}．
それぞれの手法の拡張を行った部分について以下で詳しく説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{拡張Pythia}
\label{sec:pythia}

Pythiaは画像の質問応答タスクを解くモデルとして提案された．
画像と質問文が入力として与えられた時，Pythiaはまずそれぞれをテキストエンコーダーと画像エンコーダーで特徴ベクトルに変換する．
続いて，その特徴ベクトルを用いてAttention層を計算する．
これは入力質問文に基づいて，入力画像のどの部分に注目するかを求めるためである．
最後に，Attentionが考慮された特徴ベクトルから質問文に対する答えを生成する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics[height=102.5pt,clip]{29-4ia6f3_org.pdf}
\end{center}
\hangcaption{拡張Pythiaの概要．灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す．$W$と書かれたオレンジの円は提案タスクで学習対象のモデルパラメータを表す．記号$\otimes$は行列積を表す．灰色の数字は各操作後の特徴量の次元を表す．}
\label{fig:pythia}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

我々はこのモデルを複数テキストおよび複数画像を入力として受け取り，それらの入力に対してAttention層を計算するように拡張する．
このように拡張されたPythiaは，複数テキストおよび複数画像間のインタラクションを扱うように学習されることが期待される．
図~\ref{fig:pythia}に拡張Pythiaの概要を示す．
下記に拡張Pythia内部の計算方法を示す．

テキストの処理に関しては，まずWordPiece tokenizer \cite{wu2016google}を適用し\footnote{実験では，後述の事前学習済みBERTも合わせて，PyTorchの\texttt{transformers} \cite{Wolf2019HuggingFacesTS}で実装されたものを使用した．}，入力テキストに対するサブワード列を得る．
次に，事前学習済みのBERT \cite{devlin2019bert}を用いて，得られたサブワードの最初の512語から特徴ベクトルを得る．
入力テキストが512サブワードを超える場合，それ以降のサブワードは使わないことになるが，表~\ref{tab:datastats}より，我々のデータセットの1つのテキストに含まれる平均単語が198.4語であることを考慮すると，512という数字は十分大きいと考えられる．
入力テキストが512サブワードを超えない場合は，ゼロベクトルでpaddingを行う．
BERTから得られる各入力テキストの特徴ベクトルは，最終隠れ層の\texttt{[CLS]}トークンに対応する出力を使用し，$d_{{\rm txt}}$次元の実数ベクトルで表される($d_{{\rm txt}} = 768$)．

画像の処理に関しては，事前学習済みのConvolutional Neural Networks (CNN)を使用する．
具体的には，18層のResidual Network (ResNet) \cite{he2016deep}を用いる．
提案タスクを解くためには，画像全体を捉えることに加え，画像の特定の領域に注目することが求められるため，画像全体の特徴ベクトルに加え，画像の小領域の特徴ベクトルも取得する．
1つの画像を$3 \times 3$の小画像に分割し，それぞれの特徴ベクトルを得ることで，1画像につき，合計$K=10$個の画像ベクトルを得る（うち1つは全体画像の画像ベクトルである）．
各画像ベクトルはResNetの最終average pooling層の出力を使用し，$d_{{\rm img}}$次元の実数ベクトルで表される($d_{{\rm img}} = 512$)．
従って，1画像の画像特徴量は，$K \times d_{\rm img}$の行列になる．
画像のキャプションも使用する場合は，上述と同様のテキスト処理によりBERTでキャプションの特徴ベクトルを得た後，各画像ベクトルと結合し画像特徴量とする．この時，次元は$K \times (d_{\rm img} + d_{\rm txt})$となる．

続いて，得られたテキストと画像の特徴量から，入力テキストに基づいて注目すべき画像の領域（小領域を含む）を求めるために，以下の方法でAttention層を計算する．
まずテキストと画像の特徴量を結合した後，線形変換を行い，最後にsoftmax関数を適用する．
${\bf S}$ $\in$ $\mathbb{R}^{|S| \times d_{\rm txt}}$を文書内の全テキストの特徴量，${\bf V}(i)$ $\in$ $\mathbb{R}^{K \times (d_{\rm img} + d_{\rm txt})}$を文書内の$i$番目の画像$(1 \le i \le |V|)$の画像特徴量とする．
${\bf S}$を行ベクトルに変形しつつ${\bf V}(i)$と結合し，テンソル${\bf M}$ $=$ $[{\bf M}(1)\, \cdots\, {\bf M}(|V|)]$を得る．
テンソル内の各行列${\bf M}(i)$の次元は$\mathbb{R}^{K \times (d_{\rm img} + d_{\rm txt} + d_{\rm txt}|S|)}$である．
以下の式により，Attention層${\bf \alpha}$を計算する．
\begin{equation}
    {\bf \alpha} = {\rm softmax}\Bigl( (g_2 \circ f \circ g_1)({\bf M}) \Bigr). \\
\end{equation}
ただし，$f({\bf X}) = {\rm ReLU}({\bf X})$，$g_j({\bf X}; {\bf W}_j, {\bf B}_j) = {\bf X}{\bf W}_j^\top + {\bf B}_j$であり，${\bf W}_{j}$および${\bf B}_{j}$はモデルパラメータである．
また，計算されたAttention層は${\bf \alpha} \in [0, 1]^{|V|K}$の列ベクトルとなる．
画像特徴量${\bf V}(i)$に関して${\bf \alpha}$による重み付き和を計算することで，Attentionを考慮した画像特徴量$\widehat{\bf V}(i)$を得る．
\pagebreak
\begin{equation}
    \widehat{\bf V}(i) = \Sigma_{k=1}^K{{\bf \alpha}_{(i-1)K+k}{\bf V}(i, k)}.
\end{equation}
上記の式において${\bf V}(i, k)$は$i$番目の画像の$k$番目の小領域に対応する画像ベクトルを表す．

最終的に各画像$v_i \in V$の割り当て確率分布$\phi_i$は$\widehat{\bf V}$と${\bf S}$を用いて，次式で求める．
\begin{equation}
\label{eqn:pythia_softmax}
    \phi_i = {\rm softmax}\Bigl( (g_3 \circ f)(\widehat{\bf V}(i)) \cdot (g_4 \circ f)({\bf S})^\top \Bigr).
\end{equation}
$g_{3}$および$g_{4}$による線形変換後のベクトルの次元が256となるように重み行列${\bf W}_{3,4}$および${\bf b}_{3,4}$の次元を指定した．
各画像に関する割り当て確率分布$\phi_i$を結合することで，割り当て行列${\bf A} = [\phi_1\, \cdots\, \phi_{|V|}]$が得られる．
ここから，各画像の予測割り当て${\bf y}$も$y_i = \argmax \phi_i$として求められる．
学習時には，正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し，モデルの学習を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{拡張OSCAR}
\label{sec:oscar}

OSCARはMS COCOやVisual Genomeを含む複数のマルチモーダルデータを結合した大規模データを用いてBERTのように事前学習を行い，さまざまなダウンストリームタスクで特徴量抽出器として使用されるVision and Languageモデル \cite{vl_survey}の一つである．
Pythiaや他のVision and Languageモデルと異なり，入力としてテキストと画像の他に画像中に含まれる物体のタグも受け付ける点が特徴的である．
物体タグをテキスト表現の一種として扱うことで，画像中の物体に関する情報と入力テキストをより効果的に関連づけられることが期待される．
入力テキストと物体タグはテキストエンコーダーで特徴ベクトルを抽出し，画像は画像エンコーダーで特徴ベクトルを抽出する．
その後，得られた2種類の特徴ベクトルを結合したものをTransformerに渡し，self-attentionによりテキスト，物体タグ，画像をそれぞれ互いに関連づけた特徴表現を得る．

Pythia同様，OSCARを複数テキストおよび複数画像を受理するように拡張する\footnote{実験では，著者らが公開している事前学習済みモデルおよびコードを使用した：\url{https://github.com/microsoft/Oscar}}．
図~\ref{fig:oscar}に拡張OSCARの概要を示す．
テキストの処理に関しては，OSCAR自体にテキストエンコーダーとして事前学習済みのBERTを内包しているため，それを用いて特徴ベクトルを得る．
各特徴ベクトルは，最終隠れ層の\texttt{[CLS]}トークンに対応する出力を使用し，$d_{{\rm txt}}$次元の実数ベクトルで表される($d_{{\rm txt}} = 768$)．
画像の処理に関しては，事前学習済みの物体検出器であるFaster R-CNN \cite{faster_rcnn}を用いて特徴ベクトルを計算する．
Faster R-CNNは入力画像に対して，重複を許容した最大50個の物体領域座標（6次元\footnote{左上および右下の$(x, y)$座標と領域の幅と高さの6次元で表される．}），その物体領域の特徴ベクトル（2,048次元），および，物体タグを確信度付きで返す．
拡張OSCARではこのうち確信度上位K個を使用する($K=15$)\footnote{予備実験よりこれ以上$K$の値を大きくしても大きな性能向上は見られなかった．}．
特徴ベクトルと物体領域座標を結合したベクトルに対し線形変換を行い，テキストの特徴ベクトルと同じ次元数$d_{{\rm txt}}$のベクトルを得る．
線形変換には事前学習済みのOSCARに内包されているLinear層を用いた．
一方で物体タグは空白で区切って一列に並べ，キャプションがある場合は\texttt{[SEP]}トークンで結合し，OSCARに内包された事前学習済みBERT内のEmbedidng層に渡し，対応する単語埋め込みを抽出する．
この時点ではself-attentionを計算する前の単語埋め込みであることに注意されたい．
これを$d_{{\rm txt}}$次元に線形変換された画像ベクトルと結合し，OSCARのTransformer層でself-attentionを計算し，最終隠れ層の\texttt{[CLS]}トークンに対応するベクトルを入力画像の特徴ベクトルとする．
この特徴ベクトルの次元数はテキストの特徴ベクトルと同じである($d_{{\rm img}} = d_{{\rm txt}} = 768$)．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics[height=96.3pt,clip]{29-4ia6f4_org.pdf}
\end{center}
\hangcaption{拡張OSCARの概要．灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す．オレンジの長方形および円は学習対象のモデルパラメータを表す．記号$\otimes$は行列積を表す．灰色の数字は各操作後の特徴量の次元を表す．}
\label{fig:oscar}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

得られた$|S|$個のテキストと$|V|$個の画像の特徴量から，それぞれの関連度を計算するために，行列積を計算する．
\begin{equation}
\label{eqn:oscar_matrix}
    {\bf \phi} = {\rm softmax}\Bigl(({\bf V}{\bf W}_{\rm img}^\top + {\bf b}_{\rm img}) \cdot ({\bf S}{\bf W}_{\rm txt}^\top + {\bf b}_{\rm txt})^\top\Bigr).
\end{equation}
${\bf V}$ $\in$ $\mathbb{R}^{|V| \times d}$は文書内の全画像の特徴量であり，${\bf S}$ $\in$ $\mathbb{R}^{|S| \times d}$は文書内の全テキストの特徴量である（(ただし，$d = d_{\rm txt} = d_{\rm img}$）．
また，${\bf W}_{{\rm txt}, {\rm img}}$ $\in$ $\mathbb{R}^{d' \times d}$および${\bf b}_{{\rm txt}, {\rm img}}$ $\in$ $\mathbb{R}^{d'}$はモデルパラメータである($d' = 256$)．

既存研究 \cite{radford2021learning}においても行列積のみから十分効果的な特徴表現を学習でき，テキストと画像の関連度を計算できることが示されているため，得られた行列積${\bf \phi}$をそのまま割り当て行列${\bf A}$とみなし，各画像のテキストの割り当て${\bf y}$を$y_i = \argmax \phi_i$から求める．
学習時には，拡張Pythia同様，正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し，モデルの学習を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{sec:setup}

\ref{sec:curation}~節で構築したデータセットを8 : 1 : 1にランダムに分割し，それぞれ訓練，開発，評価セットとした．
分割した結果，それぞれのセットのデータサイズは53,557，6,695，6,695文書であった．
学習時，各事例内の画像の出現順をシャッフルし，モデルが画像の内容ではなく，順番によって予測を行わないようにした．
一方で，セクションは文書としての前後のつながりがあるため，シャッフルせずに出現順を保持した．
バッチサイズを16とし，20エポック学習を行い，各エポックの終了時，開発セットでの評価結果が最も高いエポックのモデルを保存した．
Pythiaに関しては，原著論文に従い，AdaMax \cite{kingma2014adam}で最適化を行い，学習率は0.001から始め，1000ステップで学習率が0.01になるまで単調に増加させ(warm-up)，その後5000ステップ時から2000ステップ毎に学習率をその時点の学習率の1/10だけ減少させた．OSCARに関しても原著論文に従い，AdamW \cite{adamw}で最適化を行い，学習率は0.00005から始め，warm-upは行わず，毎ステップ係数0.05でweight decayを行った\footnote{そのほかの詳細についてはそれぞれの原著論文 \cite{jiang2018pythia,li2020oscar}を参照されたい．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果}
\label{sec:result}

表~\ref{tab:result}に評価セットにおける実験結果を示す．
2つの検証モデルはそれぞれ学習時に開発セットにおいて\texttt{accuracy@1}で最高精度を達成した時のモデルパラメータを使用した．
それに加え，2つのベースラインの結果も載せている．
「ランダム」は各画像のテキスト割り当てをランダムに予測した場合の精度であり，「最頻値」は，訓練セットにおいて最も割り当てが多かったテキストの位置（インデクス）を常に予測した場合の精度である．
表の最下部には，著者ら3人が個別に提案タスクを解いた時の\texttt{accuracy@1}の平均値を載せている\footnote{提案タスクを解くためには，各Wikipediaの記事を読み込み各画像の適切なテキスト割り当てを予測する必要がある．これを人手で解くとコストがかかる都合上，表~\ref{tab:result}の「人間」の結果は評価セットのうちランダムに選んだ21記事，100画像の結果となっている．参考値として学習した拡張OSCARをこのサブセットに適用したところ，\texttt{accuracy@1}は39.01\%だった．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{06table03.tex}
\caption{提案タスクの実験結果．}
\label{tab:result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

2つの検証モデルは2つのベースラインに12～45ポイント以上の差をつけ上回った．
このことから，既存のマルチモーダル手法を用いたとしても，ある程度提案タスクに適合するように学習されることを示している．
また，拡張OSCARは拡張Pythiaに対して，10～12ポイント上回る結果となった．
これは既存のマルチモーダルタスクで見られる傾向と同様で，提案タスクにおいても近年のTransformerに基づくモデルが，それ以前のself-attentionを用いないモデルよりも汎化性能が高いことを示している．
しかしながら，拡張OSCARでも人間の精度の約半分となっており，大きな改善の余地があることは明らかである．
このギャップを埋める手法を構築することが今後の課題である．

次に，検証モデルの提案タスクにおける学習の振る舞いをより詳しく見るために，入力データにおけるAblation studyを行った．
具体的には，画像側の入力を画像のみ，または，キャプションのみとしたモデルを上記と同じ実験設定で学習し，評価セット上で比較した．
結果を表~\ref{tab:ablation}に示す．
両方の検証モデルにおいて，キャプションのみを使用したモデルが，両方のモダリティを使用したモデルより僅かに上回った（拡張Pythiaは\texttt{accuracy@\{1,3,5\}}の全てにおいて，拡張OSCARは\texttt{accuracy@1}のみにおいて）．
これは，両モデルが画像とキャプションの特徴量を効果的に考慮できていないことを示唆する．
一方で，Wikipediaから構築されたデータセットで提案タスクを解くにはキャプションのみで十分という可能性も考えられるが，既存のマルチモーダルタスクにおいても，同様の結果（画像とキャプションの特徴量を効果的に考慮できていないことを示唆する結果）が得られており \cite{kembhavi2016diagram,kembhavi2017you}，この結果は使用したモデルに起因する可能性が高い．
実応用として，本タスクを解いて得られたモデルをインターネット上に存在するマルチモーダル文書データに適用することを考えると（例えば，Amazon\footnote{\url{https://www.amazon.com/}}のレビューや食べログ\footnote{\url{https://tabelog.com/}}・TripAdvisor\footnote{\url{https://www.tripadvisor.com/}}の口コミなどのテキストと画像が分離されているデータ），必ずしもキャプションがついているとは限らないため，画像のみ，または，画像とキャプションの両方を使用するモデルの性能を向上させる方法を模索することが望ましい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{06table04.tex}
\caption{検証モデルのAblation study．}
\label{tab:ablation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，本タスクが\ref{sec:intro}節で述べた技術課題「(i) 長いテキストの読解」「(ii) 複数画像の考慮」が必要なタスクになっていることを検証するために，上記で結果が良かった拡張OSCARを用いて，以下の2つの実験設定で追加実験を行った．
\begin{itemize}
    \item[(i) ] 各セクションの冒頭文1文のみをモデルに入力
    \item[(ii)] 画像を複数枚同時ではなく個別にモデルに入力
\end{itemize}
結果を表~\ref{tab:ablation-2}に示す．
構築したデータセットの分析（表~\ref{tab:datastats}）において，1セクションに含まれる平均単語数が198.4であり長いテキストになっていたが，セクションの冒頭文だけ考慮してもタスクが解けてしまう場合，「長いテキストの読解」が要求されるタスクにはなっていないことになる．
しかしながら，冒頭文のみを使用した場合，精度が大きく下がったことから(\texttt{accuracy@1}で32.41\% $\rightarrow$ 24.22\%)，本タスクを解くためには長いテキスト（複数文）を考慮する必要があることがわかる．
また，拡張OSCARモデルは複数の画像を同時に入力することで，self-attentionにより他の画像情報も考慮するように拡張されたが，画像を個別に入力することで，他の画像情報を使わずに予測を行うこともできる．
表~\ref{tab:ablation-2}-(ii)より，画像を個別に入力した時，精度(\texttt{accuracy@1})が約1.5ポイント下がることが確認された．
このことから，複数の画像を同時に考慮しなければ解けない事例が含まれていることが示唆される\footnote{セクション冒頭文のみ使用した場合と比べ，精度の減少幅が小さいのは複数の画像を考慮する必要がある事例が限られているためと考えられる．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{06table05.tex}
\caption{提案タスクの特徴の検証実験．}
\label{tab:ablation-2}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

続いて，人間の精度が6割にとどまった原因を考察する．
原因は，今回実験で用いたデータセットはWikipediaから構築されたものであり，提案タスクを解くためには非常に幅広い知識を要求され，人間にとってもやや難しいタスクになっていたためと考えられる．
これを調べるため，評価者3人の回答一致率を調べたところ，3人全員の回答一致率は48.0\%，2人以上の回答一致率は91.0\%であった．
また，記事毎の回答一致率も確認したところ，ばらつきが大きく，回答が一致する記事と全く一致しない記事の差が顕著であった．
これは，Wikipediaには世界中のさまざまな事柄について詳細に記事に記されており，評価者の持つ知識がそれぞれ異なることで，容易に答えられる記事とそうでない記事が評価者によって異なったためと考えられる．
エンティティ関係抽出などの本研究と同様に世界知識を求められるタスクにおいても，タスクの設定によっては人間の正解率が7割程度になったり \cite{docred}，エンティティ間の関係認識タスクのデータセットにおけるアノテーション一致率もばらつきが大きくなる傾向にある \cite{hendrickx-etal-2010-semeval}など，人間の精度に関して同様の傾向が報告されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}
\label{sel:analysis}

本節では，提案タスクの事例の特徴，および，前節で評価実験を行った2つの検証モデルの提案タスクにおける学習傾向を定量的・定性的に分析する．
以降の分析は全て開発セットで行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{定量分析}

\textbf{1記事の画像数が多いほどタスクとして難しいか？}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{29-4ia6f5.pdf}
\end{center}
\hangcaption{1記事に含まれる画像数（横軸）とそれらの画像のばらつき度合い（散布図，左縦軸）および平均セクション数（折れ線，右縦軸）の関係．ばらつき度合いに関しては，色が濃いほどそのデータ点における事例数が多く高頻度であることを示している．}
\label{fig:num_var}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\noindent 本タスクを解く場合，各画像について最も適切なテキスト（セクション）を与えられた記事内から選ばなければならないためセクション数が多くなるほどタスクが難しくなることは明らかである．一方で，1記事に含まれる画像数はタスクの難しさにどのように関係しているだろうか．ここではその関係性について分析する．
直感的には1記事に含まれる画像数が多くなるほど，画像同士の関係が複雑化し適切なテキスト割り当てを予測することが難しくなると考えられる．
また，複数画像が含まれる記事でも，同じセクションにまとまって画像が割り当てられる記事は，画像同士の関連性が高く予測が比較的易しいと考えられ，逆にさまざまなセクションに分散して画像が割り当てられる記事は，画像同士の関連性は低くむしろそれぞれの画像とセクションの関連度を個別に考慮しなければならないため，タスクとしての難易度が高くなる考えられる．
これを確かめるため，1記事に含まれる画像数と各画像が割り当てられているセクションの全セクション数に対する割合（すなわち，画像の割り当ての記事内でのばらつき度合い），および，2つの検証モデルの精度との関係を分析した．
それぞれの関係を表したのが，図~\ref{fig:num_var}から図~\ref{fig:var_acc}である．

図~\ref{fig:num_var}の散布図を見ると，1記事あたり8枚以下の画像が含まれる記事は，画像が1セクションに集中して割り当てられてるものから（縦軸の値が小さいもの），別々のセクションに分散して割り当てられている記事まで（縦軸の値が大きいもの）おおよそ等しく分布しているが\footnote{\ref{sec:curation}節より，データセット構築時に10セクション未満の記事はデータセットに含まれていないため，1記事あたり10画像未満の記事は画像のばらつき度合いが最大でも画像数/10になっていることに注意されたい．}，9枚以上含まれる記事では全セクションの2割から7割程度のセクションに画像が割り当てられている記事が多いことがわかる．
このことから多くの画像が含まれている記事内では，複数画像が同一セクションに割り当てられることがあり，画像間である種のクラスタのようなものが形成され，同じトピックを表す画像はまとまって同じセクションに割り当てられると考えられ，この潜在的なトピックに気付くことが提案タスクを解くポイントになると思われる．
一方で，画像数と平均セクション数の関係（折れ線）を見ると，画像数に関わらず平均セクション数は25$\sim$35となっている\footnote{特に画像が多い記事（画像数が20以上）はそもそもデータ数が少なく（ばらつき度のデータ点が少ない），平均セクション数のばらつきが大きい．}．
このことから画像数とセクション数の間に強い相関はないことが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6 and 7
\begin{figure}[b]
\setlength{\captionwidth}{205pt}
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f6.pdf}
\end{center}
\hangcaption{記事毎の画像数（横軸）と検証モデルの記事毎の精度（縦軸）の関係．色が濃いほど高頻度．}
\label{fig:num_acc}
\end{minipage}
\hfill
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f7.pdf}
\end{center}
\hangcaption{記事毎の画像のばらつき度合い（横軸）と検証モデルの精度（縦軸）の関係．色が濃いほど高頻度．}
\label{fig:var_acc}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{fig:num_acc}，\ref{fig:var_acc}は，それぞれ記事あたりの画像数と検証モデルの精度，画像のばらつき度合い（画像が割り当てられているセクションの割合）と精度をプロットしたものである．
どちらの検証モデルも，画像数が少ない記事や画像のばらつき度合いが小さい，すなわち，画像がまとまって割り当てられる記事ほど完璧に解けている（精度1.0の）記事数が多いが，画像が多くなるにつれ，また，画像のばらつき度合いが大きくなるにつれ精度が下がっていることがわかる．
特にPythiaはどちらの図においても右上の範囲のデータ点がOSCARより少なく，この傾向が顕著である．
これらの結果から，画像数が多くなるにつれ，また，画像が記事内の複数セクションに分散して割り当てられている記事ほどタスクとして難しくなること，および，PythiaはOSCARより画像間の潜在的なトピックを認識できていない可能性が高いと考えられる．

後者の可能性をさらに分析するため，各記事の正解の画像のばらつき度合いと，検証モデルの予測による画像のばらつき度合い（予測された割り当てセクションの全体に対する割合）を比較した．
図~\ref{fig:sec_var}に結果のヒストグラムを示す．
図から，正解(gold)およびOSCARの予測によるばらつき度合いはともに[0.1, 0.2)が最頻値なのに対し，Pythiaは[0.0, 0.1)が最頻値となっている．
これは複数画像ある記事でもPythiaの予測は特定のセクションに集中する傾向にあることを示唆している．
図~\ref{fig:sec_var_diff}は正解と検証モデルの予測による画像のばらつき度合いの差のヒストグラムである．
これを見ると，OSCARは正解との差が0.1未満である記事が大多数であるのに対し，Pythiaは正解との差が大きい記事（差0.2以上）が一定数存在している．
したがって，やはりPythiaは画像間の潜在的なトピックを考慮しているというより，画像が割り当てられるであろうセクションを記事内で選択し，そこに集中的に画像を割り当てていると考えられる．
一方OSCARは，画像や画像に描かれた物体の類似性などからトピックのようなものを学習し，各トピックに合致するセクションに画像を分散させて割り当てていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8 and 9
\begin{figure}[t]
\setlength{\captionwidth}{205pt}
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f8.pdf}
\end{center}
\caption{画像のばらつき度合いのヒストグラム．}
\label{fig:sec_var}
\end{minipage}
\hfill
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f9.pdf}
\end{center}
\hangcaption{正解と検証モデルの予測間の画像のばらつき度合いの差のヒストグラム．}
\label{fig:sec_var_diff}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\textbf{検証モデルはキャプションに大きく頼ってタスクを解いているか？}

\noindent 構築したデータセットに含まれる画像にはキャプションがついているものが多い．
\ref{sec:data_analysis}節で述べたように，構築したデータセットには多くの固有名詞が含まれており，画像のキャプションも同様である．
キャプションに含まれる固有名詞表現と同じ（または一部重複する）表現が含まれるセクションを選べば正解となる可能性がある．
その場合，画像を全く考慮せずにタスクを解けてしまうことになるが，我々が目指すマルチモーダルモデルの学習にはなっていない．
我々が今回使用した検証モデルの学習では，そのような望ましくない学習が起きていないと期待する．

この仮説を検証するため，画像のキャプション中の単語とセクション中の単語の重複率と，検証モデルの精度の関係を調べた．
単語の重複率は単語uni-gramのSimpson係数 \cite{vijaymeena2016survey}によって算出し，算出の際，ストップワードおよび句読点等の記号は重複率の計算からは除外した\footnote{単語分割およびストップワード等の除去にはNLTK \cite{bird2009natural}を使用した．}．
Simpson係数（重複率）は次式で求めた\footnote{多くの場合，キャプションの単語数はセクションの単語数に比べ非常に少ないため，重複率はキャプション中の単語のセクションにおける重複割合を表す．}．
\begin{equation}
    {\rm Simpson係数（重複率）} = \frac{{\rm 共通単語数}}{\min（{\rm キャプションの単語数}, {\rm セクションの単語数}）}.
\end{equation}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10 and 11
\begin{figure}[t]
\setlength{\captionwidth}{205pt}
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f10.pdf}
\end{center}
\hangcaption{画像のキャプションと正解セクションの単語の重複率のヒストグラム．検証モデルでは正解した画像のみを考慮．}
\label{fig:ovlp_corr}
\end{minipage}
\hfill
\begin{minipage}[t]{205pt}
\begin{center}
\includegraphics{29-4ia6f11.pdf}
\end{center}
\hangcaption{画像のキャプションと検証モデルの予測セクションの単語の重複率のヒストグラム．検証モデルでは不正解だった画像のみを考慮．}
\label{fig:ovlp_incorr}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

結果のヒストグラムを図~\ref{fig:ovlp_corr}，\ref{fig:ovlp_incorr}に示す．
図~\ref{fig:ovlp_corr}の正解セクションとの重複率のヒストグラム(gold)から，構築したデータセットには，キャプションとセクションの単語の重複率の観点において多少の偏りはあるものの，バランス良く事例が含まれていることがわかる．
また，ヒストグラムの各ビンに注目すると，正解セクションとの個々の重複率の頻度におおよそ比例して，2つの検証モデルもどの重複率においてもタスクを解けていることがわかる．
図~\ref{fig:pred_example}~(b)にキャプションがない画像でも2つの検証モデルが正しく正解セクションを予測した具体例を示す（次節で詳述する）．
これより，検証モデルが画像を無視しキャプションに大きく依存してタスクを解いている可能性は低いと考えられる．
図~\ref{fig:ovlp_incorr}は検証モデルが予測を誤った事例の予測セクションとキャプションの単語の重複率のヒストグラムである．
両モデルとも重複率が0.5以下の頻度が多くなっていることから，単語の重複率が小さいセクションに誤った予測を行っていることがわかる．
キャプションに大きく依存しているならば，逆に重複率の大きいセクションに誤った予測を行うだろうから，この結果も検証モデルがキャプションのみに依存してタスクを解いていないことを示唆している．
両モデルともセクション・キャプションの特徴ベクトルとしてBERTの\texttt{[CLS]}トークンに対応する隠れ層を使用しているため，予測に必要な特定の固有名詞の情報がエンコード時に欠落し特徴ベクトルに十分反映されていないことがこの原因の一つとして考えられる．
BERTの特徴表現に加えて，単語の重複情報も考慮するようなモデル設計を行うことでこの問題が改善される可能性がある\footnote{OSCARの場合はキャプションがない事例でも画像中の物体タグを使用できる．}．


\textbf{提案タスクは既存のマルチモーダルタスクの性能向上に寄与するか？}

\noindent 表~\ref{tab:datacomp}に示したようにWikipediaから構築したデータセットは，既存のマルチモーダルタスクのデータセットに比べて大規模であり，多様な言語表現および視覚概念を含む．
このことから，提案タスクにおける学習もVision and Languageの事前学習の一種とみなし，提案タスクで学習したモデルを既存のダウンストリームタスクでfine-tuningすることで性能向上できるのではないかと考えた．
そこで表~\ref{tab:result}の評価実験の結果が良かった拡張OSCARを，ITeMタスク固有のモデルパラメータを取り去り（具体的には，式(\ref{eqn:oscar_matrix})に関係するモデルパラメータ），原著論文 \cite{li2020oscar}に従って同じハイパーパラメータおよび実験設定を用いて，5つのダウンストリームタスク(VQA，GQA，NLVR2，Image Captioning, Image/Text Retrieval)でそれぞれfine-tuningを行った\footnote{著者らが公開しているfine-tuning用のコードを使用した：\url{https://github.com/microsoft/Oscar}．実験設定およびそれぞれのダウンストリームタスクの詳細は原著論文 \cite{li2020oscar}を参照されたい．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{06table06.tex}
\hangcaption{Vision and Languageのダウンストリームタスクの実験結果．タスク名の下にはそれぞれのタスクの評価指標を示してある．accは精度，B@4はBLUE@4，MはMETEOR，CはCIDEr，SはSPICE，T@\{1,5\}はtext-to-imageのRecall@\{1,5\}，I@\{1,5\}はimage-to-textのRecall@\{1,5\}をそれぞれ表し，全て数字が大きいほど良い性能である．}
\label{tab:ds_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:ds_result}に結果を示す．
GQAタスクでは提案タスクで事前学習を行わなかったOSCARをわずかに上回ったものの，それ以外のタスクでは同等か下回る結果になった．
したがって，期待に反してダウンストリームタスクにおける性能向上にはつながらなかった．
原因として，提案タスクの学習で用いたデータとダウンストリームタスクにおけるデータのテキストおよび画像のデータ分布の乖離が考えられる．
ダウンストリームタスクで使用されるデータには固有名詞はほとんど出現せず，地図や国旗，グラフのようなWikipediaで使用されるイラスト画像も含まれない．
このようなドメインの異なるデータで事前学習を行ったことが，性能向上に至らなかった可能性が高い．
既存研究においても，ドメインの異なるマルチモーダルデータでモデルの評価を行うと，たとえ大量のデータでモデルを学習したとしても，同じドメインでの結果ほど高い精度が得られないことが報告されている \cite{srinivasan2021wit}．
しかしながら，より直接的な原因を特定するためには詳しい分析が必要である．

実用的なマルチモーダルシステムの構築を目指すならば，WikipediaのようなWeb上に存在するマルチモーダルデータもうまく扱うことができることが望ましい．
既存のベンチマークとして使用されているマルチモーダルデータセットにおいてこれらの性能が正しく評価されているかという点についても継続的な議論を行っていくべきであると考える．
一方で，ドメインの異なるタスク・データにモデルを適用させる際は，転移学習が有効であることも知られている．
例えば，BERTなどの事前学習済み大規模言語モデルを他ドメインに適用させる際は，そのドメインのデータで追加事前学習を行ったり \cite{gururangan-etal-2020-dont}，fine-tuning時に単語分割器も同時に最適化する \cite{hiraoka2022jnlp}などの手法が有効であることが知られている．これらの手法の適用可能性や有効性を検証することは今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{定性分析}
\label{sec:teisei}

ここでは，検証モデルが実際に学習できた事例，学習に失敗した事例を通して提案タスクと検証モデルの特徴について考察する．
開発セットにおいて，2つの検証モデルが共に正解セクションを正しく予測できた割合は全体の7.7\% （2,421画像）だった．
これらの事例を人手で確認したところ，共通して学習できたと思われるテキストと画像間の対応関係パターンが見つかった．
例えば，図~\ref{fig:pred_example}~(a)\footnote{それぞれのデータセット構築時点の記事へのリンクは以下の通り．Ikebukuro Station：\url{https://en.wikipedia.org/w/index.php?title=Ikebukuro_Station&oldid=831849329}，Sylt：\url{https://en.wikipedia.org/w/index.php?title=Sylt&oldid=896899628}，Lom\`{e}：\url{https://en.wikipedia.org/w/index.php?title=Lom\%C3\%A9&oldid=897914460}．}に示すように，白黒画像やセピア調の画像は過去の出来事を説明しているセクションに割り当てられる傾向にあることを学習した．
他にも，衛生画像や広範囲の景色を映したランドスケープ・パノラマ画像，および，地図画像は国や地域に関する記事の地理・地形を説明しているセクションに対応することを学習し（図~\ref{fig:pred_example}~(a)中央の例），建造物の外観全体を映した画像は著名な建築物や有名な観光スポットを説明するセクションに対応することを学習している（図~\ref{fig:pred_example}~(a)右の例）ことが複数確認された．
白黒画像や地図画像，それらのキャプション中やセクション中に現れる固有名詞表現等は表~\ref{tab:datacomp}に挙げた既存のマルチモーダルデータセットにはほとんど含まれないため，本タスクを通してそれらの画像やテキストの特徴およびその対応関係を学習したといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 12
\begin{figure}[p]
\begin{center}
\includegraphics[height=496.8pt,clip]{29-4ia6f12_org.pdf}
\end{center}
\caption{検証モデルの予測例．キャプションやセクションが長い場合は一部のみ抜粋．}
\label{fig:pred_example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

より難しい事例として，キャプションが全くない画像が考えられる．
正解セクションを予測するには，画像のみを手がかりとし画像中の物体を正しく認識し，時には画像間の関連性も考慮しながら適切なセクションを選ぶ必要がある．
開発セットにキャプションがついていない画像は97件含まれていた．
このうち，Pythiaは12件(12.37\%)，OSCARは30件(30.93\%)正しく正解セクションを予測できた．
具体例を図~\ref{fig:pred_example}~(b)\footnote{\url{https://en.wikipedia.org/w/index.php?title=Rushey_Mead&oldid=897635878}}に示す．
図中の4枚の画像は全てキャプションがついておらず，またこの記事は14セクションから構成される記事だったが，2つの検証モデルは4枚全ての画像を正しいセクション「The World Tree」に割り当てた．
これらの画像は全て「The World Tree」（図~\ref{fig:pred_example}~(b)の一番左端の画像に描かれた木の彫刻）とその周辺の物を描いたものである．
各画像を独立に考慮してしまうと4枚の画像のうち左端を除く3枚の画像が木の彫刻（の全体）が描かれていないため正解セクションに関連する画像であると推測することが難しくなると思われるが\footnote{実際拡張OSCARモデルに個別に画像を入力した場合，最も右の画像は予測に失敗することを確認した．}，2つの検証モデルは画像間の背景が似ていることや式~(\ref{eqn:pythia_softmax})および(\ref{eqn:oscar_matrix})から画像間の関連性を考慮し，正しいセクションを予測したと考えられる．
したがってこの例は，本タスクによって，既存のマルチモーダルタスクで扱われてこなかった複数画像を関連づける処理が学習できていることを示唆している．
\ref{sec:result}節の実験結果から精度上は人間の性能にまだ及ばないものの，人間がマルチモーダル文書を読む上で自然に行っているこのような処理を適切なタスク設計することで学習可能であることを示唆する結果が得られたことは非常に興味深い．

しかしながら，人間の性能とのギャップを埋めるためにモデルが改善すべき点もいくつか確認された．
図~\ref{fig:pred_example}~(c)に具体例を示す\footnote{それぞれのデータセット構築時点の記事へのリンクは以下の通り．Boot：\url{https://en.wikipedia.org/w/index.php?title=Boot&oldid=896633419}，Camera phone：\url{https://en.wikipedia.org/w/index.php?title=Camera_phone&oldid=897978852}，Photographic filter：\url{https://en.wikipedia.org/w/index.php?title=Photographic_filter&oldid=866458657}．}．
図~\ref{fig:pred_example}~(c)左の例は，画像中の物体やキャプションの情報を抽象化するのに失敗した例である．
描かれた物体はブーツの部品や付属品の具体例であり，これらは「ブーツ」に関する記事の「Boot parts and accessories」を説明しているセクションに割り当てるのが妥当である．
キャプションと正解セクションには「boot jack」という単語列も共通して現れている．
しかしながら，2つの検証モデルはいずれもこの画像を第1セクション，すなわち，記事タイトル直下のブーツの概要を説明しているセクションに割り当てた．
おそらくこの原因は，第1セクションおよびキャプション中にブーツに関連する表現（boots, footwear, shoeやput on, take offなど）があり，それらが強く結び付いてしまったためと考えられる．
この事例は画像中の物体そのものを考慮するのではなく，物体は例示の目的で使われていることを認識し，抽象化して正解セクションを予測しなければならない．
図~\ref{fig:pred_example}~(c)中央の例は，描かれている物体の時代変化を認識することに失敗している．
人工物や生物は，それを呼称する名前（商品名，個人名，概念としての名称）は変わらなくとも，時が経つにつれてその視覚的特徴（外観，形状など）がしばしば変化する．
図~\ref{fig:pred_example}~(c)中央の画像は2000年代のカメラ機能付き携帯電話を映したものであり，2，3世代前の携帯電話であることから，記事「Camera phone」の「History」セクションに割り当てるのが正しい．
キャプションからも画像中の「camera phone」が「2007」年のものであることを読み取れるし，「History」セクションも各年代ごとにその年代を代表する「camera phone」の説明をしている．
しかし，この例も上記の例と同様，2つの検証モデルは画像中の物体が「(camera) phone」であることにのみ注目し「camera phone」の概要を述べている第1セクションに誤って割り当てている．
このことから両モデルは（カメラ付き）携帯電話の視覚的特徴が時代変化することをうまく学習できていないと思われる．
これまでのマルチモーダル手法も，ある時に一度だけ画像を収集し作られたデータセット上（MS COCO \cite{lin2014microsoft}やVisual Genome \cite{krishna2017visual}など）で学習されていたため，これと同様の問題が起きる可能性がある．
図~\ref{fig:pred_example}~(c)右の例は，画像中の物体に注目するのではなく，画像（小領域）の変化/差分を認識しなければ解けない事例である．
画像は4つの小領域で構成され，左上の小領域に対して，異なる画像処理(photographic filter)を適用した結果が残りの小領域となっている．
左上の小領域から左下の小領域への変化が正解セクションで説明されている「Diffusion」と呼ばれる画像処理であり，小領域の視覚的差分がこれに合致することを認識しなければならない．
マルチモーダル文書における画像の1つの用法としてこのような対比が使われることがある．
例えば，ある処理の適用前後の対比や同一視点・同一被写体の時間変化（夜空の星の動きなど），taxonomy上で同じ階層に位置する概念の比較（ゴールデンレトリバーとラブラドールレトリバーの比較等）などがある．
この他にもマルチモーダル文書における画像の使われ方はさまざまであり，\citeA{Marsh2003image_taxonomy}はその使用法について実際に存在するWeb記事を調査し，49種類の使用法があることを発見し，taxonomyを構築している．
実用的なマルチモーダルシステムを構築するためには，これらの用法に合わせた画像理解ができるように改善を今後していくことが望ましい．
我々は，本タスクおよびこれらの分析が，より有用なマルチモーダル手法の構築に繋がることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:conclusion}

本研究では，実用的なマルチモーダルシステムの構築を目指し，マルチモーダル文書中の画像とテキストのマッチングを求める新たなタスク Image-to-Text Matching (ITeM)を提案した．
また，マークアップに着目し英語版Wikipediaから機械的に提案タスク用のデータセットを構築する方法も提案した．
構築したデータセットは，既存の単一言語からなるマルチモーダルデータセットと比べ，画像数，文書数，語彙数の観点で大規模であり，多様な言語表現，視覚的概念，画像の用法を含むことを示した．
提案タスクの妥当性，難易度を測るために，既存のマルチモーダル手法を本タスク上で動作するように最低限の改良を施し，評価実験を行った．
その結果，既存のマルチモーダル手法は3割から7割の精度でタスクを解くことができることを確認したが，人間の性能との間にはまだ差があり改善の余地があることがわかった．
定量的および定性的に結果を分析したところ，1文書あたりの画像数が多くなるほど，また，画像が文書内に散りばめられている文書ほど問題が難化する傾向にあることを確認した．
一方で，これまでのマルチモーダルタスクで扱われてこなかった複数画像を考慮するという処理など興味深い学習が行われていることを示唆する結果も得られた．
今後は提案タスクで事前学習したモデルが既存のマルチモーダルのダウンストリームタスクで性能向上が見られなかった原因を調査し，提案手法およびその他のダウンストリームタスクでも性能向上を達成する手法の開発を目指す．
また，本研究を発展させ，本研究で扱った\ref{sec:intro}~節の技術課題を含むマルチモーダルデータと同種のデータ（Amazonや食べログ，TripAdvisor等のレビューやFacebook等の投稿，ウェブニュースの記事などのテキストと画像が分離されているデータ）や提案タスクに類似するタスク（新聞記事の適切な画像選定や物語からの自動絵本生成等）に取り組む研究や実応用に繋がることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費19H01118の助成を受けたものです．
本稿の査読にあたり，査読者の方から本稿をより良くするため，多くの有益で建設的な意見をいただいたことに感謝いたします．
本稿を執筆するにあたり，研究室の学生からたくさんのご助言をいただきました．ここに感謝します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{06refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{村岡　雅康}{%
2016年東北大学大学院情報科学研究科博士前期課程修了．同年，日本アイ・ビー・エム株式会社に入社．2020年10月より東京工業大学情報理工学院博士後期課程に在学．言語処理学会会員．
}

\bioauthor{岡崎　直観}{%
2007年東京大学大学院情報理工学系研究科博士課程修了．東京大学大学院情報理工学系研究科・特任研究員，東北大学大学院情報科学研究科准教授を経て，2017年8月より東京工業大学情報理工学院教授．言語処理学会，人工知能学会，情報処理学会，ACL各会員．
}

\bioauthor{小比田涼介}{%
2018年奈良先端科学技術大学院大学情報工学科博士前期課程修了．同年，日本アイ・ビー・エム株式会社に入社．
}

\bioauthor{石井　悦子}{%
2019年東京大学工学部計数工学科卒業. 同年よりDepartment of Electronic \& Computer Engineering, The Hong Kong University of Science and Technology, 博士課程に在学. ACL学生会員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

