\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{subcaption}
%%%%\usepackage[dvipdfmx]{color}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{11}{1}
\revised{2021}{2}{8}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{3}{10}

\setcounter{page}{554}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{教師付き視覚的注意を用いたマルチモーダルニューラル機械翻訳}
\jauthor{西原　哲郎\affiref{Author_1} \and 田村　晃裕\affiref{Author_2} \and 二宮　　崇\affiref{Author_1} \and 表　悠太郎\affiref{Author_1} \and 中山　英樹\affiref{Author_3}}
\jabstract{%
本稿では，マルチモーダルニューラル機械翻訳 (MNMT) のための教師付き視覚的注意機構を提案する．提案手法は，人手で付与された画像内の領域と単語との対応関係を視覚的注意の教師データとして与え，これらの対応関係を制約にして直接視覚的注意機構の学習を行う．教師なしで学習される従来の視覚的注意機構に比べてより正確に単語と画像領域との関係性を捉えることが期待される．実験ではMulti30kデータセットを用いた英独・独英翻訳，Flickr30k Entities JP データセットを用いた英日・日英翻訳を行い，提案する教師付き視覚的注意機構によってTransformerベースのMNMTモデルの性能が改善することが確認できた．また，教師付きの言語間注意機構と組み合わせることにより，さらに性能が改善され，最大でBLEUスコアが1.61ポイント，METEORスコアが1.7ポイント向上することが確認できた．
}
\jkeywords{マルチモーダル機械翻訳，視覚的注意機構}

\etitle{Supervised Visual Attention for Multimodal Neural Machine Translation}
\eauthor{Tetsuro Nishihara\affiref{Author_1} \and Akihiro Tamura\affiref{Author_2} \and Takashi Ninomiya\affiref{Author_1} \and Yutaro Omote\affiref{Author_1} \and Hideki Nakayama\affiref{Author_3}} 
\eabstract{%
This paper proposed a supervised visual attention mechanism for multimodal neural machine translation (MNMT), trained with constraints based on manual alignments between words in a sentence and their corresponding regions of an image. The proposed visual attention mechanism captures the relationship between a word and an image region more precisely than a conventional visual attention mechanism trained through MNMT in an unsupervised manner. Our experiments on English-German and German-English translation tasks using the Multi30k dataset and on English-Japanese and Japanese-English translation tasks using the Flickr30k Entities JP dataset show that a Transformer-based MNMT model can be improved by incorporating our proposed supervised visual attention mechanism and that further improvements can be achieved by combining it with a supervised cross-lingual attention mechanism (up to +1.61 BLEU, +1.7 METEOR). 
}
\ekeywords{Multimodal Machine Translation, Visual Attention Mechanism}

\headauthor{西原，田村，二宮，表，中山}
\headtitle{教師付き視覚的注意を用いたマルチモーダルニューラル機械翻訳}

\affilabel{Author_1}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_2}{同志社大学}{Doshisha University}
\affilabel{Author_3}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

現在，ニューラルネットワークを用いた機械翻訳（ニューラル機械翻訳）が機械翻訳の主流となっている．注意機構を用いた再帰型ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくニューラル機械翻訳モデルは初期のころから広く使用されてきたモデルであり，原言語文内の単語と目的言語文内の単語間の関係を捉える言語間注意機構を用いることで，従来のRNNベースのニューラル機械翻訳よりも高い精度を実現した\cite{Bahdanau-attention,luong-attention}．
また，従来の言語間注意機構に加えて，同じ文中の単語間の関係を捉える自己注意機構を導入したTransformerモデル \cite{transformer}が提案され，RNNや畳み込みニューラルネットワーク (Convolutional Neural Network; CNN) を用いた手法と比べて高い精度を実現することから，近年注目されている．

ニューラル機械翻訳の性能を改善する手法については様々な研究がなされているが，その内の一つに，上述の言語間注意機構に制約を与える研究がある \cite{supervised-attention,mi-etal-2016-supervised,garg-jointly}．
これらの研究では，アライメントツールを用いて原言語文と目的言語文間の単語の対応関係を予め取得し，その対応関係を教師データとして与えて言語間注意機構を学習させることで翻訳性能の向上を実現している．

機械翻訳手法の一つとして，原言語文とそれに対応する内容の画像を入力することで翻訳性能の改善を目指すマルチモーダルニューラル機械翻訳 \cite{multimodal-shared-task}が提案されている．
翻訳時に与えられる画像は，翻訳の曖昧性解消や省略補完の手がかりとして役立つと考えられ，画像を参照することでより質の高い翻訳が実現されることが期待されている．
マルチモーダルニューラル機械翻訳のモデルとして，Helcl ら \cite{helcl-cuni-system}は，CNN によって抽出した画像の特徴量を翻訳に活用するために，文中の単語と画像の領域との対応関係を捉える視覚的注意機構をTransformerモデルのデコーダ内に導入したモデルを提案している．
また，Delbrouck ら \cite{enc-visual-attention}は，RNN ベースのマルチモーダルニューラル機械翻訳モデルのエンコーダに視覚的注意機構を導入したモデルを提案している．
しかし，これらの視覚的注意機構は，マルチモーダルニューラル機械翻訳の訓練時に教師なしで自動的に学習が行われている．
そのため，本来捉えるべき対応関係を常に捉えられているとは限らない．

本稿では，マルチモーダルニューラル機械翻訳の性能改善のために，人手により与えられた文中の単語と画像領域との対応関係に基づいて教師付き学習を行う制約付き視覚的注意機構を提案する．
具体的には，原言語文中の単語と画像内のオブジェクトとの対応関係が付与されたデータを教師データとして用いることで，Transformerモデルエンコーダ内の視覚的注意機構を直接学習させることを行う．

Multi30kデータセット \cite{multi30k}を用いた英独翻訳および独英翻訳とFlickr30k Entities JP データセット \cite{nakayama-tamura-ninomiya:2020:LREC}を用いた英日翻訳および日英翻訳の評価実験を行い，
提案する教師付き視覚的注意機構によってTransformerベースのマルチモーダル機械翻訳モデルの翻訳性能が改善することが確認できた．また，教師付きの言語間注意機構と組み合わせることにより，さらに翻訳性能が改善されることを確認した．

本稿の構成は以下の通りである．
\ref{sect:Background}節で本研究の背景について述べ，\ref{sect:proposal_method}節で提案手法について説明する．
\ref{sect:exp}節では実験について述べ，\ref{sect:analysis}節で実験結果の考察を行う．
\ref{sect:related_work}節で関連研究について述べ，最後に\ref{sect:Conclusion}節でまとめと今後の課題について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Transformerベースのニューラル機械翻訳}
\label{sect:Background}

本節では，本研究で提案するマルチモーダル機械翻訳モデルの基礎となるTransformerベースのニューラル機械翻訳を説明する．
まず最初にTransformerモデルの概要を述べる．次に，Transformerモデルにおける教師付き言語間注意機構について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Transformerモデルの概要}

Transformerモデルは，原言語文を受け取って中間表現に変換するエンコーダと，その中間表現を受
け取って目的言語文を生成するデコーダから構成されている．
エンコーダとデコーダはそれぞれエンコーダレイヤとデコーダレイヤを複数スタックした構成となっている．
各エンコーダレイヤは自己注意機構と位置毎の全結合レイヤの2つのサブレイヤを持っている．
また，各デコーダレイヤは上記の2つのサブレイヤの間に，言語間注意機構を加えた3つのサブレイヤから構成されている．
これらのサブレイヤ間では，残差接続 \cite{resnet}とレイヤの正規化 \cite{layer-normalization}が用いられる．

自己注意機構と言語間注意機構 (Att) は以下の式で表される．
 \begin{align}
 \label{equ:att}
  {\rm Att}(Q,K,V) & = AV\\
  A & = {\rm softmax}(\frac{QK^\top}{\sqrt{d_k}})\label{equ:attmat}
 \end{align}
ここで，$A$ は注意行列と呼ばれる．また，$Q, K, V$ はエンコーダ及びデコーダにおける隠れ状態を表し，$d_k$ は$Q, K, V$ の次元数を表す．
自己注意機構では，上式の$Q, K, V$ として直前のサブレイヤの出力を用いる．
また，言語間注意機構では，$Q$としてデコーダ内の直前のサブレイヤの出力，$K$と$V$としてエンコーダの出力を用いる．
自己注意機構では同一文中の単語間の関係を計算することができる．
また，言語間注意機構では原言語文内の単語と目的言語文内の単語間の関係を計算することができる．

Transformerの特徴として，隠れ状態を部分空間に分割し，各部分空間において様々な情報を表現することを可能にするマルチヘッド注意機構がある．
$h$ 個のヘッドからなるマルチヘッド注意機構 (MHA) は以下のように表される．
 \begin{align}
 {\rm MHA}(Q,K,V) &= [head_1;\dots;head_h]W^O  \label{equ:MHA} \\
 head_i &= {\rm Att}(QW^Q_i,KW^K_i,VW^V_i) \label{equ:head_i}
 \end{align}
ここで，$[$ $]$はベクトルを結合することを表している．
$W^Q_i, W^K_i, W^V_i \in \mathbb{R}^{d_{model} \times d_k}$ はそれぞれヘッド毎に定義されるパラメータ行列であり，$d_{model}$ 次元ベクトルを線形変換により$d_k$ 次元に縮退させる．この$d_k$ 次元ベクトルが各ヘッドに渡される．
$W^O \in \mathbb{R}^{hd_{k} \times d_{model}}$ はパラメータ行列であり，各ヘッドの出力を結合したベクトルに対し線形変換を行う．
なお，$d_{model}$は埋め込み次元数を表しており，$d_k=d_{model}/h$である．

単語位置毎の全結合レイヤ (FFN) における計算は，以下の式で表される．
  \begin{equation}
      \label{equ:FFN}
      FFN(x) = \max(0, xW_1+b_1)W_2+b_2
  \end{equation}
ここで，$W_1 \in \mathbb{R}^{d_{model} \times d_{ff}}$，$W_2 \in \mathbb{R}^{d_{ff} \times d_{model}}$はパラメータ行列，$b_1 \in \mathbb{R}^{d_{ff}}$，$b_2 \in \mathbb{R}^{d_{model}}$はバイアス項である．
また，全結合レイヤへの入力と出力の次元数は$d_{model}$，中間レイヤの次元数は$d_{ff}$である．

Transformerでは語順の情報を組み込むために以下で表される位置エンコーディングが導入されている．
\begin{align}
 \label{equ:PE}
 PE_{(pos,2i)} &= \sin(pos/10000^{2i/d_{model}})\\
 PE_{(pos,2i+1)} &= \cos(pos/10000^{2i/d_{model}})
\end{align}
ここで，$pos$は単語の位置，$i$は各成分の次元を表す．
この位置エンコーディングを単語の埋め込み表現に加えることで，単語の語順の情報を付与することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師付き言語間注意機構}
\label{sect:supervised_cross-attention}

Garg ら \cite{garg-jointly}は，Transformerモデルの言語間注意機構に原言語と目的言語間の単語の対応関係を教師データとして与えて学習を行う手法を提案している．
アライメントツールを用いて言語間の対応関係を取得し，マルチヘッド言語間注意機構のある1 つのヘッドとの間で計算される誤差を最小化することによって注意機構の学習を行う．
誤差は以下の交差エントロピーによって計算される．
 \begin{equation}
 \label{CE_src_tgt}
  \mathcal{L}_a(A) = -\frac{1}{M}\sum_{m=1}^M\sum_{n=1}^N G_{m,n} \times \log(A_{m,n})
 \end{equation}
ここで，$M$は目的言語文の文長，$N$は原言語文の文長，$A$は式(\ref{equ:head_i})によって計算される言語間注意機構の注意行列，$G$は教師データとなる単語の対応関係を表した行列である．
なお，$n$ 番目の原言語文の単語と$m$ 番目の目的言語文の単語が対応関係にある場合は，$G_{m,n}$ は 1 となり，それ以外は 0 となる．
この機械翻訳モデルの目的関数$\mathcal{L}$としては，上述の$\mathcal{L}_a(A)$を翻訳の誤差$\mathcal{L}_t$ に加えた以下の損失関数を用いる．
 \begin{equation}
 \label{total_loss}
 \mathcal{L} = \mathcal{L}_t + \lambda \mathcal{L}_a(A),
 \end{equation}
ここで，$\lambda$はハイパーパラメータである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia10f1.pdf}
\end{center}
%%%%\label{fig:visual_attention_orig}
%%%%\label{fig:visual_attention_crane}
\caption{視覚的注意機構の例}
\label{fig:visual_attention_sample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Transformerベースのマルチモーダルニューラル機械翻訳に関する研究}

マルチモーダルニューラル機械翻訳モデルとして様々なネットワーク構造のモデルが提案されているが，近年は，Transformerモデルベースのモデルが盛んに研究されている．
例えば，Takushima ら \cite{takushima_cicling}はCNNとTransformerエンコーダからなる画像エンコーダをTransformerモデルに導入したマルチモーダルニューラル機械翻訳モデルを提案している．
彼らのモデルでは，まず，画像エンコーダで入力画像に対してCNNを適用し，入力画像の特徴量を獲得する．その後，獲得した特徴量をTransformerモデルのエンコーダに入力し，自己注意機構によって画像の領域間の関係を考慮したエンコードを行う．画像のエンコードと並行してTransformerエンコーダにより原言語文をエンコードし，画像と原言語文のエンコード結果を結合した中間表現からTransformerモデルのデコーダにより目的言語文を生成する．
また，Helcl ら \cite{helcl-cuni-system}は，Transformerデコーダの内部で言語間注意機構の出力とCNNの出力を用いた視覚的注意機構によって画像情報を活用するモデルを提案している．
図\ref{fig:visual_attention_sample}に視覚的注意機構の例を示す．
図において，原画像がより鮮明に見えている部分に強く注意が向けられていることを表している．
入力された画像は，CNNによって高次元の目の粗い格子状の特徴量へと変換される．特徴量中の各領域は，元の画像の領域に対応しており，高次元の特徴量を持っている．
%%%%例えば，図\ref{fig:visual_attention_sample}(\subref{fig:visual_attention_crane})は$4 \times 4$の領域に変換されていて，
    例えば，図\ref{fig:visual_attention_sample}(b)は$4 \times 4$の領域に変換されていて，
各領域が2,048次元の特徴量を保有している．視覚的注意機構では，各単語はこれらの画像特徴量の領域に対して注意が向けられる．このため，視覚的注意は，領域のヒートマップとして可視化することが出来る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳}
\label{sect:proposal_method}

本節では，教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳を提案する．
まず，ベースラインとして用いるTransformerベースのマルチモーダルニューラル機械翻訳モデルを説明する．
その後，マルチモーダルニューラル機械翻訳の翻訳性能を向上させるための教師付き視覚的注意機構を提案する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia10f2.pdf}
\end{center}
\caption{マルチモーダルニューラル機械翻訳モデル}
\label{fig:MNMT}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Transformerベースのマルチモーダルニューラル機械翻訳モデル}

図\ref{fig:MNMT}に本研究で用いるTransformerベースのマルチモーダルニューラル機械翻訳モデルの概要図を示す．
本モデルは，原言語文エンコーダとデコーダに加えて，画像エンコーダを持つ．
画像エンコーダでは，まず，入力した画像に対してCNN を適用し，画像の特徴量を得る．
次に，CNN の出力に対して自己注意機構を適用する．
この自己注意機構によって画像の領域間の関係性が計算される．
最後に，自己注意機構の出力に対して位置毎の全結合レイヤを適用したものが画像エンコーダ全体の出力となる．

本モデルでは，従来のモデルとは異なり，原言語文エンコーダの内部において原言語文に対する自己注意機構の出力と画像エンコーダの出力を用いて，注意機構の一種である視覚的注意機構\cite{libovicky-etal-2018-input}により，原言語文の単語と画像の領域との関係性を計算する．
視覚的注意機構では，式(\ref{equ:att})において，$Q$として原言語文エンコーダの自己注意機構の出力，$K$と$V$として画像エンコーダの出力を用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師付き視覚的注意機構}
\label{sect:supervised_visual-attention}

提案する教師付き視覚的注意機構は，原言語文の単語と画像内のオブジェクトとの対応関係を人手で付けたものを教師データとして与えて視覚的注意機構を学習する．
具体的には，画像エンコーダの出力と原言語文エンコーダ内の自己注意機構の出力との間の視覚的注意機構が教師データに近づくような制約を与える．
視覚的注意機構に対する制約は，教師となる対応関係を示した行列と，式(\ref{equ:attmat})で計算される注意行列との間の誤差が最小となるように適用される．
誤差は以下の交差エントロピーによって計算される．
\begin{equation}
 \label{CE_img_src}
  \mathcal{L}_{img\_src}(A) = -\frac{1}{M}\sum_{m=1}^M\sum_{n=1}^N G_{m,n} \times \log(A_{m,n})
\end{equation}
ここで，$M$ は原言語文の文長を，$N$ はCNN によって畳み込まれた画像の領域数を表す．
また，$A$ は注意行列を，$G$ は教師データとなる原言語文内の単語と画像内のオブジェクトの対応関係を示した行列を表す．
原言語文内の$m$ 番目の単語が画像の$n$ 番目の領域に対応しているとき，$G_{m,n}$ は 1 となり，それ以外の時は 0 となる．

本研究では，Flickr30k Entities データセット \cite{flickr30k-entities}を用いて視覚的注意機構に対する教師データを作成した．
このデータセットはFlickr30k データセット \cite{flickr30k}から作られたデータセットである．
一つの画像に対して5 つのキャプション文がつけられており，各キャプション文中の単語が画像内のオブジェクトと関係がある場合，図\ref{fig:annotation_sample}のようにその単語が画像内のどの領域と関係があるかが示されたデータセットとなっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia10f3.pdf}
\end{center}
\caption{Flickr30k Entities の例}
\label{fig:annotation_sample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia10f4.pdf}
\end{center}
%%%%\label{fig:gold_sample}
%%%%\label{fig:1-dim_sample}
\caption{教師付き視覚的注意機構に対する教師データの作成例}
\label{fig:i_s_sample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

今回はこのデータセットから原言語文内の単語と画像内のオブジェクトとの対応関係を抽出し，教師データを作成する．
まず，Flickr30k Entities データセットに付与されている単語とオブジェクト間の対応関係をCNN で畳み込んだ際の領域にスケールさせる．
例えば，画像エンコーダに用いるCNN によって画像を$4 \times 4$ に畳み込んだ場合，画像内の各オブジェクトと16個の領域との対応関係を求める．
複数の領域に対応する場合は，各領域に等しく対応が張られるように値を平均化する．
%%%%すなわち，値を「1 / 対応付いた領域数」とする（図\ref{fig:i_s_sample}(\subref{fig:gold_sample})）．
    すなわち，値を「1 / 対応付いた領域数」とする（図\ref{fig:i_s_sample}(a)）．
%%%%その後，2 次元の領域を 1 次元に線形化する（図\ref{fig:i_s_sample}(\subref{fig:1-dim_sample})）．
    その後，2 次元の領域を 1 次元に線形化する（図\ref{fig:i_s_sample}(b)）．
この手続きを原言語文のすべての単語に対して行う．
画像内のオブジェクトと対応がない単語については，Liu ら \cite{supervised-attention}やMi ら \cite{mi-etal-2016-supervised}に倣い，特殊トークンを用いて処理を行った．
Liu らやMi らは教師付き言語間注意機構を学習する際に特殊トークンを導入している．
%%%%本手法では，図\ref{fig:i_s_sample}(\subref{fig:1-dim_sample})に示した行列の先頭に特殊トークンを付与し，
    本手法では，図\ref{fig:i_s_sample}(b)に示した行列の先頭に特殊トークンを付与し，
画像内のどのオブジェクトとも対応関係にない単語は特殊トークンに対応付ける．

教師付き視覚的注意機構を用いたマルチモーダルニューラル機械翻訳モデルの目的関数$\mathcal{L}$ は以下のように表される．
\begin{equation}
\label{equ:img_src_loss_func}
 \mathcal{L} = \mathcal{L}_T + \lambda_1 \mathcal{L}_{img\_src}
\end{equation}
ここで，$\mathcal{L}_T$ はマルチモーダルニューラル機械翻訳モデルの損失関数，$\mathcal{L}_{img\_src}$ は視覚的注意機構における注意行列と教師データとなる行列との損失関数を表している．
また，$\lambda_1$ は翻訳誤差$\mathcal{L}_T$ と教師付き視覚的注意機構に関する誤差$\mathcal{L}_{img\_src}$ の重みを制御するためのハイパーパラメータである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia10f5.pdf}
\end{center}
\caption{言語間注意機構に対する教師データの例}
\label{fig:s_t_sample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師付き視覚的注意機構と教師付き言語間注意機構の組み合わせ}
\label{sect:cross_attn}

本研究では，教師付き視覚的注意機構に加えて，\ref{sect:supervised_cross-attention}節で説明した教師付き言語間注意機構を我々のマルチモーダルニューラル機械翻訳モデルに導入し，翻訳性能の改善を図る．
教師付き言語間注意機構を学習するためには，原言語文内の単語と目的言語文内の単語との対応関係を取得する必要がある．
本研究では，Liu ら \cite{supervised-attention}やGarg ら \cite{garg-jointly}のように，アライメントツールを用いて単語間の対応関係を取得した．
アライメントツールとしては，GIZA++ \cite{giza++}をマルチスレッドで動作させることを可能としたMGIZA \cite{mgiza}を用いた．

目的言語文内のある 1 単語が複数の原言語文内の単語と対応関係にある場合，等しく対応が張られるように値を平均化する．
すなわち，値を「1 / 対応付いた単語数」とする．
また，\ref{sect:supervised_visual-attention}節のように，どの単語とも対応関係がない単語については，特殊トークンを用いて処理を行った．
具体的には，図\ref{fig:s_t_sample}に示すように原言語文の先頭に特殊トークンを設置し，原言語文内のどの単語とも対応関係を持たない目的言語文の単語はこの特殊トークンに対応が張られるようにする．

教師付き視覚的注意機構と教師付き言語間注意機構の両方を用いるマルチモーダルニューラル機械翻訳モデルの目的関数 $\mathcal{L}$ は次式のように表される．
 \begin{equation}
 \label{equ:both_loss_func}
 \mathcal{L} = \mathcal{L}_T + \lambda_1 \mathcal{L}_{img\_src} + \lambda_2 \mathcal{L}_{src\_tgt},
 \end{equation}
ここで，$\mathcal{L}_{src\_tgt}$ は言語間注意機構における注意行列と教師データとの損失関数を表している．
また，$\lambda_1$は，翻訳誤差 $\mathcal{L}_T$と視覚的注意機構に関する誤差 $\mathcal{L}_{img\_src}$との重みを制御するハイパーパラメータであり，$\lambda_2$ は，翻訳誤差 $\mathcal{L}_T$ 
と言語間注意機構に関する誤差 $\mathcal{L}_{src\_tgt}$ との重みを制御するハイパーパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sect:exp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

本研究では，英独翻訳，独英翻訳，英日翻訳，日英翻訳の4つの実験を行った．
英独翻訳および独英翻訳では，Multi30k データセット \cite{multi30k}を用いた．
このデータセットは，画像とその説明文が対になったもので，訓練データは29,000 文対，開発データは1,014 文対である．
また，テストデータとしてはtest2016（1,000文対）を用いた．

英日翻訳および日英翻訳では，Flickr30k Entities JP データセット \cite{nakayama-tamura-ninomiya:2020:LREC} を用いた．
Multi30k データセットのテキストの前処理に倣い，英文には小文字化，句読点の正規化，Moses のトークナイザ \cite{moses}を施している．日本語文についてはKyTea \cite{kytea}を用いて単語分割を行った．
また，訓練データには日英共に 100 単語以下の対訳文のみを用いた．
訓練データは 59,516 文対，開発データは 2,027 文対，テストデータは 2,000 文対である．

画像に対する前処理として，画像サイズを $256 \times 256$ になるようにリサイズした後，$224 \times 224$ となるように中央部にクロップ処理を施した．
画像エンコーダにおいて使用するCNN はResNet50 \cite{resnet}を用いた．
なお，ResNet50 から取得する画像特徴量は最終の畳み込みレイヤの出力を用いた．
したがって，抽出される画像特徴量のサイズは$7 \times 7 \times 2048$ である．
また，学習時にCNN のfine-tuning は行わない．
画像エンコーダ，原言語文エンコーダおよびデコーダレイヤはそれぞれ6レイヤから成る．
マルチヘッド注意機構におけるヘッド数は8，埋め込み次元数は512 とした．
また，単語位置毎の全結合レイヤの中間レイヤの次元数は2,048とした．
モデルの学習時にはミニバッチサイズを128 とし，40 エポックの学習を行った．
最適化手法にはAdam \cite{Adam-optimizer}を用いた．
英独および独英実験ではBPE \cite{bpe}を適用した．
英側の単語と独側の単語を合わせてBPEを学習し，マージのオペレーション数は6,000とした．
推論時には目的言語文の生成を貪欲法により行った．
実験では機械学習ライブラリであるPyTorchのバージョン1.1.0を用いて実装したモデルを使用した．

翻訳性能はBLEU \cite{bleu}とMETEOR \cite{meteor}を用いて評価した．
テスト時には開発データに対するBLEU値が最も高かったエポックのモデルを選択し，テストデータに対する性能を評価した．
また，ブートストラップ・リサンプリング法 \cite{koehn-2004-statistical}により統計的有意差の検定を行った．BLEUの検定にはpaired\_bootstrap\_v13a\footnote{%
\url{http://www.cs.cmu.edu/~ark/MT/paired_bootstrap_v13a.tar.gz}}を，METEORの検定にはjhclark/multeval\footnote{%
\url{https://github.com/jhclark/multeval}}をforkしたozancaglayan/multeval\footnote{%
\url{https://github.com/ozancaglayan/multeval}}を用いた．
実験では，画像無しのTransformerモデル (NMT)，画像無しのTransformerモデルに教師付き言語間注意機構を適用したモデル (NMT+SCA)，教師付き注意機構を用いないマルチモーダルTransformerモデル (MNMT)，教師付き視覚的注意機構のみを用いるモデル (MNMT+SVA)，教師付き言語間注意機構のみ用いるモデル (MNMT+SCA)，教師付き視覚的注意機構と教師付き言語間注意機構の両方を用いるモデル (MNMT+SVA+SCA) を比較した．
また，教師付き視覚的注意機構及び教師付き言語間注意機構では，6レイヤスタックされた原言語文エンコーダレイヤおよびデコーダレイヤの内，最終の6レイヤ目の注意機構の一つのヘッドに対して制約を与えて教師付き学習を行った．
なお，\ref{sect:cross_attn}節で説明した目的関数 $\mathcal{L}$ におけるハイパーパラメータはGarg らに倣い，$\lambda_1 = 0.05$, $\lambda_2 = 0.05$ とした．
また，教師付き視覚的注意機構のみを用いるモデルのハイパーパラメータは$\lambda_1 = 0.05$ とした．
本実験で利用したデータセットには，単語と画像内のオブジェクトとの対応は英語のキャプション文にのみ与えられている．
英独翻訳と英日翻訳については，人手によって付けられた，英語のキャプション文内の単語と画像内のオブジェクトとの対応関係を直接利用して，視覚的注意機構に対する教師データを作成した．
独英翻訳と日英翻訳については，初めに人手によって付けられている英語のキャプション文内の単語と画像内のオブジェクトとの対応関係を，MGIZAによって得た言語間の対応関係を用いて独語および日本語の文と画像内のオブジェクトとの対応関係に変換し，視覚的注意機構に対する教師データを作成した．
なお，今回英日および日英実験で用いたFlickr30k Entities JPデータセットには，原言語文内の単語と目的言語文内の単語との間に人手で対応関係がつけられている．
そこで，NMT+SCA，MNMT+SVA，MNMT+SCA，MNMT+SVA+SCAの場合について，この人手での対応関係を用いた実験も行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{10table01.tex}
\hangcaption{実験結果．BとMはそれぞれBLEUとMETEORを表す．${\ast}$マークはMNMTと比較して有意水準5\% ($p\leq0.05$) で検定を行い，有意と判定されたことを表す．また，${\dag}$マークはMNMT+SVAと比較して有意水準5\%で検定を行い，有意と判定されたことを表す．さらに，${\ddag}$マークはMNMT+SCAと比較して有意水準5\%で検定を行い，有意と判定されたことを表す．}
\label{tab:mgiza_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

実験結果を表\ref{tab:mgiza_result}に示す．
表を見ると，MNMT+SVAはすべての実験においてMNMTのスコアを上回っており，英独および英日・日英実験については検定によりその有意差が確認できる．
また，MNMT+SCAについては，英独および独英実験においてはMNMTのスコアを上回っており，有意差もあることが確認できる．
MNMT+SVA+SCAでは，英独実験についてはMNMT+SVAやMNMT+SCAと比較してそれぞれ同程度スコアが向上しており，教師付き視覚的注意機構と教師付き言語間注意機構を組み合わせて利用することの有効性が確認できた．
また，英日および日英実験については，MNMT+SCAではMNMTと比較して同程度もしくは下がる結果であるが，教師付き視覚的注意機構と合わせたMNMT+SVA+SCAではMNMT+SVAを上回っており，教師付き言語間注意機構と教師付き視覚的注意機構を組み合わせることの有効性が確認できた．

次に，人手による対応関係を用いた実験結果を見ると，NMT+SCA（人手）およびMNMT+SCA（人手）ではMGIZAによって対応関係を取得したNMT+SCAおよびMNMT+SCAと比較して性能が向上していることが確認できた．
しかし，MNMT+SVA+SCAとMNMT+SVA+SCA（人手）を比較すると，MNMT+SVA+SCA（人手）のスコアは同程度かもしくは少し下がる結果となった．この結果より，人手で付けられた対応関係を用いて言語間注意機構を教師付き学習する際には，教師付き視覚的注意機構を同時に用いることの相乗効果は見られなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\vspace{-0.5\Cvs}
\begin{center}
\includegraphics{28-2ia10f6.pdf}
\end{center}
%%%%\label{fig:gold_man}
%%%%\label{fig:orig_man}
%%%%\label{fig:super_man}
\caption{単語manに対する視覚的注意}
\label{fig:man_analysis}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察}
\label{sect:analysis}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{視覚的注意の例}

図\ref{fig:man_analysis}と図\ref{fig:lamp_analysis}はそれぞれ
英日翻訳におけるテストデータ中の単語man と単語lamp に対する視覚的注意を表している．
これらの図において，より暗くなっている部分はより強く注意が向けられていることを表している．
図を見ると，視覚的注意機構に制約を与えない通常の視覚的注意機構では画像全体に等しく注意が向けられている
%%%%（図\ref{fig:man_analysis}(\subref{fig:orig_man})，
    （図\ref{fig:man_analysis}(b)，
%%%%図\ref{fig:lamp_analysis}(\subref{fig:orig_lamp})）．
    図\ref{fig:lamp_analysis}(b)）．
これに対し，制約を与えて学習させた教師付き視覚的注意機構では，それぞれ対応する領域に注意が向けられており，視覚的注意が改善する事例があることが確認できた
%%%%（図\ref{fig:man_analysis}(\subref{fig:super_man})，
    （図\ref{fig:man_analysis}(c)，
%%%%図\ref{fig:lamp_analysis}(\subref{fig:super_lamp})）．
    図\ref{fig:lamp_analysis}(c)）．
これらの結果より，教師付き視覚的注意機構が，各単語の注意を関連する領域に向けさせた可能性があると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia10f7.pdf}
\end{center}
%%%%\label{fig:gold_lamp}
%%%%\label{fig:orig_lamp}
%%%%\label{fig:super_lamp}
\caption{単語lampに対する視覚的注意}
\label{fig:lamp_analysis}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{翻訳例}

図\ref{fig:examples}は日英翻訳と独英翻訳のテストデータに対する翻訳結果の例を表している．
図を見ると，教師付き注意機構を用いないマルチモーダル機械翻訳モデル (MNMT) によって翻訳された文は，原言語文のいくつかの情報が抜け落ちていることが分かる．
%%%%例えば，図\ref{fig:examples}(\subref{fig:example_a})では，
    例えば，図\ref{fig:examples}(a)では，
画像内の男性が持っている「携帯電話」および男性の状態を表す「話しながら」という情報が抜け落ちている．
%%%%また，図\ref{fig:examples}(\subref{fig:example_b})では，「a yellow shovel」という情報が，
    また，図\ref{fig:examples}(b)では，「a yellow shovel」という情報が，
%%%%図\ref{fig:examples}(\subref{fig:example_c})では画像内の男性の特徴である「dreadlocks」という情報が抜け落ちている．
    図\ref{fig:examples}(c)では画像内の男性の特徴である「dreadlocks」という情報が抜け落ちている．
これに対し，教師付き視覚的注意機構を用いたモデル (MNMT+SVA) ではこれらの抜け落ちていた情報を正しく翻訳できる事例があることが確認できた．
これは，教師付き視覚的注意機構によって原言語文の各単語と画像内の関連する領域が対応付けられた可能性があると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia10f8.pdf}
\end{center}
%%%%\label{fig:example_a}
%%%%\label{fig:example_b}
%%%%\label{fig:example_c}
\caption{翻訳例}
\label{fig:examples}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sect:related_work}

ニューラル機械翻訳は，原言語の単語と目的言語の単語間での自動もしくは人手による対応関係に基づいて言語間注意機構を訓練することによって，その性能が改善されている．
Liu ら \cite{supervised-attention}やMi ら \cite{mi-etal-2016-supervised}はRNN ベースのニュー
ラル機械翻訳モデルに，Garg ら \cite{garg-jointly}はTransformerベースのニューラル機械翻訳モデルにおいて制約付き言語間注意機構を提案している．

ニューラル機械翻訳の性能改善に画像が有効であることが示されている \cite{elliott-2018-adversarial,caglayan-etal-2019-probing}．
マルチモーダルニューラル機械翻訳の研究も盛んに行われ，様々なモデルが提案されている．
初期のころは，RNNベースのニューラル機械翻訳 \cite{Bahdanau-attention}を拡張させたRNN ベースのマルチモーダルニューラル機械翻訳 \cite{calixto-etal-2017-doubly,caglayan-etal-2017-lium,enc-visual-attention}が主流であった．
近年は，Transformerベースのマルチモーダルニューラル機械翻訳の研究が盛んに行われている \cite{helcl-cuni-system,libovicky-etal-2018-input,gronroos-etal-2018-memad,ive-etal-2019-distilling,zhang2020neural}．
ほとんどのマルチモーダルニューラル機械翻訳モデルでは，視覚的注意機構によって画像の特徴を組み込んでいる．
原言語文の単語と画像領域との関係を捉えるために視覚的注意機構を利用している研究 \cite{enc-visual-attention,zhang2020neural}や，目的言語文の単語と画像領域を捉えるために視覚的注意機構を利用している研究 \cite{calixto-etal-2017-doubly,helcl-cuni-system,libovicky-etal-2018-input,ive-etal-2019-distilling,takushima_cicling}がある．
なお，これらの研究で利用されている視覚的注意機構は訓練時に自動的に学習が行われており，視覚的注意機構に制約を加えた手法ではない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
\label{sect:Conclusion}

本稿では，教師付き視覚的注意機構を用いるマルチモーダルニューラル機械翻訳モデルを提案した．
提案手法では，画像領域とその説明文中の単語との間に人手で付けられている対応関係を用いて視覚的注意機構の教師データを作成し，その教師データによってマルチモーダルニューラル機械翻訳モデルのエンコーダ内の視覚的注意機構に制約を与えて学習する．
実験では，Multi30k データセットを用いた英独翻訳および独英翻訳とFlickr30k Entities JP データセットを用いた英日翻訳および日英翻訳を行い，提案手法によってTransformerベースのマルチモーダルニューラル機械翻訳モデルの性能が改善できることを確認した．
今後は，本実験で用いたTransformerベースのマルチモーダルニューラル機械翻訳モデル以外のモデルに対しても，提案手法である制約を与えた視覚的注意機構が有効であるかどうかを検証していきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文は国際会議 The 28th International Conference on Computational Linguistics (COLING2020) に採択された論文 \cite{nishihara-etal-2020-supervised}に基づいて日本語で書き直し，説明や評価を追加したものである．

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである．
また，本研究の一部はJSPS科研費JP20K19864の助成を受けたものである．
ここに謝意を表する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{10refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{西原　哲郎}{%
2020年愛媛大学工学部情報工学科卒業．2020年より同大学院理工学研究科修士課程に在学．
}

\bioauthor{田村　晃裕}{%
2005年東京工業大学工学部情報工学科卒業．2007年同大学院総合理工学研究科修士課程修了．2013年同大学院総合理工学研究科博士課程修了．日本電気株式会社，国立研究開発法人情報通信研究機構にて研究員として務めた後，2017年より愛媛大学大学院理工学研究科助教，2020年より同志社大学理工学部准教授となり，現在に至る．博士（工学）．言語処理学会，情報処理学会，人工知能学会，ACL各会員．
}

\bioauthor{二宮　　崇}{%
1996年東京大学理学部情報科学科卒業．1998年同大学大学院理学系研究科修士課程修了．2001年同大学大学院理学系研究科博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．
}

\bioauthor{表　悠太郎}{%
2019年愛媛大学工学部情報工学科卒業．2019年より同大学院理工学研究科修士課程に在学．
}

\bioauthor{中山　英樹}{%
2006年東京大学工学部機械情報工学科卒業．2011年同大学大学院情報理工学系研究科知能機械情報学専攻博士課程修了．博士（情報理工学）．2012年より東京大学大学院情報理工学系研究科創造情報学専攻講師．2018年より同准教授，現在に至る．画像認識，自然言語処理，機械学習の研究に従事．情報処理学会，電子情報通信学会，IEEE, ACM各会員． 
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate


\end{document}

