    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}

\usepackage{multirow}
\usepackage{bm}
\newcommand{\argmax}{}
\newcommand{\ntcir}{}


\Volume{25}
\Number{5}
\Month{December}
\Year{2018}

\received{2018}{5}{1}
\revised{2018}{7}{30}
\accepted{2018}{9}{6}

\setcounter{page}{511}

\jsubject{論文}
\jtitle{日英ニューラル機械翻訳におけるアテンションを用いた\\
	未知語置き換えの手法}
\jauthor{伊部　早紀\affiref{Author_1} \and 松田　源立\affiref{Author_1} \and 山口　和紀\affiref{Author_1}}
\jabstract{ニューラル機械翻訳では，従来の統計的機械翻訳に比べ文法的に流暢な文が生成されるが，出力結果に未知語が含まれることがしばしば指摘される．この問題に対処する方法としては，学習コーパス中の低頻度語を分割したり，未知語に位置情報を付け加えるなどの方法があるが，どれも日英翻訳では効果が低い．そこで本論文では，アテンションから構成した単語アライメント表を用いて出力文中の未知語と対応する入力文中の単語を見つけ，その単語を翻訳した単語で未知語を置き換えることで未知語をなくす手法を提案する．本論文の有効性を示すために ASPEC, NTCIR-10 の 2 種類のコーパスを用いて実験を行った結果，本論文で提案する単語アライメント表の構成法を用いると，未知語を全く発生させず，かつ，BLEU 値を向上させることができた．
}
\jkeywords{機械翻訳，ニューラルネットワーク，未知語，アテンション}

\etitle{Replacement of Unknown Words Using an Attention Model in Japanese to English Neural Machine Translation}
\eauthor{Saki Ibe\affiref{Author_1} \and Yoshitatsu Matsuda\affiref{Author_1} \and Kazunori Yamaguchi\affiref{Author_1}} 
\eabstract{It is well known that machine translation using recurrent neural networks often composes fluent sentences but may include many unknown words. Although there have been many works to address the unknown word problem, they are ineffective in Japanese to English translation. In this study, we propose a hybrid method that makes an alignment table using an attention weight matrix, detects input words that are aligned with each unknown words, and finally replaces those unknown words with the translated words using a statistical machine translation method. We evaluate our approach by using two corpora: ASPEC and NTCIR-10. The results showed that the proposed method generated no unknown words and improved the BLEU (BiLingual Evaluation Understudy) score.
}
\ekeywords{Machine Translation, Neural Networks, Unknown Words, Attention Mechanism}

\headauthor{伊部，松田，山口}
\headtitle{日英ニューラル機械翻訳におけるアテンションを用いた未知語置き換えの手法}

\affilabel{Author_1}{東京大学}{The University of Tokyo}



\begin{document}
\maketitle


\section{はじめに}\label{introduction}

ニューラル機械翻訳\cite{bahdanau2014neural,sutskever2014sequence,cho2014learning}は，
ソース言語を数値ベクトルによる分散表現で表し，それをニューラルネットワークを用いて変換して求めた数値ベクトルからターゲット言語の単語列を求めることで翻訳を行う手法である．
従来の統計的機械翻訳\cite{koehn2003statistical}では対訳コーパスから求めた変換規則の確率を用いてソース言語の単語やフレーズをターゲット言語への単語やフレーズに変換していたため，
フレーズ同士の長い区間でのつながりが十分に反映されていなかった．
これに対して，ニューラル機械翻訳では，リカレントニューラルネットワークおよびLSTM (Long Short Term Memory) の利用により，長い区間での単語のつながりが考慮されている．
そのため，ニューラル機械翻訳を用いると従来の統計的機械翻訳と比べて流暢な文を生成できるが，
訳抜けや繰り返しがあることや，出力結果に未知語(UNK)が含まれる\cite{luong2015addressing,jean2015using}という問題が指摘されている．
未知語が含まれる問題に対処するこれまでに提案されている主な手法には以下のものがある．


まず，コーパスに前処理を行う方法としては，コーパス中の未知語をすべて未知語トークンに置き換え，位置情報を付け加えて学習を行うPosUNK\cite{luong2015addressing}がある．
通常の手法では，語彙制限のために未知語が生じた場合は，ソース言語およびターゲット言語内の未知語を一律に特殊な未知語トークンUNKで置き換える．一方PosUNKにおいては，ソース言語内の未知語はすべてUNKに置き換えるのは同じだが，ターゲット言語の未知語は位置情報を利用して区別する．具体的には，ソース言語を{$f_1$,\ldots,$f_n$}とし，ターゲット言語を{$e_1$,\ldots,$e_m$}として，ソース言語に未知語{$f_i$}が存在したとする．{$f_i$}に対応する未知語{$e_j$}がターゲット言語内に存在した場合は，相対位置{$d = j-i$}を利用して，{$e_j$}を位置情報付き未知語トークンPosUNK{$_d$}に置き換える．ただし，ソース言語に対応する未知語を持たないターゲット言語の未知語は，空集合{$\phi$}に対応するPosUNK{$_\phi$}に置き換える．これにより学習した翻訳機は，未知語を一律にUNKとしてではなく，PosUNK{$_d$}として相対位置付きで推定するため，dを利用して対応するソース言語内の単語を推定することができる．しかしながら，この手法を日英の言語対で実験を行ったところ，効果が低かった（4.3節参照）．この手法は，ターゲット言語とソース言語において，単語間の相対位置は同一であると仮定しているため，日英のような文法構造が大幅に異なる言語間では適用が困難であるためと考えられる．

また，コーパス中の単語を分割して全体の単語の種類を少なくするBPE (Byte Pair Encoding) \cite{sennrich2016neural}がある．
BPEは頻度の低い単語を複数の文字列に分割することで，単語の頻度を増やし学習しやすくする方法である．
この手法も日英の言語対で実験を行ったところ，効果が低かった（4.3節参照）．ヨーロッパ言語などの文字の種類が少なく単語の成り立ちが類似する言語間に比べ，日本語と英語では単語の構成が大きく異なり，日本語は文字の種類が多いことが原因だと考えられる．
ニューラル機械翻訳のモデルを変更する方法としては，アテンションの計算で単語翻訳確率を考慮する方法\cite{arthur2016incorporating}，
coverageを導入する方法\cite{tu2016modeling,tu2017context}，統計的機械翻訳で作成したフレーズテーブルを組み入れる方法{\cite{stahlberg2016syntactically,khayrallah2017neural,zhang2018guiding}}，
入力文中の単語が既知語の場合はそのまま処理し，未知語の場合は単語を文字に分解して処理する方法\cite{luong2016achieving}などがあるが，いずれもニューラルネットワークの性能を改善させることが主眼であり，未知語そのものを完全に消去することを目的としていない．
ニューラル機械翻訳の出力結果の単語列を統計的機械翻訳を用いて並べ替える手法\cite{skadina2016towards}もあるが，
この手法では単語の辞書を作るためだけにニューラル機械翻訳を使っており，最終的な翻訳は統計的機械翻訳で行っている．よってニューラル機械翻訳の利点である単語間の長区間でのつながりを考慮した流暢性が失われてしまう．
以上のように従来の手法の多くは，未知語を減少させることはできているが，日英翻訳では翻訳精度の向上が期待できない．

そこで本論文では，ニューラルネットワークのモデルや探索方法を変更することなく未知語を減少させ，かつ翻訳精度を向上させる手法を提案する．
そのために，アテンションに基づいたニューラル機械翻訳をソース言語に対して適用することで生成されたアテンションを利用する．
アテンションは翻訳におけるソース言語の単語とターゲット言語の単語の対応を数値化したもの{\cite{bahdanau2014neural}}で，統計的機械翻訳における2言語間の単語の対応を表す単語アライメント表\cite{koehn2003statistical}と類似したものである．
{\cite{hashimoto2016domain}}及び{\cite{freitag2016fast}}では，この性質を利用し，アテンションを元に対応する未知語を推定する手法を提案している．ともに未知語が対応する単語はアテンションが最も高い値を持つ単語だとしている．しかしながら，類似しているとはいえ，アテンションは単語アライメント表そのものではなく，数値の大小と実際のアライメントが一致しない場合も多い．また，言語学的な性質を満たしているとも限らない．本研究では，隣接関係等の，単語間の対応関係の言語学的性質に関するヒューリスティックを利用して，アテンションから単語アライメント表を推定する手法を提案する．そして，その単語アライメント表を利用して未知語を置き換える．これによりニューラル翻訳の利点を生かしたアテンションと言語学的な性質の双方を組み合わせた未知語問題の解決を行う．
本論文はアテンションを用いた未知語解決に関する論文\cite{ibe2018}の内容を発展させたものである．
ASPECと{\ntcir}の2つのコーパスに提案手法を適用したところ，未知語を完全に除くことができ，BLEU値も上昇させることができた．


\section{背景} \label{background}

本章では，ニューラル機械翻訳の手法と統計的機械翻訳の手法の中から本論文で使用している手法の説明を行う．


\subsection{フレーズに基づく統計的機械翻訳}

本論文では，未知語を置き換える単語を探す時にフレーズベース機械翻訳\cite{koehn2003statistical}で生成されるフレーズテーブルを使うため，フレーズベース機械翻訳について説明する．
フレーズベース機械翻訳は，統計的手法を用いて翻訳規則を学習し，翻訳を行う手法である．手順を以下に示す．
\begin{enumerate}
\item 対訳コーパスにアライメントモデルを適用し，単語アライメント表を作成する．単語アライメント表の計算では同時に単語翻訳確率$t(e|f)$も計算される．単語アライメント表をソース言語からターゲット言語，またその逆に対して作成し，grow-diag-final-and (gdfa) などのヒューリスティックを用いて2つの表を重ね合わせたものを最終的な単語アライメント表とする．
\item 作成した単語アライメント表とソース言語・ターゲット言語をもとに，ソース言語における単語列がターゲット言語におけるどの単語列に翻訳されるかを表す翻訳規則と，フレーズ翻訳確率$P(\bm{e}|\bm{f})$を学習する．規則の抽出は\cite{och2004alignment}などの方法がある．
\item 翻訳規則を利用して出力候補文をいくつか生成する．各候補文に対し翻訳規則の確率と言語モデルを用いて翻訳確率を計算し，翻訳確率が最も高い候補文を出力結果とする．
\end{enumerate}


\subsection{アテンションに基づくニューラル機械翻訳}

アテンションに基づくニューラル機械翻訳\cite{bahdanau2014neural}は，アテンションを用いて翻訳するソース言語の各単語に異なる重みを与えるニューラル機械翻訳である．


入力文$\bm{f} = (f_1, f_2, \ldots, f_J)$とその分散表現$\bm{x} = (x_1, x_2, \ldots, x_J)$，出力文$\bm{e} = (e_1, e_2, \ldots, e_I)$とその分散表現$\bm{y} = (y_1, y_2, \ldots, y_I)$のペアの条件付き確率を最大化するように学習する．
\begin{equation}
	p(\bm{e} | \bm{f}) = \prod_{i=1}^{I} p(e_i | e_1, \ldots, e_{i-1}, \bm{f})
\end{equation}
$e_i$の生成確率は以下で与えられる．
\begin{equation}
p(e_i | e_1, \ldots, e_{i-1}, \bm{x}) = g(y_{i-1}, s_i, c_i)
\end{equation}
$s_i$は$i$番目の出力単語列の隠れ状態であり，以下の式(3)で計算される．
\begin{equation}
s_i = f(s_{i-1}, y_{i-1}, c_i)
\end{equation}
$c_i$は出力文の$i$番目の単語の文脈ベクトルといい，以下の式(4)で計算される．
\begin{equation}
c_i = \sum_{j=1}^{J} \alpha_{ij}h_j
\end{equation}
$\alpha_{ij}$はアテンション値といい，{$y_i$}に関連しているのが{$x_j$}である確率である．
式(5)と式(6)に従って計算する．
\begin{gather}
\alpha_{ij} = \frac{\exp e_{ij}}{\sum_{k=1}^{J} \exp e_{ik}}\\
e_{ij} = a(s_{i-1},h_j)
\end{gather}
$h_j$は入力文の$j$番目の単語の文脈ベクトルで，式(7)に従って計算する\footnote{双方向RNNの場合は入力文を逆向きに計算した{$h_j'$}を計算し，$h_j$と$h_j'$を連結したベクトルを使うが，ここでは説明は省略する．}．
\begin{equation}
h_j = h(x_j,h_{j-1})
\end{equation}
以上の$a(),f(),g(),h()$は入力変数の重み付き線形和を何らかの非線形関数（通常は{$\tanh$}関数）で変換したものである．具体的には，入力変数群を{$v_{1},\ldots,v_{n}$}とすると，{$a(v_{1},\ldots ,v_{n})=\tanh(\sum_{i}w_{i} v_{i} + c)$}と表される．{$w_{i}$}は各変数の重みであり，{$c$}は切片である．全てのw{$_{i}$}およびcがパラメータとして，損失関数を最小化するために最適化される．
学習では，以下の式(8)で定義されるクロスエントロピーを損失関数として用いる．
\begin{equation}
 L = {- {\sum_j {z_j \log {z'}_j}}}
\end{equation}
{$z_j$}はコーパスにおける{$y_j$}に対応する単語{$e_j$}の出現確率，{$z'_j$}は学習したパラメータを用いて翻訳を行った時に{$y_j$}に対応する単語{$e_j$}が出力される確率である．
学習後の翻訳では式(1)を最大化する$\mathbf{e}$をビームサーチなどで求める．


\section{手法}
\label{proposedmethod}

本章ではニューラル機械翻訳を用いてモデル学習し翻訳を行った後，アテンションから単語アライメント表を作成し，作成した単語アライメント表を用いて未知語を適切な単語に置き換える手法を説明する．
\ref{alignment-construction}節では，単語アライメント表の作成の方法として，従来手法であるintersectionとgdfaを説明し，提案手法である{gdfa-f}~(gdfa fill)を導入する．
\ref{replacement-unknowns}節では，生成した単語アライメント表にしたがって未知語に対応する単語を決定する方法を説明する．


\subsection{単語アライメント表の作成}
\label{alignment-construction}

単語アライメント表の作成アルゴリズムのintersectionとgdfaは\cite{koehn2003statistical}で提案されたもので，{gdfa-f}はgdfaを改良した提案手法である．
ある$i,j$に対する$a_{ij}$や単語アライメント表の要素をセルと呼ぶ．
\begin{description}
	\item[intersection] ソース言語とターゲット言語どちらから見てもアテンション値が最も高いセルを対応付ける．
	各セルの値{$b_{ij}$}は以下の式に従って計算する．
\[
b_{ij} = 
\begin{cases}1 & \mathrm{if} \ \ i = \argmax_{i'} a_{i'j} \ \mathrm{and} \   j = \argmax_{j'} a_{ij'}\\ 0 & \mathrm{otherwise} 
\end{cases}
\]

\item[gdfa] gdfaでは，intersectionにより作成した{$b_{ij} = 1$}となるセルに隣接するセル群をまず候補として抽出する．最初は全ての候補セルの値は0である．ある候補セルのアテンション値が，他のソース単語に対応するアテンション値と比べて大きい場合，そのセルの値を1とする．言い換えれば，そのセルのアテンション値が，その列内で最大値をとる場合，セルの値を1とする．また，ある候補セル内のアテンション値が，他のターゲット単語に対応するアテンション値と比べて大きい場合（すなわち，行内で最大値をとる場合）も，そのセルの値を1とする（厳密な定義は以下の式を参照のこと）．
これはソース言語の1つの単語がターゲット言語において複数の単語に対応している場合，それらは隣り合うことが多いので，
すでに単語アライメント表に入っている単語と隣り合う単語のみを表に追加することを許すという考え方による．
gdfaによる単語アライメント表$b_{ij}'$は，{$b_{p,q}$}の（上下左右の）隣接セルの中で1をとるセルの個数を返す関数
\[
 neighbor(b_{pq}) = b_{(p-1)q} + b_{(p+1)q} + b_{p(q-1)} + b_{p(q+1)}
\]
を使って以下のように計算する．
\[
b_{ij}' = 
\begin{cases}
1 & \mathrm{if}\ \left( b_{ij} = 1 \right) \ \mathrm{or}\  \left( neighbor\left(b_{ij}\right) \ge 1 \ \mathrm{and} \left(i = \argmax_{i'} a_{i'j} \ \mathrm{or}\  j = \argmax_{j'} a_{ij'}\right)\right)\\
0 & \mathrm{otherwise}
\end{cases}
\]
\item[{gdfa-f}] gdfaにおいて作成した行列$b_{ij}'$をもとに，
ソース言語のそれぞれの単語に対して，対応付けされているターゲット言語の単語がなければ，アテンション値が最も高いセルに対応付ける．
ターゲット言語のそれぞれの単語に対しても同様の操作を行う．
{gdfa-f}による単語アライメント表$b_{ij}''$は以下の式に従い計算する．
\[
b_{ij}'' = 
\begin{cases}
1 & \mathrm{if}\ b_{ij}' = 1 \ \mathrm{or}\ (j = \argmax_{j' \in \mathcal{J}} a_{ij'} \ \mathrm{and}\ i \in \mathcal{I} )\ \mathrm{or}\ 
                                           (i = \argmax_{i' \in \mathcal{I}} a_{i'j} \ \mathrm{and}\ j \in \mathcal{J} )\\
0 & \mathrm{otherwise} 
\end{cases}
\]
ここで$\mathcal{I}$，$\mathcal{J}$はそれぞれ以下の式で定義される．
\[
\mathcal{I} = \{ i \ |\ \sum_j b_{ij}' = 0 \}\ \mathrm{and}\ \mathcal{J} = \{ j \ |\ \sum_i b_{ij}' = 0 \}
\]
\end{description}


アテンションからintersection，gdfa，{gdfa-f}を求めた例を図\ref{alignment}に示す．図中の各セルはそれぞれ$b_{ij}$,$b_{ij}'$,$b_{ij}''$の値を表し，白は0，灰色は1とした．{gdfa-f}では，出力文中の各単語に対して，少なくとも一つの入力文中の単語が必ず対応する．言い換えれば，gdfa-fにより，出力文中の全ての未知語に対して，既知の入力文中の単語を必ず割り当てることができる．

\begin{figure}[t]
\begin{center}
\includegraphics{25-5ia2f1.eps}
\end{center}
\caption{intersection, gdfa, {gdfa-f}の例}
\label{alignment}
\end{figure}


\subsection{未知語の置き換え}
\label{replacement-unknowns}

生成した単語アライメント表を用いて，ニューラル機械翻訳の出力文中の未知語$e_i$を単語に置き換える方法について説明する．
まず，$e_i$に対応している入力文中の単語列$\bm{f_i}$を{$\bm{f_i} = \{ f_j | b_{ij} = 1 \}$}とする．
次に，$\bm{f_i}$の翻訳となる単語列を決定して未知語$e_i$と置き換える．
本論文では$\bm{f_i}$の翻訳となる単語列の決定方法としてIBMとChangePhrase~\cite{koehn2003statistical}とDictを用いた．
\begin{description}
	\item[IBM] 単語アライメント表の主な作成法は{\cite{hashimoto2016domain,arthur2016incorporating}}などで用いられているIBMモデルが挙げられる．ここではIBMモデル4を用いた．対訳コーパスにIBMモデル4を適用したときの単語翻訳確率$t(e|f)$を使い，
$\bm{f_i} = (f_{i_1}, \ldots , f_{i_n})$の要素それぞれにおいて最も確率の高い$e_{best} = \argmax_{e} {t(e|f_i)}$を選択する手法である．
\item[ChangePhrase] $\bm{f_i}$の翻訳を統計的機械翻訳で作成したフレーズテーブルから参照し，
コーパスから計算したフレーズ翻訳確率$P(\bm{e}|\bm{f}) = \frac{c(\bm{e},\bm{f})}{c(\bm{f})}$が最も高いフレーズ$\bm{e_{best}} = \argmax_{\bm{e}} P(\bm{e}|\bm{f_i})$を選択する手法である．
$c(\bm{f})$はコーパス中のフレーズ$\bm{f}$の出現回数，$c(\bm{e},\bm{f})$はフレーズ$\bm{e}$と$\bm{f}$の同時出現回数である．
フレーズで置き換えるため，未知語を複数単語と置き換えることもある．
\item[Dict] 外部の辞書から$\bm{f_j}$の各単語の訳を検索した単語を選択する手法である．
\end{description}

\begin{table}[b]
\caption{各コーパスのサイズと全語彙数}
\label{corpus}
\input{02table01.tex}
\end{table}


\section{実験}
\label{experiment}

\subsection{実験データ・方法}

対訳コーパスとしてはASPEC\cite{NAKAZAWA16.621}，{\ntcir}のpatentMT\cite{goto2013overview}\footnote{日英特許機械翻訳タスクデータ中のNTCIR-7およびNTCIR-8を合わせたものを用いた．}を用いた．コーパスのサイズと単語数を表\ref{corpus}に示す．
モデル学習およびデコーダにはnematus\footnote{https://github.com/EdinburghNLP/nematus}を用い，日英および英日の翻訳を行った．
隠れ層の数は1,000，単語ベクトルの次元数は512，RNNはGRU，学習アルゴリズムはAdam，学習率は0.0001，バッチサイズは40，dropoutは未使用で学習を行った．
英語の構文解析にはStanford Parser\footnote{https://stanfordnlp.github.io/CoreNLP/}を，
日本語のトークン化にはKyTea\footnote{http://www.phontron.com/kytea/index-ja.html}を用いた．
IBMモデル4の実装としてはGIZA++\footnote{https://github.com/moses-smt/giza-pp}を用いた．
フレーズテーブルの抽出はmosesdecoder\footnote{https://github.com/moses-smt/mosesdecoder}を用いた．
未知語の置き換えの手法のDictでは外部辞書としてEDict~\cite{breen2000japanese}を用いた．
コーパスの前処理としては，\cite{neubig2013travatar}を参考に，単語数51以上の文は学習データから取り除いた．

ASPECで語彙数を1万から5万まで1万ずつ変化させた時の翻訳結果のBLEU値を計算した結果を表\ref{vocab}に示す．
この結果から，最もBLEU値が高かった語彙数4万を実験で用いた．
パラメータを統一するために{\ntcir}でも同じパラメータで実験を行った．
語彙数を4万に制限した時の（延べ）全単語数における未知語の割合を表\ref{vocabresult}に示す．

\begin{table}[t]
\caption{ASPECにおいて語彙数を変化させたときの日英の翻訳結果のBLEU値} 
\label{vocab}
\input{02table02.tex}
\end{table}

\begin{table}[t]
\caption{語彙数を制限した時の未知語の割合}
\label{vocabresult}
\input{02table03.tex}
\end{table}

次にニューラル機械翻訳のコーパスからの学習における適切な更新回数を調べるために，更新回数1万から15万まで1万ごとに損失関数の値を計算した．
その結果ASPECは10万回，{\ntcir}は12万回以降，損失関数の値が変化しなくなったため，これらを更新回数として設定した．


\subsection{評価指標}

翻訳精度の評価指標にはBLEU~\cite{papineni2002bleu}，METEOR~\cite{banerjee2005meteor}の2つを用いた．
またMETEORは日本語の評価には対応していないため日英翻訳の評価のみに用いた．


\subsection{実験結果と考察}

コーパスとしてASPECを用いた翻訳の結果を表\ref{nresult}に示す．
baselineはアテンションベースのニューラル機械翻訳のシステムであるnematusのデフォルトの設定で学習したモデルである．
BPEは\cite{sennrich2016neural}，PosUNKは\cite{luong2015addressing}を再実装して実験した結果である．
語彙数はそれぞれ4万とした．語彙数を変更した実験も行ったが，BLUE値や未知語の割合に大きな変化はなかったため，ここでは提案手法と同様の4万とした．学習の更新回数については，提案手法同様に損失関数の値が最も小さくなった時のBLEU値を採用した．
intersection+ChangePhrase以下が提案手法を実装して実験した結果である．
これはbaselineであるnematusで求めたアテンションからintersection，gdfa，{gdfa-f}のいずれかを用いて単語アライメント表を作成し，ChangePhrase，IBM，Dictのいずれかを用いて未知語に置き換える単語列を決めたものである．
単語アライメント表の作成方法と未知語に置き換える単語列の決め方の$3 \times 3$通りの全ての組合せを実行した．

表\ref{nresult}より，未知語を置き換える手法としてはChangePhraseよりIBMの方が良い結果が出ている．
ChangePhraseでは未知語が複数連続している場合にそれらをまとめてフレーズとするため，そのフレーズの訳が見つからなければ置き換えることができないが，
IBMでは1単語ずつ未知語を置き換えているので，学習コーパス中にある単語であれば必ず置き換えることができるので，それが原因として考えられる．

\begin{table}[b]
\caption{ASPECコーパスでの翻訳結果の精度比較結果}
\input{02table04.tex}
\end{table}

単語アライメントを求める方法としては，{gdfa-f}とIBMを組み合わせるとすべての未知語を別の単語で置き換えることができている．またBLEU値もよく使われる手法であるintersectionと比べて大差がなく，同等の結果となっている．
一方，既存手法であるBPEとPosUNKでは，未知語の数を大幅に減らすことはできているが，翻訳性能そのものはむしろ悪化している．
コーパスとして{\ntcir}を用いて同じ実験を行った結果を表\ref{nresult-ntcir}に示す．
{\ntcir}では語彙数を4万に制限した場合に未知語の数自体が少なくBLEU値などに差が少ないが，ASPECと同様に
{gdfa-f}+IBMを使うとすべての未知語を別の単語で置き換えることができている．またBLEU値もintersectionと比べて大差がなく，同等の結果となっている．


\begin{table}[b]
\caption{{\ntcir}コーパスでの翻訳結果の精度比較結果}
\label{nresult-ntcir}
\input{02table05.tex}
\end{table}

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia2f2.eps}
\end{center}
\caption{パラメータ更新回数とBLEU値の関係（日英）}
\label{iter-bleu-je-gdfa-f}
\end{figure}

表\ref{nresult}を見るとMETEORではgdfa-f+IBMが最も高い数値を出している．METEORはBLEUと違い同義語に高いスコアを与える翻訳の評価指標であるため，これはgdfa-fを適用することで意味の近い単語を選択できているということを示唆する．

次に，{gdfa-f}+IBMにおいて，パラメータ更新回数とBLEU値およびUNKの出現率の関係をグラフに表したものが図\ref{iter-bleu-je-gdfa-f}および図\ref{iter-bleu-ej-gdfa-f}である．
ここからパラメータ更新回数が少ない場合でも{gdfa-f}+IBMを適用することで未知語をなくし，BLEU値も若干あげることができることがわかる．

\begin{figure}[t]
\begin{center}
\includegraphics{25-5ia2f3.eps}
\end{center}
\caption{パラメータ更新回数とBLEU値の関係（英日）}
\label{iter-bleu-ej-gdfa-f}
\end{figure}


\section{おわりに}
\label{conclusion}

本論文では，ニューラル機械翻訳により生成されたアテンションをもとに，単語の重複がないように単語アライメント表を作成することで，出力結果における未知語が入力文のどの単語に対応しているかを判別し，統計的機械翻訳でのモデルを用いて未知語を適切な単語に置き換える手法を提案した．
その結果，提案手法の{gdfa-f}を用いて単語アライメント表を作ることで未知語をなくすことができ，BLEU値なども向上させることができることがわかった．
今後はより大きな外部辞書を活用するなどしてさらに翻訳精度を高めていきたい．
また，本論文で提案した手法はターゲット言語における1つの未知語が単語もしくはフレーズに対応しているという仮定に基づいているが，未知語とその周辺の単語またはフレーズが一つの単語に対応している，すなわち置き換えた単語と周辺の単語が重複する状況も考えられる．そのような場合も考慮した手法を検討していきたい．

\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Arthur, Neubig, \BBA\ Nakamura}{Arthur
  et~al.}{2016}]{arthur2016incorporating}
Arthur, P., Neubig, G., \BBA\ Nakamura, S. \BBOP 2016\BBCP.
\newblock \BBOQ Incorporating Discrete Translation Lexicons into Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1557--1567}.

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2014}]{bahdanau2014neural}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1409.0473}.

\bibitem[\protect\BCAY{Banerjee \BBA\ Lavie}{Banerjee \BBA\
  Lavie}{2005}]{banerjee2005meteor}
Banerjee, S.\BBACOMMA\ \BBA\ Lavie, A. \BBOP 2005\BBCP.
\newblock \BBOQ METEOR: An Automatic Metric for MT Evaluation with Improved
  Correlation with Human Judgments.\BBCQ\
\newblock In {\Bem Proceedings of ACL Workshop on Intrinsic and Extrinsic
  Evaluation Measures for Machine Translation And/or Summarization},
  \lowercase{\BVOL}~29, \mbox{\BPGS\ 65--72}.

\bibitem[\protect\BCAY{Breen}{Breen}{2000}]{breen2000japanese}
Breen, J. \BBOP 2000\BBCP.
\newblock \BBOQ A www Japanese Dictionary.\BBCQ\
\newblock {\Bem Japanese Studies}, {\Bbf 20}  (3), \mbox{\BPGS\ 313--317}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares,
  Schwenk, \BBA\ Bengio}{Cho et~al.}{2014}]{cho2014learning}
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F.,
  Schwenk, H., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Learning Phrase Representations using RNN Encoder--Decoder for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1724--1734}, Doha, Qatar.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Freitag \BBA\ Al-Onaizan}{Freitag \BBA\
  Al-Onaizan}{2016}]{freitag2016fast}
Freitag, M.\BBACOMMA\ \BBA\ Al-Onaizan, Y. \BBOP 2016\BBCP.
\newblock \BBOQ Fast Domain Adaptation for Neural Machine Translation.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1612.06897}.

\bibitem[\protect\BCAY{Goto, Chow, Lu, Sumita, \BBA\ Tsou}{Goto
  et~al.}{2013}]{goto2013overview}
Goto, I., Chow, K.-P., Lu, B., Sumita, E., \BBA\ Tsou, B.~K. \BBOP 2013\BBCP.
\newblock \BBOQ Overview of the Patent Machine Translation Task at the NTCIR-10
  Workshop.\BBCQ\
\newblock In {\Bem NTCIR}.

\bibitem[\protect\BCAY{Hashimoto, Eriguchi, \BBA\ Tsuruoka}{Hashimoto
  et~al.}{2016}]{hashimoto2016domain}
Hashimoto, K., Eriguchi, A., \BBA\ Tsuruoka, Y. \BBOP 2016\BBCP.
\newblock \BBOQ Domain Adaptation and Attention-based Unknown Word Replacement
  in Chinese-to-Japanese Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Asian Translation
  (WAT2016)}, \mbox{\BPGS\ 75--83}.

\bibitem[\protect\BCAY{伊部\JBA 松田\JBA 山口}{伊部 \Jetal }{2018}]{ibe2018}
伊部早紀\JBA 松田源立\JBA 山口和紀 \BBOP 2018\BBCP.
\newblock 日英ニューラル機械翻訳における未知語への対応.\
\newblock \Jem{言語処理学会第 24 年次大会発表論文集}, \mbox{\BPGS\ 1046--1049}.

\bibitem[\protect\BCAY{Jean, Cho, Memisevic, \BBA\ Bengio}{Jean
  et~al.}{2015}]{jean2015using}
Jean, S., Cho, K., Memisevic, R., \BBA\ Bengio, Y. \BBOP 2015\BBCP.
\newblock \BBOQ On Using Very Large Target Vocabulary for Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 1--10}.

\bibitem[\protect\BCAY{Khayrallah, Kumar, Duh, Post, \BBA\ Koehn}{Khayrallah
  et~al.}{2017}]{khayrallah2017neural}
Khayrallah, H., Kumar, G., Duh, K., Post, M., \BBA\ Koehn, P. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Lattice Search for Domain Adaptation in Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \lowercase{\BVOL}~2,
  \mbox{\BPGS\ 20--25}.

\bibitem[\protect\BCAY{Koehn, Och, \BBA\ Marcu}{Koehn
  et~al.}{2003}]{koehn2003statistical}
Koehn, P., Och, F.~J., \BBA\ Marcu, D. \BBOP 2003\BBCP.
\newblock \BBOQ Statistical Phrase-based Translation.\BBCQ\
\newblock In {\Bem NAACL HLT-Volume 1}, \mbox{\BPGS\ 48--54}. ACL.

\bibitem[\protect\BCAY{Luong \BBA\ Manning}{Luong \BBA\
  Manning}{2016}]{luong2016achieving}
Luong, M.-T.\BBACOMMA\ \BBA\ Manning, C.~D. \BBOP 2016\BBCP.
\newblock \BBOQ Achieving Open Vocabulary Neural Machine Translation with
  Hybrid Word-Character Models.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 1054--1063}.

\bibitem[\protect\BCAY{Luong, Sutskever, Le, Vinyals, \BBA\ Zaremba}{Luong
  et~al.}{2015}]{luong2015addressing}
Luong, T., Sutskever, I., Le, Q., Vinyals, O., \BBA\ Zaremba, W. \BBOP
  2015\BBCP.
\newblock \BBOQ Addressing the Rare Word Problem in Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 11--19}.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi,
  \BBA\ Isahara}{Nakazawa et~al.}{2016}]{NAKAZAWA16.621}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi,
  S., \BBA\ Isahara, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASPEC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In Calzolari, N., Choukri, K., Declerck, T., Grobelnik, M., Maegaard,
  B., Mariani, J., Moreno, A., Odijk, J., \BBA\ Piperidis, S.\BEDS, {\Bem
  Proceedings of the 9th International Conference on Language Resources and
  Evaluation (LREC 2016)}, \mbox{\BPGS\ 2204--2208}, Portoro{\r{A}}, Slovenia.
  ELRA.

\bibitem[\protect\BCAY{Neubig}{Neubig}{2013}]{neubig2013travatar}
Neubig, G. \BBOP 2013\BBCP.
\newblock \BBOQ Travatar: A Forest-to-String Machine Translation Engine based
  on Tree Transducers.\BBCQ\
\newblock In {\Bem ACL System Demonstrations}, \mbox{\BPGS\ 91--96}.

\bibitem[\protect\BCAY{Och \BBA\ Ney}{Och \BBA\ Ney}{2004}]{och2004alignment}
Och, F.~J.\BBACOMMA\ \BBA\ Ney, H. \BBOP 2004\BBCP.
\newblock \BBOQ The Alignment Template Approach to Statistical Machine
  Translation.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 30}  (4), \mbox{\BPGS\
  417--449}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni2002bleu}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 311--318}. ACL.

\bibitem[\protect\BCAY{Sennrich, Haddow, \BBA\ Birch}{Sennrich
  et~al.}{2016}]{sennrich2016neural}
Sennrich, R., Haddow, B., \BBA\ Birch, A. \BBOP 2016\BBCP.
\newblock \BBOQ Neural Machine Translation of Rare Words with Subword
  Units.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 1715--1725}.

\bibitem[\protect\BCAY{Skadina \BBA\ Rozis}{Skadina \BBA\
  Rozis}{2016}]{skadina2016towards}
Skadina, I.\BBACOMMA\ \BBA\ Rozis, R. \BBOP 2016\BBCP.
\newblock \BBOQ Towards Hybrid Neural Machine Translation for
  English-Latvian.\BBCQ\
\newblock In {\Bem Human Language Technologies--The Baltic Perspective:
  Proceedings of the Seventh International Conference Baltic HLT 2016},
  \lowercase{\BVOL}\ 289, \mbox{\BPG~84}. IOS Press.

\bibitem[\protect\BCAY{Stahlberg, Hasler, Waite, \BBA\ Byrne}{Stahlberg
  et~al.}{2016}]{stahlberg2016syntactically}
Stahlberg, F., Hasler, E., Waite, A., \BBA\ Byrne, B. \BBOP 2016\BBCP.
\newblock \BBOQ Syntactically Guided Neural Machine Translation.\BBCQ\
\newblock In {\Bem The 54th Annual Meeting of the Association for Computational
  Linguistics}, \mbox{\BPG\ 299}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{sutskever2014sequence}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Networks.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3104--3112}.

\bibitem[\protect\BCAY{Tu, Liu, Lu, Liu, \BBA\ Li}{Tu
  et~al.}{2017}]{tu2017context}
Tu, Z., Liu, Y., Lu, Z., Liu, X., \BBA\ Li, H. \BBOP 2017\BBCP.
\newblock \BBOQ Context Gates for Neural Machine Translation.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 5}, \mbox{\BPGS\ 87--99}.

\bibitem[\protect\BCAY{Tu, Lu, Liu, Liu, \BBA\ Li}{Tu
  et~al.}{2016}]{tu2016modeling}
Tu, Z., Lu, Z., Liu, Y., Liu, X., \BBA\ Li, H. \BBOP 2016\BBCP.
\newblock \BBOQ Modeling Coverage for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 76--85}.

\bibitem[\protect\BCAY{Zhang, Utiyama, Sumita, Neubig, \BBA\ Nakamura}{Zhang
  et~al.}{2018}]{zhang2018guiding}
Zhang, J., Utiyama, M., Sumita, E., Neubig, G., \BBA\ Nakamura, S. \BBOP
  2018\BBCP.
\newblock \BBOQ Guiding Neural Machine Translation with Retrieved Translation
  Pieces.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies, Volume 1 (Long Papers)}, \lowercase{\BVOL}~1, \mbox{\BPGS\
  1325--1335}.

\end{thebibliography}

\begin{biography}
\bioauthor{伊部　早紀}{
2017年東京大学教養学部学際科学科卒業．東京大学大学院総合文化研究科広域システム科学専攻修士課程在学中．言語処理に関する研究開発に従事．
}

\bioauthor{松田　源立}{
1997年東京大学教養学部卒業．2002年東京大学大学院総合文化研究科博士課程修了．博士（学術）．学振特別研究員(PD)，青山学院大学理工学部助教を経て，2013年より東京大学大学院総合文化研究科学術研究員．
}

\bioauthor{山口　和紀}{
1979年東京大学理学部数学科卒業．1985年理学博士（東京大学）．1992年東京大学教養学部助教授．2007年より東京大学大学院総合文化研究科教授．コンピュータのためのモデリング全般に興味を持つ．
}
\end{biography}


\biodate



\end{document}
