\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}


\usepackage{amssymb}


\Volume{26}
\Number{4}
\Month{December}
\Year{2019}

\received{2019}{4}{1}
\revised{2019}{9}{1}
\accepted{2019}{10}{4}

\setcounter{page}{711}

\jsubject{一般論文}
\jtitle{ニューラル機械翻訳における単語報酬モデルに基づく\\対訳辞書の利用}
\jauthor{竹林　佑斗\affiref{Author_1} \and Chenhui Chu\affiref{Author_2} \and 荒瀬　由紀\affiref{Author_2} \and 永田　昌明\affiref{Author_3}}
\jabstract{
ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を出力できる．しかし訳抜けや過剰翻訳などの問題が指摘されており，翻訳精度に改善の余地がある. このような問題に対して従来の句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約を実装することにより翻訳精度を改善していたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかではない．本稿では対訳辞書を単語報酬モデルによりニューラル機械翻訳に適用する手法を提案する．提案手法は，テスト時のデコーディングの際に対訳辞書に存在する単語に報酬を与えることでそれらの出現確率を高め，翻訳精度の向上を図る．提案手法は辞書をニューラル機械翻訳モデルとは独立して適用するため，辞書の更新や変更を簡単に行える利点がある．また指定された語彙を出力するよう制約を加える方法より少ない計算量で翻訳精度を改善できる．さらにアテンションを利用して対訳辞書を活用する手法と組み合わせると性能を改善できることを実験的に示した．
}

\jkeywords{ニューラル機械翻訳，対訳辞書，単語報酬モデル}

\etitle{
Word Rewarding Model Using a Bilingual Dictionary for Neural Machine Translations
}
\eauthor{Yuto Takebayashi\affiref{Author_1} \and Chenhui Chu\affiref{Author_2} \and Yuki Arase\affiref{Author_2} \and Masaaki Nagata\affiref{Author_3}} 
\eabstract{
Even though outputs of neural machine translation are more fluent compared to those of conventional phrase-based statistical machine translation, under and over generation are still major problems. While the translation quality of phrase-based statistical machine translation has improved due to the use of a bilingual dictionary by the decoder constraint, the same approach cannot be directly applied to neural machine translation. This paper proposes a rewarding model to apply the bilingual dictionary to neural machine translation. The proposed model first predicts the target words for the translation using the bilingual dictionary and then increases their decoder output probabilities at an inference. As the model uses the bilingual dictionary as an independent resource for the neural model, it can easily update or change the dictionary if required. The proposed model was found to improve translation quality even though it has less computational complexity than lexically constrained decoding that forces output of specified words. The results also confirmed that when combined with a method that biased the decoder to output dictionary entries using attention weights, the proposed method further improved the translation quality.
}

\ekeywords{Neural Machine Translation, Bilingual Dictionary, Word Rewarding}

\headauthor{竹林，Chu，荒瀬，永田}
\headtitle{ニューラル機械翻訳における単語報酬モデルに基づく対訳辞書の利用}

\affilabel{Author_1}{株式会社ワークスアプリケーションズ}{Works Applications Co., Ltd.}
\affilabel{Author_2}{大阪大学}{Osaka university}
\affilabel{Author_3}{日本電信電話株式会社コミュニケーション科学基礎研究所}{NTT Communication Science Laboratories, NTT Corporation}


\begin{document}
\maketitle


\section{はじめに}

ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を出力できる．
しかし訳抜けや過剰翻訳などの問題が指摘されており，翻訳精度に改善の余地がある \cite{koehn-knowles:2017:NMT}. 
このような問題に対して句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約 \cite{koehn-EtAl:2007:PosterDemo}を実装することにより翻訳精度を改善していたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかではない．
ニューラル機械翻訳において対訳辞書を使用して翻訳精度を向上させる先行研究として，モデル訓練時に対訳辞書を用いて単語翻訳確率にバイアスをかける手法 \cite{arthur-neubig-nakamura:2016:EMNLP2016}があげられる．
この手法ではモデルの訓練が対訳辞書に依存しているため，辞書の更新や変更は容易ではない．

本稿ではニューラル機械翻訳システムの翻訳精度の向上を目的として，単語報酬モデルにより対訳辞書をニューラル機械翻訳に適用する手法を提案する\footnote{本稿はIWSLT$2018$で発表した論文 \cite{takebayashi}に比較実験と分析を追加したものである．}．
単語報酬モデルは正しい翻訳文に出現すると期待される単語集合を辞書引きにより入力文から予測する``目的単語予測''と，得られた単語集合を用いてそれらの出力確率を調整する``単語報酬付加''から構成される．
提案手法は訓練済みの翻訳モデルのデコーダにおいて，予測された単語の翻訳確率に一定の増分を加える
のみであるため，既存の翻訳モデルを再訓練する必要がない．このため，本手法は既存の訓練済みニューラル機械翻訳システムのデコーダに実装することで機能し，また辞書の更新や変更も容易に行える利点がある．

日英と英日方向の翻訳実験を行った結果，対訳辞書を用いた単語報酬モデルは翻訳精度を有意に改善できることを示した．
また，テスト時のデコーディングの際に既存手法 \cite{arthur-neubig-nakamura:2016:EMNLP2016}と組み合わせると，それぞれを単一で用いたときよりも翻訳精度が向上することを実験的に示した．

本稿の構成は以下の通りである．
まず$2$章で提案手法が前提とする注意機構付きのエンコーダ・デコーダモデルについて説明したのち，$3$章で提案手法である単語報酬モデルについて述べる．$4$章では実験設定を述べ，$5$章では対訳辞書の性質が提案手法に与える影響を検証するため，シミュレーションによる辞書を用いた実験を行う．$6$章では実際に利用可能な対訳辞書を用いて提案手法の性能を示し，
$7$章では既存手法との比較を行う．$8$章では関連研究について議論し，$9$章で本稿のまとめとする．


\section{注意機構付きニューラル機械翻訳}

ニューラル機械翻訳における典型的なモデルとして，注意機構付きのエンコーダ・デコーダモデル \cite{DBLP:journals/corr/BahdanauCB14,luong-pham-manning:2015:EMNLP}があげられる．
エンコーダは入力系列$X$をベクトル化し，デコーダはそのベクトルを用いて出力系列$Y$を出力する．入力系列中の$i$番目の要素を$x_i\in \mathbb{R}^{v_s}$，同様に出力系列中の$j$番目の要素を$y_j\in \mathbb{R}^{v_t}$と表記する．ここで$v_s$と$v_t$はそれぞれ入力系列と出力系列の語彙サイズである．

ある入力系列$X$が与えられたときに，ある長さ$m$の出力系列$Y$を生成する確率$p(Y|X)$は，以下のように表される．
\[
p(Y|X;\mathbf{\theta}) = \prod_{j=1}^m p(y_j|y_{<j},X;\mathbf{\theta}),
\]
ここで，$\mathbf{\theta}$はパラメータの集合
で$y_{<j}=y_1,\cdots, y_{j-1}$である．
対訳コーパス$C=\{(X,Y)\}$が与えられたとき，訓練時の目的は$\mathbf{\theta}$に関するクロスエントロピー損失$L_\theta$を最小化することである．
\[
L_\theta = -\sum_{(X,Y)\in C}\log p(Y|X;\mathbf{\theta}).
\]

本稿では双方向のlong short-term memory (LSTM) を使用し，順方向と逆方向からエンコードする．
ステップ$i$において，順方向の隠れ状態ベクトル$\hat{\mathbf{h}}_i\in \mathbb{R}^{d_h}$と逆方向の隠れ状態ベクトル$\tilde{\mathbf{h}}_i\in \mathbb{R}^{d_h}$を加算した隠れ状態を
$\mathbf{h}_i = \hat{\mathbf{h}}_i +\tilde{\mathbf{h}}_i$
と表す．
この隠れ状態を用いて入力系列$X$は$\mathbf{h}\in \mathbb{R}^{{d_h}\times n} = \mathbf{h}_1, ..., \mathbf{h}_n$にマップされる．
$n$は入力系列の長さである．
ニューラル機械翻訳では翻訳精度向上に注意機構の有効性が示されている．注意機構では，
デコーダがRecurrent Neural Network (RNN) によって隠れ状態ベクトル$\mathbf{s}_j$を計算する際，エンコーダが出力したそれぞれの隠れ状態$\mathbf{h}_i$を直接的に参照する．
デコーディングステップ$j$において，隠れ状態$\mathbf{h}_i$の重要度を示すスカラー値の重みを$a_{ji}$とすると，$a_{ji}$による$\mathbf{h}_i$の重み付き平均$\mathbf{c}'_j\in \mathbb{R}^{d_h}$は，
$\mathbf{c}'_j = \sum_{i=1}^{n}{a_{ji}}{\mathbf{h}_i} $
と計算される．そして，デコーダの出力層で以下の計算を行う．
\begin{align*}
\mathbf{o_j} & =  \mathbf{W}_o\mathbf{c}_j + \mathbf{b}_o,  \\
\mathbf{c}_j & = tanh(\mathbf{W}_c[\mathbf{c}'_j; \mathbf{s}_j]). 
\end{align*}
ここで$\mathbf{c}_j \in \mathbb{R}^{d_h}$, $\mathbf{W}_o\in \mathbb{R}^{v_t\times {d_h}}$と$\mathbf{W}_c \in  \mathbb{R}^{d_h \times 2d_h}$は変換行列，$\mathbf{b}_o\in \mathbb{R}^{v_t}$はバイアス項のベクトル，$[\cdot;\cdot]$はベクトルの結合を表す．
出力単語の確率ベクトル$\hat{y}_j\in \mathbb{R}^{v_t}$はsoftmax関数を用いて，
\[
\hat{y}_j = \frac{\rm{exp}(\mathbf{o}_j)}{\sum_{k} \rm{exp}(o_{jk})}
\]
と表される．ここで$o_{jk}$はベクトル$\mathbf{o}_j$の$k$番目の要素である．


\section{単語報酬モデル}

本章では，提案する単語報酬モデルの各要素について説明する．
単語報酬モデルは大きく$2$つの要素に分けられる．
\begin{itemize}
\item {\bf 対訳辞書による目的単語予測}\\
入力文から正しい翻訳文に出現すると期待される単語の集合を，対訳辞書を用いて予測する．本稿では人手で作られた辞書と自動で構築された辞書の$2$つを使用した．
\item {\bf 予測された単語集合を用いた翻訳確率への報酬付加}\\
目的単語予測で得られた単語集合を用いて，それらが出力される確率を調整する．具体的にはデコーダが単語翻訳確率を出力する際，目的単語予測で予測された単語の翻訳確率に一定の値を足すことでそれらを出力しやすくする．
\end{itemize}


\subsection{対訳辞書による目的単語予測}

本節では目的単語予測において使用する，人手で作られた辞書と自動で構築された辞書について説明する．


\subsubsection{人手で作成された辞書での目的単語予測}
\label{subsec:dic}

人手で作成された辞書は，対象領域に対するカバレッジは限られているものの信頼性のある対訳情報を提供している．
辞書引きの際には，辞書引きする単語を原型に戻すことが必要である．
したがって，人手で作成された辞書を用いる際は，目的単語集合を予測するために，原言語文に含まれる単語の原型を辞書引きすることとした．


\subsubsection{自動で構築された辞書での目的単語予測}
\label{subsec:alignment}

IBMモデルや句に基づく統計的機械翻訳 \cite{koehn-EtAl:2007:PosterDemo,brown-EtAl:1993}の翻訳モデルが対訳辞書として広く活用されている．
辞書の構築のためにこれらの翻訳モデルを活用する最大の利点は，辞書の構築に訓練セットを用いることで辞書のドメインと翻訳時の目的単語のドメインを合わせられることである．
加えて，訓練セットに出現する活用語や派生語を使用できる．
欠点としては，アライメントの失敗が含まれるため，人手の辞書と比べて信頼性が低いことがあげられる．

本稿では辞書を自動で構築するために，IBM翻訳モデル \cite{brown-EtAl:1993}の実装であるGIZA++ツールキット\footnote{https://github.com/moses-smt/giza-pp}を用いる．
そしてMoses \cite{koehn-EtAl:2007:PosterDemo}を用いてgrow-diag-final-andヒューリスティックを適用し，単語間の単語翻訳確率を計算する．
単語翻訳確率はアライメントを用いて，順方向と逆方向の両方向でそれぞれ計算される．
ある$2$つの言語が与えられたとき，
source-to-target方向のコーパスに適用した場合に得られる順方向の単語翻訳確率，target-to-source方向のコーパスに適用した場合に得られる逆方向の単語翻訳確率をそれぞれ，$P_{fw}(w_t|w_s)$，$P_{bw}(w_s|w_t)$と表す．ここで，$w_s$は原言語側のある単語，$w_t$は目的言語側のある単語である．
このとき単語の翻訳スコアを
\begin{equation}
\label{eq:multiply}
P(w_t|w_s)=\sqrt{P_{fw}(w_t|w_s)P_{bw}(w_s|w_t)}
\end{equation}
と定義する．
出現回数が少ない単語対は情報が少ないため正確に確率を計算することができず，対訳確率が不適切に大きくなるときがある．そのような場合に対処するため，相乗平均を取り不適切に高い確率を抑える．
目的単語集合のPrecisionとRecallを制御するため，開発セットでチューニングできるように閾値$\delta$を導入した．アライメントでは各単語間に翻訳確率が付与されるが，その翻訳確率が閾値$\delta$より低い単語は目的単語集合に加えないものとした．


\subsubsection{単語とサブワードによるマッチング方法}

サブワード単位で翻訳を行うことにより未知語問題の解決に繋がることが広く知られている \cite{sennrich-haddow-birch:2016:P16-12}．
本稿では，単語報酬モデルをbyte pair encoding (BPE) \cite{sennrich-haddow-birch:2016:P16-12}に基づいたニューラル機械翻訳にも適用可能にするため，目的単語予測に用いた辞書にBPEを適用する．

辞書のエントリと原言語文の両方に，まず対訳コーパスで訓練されたBPEモデルを適用し，次に原言語文に含まれる文字と辞書のエントリとをマッチングする．
ここで本稿では，{\em 完全一致}と{\em 部分一致}という$2$つのマッチング方法を考える．
BPE適用後，辞書の見出し語は複数のサブワードによって構成され，
見出し語$w$は$w={w_1,\ldots, w_k}$と表される．
{\em 完全一致}はPrecisionを重視した手法であり，$w$が以下を満たすとき入力系列$X$とマッチするとみなす；
\[
w_1,\ldots,w_k \in X,  
\forall i \in \{1, \ldots, k-1\}, w_i=x_j \Leftrightarrow w_{i+1}=x_{j+1}.
\]
{\em 部分一致}はRecallを重視した手法で，$w$が以下を満たすとき入力系列中の単語$x$とマッチするとみなす；
\[
\exists w_i \in w, w_i \in X.
\]
どちらのマッチング方法でも，$w$の翻訳は目的単語集合に追加される．
ある原言語文において，{\em 完全一致}で得られた目的単語集合は{\em 部分一致}で得られたものの部分集合になる．

例えば，辞書の見出し語に``ニュー@@ ヨーク''が存在し（$w_1=$``ニュー@@''，$w_2=$ ``ヨーク''）その翻訳が``New Y@@ or@@ k''であるときを考える．入力系列に``ニュー@@''と``ヨーク''が$x_i=$``ニュー@@''，$x_{i+1}=$``ヨーク''と連続して出現した場合，完全一致でも部分一致でもマッチし，目的単語集合に``New'',  ``Y@@'', ``or@@''および``k''が追加される．一方入力系列に``ニュー@@''か``ヨーク''のどちらかのみが出現する場合および，``ニュー@@''と``ヨーク''が出現するが$x_i=$``ニュー@@''，$x_{i+1} \neq $``ヨーク''である場合，完全一致ではマッチしないが，部分一致ではマッチし目的単語集合に``New'',  ``Y@@'', ``or@@''および``k''を追加する\footnote {``@@''はBPEで分割された文字の区切りを示す．}．

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia3f1.eps}
\end{center}
\hangcaption{デコーディングステップ$j$における単語報酬モデル：予測された目的単語集合$D_{f2e}$に含まれる単語が，各ステップにおいて単語報酬重み$\lambda$を掛けられ，翻訳確率に加算される．簡単のため，注意機構は省略している．} 
\label{fig:proposed_model}
\end{figure}


\subsection{予測された単語集合を用いた翻訳確率への報酬付加}

目的単語集合に含まれる単語が出力されやすくなるよう，図\ref{fig:proposed_model}で示すようにデコーダで単語翻訳確率に報酬を付加する．
具体的には，目的単語予測で正しい翻訳文に出現すると期待される
単語の集合$D_{f2e}$を取得し，単語が$D_{f2e}$に入っていればその単語の翻訳確率に報酬を足して，出力されやすくする．したがって事後確率は以下のように表される．
\begin{equation}
\label{eq:proposed}
Q(y_j|y_{<j},X) = \log p(y_j|y_{<j}, X) + \lambda r_{y_j},
\end{equation}
ここで，$\lambda$は単語報酬重みであり，開発セットによってチューニングされるハイパーパラメータである．
この単語報酬モデルにより，正解単語を含む単語集合の確率を引き上げ，正解単語を訳出しやすくなると期待できる．
本稿では$2$値の報酬値を用いる\footnote{$r_{y_j}$に式 (\ref{eq:multiply}) 左辺の$P(w_t|w_s)$を用いた実験も行ったが，$2$値の報酬値を用いたときより翻訳精度が劣る結果となった．このときのある目的単語$w_t$の報酬値には，入力系列中の単語から辞書引きしたときの対訳確率の平均値を用いた．}．
\begin{equation}
\label{eq:d_binary}
r_{y_j} = \left\{ \begin{array}{ll}
1 & (y_j \in D_{f2e}), \\
0 & (\rm{otherwise}).
\end{array} \right.
\end{equation}
最終的に出力文$\hat{Y}$は以下のようになる．
\[
\hat{Y}=\arg\max_{Y} \sum_{j=1}^{m}Q(y_j|y_{<j}, X).
\]


\section{実験設定}
\label{sec:exp_setting}

本稿では単語報酬モデルの性能を評価するため，日本語から英語，英語から日本語への翻訳精度を話し言葉ドメインと書き言葉ドメインで実験した．


\subsection{対訳コーパス}

話し言葉ドメインとしてIWSLT $2017$日本語-英語タスクを使用する．
これはTED Talks字幕データであり，WITプロジェクト \cite{cettoloEtAl:EAMT2012}で提供されているものである．
このIWSLTタスクは訓練セットとして$22.3$万文の対訳コーパスが利用できる．
本稿では開発セットにdev $2010$をテストセットにtest $2010$を用いた．それぞれ$871$文，$1,549$文である．

書き言葉ドメインとして日本語-英語の科学技術論文であるASPEC\footnote{http://lotus.kuee.kyoto-u.ac.jp/ASPEC/} \cite{NAKAZAWA16}を使用する．
これはWorkshop on Asian Translation (WAT)\footnote{http://orchid.kuee.kyoto-u.ac.jp/WAT/} \cite{nakazawa-EtAl:2017:WAT2017}のサブタスクとして提供されているものである. 
先行研究 \cite{morishita-suzuki-nagata:2017:WAT2017}の設定に従い，訓練セットとして$300$万文ある中から初めの$200$万文を用いる．これは最後の$100$万文はノイズを多く含んでいるためである．
ASPECタスクは開発とテストセットにそれぞれ$1,790$文と$1,812$文がある．

本稿では日本語-英語と英語-日本語翻訳実験を上記の$2$つのタスクにおいて行う．
以降ではIWSLTの日本語から英語方向，IWSLTの英語から日本語方向，ASPECの日本語から英語方向およびASPECの英語から日本語方向のタスクをそれぞれ，IWSLT日英，IWSLT英日，ASPEC日英およびASPEC英日と表記する．


\subsection{対訳辞書}
\label{subsec:prep_dict}

人手で作成された辞書として，情報通信研究機構によって公開されているEDR英日対訳辞書およびEDR日英対訳辞書\footnote{http://www2.nict.go.jp/ipp/EDR/ENG/indexTop.html}を使用する．
英日と日英のエントリペア数はそれぞれ$67.6$万と$105.2$万であった． 辞書の自動構築にはベースラインNMTを学習した訓練コーパスを用いた．
日英方向の辞書引きを行うとき，辞書引きされた単語には複数形などの派生語が含まれない．
この問題に対処する方法として，XTAGプロジェクトの辞書を使って英語の派生単語を抽出し，EDR辞書で得られた英単語の全ての派生語を単語集合に追加する．XTAGはTreeTagger\footnote{http://www.cis.uni-muenchen.de/\~{}schmid/tools/TreeTagger/}で英語の形態素解析辞書として使われている．
派生単語を追加していないものをEDR，全ての派生単語をEDRに追加したものをXTAGと表記する．

辞書引きの方法としては，原言語文の各単語を原型に戻し，それら
をEDRやXTAGなどの辞書のエンティティとマッチングする．
単語を原型に戻す処理には日本語側には形態素解析器のMeCab\footnote{https://github.com/taku910/mecab}を，英語側にはTreeTaggerを用いる．
例えば，日本語-英語方向の目的単語予測を考える．``書いた''という単語が原言語文に入っていた場合，形態素解析の結果得られる原型の``書く''を辞書引きする．
``書く''という単語を辞書引きしたとき``write''という単語が得られたとすると，EDR辞書では目的単語集合には``write''のみを追加する．一方XTAG辞書では，``write''の活用形である``wrote''と``written''を，目的単語集合に追加する．


\subsection{ニューラル機械翻訳システムと単語報酬モデル}
\label{sec:neuralsystem}

本稿ではLSTMを用いた注意機構付きエンコーダ・デコーダモデルのmlpnlp-nmtシステム\footnote{https://github.com/mlpnlp/mlpnlp-nmt/}をベースのニューラル機械翻訳モデルとし，
単語報酬モデルはmlpnlp-nmtシステムのデコーダに対して実装する\footnote{2019年4月現在ではTransformerに基づくモデルが最高精度であるが，RNN エンコーダ・デコーダモデルでは，mlpnlp-nmtベースのシステムが最高精度である．}．
mlpnlp-nmtはWAT $2017$ \cite{nakazawa-EtAl:2017:WAT2017}のASPEC日英，ASPEC英日人手評価において最高精度を達成したモデルである．

ハイパーパラメータの設定はMorishitaら \cite{morishita-suzuki-nagata:2017:WAT2017}に従う．
原言語側，目的言語側の単語埋め込み層，LSTMの隠れ層，注意機構の隠れ層は全て$512$次元に設定する．
エンコーダとデコーダにはそれぞれ$2$層のLSTMを用いる．
学習アルゴリズムには，学習率$1.0$，ドロップアウト率$30\%$で確率的勾配降下法 (Stochastic gradient descent: SGD) \cite{Robbins&Monro:1951}を用いる．
ミニバッチサイズは$128$に設定する．
訓練エポックはIWSLT日英, IWSLT英日, ASPEC日英およびASPEC英日の全てで$20$に設定し，開発セットで最も良い性能を達成したものを用いる．
エポック数はそれぞれ$11$，$20$，$13$および$13$であった．
テスト時のデコーディングにおいてはビーム幅を$5$に設定し，ビーム探索を行う．

単語報酬モデルで，式 (\ref{eq:proposed}) の単語報酬重み$\lambda$と辞書の閾値$\delta$は開発セットでグリッド探索を用いてチューニングした．このとき$\lambda$は$0.1$から$1.0$まで$0.1$刻みで変化させる．
辞書の閾値$\delta$は自動で構築された辞書の確率が低い単語を枝刈りする役割を担うが，これは$0$, $0.0001$, $0.001$, $0.01$および$0.1$を試し，単語報酬重み$\lambda$と合わせてグリッド探索し最高精度を出す組み合わせを採用する．

対訳コーパスと対訳辞書の前処理としては，日本語側の文と辞書のエントリをMeCabを用いて形態素単位に分割し，英語側の文と辞書のエントリはMosesの{\it tokenizer.perl}スクリプト\footnote{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl}を使用し単語に分割し，
{\it truecase.perl}スクリプト\footnote{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/recaser/truecase.perl}を用いて表記統一処理を行う．
さらにjoint BPE \cite{sennrich-haddow-birch:2016:P16-12}を用いて単語をサブワードに切り分ける．このときのマージオペレーションの回数は$32,000$とする．
最終的なIWSLTの語彙サイズは日本語と英語でそれぞれ$21,534$と$18,022$であった．
ASPECの語彙サイズは日本語と英語でそれぞれ$28,852$と$22,340$であった．


\section{シミュレーション辞書を用いた実験}
\label{sec:sim_dic}

目的単語予測の性能の変化による翻訳精度への影響を調べるため，参照訳に対する目的単語集合のPrecision/Recallを人為的に変化させて，そのときのBLEUスコアへの影響を調査する．
ここでは対訳コーパスの分量によるニューラル機械翻訳モデルの性能変動が分析に影響するのを避けるため，ASPECを用いて英日方向の実験を行った．


\subsection{オラクル辞書}
\label{subsec:oracle_dict}

ある入力系列$X$が与えられたとき，正解データである出力系列$Y=y_1, y_2, ..., y_m$のトークンを過不足なく予測できる理想的な辞書を，オラクル辞書と定義する．
オラクル辞書で単語予測を行った場合，その予測性能はPrecision/Recall共に$100$\%である．

実際にオラクル辞書を作成することは不可能であるため，$k$番目の原言語文$X_k$を翻訳する際，対訳コーパス中の対応する出力系列（参照訳）$Y_k$に含まれる単語を過不足なく抽出し目的単語辞書に追加することで擬似的にオラクル辞書を作成した\footnote{本稿では本辞書をオラクル辞書と呼ぶ．}．


\subsection{目的単語集合のPrecision/Recallの制御}
\label{subsec:simulation_dict}

参照訳に対する目的単語集合のPrecision/Recallの制御方法を説明する．
手順としては，まず\ref{subsec:oracle_dict}節で説明したオラクル辞書を用いてPrecision/Recallが共に$100\%$である目的単語集合を作成してから，以下に示す処理を実行してPrecision/Recallを制御する．
\begin{itemize}
\item Precisionの制御\\
\ref{subsec:alignment}項で説明したGIZA辞書で単語翻訳確率が高い上位の単語を目的単語集合に追加する．ここで追加する単語は目的単語集合に含まれないものを選ぶことでPrecisionを低下させる．
\item Recallの制御\\
目的単語集合から参照訳に含まれる単語をランダムに削除することでRecallを低下させる．
\end{itemize}
追加/削除する単語数を制御することで，目的とするPrecision/Recallに調節する．


\subsection{目的単語集合のPrecision/Recallの変化による翻訳精度への影響評価}
\label{subsec:simulation_exp}

Precision/Recallが$100\%$/$100\%$のときと$50\%$/$50\%$のとき，$\lambda$を変化させてASPEC英日方向開発セットのBLEUスコアの最大値を調査したところ，それぞれ$51.24$と$40.45$であり，単語報酬モデルを用いないベースライン (nlpmlp-nmt) から$11.74$と$0.95$の増加であった．また，そのときの$\lambda$の値はそれぞれ$2.7$と$0.6$であった．

ASPEC英日方向の開発セットで$\lambda=0.6, 2.7$に設定し
Precision/Recallをそれぞれ$10\%$〜$100\%$まで$10\%$刻みで変化させたときのBLEUスコアをそれぞれ図\ref{fig:simulation_w0.6_w2.7}に示す．青色はベースラインより低いBLEUスコアを，赤色はベースラインよりも高いBLEUスコアを示しており，白色はベースラインのBLEUスコア ($39.50$) のものを表す．色が濃いセルほどベースラインのBLEUスコアからの変化量が大きいセルである．
結果よりPrecision/Recall共に$100$\%に近い方がBLEUスコアは高い傾向にあることがわかった．
さらに，Precisionが低い場合はRecallを高くする，反対にRecallが低い場合はPrecisionを高くすることで，ベースラインよりもBLEUスコアが向上することが示された．
$\lambda=2.7$と設定したときの方が$\lambda=0.6$と設定したときより，全体的にベースラインからの変化量が大きい．
これは$\lambda$を大きくすればするほど，訳出する単語が目的単語集合の予測性能に依存するためであると考えられる．
また$\lambda=0.6$と設定したときの方が$\lambda=2.7$と設定したときより，BLEUスコアが増加するPrecision/Recallの組み合わせが多い．
したがって，目的単語予測の性能が高くないときは$\lambda$の値を小さくすることで，BLEUスコアを改善できることがわかる．
以上より，辞書引きした単語の予測精度が高いとき単語報酬モデルは翻訳精度を大きく向上できることが明らかとなり，対訳辞書をテスト時のデコーディングに用いる提案手法の妥当性が示された．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia3f2.eps}
\end{center}
\hangcaption{ASPEC英日方向の開発セットでPrecision/Recallをそれぞれ$10\%$〜$100\%$に変化させたときのBLEUスコアの結果（左図：$\lambda=0.6$, 右図：$\lambda = 2.7$）.}
\label{fig:simulation_w0.6_w2.7}
\end{figure}


\section{実際の辞書を用いた評価}
\label{sec:actual_dict_resut}

本章では目的単語予測に実際の辞書を用いたときの，単語報酬モデルの翻訳精度を評価する．


\subsection{テストセットでの翻訳結果}
\label{sec:test_result}

表\ref{tab:overall}にIWSLT，ASPECのそれぞれのテストセットにおける，単語報酬モデルを用いないベースライン，提案手法およびオラクル辞書を用いた際のBLEUスコアを示す．
丸括弧の中には目的単語予測で得られた単語集合の参照訳に対するPrecision/Recallを示す．
太字は$p<0.01$でベースラインに統計的有意差があるものを示す．有意差の検定にはbootstrap resampling検定 \cite{koehn:2004}を用いた\footnote{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/analysis/bootstrap-hypothesis-difference-significance.pl}．
このとき辞書の閾値$\delta$と報酬重み$\lambda$は\ref{sec:neuralsystem}節で述べた通りグリッド探索を行い求めた．例えばGIZA（完全一致）のIWSLT日英，IWSLT英日，ASPEC日英およびASPEC英日での辞書の閾値$\delta$はそれぞれ$0.001$, $0.01$, $0.0001$および$0.001$であり，報酬重み$\lambda$の値はそれぞれ$0.5$，$0.4$，$0.4$および$0.5$であった．表\ref{tab:overall}の全ての設定で用いた辞書の閾値$\delta$と単語報酬重み$\lambda$は付録に記述する．
ベースラインと比較して，提案手法において有意にBLEUスコアが増加していることが分かる．
全体としては高いRecallをもつ手法が，より大きいBLEUスコアの増加を示した．
IWSLTでは，実際の辞書を用いた手法の最大のスコアは日英，英日でそれぞれ，GIZA完全一致の$10.36$，$10.88$であり，オラクル辞書を用いた手法のスコアである$17.68$，$20.26$とは差がある．
これはGIZA完全一致は日英，英日でそれぞれRecallは$85.98$\%，$72.92$\%と高い値を達成しているが，Precisionが$0.27$\%，$2.56$\%と低いためと考えられる．

\begin{table}[b]
\caption{テストセットにおける各手法のBLEUスコアの比較}
\label{tab:overall}
\input{03table01.tex}
\par\vspace{4pt}\small
丸括弧の中には目的単語予測で得られた単語集合の参照訳に対するPrecision/Recallを示す．
太字は$p<0.01$でベースラインよりも統計的有意差があるものを示す．
IWSLT日英, IWSLT英日, ASPEC日英およびASPEC英日での最大の上昇はそれぞれ，$0.39$, $0.62$, $1.08$および$0.57$である．
XTAGはEDRで辞書引きされた英単語の複数形をその単語集合に加えたものであるため，日英方向の結果のみである．
\end{table}

書き言葉ドメインである
ASPECタスクでは，英日方向にEDR完全一致を適用したとき以外は全て有意に翻訳精度が向上した．
$2017$年のWATの翻訳タスクにおいて，ASPEC日英とASPEC英日で
本稿の実験設定と同じ単一のモデル
による
最高精度はそれぞれ$27.62$ (NTT)と$39.71$ (NTT)である．
提案手法ではそれぞれ$28.29$，$40.07$を達成しており，WAT $2017$の単一モデルの最高精度をそれぞれ$0.67$および$0.36$向上している．


提案法の適用によって訳出する単語にどのように影響するのかを分析するため，辞書のエントリが出力系列に出現する割合を測った．ASPEC日英のベースラインの訳文では$34.72\%$，EDR完全一致を用いたときは$36.38\%$であったためEDRを用いて約$1.7\%$の単語はEDR辞書によって出現したと言える．同様にASPEC日英のベースラインとXTAG完全一致で，辞書のエントリが出力系列に出現した割合を測ったところ，それぞれ$38.19\%$, $41.76\%$であり約$3.6\%$の増加であった．したがって，辞書によって出力系列に出現する単語が変化していることがわかる．
EDR日英辞書のエントリペアは$671,649$であるがユニークな日本語側の単語数は$227,553$である．このことより日本語$1$単語につき平均約$3$単語の英語が辞書引きされるためPrecisionは$33\%$程度が上限である．したがってEDRのような人手で作成された辞書でもPrecisionが低い結果となったと考えられる．


\subsection{分析}

本節では提案手法の効果を定性的に分析するため，translation edit rate (TER) \cite{snover2006study}を用いた訳抜け単語と過剰翻訳単語の分析（\ref{subsec:ter_bunseki}項），および翻訳例を用いた翻訳結果の分析（\ref{subsec:example_bunseki}項）を行う．


\subsubsection{TERを用いた訳抜け単語数と過剰翻訳単語数の分析}
\label{subsec:ter_bunseki}

TERを求める際に得られる編集操作の集合を用いて，
ニューラル機械翻訳における主要な
問題である訳抜けと過剰翻訳について分析した．
訳抜け単語数と過剰翻訳単語数は，TERを用いて編集の種類を数えることで簡易的に評価した．本稿では一文中における``挿入''の回数と``削除''の回数をそれぞれ訳抜け単語数と過剰翻訳単語数と定義した．

\begin{table}[b]
\caption{テストセットにおける，TERによって計算された$1$文中の平均の訳抜け単語数と過剰翻訳単語数}
\label{tab:ter_count}
\input{03table02.tex}
\end{table}

訳抜け単語数と過剰翻訳単語数を測定した結果を表\ref{tab:ter_count}に示す．
結果より，訳抜け単語は，提案手法のどの辞書を用いたときでも改善できていることがわかる．特にオラクル辞書を用いたときは平均で$1.2$単語減少できている．
過剰翻訳に関しては，訳抜けとは逆に提案手法のいかなる辞書を用いた場合でも悪化している．
これは報酬を付加し続けるという手法の特性上，一度ある単語を生成した後も同じ単語に出現を促進するバイアスをかけるためである．
この問題に対しては一度出力された単語には報酬を掛けないという方法である大域的制約で回避できると考えられる．大域的制約のモデルの検討は今後の課題である．
また，オラクル辞書を用いたときに一番多く過剰翻訳単語を出力してしまっているが，これはオラクル辞書の信頼性が高いため単語報酬重み$\lambda$を大きくしてしまうことで生じる問題と思われる．$\lambda$が高いとデコーダが出力した翻訳確率を疎かにして，目的単語集合に存在する単語を複数回出力してしまうためであると考えられる．

\begin{table}[b]
\caption{ASPEC日英における単語報酬モデル（GIZA部分一致）で訳抜けが解消されている例}
\label{tab:example_undergeneration}
\input{03table03.tex}
\vspace{4pt}\small
``( congenital immunity )''というフレーズと``cancer of''というフレーズが，単語報酬モデルでは出力されている．
\vspace{1\Cvs}
\end{table}
\begin{table}[b]
\hangcaption{ASPEC日英における単語報酬モデル（GIZA部分一致）で訳抜けが改善している部分はあるが重複が残ってしまっている例}
\label{tab:example_complex}
\input{03table04.tex}
\vspace{4pt}\small
``blood collection is indispensable''というフレーズはベースラインでは出力されていないが，単語報酬モデルでは出力された．しかし依然として誤った場所に``is indispensable''が出力されている．
\end{table}


\subsubsection{翻訳例}
\label{subsec:example_bunseki}

翻訳例を用いて単語報酬確率の翻訳結果の分析を行った．
ここでは辞書の中で一貫して性能向上していたGIZA部分一致を用いて分析した．
表\ref{tab:example_undergeneration}および表\ref{tab:example_complex}にASPEC日英におけるベースラインと単語報酬モデル（GIZA部分一致）の翻訳例を示す．
表\ref{tab:example_undergeneration}はベースラインで発生している訳抜けが単語報酬モデルによって解消されている例である．ベースラインでは参照訳中にある``(congenital immunity )''というフレーズと``cancer of''というフレーズが存在しないが，単語報酬モデルでは出力されている．
これは単語報酬モデルが理想的に働いた形である．
表\ref{tab:example_complex}はベースラインで発生している訳抜けが単語報酬モデルによって解消されているが，過剰翻訳が残っている例である．ベースラインでは参照訳中にある``blood collection is indispensable''というフレーズが存在しないが，単語報酬モデルでは出力されている．しかし，結果として``is indispensable''が過剰翻訳してしまっている．
これは，一度ある単語を出力した後も同じ単語に報酬をかけ続けるという手法上，誤った場所に出力される単語を
制御できないためと考えられる．


\section{既存手法との比較}

ニューラル機械翻訳において訓練時に対訳辞書を用いる手法がArhurら \cite{arthur-neubig-nakamura:2016:EMNLP2016}によって提案されている．
Arthurらの手法と単語報酬モデルは，辞書を用いる点や単語対訳確率にバイアスをかける点が共通している．本章ではArthurらの手法と本稿で提案した単語報酬モデルを比較する．


\subsection{実験設定}

提案手法のベースラインであるnlpmlp-nmtにArthurらの手法を組み合わせた実験を行う．モデルには\ref{sec:actual_dict_resut}章で用いたものと同じものを使用する．用いたコーパスはIWSLT英日およびASPEC英日であり，それらのコーパスの前処理やパラメータ設定方法は\ref{sec:exp_setting}章で述べたとおりである．
Arthurらの手法では単語対訳確率が必要なため，BPE処理を行った後のコーパスからMosesのToolkitを用いてサブワードレベルの単語対訳確率を得たものを辞書として用いた．
Arthur法を組み込んだnlpmlp-nmtモデルの訓練は学習に非常に時間がかかるため，ここでモデルの最適化は行わず，テストの際のデコーディング時に，辞書の単語対訳確率と単語翻訳確率を線形補間するlinear\footnote{Arthurらが提供する実装でkfttを用いて実験した結果，バイアスをかける手法 (bias) と線形補間する手法 (linear) でBLEUスコアはそれぞれ$23.80$，$24.22$であったので今回の実験ではlinearを用いた．}を用いて出力単語の確率を変更する．
ある目的単語について入力系列の各単語との対訳確率にその単語へのアテンションを掛けて総和を求めた確率を$p_l$，翻訳モデルが求めた確率を$p_m$とすると，Arthur法のlinearは目的単語の出現確率$p_o$を線形補間の重み$\gamma$を用いて次式のように求める．
\begin{equation}
p_o = \gamma p_l + ( 1 - \gamma) p_m. 
\end{equation}
Arthur法と提案法を併用する際には，単語翻訳確率をArthur法で得られる出現確率$p_o$に置き換えて次式により事後確率を求める．
\begin{equation}
Q(y_j|y_{<j},X) = \log p_o(y_j|y_{<j}, X) + \lambda r_{y_j}.
\end{equation}
Arthurらの手法と単語報酬モデルを組み合わせる際はまず単語報酬モデルでパラメータチューニングしたパラメータを固定して，Arthurらの手法のパラメータをチューニングした．


\subsection{実験結果}

表\ref{tab:combined}にベースライン (nlpmlp-nmt)，テスト時のデコーディングにArthurらの手法を組み合わせたとき，単語報酬モデルを適用したときおよび両方の手法を併用したときのBLEUスコアを示す．
線形補間の重みを決める$\gamma$は$0.05$, $0.14$, $0.29$, $0.50$, $0.71$, $0.86$, $0.95$を試して開発セットで最も良かった設定を用いる．
パラメータを$(\delta, \lambda, \gamma)$と表現すると，
Arthur法と提案手法を併用したときのパラメータはIWSLTとASPECでそれぞれ$(0.001, 0.4, 0.14)$と$(0.001, 0.4, 0.05)$であった．それ以外の全ての設定でのパラメータは付録の表\ref{tab:combined_settings}に記述する．

\begin{table}[t]
\hangcaption{nlpmlp-nmt，Arthurらの手法，単語報酬モデル，およびArthurらの手法と単語報酬モデルを併用したときのBLEUスコア}
\label{tab:combined}
\input{03table05.tex}
\end{table}

結果よりテスト時のデコーダにArthur法を組み込んだものはベースラインからほとんど変化がなかったが，単語報酬モデルと併用すると単語報酬モデルのみを用いるときよりもBLEUスコアが増加している．
このことより，Arthurらの手法と提案手法である単語報酬モデルは対立するものではなく併用可能であること，併用することでより高い翻訳精度を示すことを確認した．
Arthurらの手法は低頻度語の翻訳精度向上を目的としているため，今回の実験設定では翻訳精度が向上しなかったと考えられる．一方で提案手法は辞書に存在する単語の出現確率にバイアスを付加することで，低頻度語に限らず精度向上を目的としているため，両方のタスクにおいて翻訳精度が向上したのだと考えられる．

我々の実装においてArthur法のように訓練時に辞書を活用する方法を検討することは今後の課題である．
しかし，テスト時のデコーディングにおいて開発セットを使ってハイパーパラメータを調整してもArthur法は単独ではあまり効果がなかったので，訓練時にArthur法を使用してモデルを最適化してもあまり効果がない可能性がある．


\section{関連研究}

ニューラル言語生成の分野では，単語やフレーズを予測し出力する手法は多く研究がなされている．単語選択のハードな制約として，ニューラル機械翻訳におけるグリッドビーム探索 \cite{hokamp-liu:2017:Long}が提案されている．これはテスト時にユーザが指定した単語を全てのデコーディングステップで強制的に訳出し，スコアの高い上位k件を保持するという手法である．ユーザが指定した単語を含む文の中でスコアの高いものを翻訳結果とするため，指定した単語を必ず含む文を選択できる．
それ以外にはアテンション最大の原言語の単語に対して指定された目的言語の単語がその単語を含む一定のウィンドウの中で出力されるかをチェックする方法 \cite{chatterjee-etal-2017-guiding} やアテンション最大の原言語の単語に対して指定された目的言語の単語を出力し，以後その原言語への単語のアテンションをマスクして指定した単語が再び出力されることを防ぐ方法 \cite{hasler-etal-2018-neural}がある．また，グリッドビーム探索手法には，指定単語数に対してビーム幅が線形に増えるという問題があるが，独自のスコアリングに基づいてそれぞれの語彙的制約に割り当てるビームの数を動的に変化させることによりビームの総数を一定に保つ手法  \cite{post-vilar-2018-fast}も提案されている．
これらの手法はデコーダに制約を与えるという点で提案手法と共通しているが，ユーザが所望する単語を訳出することを目的としており，またその単語をユーザが指定する必要がある．提案手法は対訳辞書を用いてデコーダに制約を与えることで翻訳精度を向上することを目的としており，ある単語が必ず訳出されることは保証しない．それにより厳密に単語を指定をせずとも，辞書を用いることにより翻訳精度を向上させることに成功した．

デコーダにおいて目的単語予測を行う研究も盛んに行われている \cite{shi-knight:2017:Short,DBLP:journals/corr/SankaranFA17,mi-wang-ittycheriah:2016:P16-2}．
これらは単語予測を行いテスト時のデコーディングの際に語彙を制限することで，ソフトマックス関数の計算コストを下げて速度向上を目指している．
また，デコーダの隠れ層における出力単語の情報を正確にするため，隠れ層から出力単語を予測しそのエラーを最小化するよう訓練する手法 \cite{weng-EtAl:2017:EMNLP2017}が提案されている．
提案手法は対訳辞書を用いた目的単語予測によりニューラル機械翻訳における辞書の活用を実現したものであり，これらの研究とは異なる．


\section{おわりに}

本稿ではニューラル機械翻訳における単語報酬モデルによる対訳辞書の活用手法を提案した．
実験結果より目的単語予測の性能が十分高ければ，提案手法である単語報酬モデルによって翻訳精度が大幅に向上することを示した．
また，目的単語予測に現実的に利用可能な対訳辞書を用いた場合でも翻訳精度が有意に向上することを示した．さらにニューラル機械翻訳において辞書を用いる先行研究との比較実験より，実験したIWSLTタスクとASPECタスクでは先行研究を上回り翻訳精度が向上していることを示した．また先行研究と提案手法を組み合わせるとそれぞれを単一で用いるよりも翻訳精度を向上することができたことから，
実験的に先行研究と提案手法は対立するものではなく組み合わせ可能であることを示した．
提案手法は実装が簡潔で訓練済みのデコーダに簡単に適用でき，また辞書の更新や変更が容易であるという利点をもつ．

今後の課題としては，一度出力された単語には報酬を付加しないという大域的制約による過剰翻訳への対処が考えられる．
またTransformer \cite{NIPS2017_7181}は現在の最先端のニューラル機械翻訳モデルであるため，単語報酬モデルをTransformerへ組み込むことも今後の課題である．


\acknowledgment

本研究は，日本電信電話株式会社コミュニケーション科学基礎研究所の助成を受けたものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Arthur, Neubig, \BBA\ Nakamura}{Arthur
  et~al.}{2016}]{arthur-neubig-nakamura:2016:EMNLP2016}
Arthur, P., Neubig, G., \BBA\ Nakamura, S. \BBOP 2016\BBCP.
\newblock \BBOQ Incorporating Discrete Translation Lexicons into Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1557--1567}.

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2015}]{DBLP:journals/corr/BahdanauCB14}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd International Conference on Learning
  Representations}.

\bibitem[\protect\BCAY{Brown, Della~Pietra, Della~Pietra, \BBA\ Mercer}{Brown
  et~al.}{1993}]{brown-EtAl:1993}
Brown, P.~F., Della~Pietra, S.~A., Della~Pietra, V.~J., \BBA\ Mercer, R.~L.
  \BBOP 1993\BBCP.
\newblock \BBOQ The Mathematics of Statistical Machine Translation: Parameter
  Estimation.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 19}  (2), \mbox{\BPGS\
  263--312}.

\bibitem[\protect\BCAY{Cettolo, Girardi, \BBA\ Federico}{Cettolo
  et~al.}{2012}]{cettoloEtAl:EAMT2012}
Cettolo, M., Girardi, C., \BBA\ Federico, M. \BBOP 2012\BBCP.
\newblock \BBOQ WIT$^3$: Web Inventory of Transcribed and Translated
  Talks.\BBCQ\
\newblock In {\Bem Proceedings of the 16th Conference of the European
  Association for Machine Translation}, \mbox{\BPGS\ 261--268}.

\bibitem[\protect\BCAY{Chatterjee, Negri, Turchi, Federico, Specia, \BBA\
  Blain}{Chatterjee et~al.}{2017}]{chatterjee-etal-2017-guiding}
Chatterjee, R., Negri, M., Turchi, M., Federico, M., Specia, L., \BBA\ Blain,
  F. \BBOP 2017\BBCP.
\newblock \BBOQ Guiding Neural Machine Translation Decoding with External
  Knowledge.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 157--168}, Copenhagen, Denmark.

\bibitem[\protect\BCAY{Hasler, de~Gispert, Iglesias, \BBA\ Byrne}{Hasler
  et~al.}{2018}]{hasler-etal-2018-neural}
Hasler, E., de~Gispert, A., Iglesias, G., \BBA\ Byrne, B. \BBOP 2018\BBCP.
\newblock \BBOQ Neural Machine Translation Decoding with Terminology
  Constraints.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies, Volume 2 (Short Papers)}, \mbox{\BPGS\ 506--512}, New Orleans,
  Louisiana.

\bibitem[\protect\BCAY{Hokamp \BBA\ Liu}{Hokamp \BBA\
  Liu}{2017}]{hokamp-liu:2017:Long}
Hokamp, C.\BBACOMMA\ \BBA\ Liu, Q. \BBOP 2017\BBCP.
\newblock \BBOQ Lexically Constrained Decoding for Sequence Generation Using
  Grid Beam Search.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1535--1546}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn:2004}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the 2004 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 388--395}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{koehn-EtAl:2007:PosterDemo}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics Companion Volume Proceedings of the Demo and
  Poster Sessions}, \mbox{\BPGS\ 177--180}.

\bibitem[\protect\BCAY{Koehn \BBA\ Knowles}{Koehn \BBA\
  Knowles}{2017}]{koehn-knowles:2017:NMT}
Koehn, P.\BBACOMMA\ \BBA\ Knowles, R. \BBOP 2017\BBCP.
\newblock \BBOQ Six Challenges for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Workshop on Neural Machine
  Translation}, \mbox{\BPGS\ 28--39}.

\bibitem[\protect\BCAY{Luong, Pham, \BBA\ Manning}{Luong
  et~al.}{2015}]{luong-pham-manning:2015:EMNLP}
Luong, T., Pham, H., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Effective Approaches to Attention-based Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1412--1421}.

\bibitem[\protect\BCAY{Mi, Wang, \BBA\ Ittycheriah}{Mi
  et~al.}{2016}]{mi-wang-ittycheriah:2016:P16-2}
Mi, H., Wang, Z., \BBA\ Ittycheriah, A. \BBOP 2016\BBCP.
\newblock \BBOQ Vocabulary Manipulation for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 124--129}.

\bibitem[\protect\BCAY{Morishita, Suzuki, \BBA\ Nagata}{Morishita
  et~al.}{2017}]{morishita-suzuki-nagata:2017:WAT2017}
Morishita, M., Suzuki, J., \BBA\ Nagata, M. \BBOP 2017\BBCP.
\newblock \BBOQ NTT Neural Machine Translation Systems at WAT 2017.\BBCQ\
\newblock In {\Bem Proceedings of the 4th Workshop on Asian Translation},
  \mbox{\BPGS\ 89--94}.

\bibitem[\protect\BCAY{Nakazawa, Higashiyama, Ding, Mino, Goto, Kazawa, Oda,
  Neubig, \BBA\ Kurohashi}{Nakazawa et~al.}{2017}]{nakazawa-EtAl:2017:WAT2017}
Nakazawa, T., Higashiyama, S., Ding, C., Mino, H., Goto, I., Kazawa, H., Oda,
  Y., Neubig, G., \BBA\ Kurohashi, S. \BBOP 2017\BBCP.
\newblock \BBOQ Overview of the 4th Workshop on Asian Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 4th Workshop on Asian Translation},
  \mbox{\BPGS\ 1--54}.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi,
  \BBA\ Isahara}{Nakazawa et~al.}{2016}]{NAKAZAWA16}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi,
  S., \BBA\ Isahara, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASPEC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 10th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 2204--2208}.

\bibitem[\protect\BCAY{Post \BBA\ Vilar}{Post \BBA\
  Vilar}{2018}]{post-vilar-2018-fast}
Post, M.\BBACOMMA\ \BBA\ Vilar, D. \BBOP 2018\BBCP.
\newblock \BBOQ Fast Lexically Constrained Decoding with Dynamic Beam
  Allocation for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 1314--1324}.

\bibitem[\protect\BCAY{Robbins \BBA\ Monro}{Robbins \BBA\
  Monro}{1951}]{Robbins&Monro:1951}
Robbins, H.\BBACOMMA\ \BBA\ Monro, S. \BBOP 1951\BBCP.
\newblock \BBOQ A Stochastic Approximation Method.\BBCQ\
\newblock {\Bem Annals of Mathematical Statistics}, {\Bbf 22}, \mbox{\BPGS\
  400--407}.

\bibitem[\protect\BCAY{Sankaran, Freitag, \BBA\ Al-Onaizan}{Sankaran
  et~al.}{2017}]{DBLP:journals/corr/SankaranFA17}
Sankaran, B., Freitag, M., \BBA\ Al-Onaizan, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Attention-based Vocabulary Selection for NMT Decoding.\BBCQ\
\newblock {\Bem CoRR}, {\Bbf abs/1706.03824}.

\bibitem[\protect\BCAY{Sennrich, Haddow, \BBA\ Birch}{Sennrich
  et~al.}{2016}]{sennrich-haddow-birch:2016:P16-12}
Sennrich, R., Haddow, B., \BBA\ Birch, A. \BBOP 2016\BBCP.
\newblock \BBOQ Neural Machine Translation of Rare Words with Subword
  Units.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1715--1725}.

\bibitem[\protect\BCAY{Shi \BBA\ Knight}{Shi \BBA\
  Knight}{2017}]{shi-knight:2017:Short}
Shi, X.\BBACOMMA\ \BBA\ Knight, K. \BBOP 2017\BBCP.
\newblock \BBOQ Speeding Up Neural Machine Translation Decoding by Shrinking
  Run-time Vocabulary.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 574--579}.

\bibitem[\protect\BCAY{Snover, Dorr, Schwartz, Micciulla, \BBA\ Makhoul}{Snover
  et~al.}{2006}]{snover2006study}
Snover, M., Dorr, B., Schwartz, R., Micciulla, L., \BBA\ Makhoul, J. \BBOP
  2006\BBCP.
\newblock \BBOQ A Study of Translation Edit Rate with Targeted Human
  Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference of the Association for
  Machine Translation in the Americas}, \mbox{\BPGS\ 223--231}.

\bibitem[\protect\BCAY{Takebayashi, Chu, Arase, \BBA\ Nagata}{Takebayashi
  et~al.}{2018}]{takebayashi}
Takebayashi, Y., Chu, C., Arase, Y., \BBA\ Nagata, M. \BBOP 2018\BBCP.
\newblock \BBOQ Word Rewarding for Adequate Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 15th International Workshop on Spoken
  Language Translation}, \mbox{\BPGS\ 14--22}.

\bibitem[\protect\BCAY{Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez,
  Kaiser, \BBA\ Polosukhin}{Vaswani et~al.}{2017}]{NIPS2017_7181}
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.~N.,
  Kaiser, L.~u., \BBA\ Polosukhin, I. \BBOP 2017\BBCP.
\newblock \BBOQ Attention is All you Need.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 30},
  \mbox{\BPGS\ 5998--6008}.

\bibitem[\protect\BCAY{Weng, Huang, Zheng, Dai, \BBA\ Chen}{Weng
  et~al.}{2017}]{weng-EtAl:2017:EMNLP2017}
Weng, R., Huang, S., Zheng, Z., Dai, X.-Y., \BBA\ Chen, J. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Machine Translation with Word Predictions.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 136--145}.

\end{thebibliography}


\appendix

\section{\ref{sec:test_result}節で用いたパラメータ一覧}

\begin{table}[b]
\vspace{-1\Cvs}
\caption{表\ref{tab:overall}のテストセットにおける各設定で用いた単語報酬重み$\lambda$}
\label{tab:overall_lambda_settings}
\input{03table06.tex}
\vspace{1\Cvs}
\end{table}
\begin{table}[b]
\caption{表\ref{tab:overall}のテストセットにおける各設定で用いた辞書の閾値$\delta$}
\label{tab:overall_delta_settings}
\input{03table07.tex}
\end{table}

\clearpage
\begin{table}[t]
\hangcaption{表\ref{tab:combined}のテストセットにおける各設定で用いた辞書の閾値$\delta$，単語報酬重み$\lambda$およびArthur法の線形補間の重み$\delta$}
\label{tab:combined_settings}
\input{03table08.tex}
\end{table}



\begin{biography}
\bioauthor{竹林　佑斗}{
2017年大阪大学工学部電子情報工学科卒業．2019年大阪大学大学院情報科学研究科博士前期課程修了．同年，株式会社ワークスアプリケーションズに入社．ACL会員．
}
\bioauthor[:]{Chenhui Chu}{
2008年重慶大学ソフトウェア工学部卒業．2012年に京都大学大学院情報学研究科修士課程修了．2015年同大学院博士課程修了．博士（情報学）．日本学術振興会特別研究員DC2，国立研究開発法人科学技術振興機構研究員を経て，2017年より大阪大学データビリティフロンティア機構特任助教．機械翻訳，自然言語処理の研究に従事．言語処理学会，人工知能学会，ACL，各会員．
}
\bioauthor{荒瀬　由紀}{
2006年大阪大学工学部電子情報エネルギー工学科卒業． 2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，Microsoft Research Asiaに入社，自然言語処理に関する研究開発に従事． 2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る． 言い換え表現抽出および生成，機械翻訳技術，言語教育支援，対話システム研究に興味を持つ．
}
\bioauthor{永田　昌明}{
1987年京都大学大学院工学研究科修士課程修了．
同年，日本電信電話株式会社入社．現在，コミュニケーション科学研究所上席特別研究員．工学博士．機械翻訳，自然言語処理の研究に従事．電子情報通信学会，情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}

\end{biography}


\biodate




\end{document}
