    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\newcommand{\NotNdash}{}

\usepackage{arydshln}
\DeclareMathOperator*{\argmax}{argmax} 


\Volume{25}
\Number{5}
\Month{December}
\Year{2018}

\received{2018}{4}{27}
\revised{2018}{8}{2}
\accepted{2018}{9}{18}

\setcounter{page}{577}

\jsubject{論文}
\jtitle{ニューラル機械翻訳での訳抜けした内容の検出}
\jauthor{後藤　功雄\affiref{Author_1} \and 田中　英輝\affiref{Author_1}}
\jabstract{
ニューラル機械翻訳 (NMT) は入力文の内容の一部が翻訳されない場合があるという問題があるため，NMTの実用には訳出されていない内容を検出できることが重要である．著者らはアテンションの累積確率と出力した目的言語文から入力文を生成する逆翻訳の確率という2種類の確率による，入力文の内容の欠落に対する検出効果を調査した．日英の特許翻訳での訳抜けした内容の検出実験を実施し，アテンションの累積確率と逆翻訳の確率はいずれも効果があり，逆翻訳はアテンションより効果が高く，これらを組み合わせるとさらに検出性能が向上することを確認した．また，訳抜けの検出を機械翻訳結果の人手修正のための文選択に応用した場合に効果があることが分かった．
}
\jkeywords{ニューラル機械翻訳，訳抜け}

\etitle{Detecting Untranslated Content for \\
	Neural Machine Translation}
\eauthor{Isao Goto\affiref{Author_1} \and Hideki Tanaka\affiref{Author_1}} 
\eabstract{
Despite its promise, neural machine translation (NMT) presents a serious problem in that source content may be mistakenly left untranslated. The ability to detect untranslated content is important for the practical use of NMT. We evaluated two types of probability with which to identify untranslated content: the cumulative attention probability and the back translation probability from a target sentence to the source sentence. Experiments were conducted to discover missing content in Japanese to English patent translations. The results of the investigation revealed that both the types of probability were each effective, back translation was more effective than attention, and the combination of the two resulted in further improvements. Furthermore, we confirmed that the detection of untranslated content was effectual in terms of sentence selection for the human post-editing processing of machine translation results. 
}
\ekeywords{Neural Machine Translation, Missing Translation}

\headauthor{後藤，田中}
\headtitle{ニューラル機械翻訳での訳抜けした内容の検出}

\affilabel{Author_1}{NHK放送技術研究所}{NHK Science \& Technology Research Laboratories}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:introduction}

ニューラル機械翻訳 (NMT) \cite{NIPS2014_5346,Bahdanau-EtAl:2015:ICLR}は流暢な訳を出力できるが，入力文の内容を全て含んでいることを保証できないという問題があり，
翻訳結果において入力文の内容の一部が欠落（訳抜け）することがある．
欠落は単語レベルの内容だけでなく，節レベルの場合もある．
NMTによる訳抜けを含む日英翻訳の翻訳例を図\ref{fig:example}に示す．
この翻訳例では網掛け部の訳が出力されていない．
内容の欠落は，実際の利用時に大きな問題となる．
この他にNMTでは，入力文中の同じ内容を繰り返し訳出してしまうことがあるという問題もある．
本稿は，これらの問題のうち訳抜けを対象として扱う．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia5f1.eps}
\end{center}
\hangcaption{訳抜けを含むNMTによる日英翻訳結果の例．入力の網掛け部の訳が機械翻訳出力に含まれていない．参照訳の網掛け部は入力の網掛け部に対応する部分を表している．}
\label{fig:example}
\end{figure}

従来の統計的機械翻訳 (SMT) \cite{koehn-EtAl:2003:NAACLHLT,chiang:2007:CL}は，デコード中にカバレッジベクトルを使って入力文のどの部分が翻訳済でどの部分が未翻訳であるかを単語レベルで明示的に区別し，未翻訳の部分がなくなるまで各部分を一度だけ翻訳するため，訳抜けの問題および訳出の繰り返しの問題はほとんど\footnote{フレーズテーブルを構築するために対訳コーパスから抽出した部分的な対訳表現が完全であれば，翻訳時に訳抜けは発生しない．しかし，対訳文内の単語対応の推定誤りや対訳文での省略などにより，抽出した部分的な対訳表現には完全でないものも含まれるため，訳抜けが発生する場合もある．}起きない．
しかし，NMTでは対訳間での対応関係は，アテンションによる確率的な関係でしか得られないため，翻訳済の原言語単語と未翻訳の原言語単語を明示的に区別することができない．
このため，SMTでのカバレッジベクトルによって訳抜けを防ぐ方法をそのまま適用することは出来ない．

入力文中の各単語位置に応じた動的な状態ベクトルを導入して，この状態ベクトルをソフトなカバレッジベクトル（カバレッジモデル）と見なす手法がある\cite{tu-EtAl:2016:P16-1,mi-EtAl:2016:EMNLP2016}．
カバレッジモデルを用いる手法は，訳抜けの問題を軽減できる可能性がある．
しかし，未翻訳部分が残っているかどうかを明示的に検出して翻訳の終了を決定しているわけではない．
そのため，カバレッジモデルを用いても訳抜けが発生する問題は残る．

本論文\footnote{本研究の一部は，言語処理学会第23回年次大会およびThe First Workshop on Neural Machine Translationで発表したものである\cite{goto-tanaka:2017:NLP,goto-tanaka:2017:NMT}．}では，2種類の確率に基づく値に対して，訳出されていない入力文の内容に対する検出効果を調べる．
検出方法の 1 つはアテンション (ATN)の累積確率を用いる方法である（\ref{sec:atn}節）．
もう1つは，機械翻訳 (MT) 出力から入力文を生成する逆翻訳(BT)の確率を用いる方法である（\ref{sec:bt}節）．
後者は，言語間の単語の対応関係の特定を必ずしも必要とせずに，MT出力に入力文の内容が含まれているかどうかを推定できるという特徴がある．
また，2種類の確率に基づく値を訳抜けの検出に使う場合に，それぞれ値をそのまま使う方法と確率の比を用いる方法の2つを比較する．
さらに，これらの確率をNMTのリランキングに応用した場合（\ref{sec:reranking}節）および機械翻訳結果の人手修正（ポストエディット）のための文選択に応用した場合（\ref{sec:sentence_selection}節）の効果も調べる．
これらの効果の検証のために日英特許翻訳のデータを用いた評価実験を行い（\ref{sec:experiment}節），アテンションの累積確率と逆翻訳の確率はいずれも訳抜け部分として無作為に単語を選択する場合に比べて効果があることを確認した．
そして，逆翻訳の確率はアテンションの累積確率より効果が高く，これらを同時に用いるとさらに検出精度が向上した．
また，アテンションの累積確率または逆翻訳の確率をNMTの$n$-best出力のリランキングに用いた場合の効果がプレプリント\cite{DBLP:journals/corr/WuSCLNMKCGMKSJL16,DBLP:journals/corr/LiJ16}で報告されているが\footnote{これらの研究との関係は詳しくは\ref{sec:reranking_results}節および\ref{sec:related_work}節で述べる．}，これらと独立した本研究でも同様の有効性を確認した．
さらに，訳抜けの検出をポストエディットのための文選択に応用した場合に効果があることが分かった．


\section{ニューラル機械翻訳}
\label{sec:nmt}

本節では，\citeA{Bahdanau-EtAl:2015:ICLR}に基づく，本論文で用いたベースラインのNMTについて述べる．
このNMTは入力文をエンコードするエンコーダーと訳文を生成するデコーダーからなる．
入力文が与えられると，その各単語をone-hot表現に変換し，one-hot表現の系列$\mathbf{x} = x_1, \dotsc, x_{Tx}$を得る．
$\mathbf{x}$の単語位置$j$において，エンコーダーは単語の分散表現の行列$E_x$とLSTM \cite{hochreiter:1997:NC}関数$f$を用いて，前向きのLSTMの出力ベクトル$\overrightarrow{h}_j=f(\overrightarrow{h}_{j-1},E_{x}x_j)$と後ろ向きのLSTMの出力ベクトル$\overleftarrow{h}_j=f(\overleftarrow{h}_{j+1},E_{x}x_j)$を生成し，それらをつなげたベクトル$h_j=[\overrightarrow{h}_j^{^\top};\overleftarrow{h}_j^{^\top}]^{^\top}$を作成する．
 

デコーダーは入力$\mathbf{x}$を条件とする出力$\mathbf{y} = y_1, \dotsc, y_{Ty}$の確率を計算する．
$\mathbf{y}$も単語を表すone-hot表現の系列である．
デコーダーは$\hat{\mathbf{y}} = \argmax_{\mathbf{y}} p(\mathbf{y}|\mathbf{x})$となる$\hat{\mathbf{y}}$を探索して出力する．
確率$p(\mathbf{y}|\mathbf{x})$を次のように各単語の確率の積に分解する．
\begin{equation}
p(\mathbf{y}|\mathbf{x})=\prod_i p(y_i|y_1, \dotsc, y_{i-1},\mathbf{x}) 
\end{equation}
本稿では$i$で$\mathbf{y}$の単語位置を表す．
目的言語単語を表すone-hot表現の集合を$\mathcal{Y}$として，右辺の各条件付き確率を次のようにモデル化する．
\begin{align}
p(y_i|y_1, \dotsc, y_{i-1},\mathbf{x})  & = \frac{\exp(y_i^\top W_\mathrm{t}t_i)}{\sum_{k \in \mathcal{Y}} \exp(k^\top W_\mathrm{t}t_i)} \\
t_i  & = m(U_\mathrm{s}s_i+U_\mathrm{y}E_\mathrm{y}y_{i-1}+U_\mathrm{c}c_i)
\end{align}
ここで，$s_i$はLSTMの隠れ状態，$c_i$はコンテキストベクトル，$W_.$ と $U_.$は重み行列，$E_y$は目的言語の単語分散表現の行列を表しており，$m$はMaxout \cite{Goodfellow:2013:MN:3042817.3043084}関数を表している．
状態$s_i$は次のように計算する．
\begin{equation}
s_i=f(s_{i-1},[c_{i}^{^\top};{E_\mathrm{y}y_{i-1}}^{^\top}]^{^\top})
\end{equation}

コンテキストベクトル$c_i$は$h_j$の重み付け和として，
$c_i=\sum_j \alpha_{ij} h_j$で計算する．
ここで，
\begin{align}
\alpha_{ij} &= \frac{\exp(e_{ij})}{\sum_j \exp(e_{ij})}, \label{eq:alpha} \\ 
e_{ij} &=v^\top \tanh(W_{\mathrm{s}}s_{i-1} + W_{\mathrm{h}}h_j + W_\mathrm{y}E_\mathrm{y}y_{i-1}) \label{eq:e}
\end{align}
である．
$v$は重みベクトルである．

$\alpha_{ij}$がアテンション確率であり，$y_i$と$x_j$との確率的な対応関係をある程度表しているとみなすことができる．


\section{訳抜けした内容の検出}
\label{sec:detect}

訳抜けした内容の検出への効果について，2種類の確率とそれらの利用方法について述べ
\linebreak
る\footnote{2種類の確率を組み合わせた利用方法は\ref{sec:detect_results}節で説明する．}．


\subsection{累積アテンション確率の利用}
\label{sec:atn}

高いアテンション確率が割り当てられた原言語単語は訳出された可能性が高く，
アテンション確率がほとんど割り当てられなかった原言語単語は訳出されていない可能性が高いと考えられる \cite{tu-EtAl:2016:P16-1}．
\pagebreak
そのため，入力文の各単語位置でのアテンション確率の累積は，訳抜け検出の手がかりになると考えられる．
入力$x_j$の内容が$\mathbf{y}$から欠落している度合いを表すスコア「累積アテンション確率スコア」(Cumulative attention probability score; ATN-P) $a_j$を(\ref{eq:alpha})式の$\alpha_{ij}$を用いて次のように定義する．
\begin{equation}
a_j = -\log\Bigl(\sum_i \alpha_{ij}\Bigr) \label{eq:aj}
\end{equation}
(\ref{eq:aj})式の括弧内\footnote{小さな正の値$\epsilon$を加えれば，$\log(0)$の計算を避けることができる．今回の実験では$\log(0)$になった場合は無く，$\epsilon$は加算しなかった．}は$\mathbf{x}$の単語位置$j$での累積アテンション確率である．
$i$は$\mathbf{y}$での目的言語単語位置を表す．

ただし，本来，原言語単語が対応する目的言語単語を持たない場合\footnote{例えば，日本語の助詞「を」は英語では対応する語がない．}や，1つの原言語単語が複数の目的言語単語に対応する場合があり，$a_j$の値がそのまま訳抜けの度合いを表しているとは限らない．

訳抜けしている場合と訳抜けしていない場合とではアテンション確率の累積値に違いがあると考えられる．そこで，訳抜けの有無を調べようとしている$\mathbf{y}$における$x_j$のアテンション確率の累積値と訳抜けしていない$\mathbf{y}$における$x_j$のアテンション確率の累積値との比に換算することで，訳抜けの度合いを表すスコアを補正する．
ただし，このスコアを計算するためには，訳抜けしていない場合のアテンション確率の累積値を得る必要がある．
このために次を仮定する．
ここで，$n$-best出力を$\mathbf{y}^1, \dotsc, \mathbf{y}^n$と表す．
\begin{description}
\item[仮定：任意の入力単語の訳の存在]
入力中の任意の単語$x_j, (1 \le j \le T_x)$の訳は，$n$-best出力$\mathbf{y}^d, (1 \le d \le n)$のどこかに存在する．
ただし，本来，対応先を持たない原言語単語$x_j$を除く．
\end{description}
以下，この確率比に基づくスコア「累積アテンション確率比スコア」(Cumulative attention probability ratio score; ATN-R) を定義する．
先と同様に入力$x_j$の内容が$\mathbf{y}^d$から欠落している度合いを表すスコアATN-Pを$a_j^d$と表す．
ここで，$\min_d a_j^d$を与える出力$\mathbf{y}^d$には仮定に従って$x_j$の訳が出現しているとみなす
\footnote{言語学的に対応先を持たない$x_j$であっても，アテンション確率の累積値が0になる訳ではなく通常は0より大きな値となる．その場合，その対数をとることで計算する$a_j$は$+\infty$にはならず，$\mathbf{y}$の単語数を$T_y$とすると$a_j$の値域は$(-\log(T_y), +\infty)$となる．}．
そして，入力$x_j$の内容が出力$\mathbf{y}^d$から欠落している度合いを表す累積アテンション確率比スコアATN-R $r_j^d$を次のように定義する．
\begin{equation}
r_j^d = a_j^d - \min_{d'}(a_j^{d'}) 
\end{equation}
この値は確率の比の対数を表している．


\subsection{逆翻訳確率の利用}
\label{sec:bt}

MT出力から入力文を生成することを逆翻訳と定義する．
入力文の内容が訳抜けしている場合は，逆翻訳でMT出力から訳抜けした内容を表す原言語単語を生成する確率（逆翻訳確率）が低くなると考えられる．
これを訳抜け検出の手がかりとして利用する．
この方法は，言語間の単語の対応関係の特定を必ずしも必要としないという特徴がある．
ここで，$\mathbf{y}^d$における$x_j$に対する逆翻訳確率に基づくスコア「逆翻訳確率スコア」(Back translation probability score; BT-P) $b_j^d$を次のように定義する．
\begin{equation}
b_j^d = -\log(p(x_j|x_1, \dotsc, x_{j-1},\mathbf{y}^d)) \label{eq:bt}
\end{equation}
(\ref{eq:bt})式での確率は\ref{sec:nmt}節で述べたNMTを用いて計算する．

さらに前節と同様に訳抜けしていない場合の逆翻訳確率との比に換算する．
ここで前節と同様に``任意の入力単語の訳の存在''を仮定し，$\min_d(b_j^d)$を与える出力$\mathbf{y}^d$には$x_j$の訳を含むとみなす\footnote{言語学的に対応先を持たない$x_j$の逆翻訳確率は，訓練データの目的言語文にある程度出現する語であれば$x_j$を逆翻訳で生成できるように学習されるため，通常は0より大きな確率となる．その場合，その対数をとることで計算する$b_j$は$+\infty$にはならず，$b_j$の値域は$(0, +\infty)$となる．}．
そして，入力$x_j$の内容が$\mathbf{y}^d$から欠落している度合いを表す確率比に基づくスコア「逆翻訳確率比スコア」(Back translation probability ratio score; BT-R) $q_j^d$を次のように定義する．
\begin{equation}
q_j^d = b_j^d - \min_{d'}(b_j^{d'}) 
\end{equation}


\section{翻訳スコアへの適用}
\label{sec:reranking}

前節で述べたスコアは$n$-best出力から訳抜けが少ない出力の選択に役に立つと考えられる．
そこで，これらを翻訳スコアに利用して$n$-best出力をリランキングし，その効果を調べる．

リランキングのスコアには翻訳の尤度 ($\log(p(\mathbf{y}^d|\mathbf{x}))$) から重み付けした訳抜けのスコアを引いた値を用いる．
$r_j^d$を用いた場合のスコアとして
\begin{equation}
\log(p(\mathbf{y}^d|\mathbf{x})) - \beta_{r} \sum_j r_j^d 
\end{equation}
$q_j^d$を用いた場合のスコアとして
\begin{equation}
\log(p(\mathbf{y}^d|\mathbf{x})) - \beta_{q} \sum_j q_j^d 
\end{equation}
を用いる．
ここで，$\beta_{r}$と$\beta_{q}$は重みパラメータである．
なお，リランキングでは同じ入力に対する出力間の比較となるため，ATN-RとATN-Pのリランキング結果は同じになる
\footnote{一方，複数の入力文間で翻訳結果をランキングする場合は結果は異なる．例えば，複数の入力文の翻訳結果を訳抜けの度合いを表すスコアでランキングし，翻訳結果が訳抜けしている可能性が高い入力文を選択しようとする場合などである．}
ので，
本タスクでは両方を併記してATN-P/ATN-Rと表記する．
同様にBT-RとBT-Pのリランキング結果も同じになるので，本タスクでは両方を併記してBT-P/BT-Rと表記する．

$r_j^d$と$q_j^d$を同時に使う場合は，重みパラメータ$\gamma, \lambda$を用いて
\begin{equation}
\log(p(\mathbf{y}^d|\mathbf{x})) - \gamma \sum_j r_j^d - \lambda \sum_j q_j^d  
\end{equation}
をスコアとして用いる．


\section{ポストエディットのための文選択}
\label{sec:sentence_selection}

訳抜けした内容の検出の応用先の1つとして，機械翻訳結果を人手で後修正するポストエディットへの応用がある．
機械翻訳の翻訳品質の向上により，ポストエディットによる翻訳は費用や時間のコストを下げる手段として産業的な発展が期待されている．
完全な翻訳が必要な場合は全てのMT出力文を確認して修正する必要があるが，多少の誤りを含む翻訳でも役に立つ場面も多く存在する．
例えば，外国語で書かれた特許などのテキストを母国語で閲覧できるサービスや，娯楽向けのテレビ番組の外国語字幕などである．
このような場合に，機械翻訳の出力をそのまま利用することも選択肢の1つとなるが，訳質の低い文を自動で選択して，一部の訳質の低い訳文だけを人手で後修正すれば，限られた労力で訳質を効果的に改善することができる
\footnote{例えば，数\%の文だけを後修正する場合，全体を修正する場合に比べて少ないコストで実施可能である．}．
翻訳の誤りは訳抜け以外にも訳語選択の誤りや語順の誤り，訳出の繰り返しなど複数の要因があるが，それぞれの要因の誤りを推定して訳文が含む誤りの程度を推測できることが理想的である
\footnote{ポストエディット対象の訳文を選択する他に，ポストエディットする際に誤り箇所を強調表示することも，作業者の役に立つと考えられる．}$^,$\footnote{翻訳結果に誤りを含む文を選択してポストエディットすることは，機械翻訳システムの能動学習としても利用できる．}．

本稿では訳抜けの検出を目的にしているので，ここでは，入力文と訳文のペアの集合から訳抜けを多く含むペアの選択をタスクとして考える．
このタスクの場合は，異なる入力文間の比較となるため，ATN-PとATN-Rのスコアの違いやBT-PとBT-Rのスコアの違いが結果に影響する．

文のスコアには\ref{sec:reranking}節と同様に単語のスコア$u_j$の和
\begin{equation}
\sum_{j} u_j
\end{equation}
を用いる．
ここで，$u_j$は\ref{sec:detect}節で説明した各単語のスコア（$a_j$など）を表している．

2種類のスコアを同時に使う場合は，重みパラメータ$\gamma, \lambda$を用いて文のスコアの重み付け和を用いる．
例えば$r_j$と$q_j$を用いる場合
\begin{equation}
\gamma \sum_j r_j + \lambda \sum_j q_j  
\end{equation}
となる．


\section{実験}
\label{sec:experiment}

本節では，長い文を含む日英特許翻訳のデータを用いて，訳抜け検出での効果，翻訳への効果，および訳抜けを多く含む文選択への効果を調べた実験について述べる．

\subsection{設定}
\label{sec:setup}

実験には，NTCIR-9とNTCIR-10の日英特許翻訳タスク\cite{goto-EtAl:2011:NTCIR9,goto-EtAl:2013:NTCIR10}のデータを用いた．
この訓練データの対訳文対の数は約320万である．
この中で，日英いずれも100単語以下の長さの文ペアを日英 (JE) 翻訳の訓練に用いた．
計算量を削減するために逆翻訳用の英日翻訳の訓練には，日英いずれも50単語以下の長さの文ペアを訓練に用いた．
これらの訓練で単言語データは用いていない．
タスクの公式開発データ2,000文のうち最初の1,000文を開発データとして用いた．
テスト文と参照訳からなるテストデータは，NTCIR-9が2,000文対，NTCIR-10が2,300文対である．
英語のトークナイザにはstepp tagger\footnote{http://www.nactem.ac.uk/enju/index.html}，日本語の単語分割にはJuman 7.01\footnote{http://nlp.ist.i.kyoto-u.ac.jp/EN/index.php?JUMAN}を用いた．

NMTのシステムには，Kyoto-NMT \cite{cromieres:2016:COLINGDEMO}を用いた\footnote{(\ref{eq:e})式に合うように変更した．}．
本稿で用いたベースラインNMTの設定は次のとおりである．
原言語と目的言語の語彙数はそれぞれ頻度が高い30,000語を用い，それ以外の語は特別な語 (UNK) に置き換えた．
エンコーダーの前向きと後ろ向きのLSTMのユニット数はそれぞれ1,000，デコーダーのLSTMのユニット数は1,000，単語の分散表現のベクトルサイズは620，出力層の前のベクトルの次元は500とした．
これらの設定は\citeA{Bahdanau-EtAl:2015:ICLR}と同じである．
ミニバッチサイズには64を用いた．ただし，逆翻訳のモデルの訓練には128を用いた．
パラメータの推定にはAdam \cite{DBLP:journals/corr/KingmaB14}を用いた．
NMTモデルの訓練は6エポック実施した．
開発データは，ミニバッチ200回毎にBLEUスコアを計算してスコアが高いモデルを保存するために利用した．
翻訳の探索は，ビーム幅20でビームサーチした．
出力長は入力長の 2 倍以下に制限した．
このビームサーチで得られるすべての出力文\footnote{文頭からEOSまでの単語列．}を$n$-best出力として用いた\footnote{$n$は入力文によって異なる．$n$は入力文が長い時に大きくなる傾向がある．$n$の平均はNTCIR-10で161.7，NTCIR-9で142.7，$n$の最小値と最大値はNTCIR-10で20と1,140，NTCIR-9で20と889であった．}．

\ref{sec:reranking}節の重みパラメータ$\beta_{r}$, $\beta_{q}$, $\gamma$, $\lambda$は開発データでBLEUスコアが高くなるものを$\{0.1,$ $0.2,$ $0.5,$ $1.0,$ $2.0\}$から選択した．


\subsection{入力文の内容の訳抜け検出での効果}
\label{sec:detect_results}

NTCIR-10のテストデータをベースラインNMTで英語に翻訳し，訳抜けした内容を人手で特定した．
そして，\ref{sec:detect}節のスコアによる訳抜けした内容の検出効果を比較した．


\subsubsection*{評価用データの作成}
\label{sec:eval_data_detect}

次の手順で評価用データを作成した．
まずNTCIR-10のテストデータからテスト文（日本語）とその参照訳（英語）の長さがいずれも100単語以下のテスト文を選択し，選択したテスト文をベースラインNMTで英語に翻訳した．
MT出力にはビームサーチで1位の出力を用いた．
訳抜けがありそうなMT出力を選ぶため，（MT出力の長さ／min（参照訳の長さ，入力文の長さ））の値が小さいテスト文から順番に選択し，テスト文中で翻訳されていない内容語に人手でタグを付与した．
これによって100文を選択し，選択した文の全単語4,457語のうち632語の訳抜けした内容語を認定した．
これらの632語を正解データとした．
この100文を選択する際に，入力文と訳文で訳出された部分の単語対応が特定できない部分があることで，訳抜けした部分を特定できなかった文は除いた．

また，内容語の判定には文字種を用い，漢字，数字，カタカナ，アルファベットのいずれかの文字種を含む語を内容語とした．
なぜなら，今回対象とした特許文では，実質的な意味を持つ語は通常上記の文字種が用いられること，そして，平仮名は文中で主に機能的表現に用いられ，品詞が動詞などの場合でも平仮名で表記されるもの（例えば「する」など）の多くは形式的な働きが強く実質的な内容を持たないためである．

なお，NMTの出力に含まれるUNKは翻訳元の語の意味を保持していないが，ここでは訳抜けとして扱わない．
例えば，日本語の入力文中の表現が「陰極 211 b」で，対応する英語の参照訳が「the cathode 211b」の時に，対応する出力の表現が「the cathode UNK」の場合，UNKは日本語の「211 b」に対応していると考えることができる．
このような場合に，日本語の単語「211」と「b」は訳抜けしていないとして扱う．
なぜならば，扱う語彙が制限されているために英語の「211b」を出力する代わりにUNKを出力しているので，これは訳抜けの問題ではなく扱える語彙の問題であるためである．


\subsubsection*{2種類のスコアの組み合わせ方法}

2種類のスコア$r_j^d$と$q_j^d$を同時に用いて訳抜けを検出する場合 (BT-R \& ATN-R) は，\ref{sec:setup}節で選択した重みパラメータ$\gamma, \lambda$を用いて，
\begin{equation}
\gamma r_j^d + \lambda q_j^d  \label{eq:combi}
\end{equation}
をスコアとして用いた．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia5f2.eps}
\end{center}
\hangcaption{訳抜けした内容の検出結果．Recallが0.5の時，グラフのラインは上からBT-R \& ATN-R, BT-R, BT-P, ATN-R, ATN-Pを表している．}
\label{fig:pr}
\end{figure}


\subsubsection*{結果と議論}

正解を付与した100文のテスト文中の全ての語を\ref{sec:detect}節のそれぞれのスコアに基づいてランキングし，正解（632語）と比較した\footnote{訳抜けの有無を決定するためには，さらにスコアの閾値を決める必要があるが，今回はスコアの性質の調査であるため，閾値は用いていない．}．
結果を図 \ref{fig:pr}に示す．
全単語（4,457語）から無作為に単語を選択した際の精度の期待値は$0.14=632/\text{4,457}$である．
この結果から，次のことが確認された．
\begin{itemize}
\item 累積アテンション確率スコア (ATN-P) と逆翻訳確率スコア (BT-P) は無作為な選択に比べて効果がある．
\item 累積アテンション確率比スコア (ATN-R) は累積アテンション確率スコア (ATN-P) より検出精度が高く，逆翻訳確率比スコア (BT-R) は逆翻訳確率スコア (BT-P) より検出精度が高い．
\item 逆翻訳確率比スコア (BT-R) は累積アテンション確率比スコア (ATN-R) より検出精度が高い．
\item 2種類のスコアを同時に利用する (BT-R \& ATN-R) とそれぞれのスコア (BT-R，ATN-R) のみを利用する場合より検出精度が高い．
\end{itemize}

ここで，BT-Rでスコアが大きくならずに検出の感度が低かった例を図\ref{fig:fail_example}に示す．
図\ref{fig:fail_example}では，入力文に同一の語 (ISO) が2回出現しているが，出力中にそれらの訳語 (ISO) は1つしか出現していない．
入力中の下線の``ISO''が訳抜けしていることを検出するためには，入力中の下線のない``ISO''の訳抜けのスコアは小さく，下線の``ISO''のスコアは大きいことが必要である．
しかし，出力中に``ISO''が含まれているために，原言語単語の``ISO''が逆翻訳で生成されやすい状態となったため，下線の``ISO''のスコアが大きくならなかったと考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia5f3.eps}
\end{center}
\hangcaption{逆翻訳で訳抜けの検出感度が低かった例．入力の網掛け部が訳抜けした部分を表している．参照訳の網掛け部は入力で訳抜けした部分に対応した部分を表している．}
\label{fig:fail_example}
\end{figure}

BT-Pは，入力中に1回しか出現しない内容語の検出の感度は高いと考えられるが，入力中に複数回出現する内容語の検出の感度は低いと考えられる．
これに対して，ATN-Pの累積確率は，目的言語単語を生成する数に依存して値が変わるため，入力に同一の内容語が複数出現した場合でも，検出の感度はBT-Pのようには低くならないと考えられる．
なお，ATN-RはATN-Pに基づいているので，ATN-RはATN-Pと同じ特性があり，
同様にBT-RはBT-Pに基づいているので，BT-RはBT-Pと同じ特性がある．
すなわち，BT-R と ATN-Rは訳抜けした内容の検出感度（表 \ref{table:performance_relation}）において一部で相補的な関係にあるため，これが組み合わせで効果があった理由の一つと考えられる．

\begin{table}[t]
\caption{訳抜けした内容の検出感度}
\label{table:performance_relation}
\input{05table01.tex}
\end{table}


\subsection{$\boldsymbol{n}$-best出力のリランキングでの効果}
\label{sec:reranking_results}

\ref{sec:reranking}節で説明した方法でベースラインNMTの$n$-best出力をリランキングし，各スコアの翻訳への効果を調べた．


\subsubsection*{比較したシステム}

比較のために，ベースラインNMTシステムに2つのカバレッジモデル\cite{mi-EtAl:2016:EMNLP2016,tu-EtAl:2016:P16-1}\footnote{競合する手法ではなく，協調して利用できる手法である．}を導入した結果も計算した．
これらのモデルはデコード時に利用するものである．
なお，\citeA{mi-EtAl:2016:EMNLP2016}では，カバレッジモデルにGRUを用いている\footnote{\citeA{mi-EtAl:2016:EMNLP2016}で${\bf U}_{GRU}$と表記されているモデル．}が，ここではLSTMを用いた\footnote{NMTベースラインでGRUよりLSTMを用いた方がBLEUスコアが高く，カバレッジモデルでChainer \cite{chainer_learningsys2015}のGRUの実装を使うよりChainerのLSTMの実装を使った方が学習速度が速かったためである．}．
\citeA{mi-EtAl:2016:EMNLP2016}のカバレッジモデルをneuralカバレッジモデル (C\textsc{overage}-neural)と呼ぶ．
\citeA{tu-EtAl:2016:P16-1}はlinguisticとneuralのカバレッジモデルを提案している．
ここでは，これらのうちlinguisticバージョンを用い，このモデルをlinguisticカバレッジモデル (C\textsc{overage}-linguistic)と呼ぶ．

参考として，Moses \cite{koehn-EtAl:2007:PosterDemo} で，フレーズベースSMTのdistortion-limitを20，階層フレーズベースSMTのmax-chart-spanを1,000に設定した 従来のSMT による結果も計算した．
さらに，言語モデルを用いた$n$-best出力のリランキングも実施した\footnote{KenLM (https://kheafield.com/code/kenlm/)を用いて訓練データの目的言語文で5-gramの言語モデルを構築し，この言語モデルで出力文の生成確率の負の対数を計算した．\ref{sec:reranking}節と同様に重み付けして翻訳の尤度から引いた値でベースラインNMTの$n$-best出力をリランキングした．この重みは，他の重み（$\beta_r$など）と同様に\ref{sec:setup}節の手順で選択した．}．
このリランキング結果をRerank with LMと呼ぶ．


\subsubsection*{結果と議論}

表\ref{table:trans_result}にBLEU-4 \cite{papineni-EtAl:2002:ACL}の結果を示す．
この結果からATN-P/ATN-RとBT-P/BT-Rを翻訳スコアに利用することに効果があることが分かる．
\pagebreak
また，ベースラインNMTは従来のSMTより高いBLEU値が得られている．
以下，表記を簡素化するために，ATN-P/ATN-RではATN-Pを代表して用い，BT-P/BT-RではBT-Pを代表して用いる．

\begin{table}[t]
\caption{翻訳結果 (BLEU(\%))}
\label{table:trans_result}
\input{05table02.tex}
\end{table}

以下，要素毎の効果を議論する．
まず，ATN-PとBT-Pのリランキングでの効果について述べる．
ATN-PとBT-Pのどちらもリランキングに効果があった．
ATN-Pとほぼ同じスコアがリランキングに効果があることはプレプリント\cite{DBLP:journals/corr/WuSCLNMKCGMKSJL16}でも確認されており，
BT-Pがリランキングに効果があることはプレプリント\cite{DBLP:journals/corr/LiJ16}でも確認されている．
これらの研究と互いに独立した我々の研究でもリランキングに関して同様の効果を確認した．
ATN-PとBT-Pを比較すると，BT-PのほうがATN-Pより少しBLEU値が高かった．
ATN-PとBT-Pの両方を用いる (Rerank with BT-P/BT-R \& ATN-P/ATN-R) とそれぞれを単独で用いるよりもBLEU値が高かった．
これらの結果は \ref{sec:detect_results} 節の結果と整合する．
表\ref{table:trans_result}のRerank with BT-P/BT-R と Rerank with BT-P/BT-R \& ATN-P/ATN-R の差は，ブートストラップ・リサンプリングテスト\cite{koehn:2004:EMNLP}のツール\footnote{https://github.com/odashi/mteval}を用いた計算で $\alpha=0.01$ で統計的に有意であった．
また，Rerank with BT-P/BT-RとRerank with ATN-P/ATN-Rの差は，NTCIR-10では$\alpha=0.01$ で，NTCIR-9では$\alpha=0.05$ で統計的に有意であった．

次に，カバレッジモデルの効果について議論する．
表\ref{table:trans_result}のNMT BaselineとC\textsc{overage}-neural とでは差が小さく（0.5 BLEUポイント未満），このデータセットではC\textsc{overage}-neural の効果はあまりみられなかった．
C\textsc{overage}-linguistic はC\textsc{overage}-neural より改善が大きかったが，NMT BaselineとC\textsc{overage}-linguistic との差も0.5 BLEUポイント未満であった．
それに対して，アテンション確率を用いてリランキングした場合 (Rerank with ATN-P/ATN-R) では，1 BLEUポイント以上の向上が得られている．
カバレッジモデルはアテンション確率を利用する方法であるため，今回の実験では，アテンション確率の情報を十分に活用できていないことが分かる．
すなわち，カバレッジモデルはアテンション確率の情報を十分に活用できるようにエンド・ツー・エンドで学習できるとは限らないと言える．
学習の困難の度合いはデータに依存すると考えられる．
\footnote{本稿の実験でのカバレッジモデルによるBLEUスコアの改善幅が\citeA{tu-EtAl:2016:P16-1,mi-EtAl:2016:EMNLP2016}の実験での改善幅ほど大きくなかった理由として，次のように考えている．まず，入力文と出力の長さの関係を示す，本稿の図\ref{fig:length}と\citeA{tu-EtAl:2016:P16-1}での図6を比較する．我々のベースラインNMTの結果とは違って，彼らのベースラインNMTの出力長は，特に入力文が50単語以上の時にフレーズベースSMTの出力長よりも大幅に短くなっている．そして，本稿の図\ref{fig:length}でフレーズベースSMTの出力長は参照訳長に近くなっている．これらのことから，カバレッジモデルの改善幅の違いの理由として以下が挙げられる．
\begin{itemize}
\item
彼らのベースラインNMTに比べて本稿のベースラインNMTでは，カバレッジモデルにより改善できる余地が小さいこと．
\item
本稿の実験では訓練中にカバレッジモデルの効果により結果が改善される場合が彼らの実験に比べて少ないため，本稿の実験ではカバレッジモデルのパラメータを適切に推定することが彼らの実験より難しいと考えられること．
\end{itemize}
2番目の項目は，パラメータの数が少ないC\textsc{overage}-linguisticの方がパラメータの数が多いC\textsc{overage}-neuralより改善が大きい理由と考えられる．
}

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia5f4.eps}
\end{center}
\caption{目的言語文の平均長}
\label{fig:length}
\vspace{-0.5\Cvs}
\end{figure}

訳抜けが発生するとその分だけ出力が短くなるため，出力長は訳抜けの程度をある程度表している
\footnote{ただし，訳抜けの他に，訳出の繰り返しが発生する可能性もあるため，出力が参照訳と同程度の長さだとしても訳抜けしていないとは限らない．}．
そこで，NTCIR-10のテストデータで100単語以下の文を用いて出力長を比較した．
入力文長の各クラスでの目的言語文の平均長を図\ref{fig:length}に示す．
\pagebreak
図\ref{fig:length}から，NMTベースラインの出力の平均長が参照訳の平均長より短い傾向にあることが分かり，それだけ訳抜けが発生していると考えられる．
それに対して，表\ref{table:trans_result}のRerank with BT-P/BT-R \& ATN-P/ATN-Rの出力の平均長はNMTベースラインより長く，参照訳により近い長さになっている．
これは，NMTベースラインの出力より訳抜けが少なくなっていることを示唆していると考えられる．

表\ref{table:trans_result}のRerank with LMはベースラインNMTと比べてBLEU値が改善していない．
言語モデルを用いたリランキングでの効果は見られなかった．

NMTベースラインの$n$-best出力をリランキングした場合のBLEU値の上限を調べるため，$n$-best出力から文単位のBLEU値が最大の出力文を選択した場合のBLEU値を計算した\footnote{文単位のBLEU値が最大の出力を$n$-bestから選択することは，コーパス単位で最大のBLEU値（オラクルBLEU値）となる選択と一致するとは限らないが，オラクルBLEU値に近いコーパス単位のBLEU値が得られると考えられる．}．
その結果は，NTCIR-10テストデータで47.29，NTCIR-9テストデータで46.33であった．
これより，$n$-best出力のリランキングでさらなる改善の余地があることが分かる．

表\ref{table:trans_result}で最も結果が良かったBT-PとATN-Pによるリランキング (Rerank with BT-P/BT-R \& ATN-P/ATN-R) で訳抜けが減少しているかどうかを確認するために，テストデータから100文を無作為に選択して，ベースラインNMTの結果とRerank with BT-P/BT-R \& ATN-P/ATN-Rの結果での訳抜けと訳出の繰り返しが発生した原言語の内容語の数を調べた．
また，カバレッジモデルを用いた手法のうち表\ref{table:trans_result}で結果が良かったNMT Baseline with C\textsc{overage}-linguisticの結果についても調べた．
ここで，文を選択する際に入力長と参照訳長が100単語以内のものに限定した．
内容語は\ref{sec:detect_results}節で説明した条件を満たす語とした．
結果を表\ref{table:untranslated_rate}に示す．
この結果から，BT-PとATN-Pによるリランキングによって訳出の繰り返しが増加せずに訳抜けが減少したことを確認した．
また，カバレッジモデルを用いても訳抜けが発生したことを確認した．
発生した訳抜けはベースラインNMTより少なかったが，BT-PとATN-Pを用いたリランキングより多かった．

\begin{table}[b]
\caption{訳抜けした内容語の割合と訳出が繰り返された内容語の割合}
\label{table:untranslated_rate}
\input{05table03.tex}
\end{table}


\subsection{ポストエディットのための文選択での効果}
\label{sec:sentence_selection_results}

\subsubsection*{評価データと設定}

評価データには，\ref{sec:eval_data_detect}節での訳抜けした内容語にタグを付与した入力文100文とベースライン NMTの翻訳結果との文のペアと，
\ref{sec:reranking_results}節での訳抜けした内容語にタグを付与した入力文100文とベースライン NMTの翻訳結果との文のペアを用いた．
これらは6文が重複していたため，重複を除いた全体の文のペア数は194であった．
これらの194ペアそれぞれに訳抜けした内容語の数（訳抜け数と呼ぶ）を付与したデータを作成し，これを評価データとして用いた．

そして，各ペアのスコアを計算し，文のスコアと訳抜け数とのピアソンの積率相関係数を調べた．
相関係数の値域は$[-1,1]$で，相関が無い場合は$0$になる．
相関係数が1に近いほど，訳抜け数の予測精度が高いことを示している．

2種類のスコアを同時に使う場合に利用する重みパラメータ$\gamma, \lambda$には\ref{sec:setup}節で選択した値を用いた．


\subsubsection*{結果と議論}

結果を表\ref{table:pearson}に示す．
各スコアは訳抜け数と相関があることから訳抜けを含む文の選択で効果があることが分かる．
以下，表\ref{table:pearson}の結果について考察する．

\begin{table}[b]
\caption{各文の訳抜けした内容語の数と文のスコアとのピアソンの積率相関係数}
\label{table:pearson}
\input{05table04.tex}
\end{table}

まず，\ref{sec:detect_results}節の結果から予想されることを示し，次に予想と結果を対比する．
\ref{sec:detect_results}節で示した単語レベルでの訳抜けした内容の検出精度がそのまま反映されるならば，次のことが予想される．
予想(1) ATN-PよりATN-R，BT-PよりBT-Rの方が相関係数が高い．
予想(2) ATNよりBTのほうが相関係数が高い．
予想(3) BT-RとATN-Rとの組み合わせは構成要素単独より相関係数が高い．
これらの予想と結果を対比する．

まず予想(1)に関して，BT-PとBT-Rについて比較する．
BT-Pの相関係数よりBT-Rの相関係数が高く，BTについて予想(1)と結果は一致した．
BT-RはBT-Pよりも訳抜け数の多い文の選択で効果が高いことが分かった．

次に予想(1)に関して，ATN-PとATN-Rについて比較する．
ATN-Pの相関係数に対してATN-Rの相関係数は高くないため，ATNについては予想(1)と結果は一致しなかった．
その原因について分析する．
訳抜けするとそれだけ出力が短くなるため，訳出の繰り返しがなければ訳抜け数と入出力長差\footnote{原言語文と目的言語文の平均文長に差がある場合は，その差を解消するように，例えば原言語文長に（目的言語文平均長／原言語文平均長）を掛けて補正した方がより正確であるが，ここでは平均長の差を無視して補正は行っていない．}とは相関する\footnote{入力文長から出力文長を引いた値と訳抜け数との相関係数は0.852であった．この値は相関があることを示している．}．
そこで我々は，入出力長の違いがスコアに反映されている程度がATN-PとATN-Rとで異なることが原因である可能性があると考え，入力文長から出力文長を引いた値（文長差スコアと呼ぶ）と文のスコアとの相関係数を調べた．
その結果，ATN-Pの文のスコアと文長差スコアとの相関係数は0.943，ATN-Rの文のスコアと文長差スコアとの相関係数は0.903で，ATN-Pに基づく文のスコアの方が，ATN-Rに基づく文のスコアより入出力長の違いを反映していることが分かった．
すなわち，ATN-Pから比に基づくスコアATN-Rに換算することで，ATN-Pに基づく文のスコアが保持している入出力長差の情報が劣化したと考えられる．
このことが，ATN-Rの個々の単語に対する訳抜け検出精度の向上効果を打ち消したたため，ATN-Rの相関係数はATN-Pの相関係数より大きくならなかったと考えられる\footnote{なお，ここで用いたNMTベースラインは訳出の繰り返しが少ない（表\ref{table:untranslated_rate}）が，訳出の繰り返しが多く含まれるMT出力では，文長差スコアと訳抜け数との相関が下がるため，文長差スコアと相関が高いATN-Pに基づく文のスコアでは訳抜け数の予測精度が低下すると考えられる．}．

予想(2)に関して，ATNとBTを比較する．
ATN-PとATN-Rの相関係数がBT-PやBT-Rの相関係数より高く，予想(2)と結果は一致しなかった．
その原因を分析する．
BT-PおよびBT-Rの文のスコアと文長差スコアとの相関を調べた．
その結果，BT-Pの文のスコアと文長差スコアとの相関係数は0.695，BT-Rの文のスコアと文長差スコアとの相関係数は0.774であった．
これらはATN-Pの文のスコアと文長差スコアとの相関係数 (0.943) およびATN-Rの文のスコアと文長差スコアとの相関係数 (0.903) より低い．
そのため，ATN-PおよびATN-Rの文のスコアは，BT-PおよびBT-Rの文のスコアに比べて入出力長の違いを反映していることが分かった．
このことが，BTよりATNの方が相関係数が高かった原因と考えられる．

予想(3)に関して，スコアの組み合わせの効果を調べる．
BT-Rの文のスコアとATN-Rの文のスコアの組み合わせの相関係数は，組み合わせの構成要素である文のスコア単独での相関係数より高かった．
予想(3)とこの結果は一致した．
また，BT-Rの文のスコアとATN-Pの文のスコアの組み合わせの相関係数も，組み合わせの構成要素である文のスコア単独での相関係数より高かった．
個々の単語の訳抜けの検出精度が高いBT-Rと入出力長差を文のスコアに反映しやすいATN-PもしくはATN-Rとの組み合わせ (BT-R \& ATN-PおよびBT-R \& ATN-R) は，それぞれの特徴を活用したことで相関係数が高くなったと考えられる．

ポストエディットのための文選択では，相関係数が最も高かったBT-RとATN-Pの組み合わせの文のスコアを利用することが良いと思われる．
この文のスコアと文の訳抜け数は相関があった（相関係数が0.925）ため，この文のスコアはポストエディットのために訳抜けの多い文を選ぶのに役に立つことが分かった．


\section{関連研究}
\label{sec:related_work}

訳抜けを減らす既存研究として\ref{sec:introduction}節でカバレッジモデルを紹介した．
これらの研究の他に，我々の研究と互いに独立した研究がある\cite{Tu-etAl:AAAI2017,DBLP:journals/corr/WuSCLNMKCGMKSJL16,DBLP:journals/corr/LiJ16}．
\citeA{Tu-etAl:AAAI2017}はデコーダーのステートから入力文を生成する確率をリランキングに用いている．
この確率は入力文を生成する確率という点で逆翻訳の確率に類似しているが，逆翻訳では出力文の情報のみを用いて入力文の生成確率を計算するのに対して，この確率は出力文の情報に加えて入力文の情報も含んでいるデコーダーのステートから入力文の生成確率を計算しているという違いがある．
\citeA{DBLP:journals/corr/WuSCLNMKCGMKSJL16} はarXivのプレプリントで，アテンション確率の累積をリランキングに用いて効果を確認している．
\citeA{DBLP:journals/corr/LiJ16}もarXivのプレプリントで，逆翻訳の確率をリランキングに用いて効果を確認している．
これらの研究は，アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価していない．
それに対して我々の研究は，アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価し，これらの組み合わせの効果についても調査し，これらの関係についても考察している．
また，ポストエディットのための文選択への効果も評価している．


\section{おわりに}
\label{sec:conclusion}

NMTでの訳抜けの検出について，アテンションの累積確率と逆翻訳の確率を用いた場合の効果を評価し，有効性を確認した．
そして，これらの値を直接用いるよりも，$n$-best出力で負の対数が最小の場合との比を用いる方が検出精度が高く，アテンションの累積確率比と逆翻訳の確率比を同時に用いるとさらに検出精度が向上した．
また，これらを NMT の $n$-best 出力のリランキングに用いた場合の有効性も確認した．
さらに，訳抜けの検出をポストエディットのための文選択に応用した場合の効果も評価し，効果があることが分かった．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2015}]{Bahdanau-EtAl:2015:ICLR}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock In {\Bem Proceedings of International Conference on Learning
  Representations}.

\bibitem[\protect\BCAY{Chiang}{Chiang}{2007}]{chiang:2007:CL}
Chiang, D. \BBOP 2007\BBCP.
\newblock \BBOQ Hierarchical Phrase-Based Translation.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 33}  (2), \mbox{\BPGS\
  201--228}.

\bibitem[\protect\BCAY{Cromieres}{Cromieres}{2016}]{cromieres:2016:COLINGDEMO}
Cromieres, F. \BBOP 2016\BBCP.
\newblock \BBOQ Kyoto-NMT: A Neural Machine Translation implementation in
  Chainer.\BBCQ\
\newblock In {\Bem Proceedings of the 26th International Conference on
  Computational Linguistics: System Demonstrations}, \mbox{\BPGS\ 307--311},
  Osaka, Japan.

\bibitem[\protect\BCAY{Goodfellow, Warde-Farley, Mirza, Courville, \BBA\
  Bengio}{Goodfellow et~al.}{2013}]{Goodfellow:2013:MN:3042817.3043084}
Goodfellow, I.~J., Warde-Farley, D., Mirza, M., Courville, A., \BBA\ Bengio, Y.
  \BBOP 2013\BBCP.
\newblock \BBOQ Maxout Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 30th International Conference on
  International Conference on Machine Learning - Volume 28}, \mbox{\BPGS\
  III{\NotNdash}1319--III{\NotNdash}1327}. JMLR.org.

\bibitem[\protect\BCAY{Goto, Chow, Lu, Sumita, \BBA\ Tsou}{Goto
  et~al.}{2013}]{goto-EtAl:2013:NTCIR10}
Goto, I., Chow, K.~P., Lu, B., Sumita, E., \BBA\ Tsou, B.~K. \BBOP 2013\BBCP.
\newblock \BBOQ Overview of the Patent Machine Translation Task at the NTCIR-10
  Workshop.\BBCQ\
\newblock In {\Bem Proceedings of the 10th NTCIR Conference}, \mbox{\BPGS\
  260--286}.

\bibitem[\protect\BCAY{Goto, Lu, Chow, Sumita, \BBA\ Tsou}{Goto
  et~al.}{2011}]{goto-EtAl:2011:NTCIR9}
Goto, I., Lu, B., Chow, K.~P., Sumita, E., \BBA\ Tsou, B.~K. \BBOP 2011\BBCP.
\newblock \BBOQ Overview of the Patent Machine Translation Task at the NTCIR-9
  Workshop.\BBCQ\
\newblock In {\Bem Proceedings of the 9th NTCIR Workshop Meeting}, \mbox{\BPGS\
  559--578}.

\bibitem[\protect\BCAY{Goto \BBA\ Tanaka}{Goto \BBA\
  Tanaka}{2017}]{goto-tanaka:2017:NMT}
Goto, I.\BBACOMMA\ \BBA\ Tanaka, H. \BBOP 2017\BBCP.
\newblock \BBOQ Detecting Untranslated Content for Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Workshop on Neural Machine
  Translation}, \mbox{\BPGS\ 47--55}, Vancouver. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{後藤\JBA 田中}{後藤\JBA
  田中}{2017}]{goto-tanaka:2017:NLP}
後藤功雄\JBA 田中英輝 \BBOP 2017\BBCP.
\newblock ニューラル機械翻訳での訳抜けした内容の検出.\
\newblock \Jem{言語処理学会第23回年次大会発表論文集}, \mbox{\BPGS\ 1018--1021}.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{hochreiter:1997:NC}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-Term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\
  Ba}{2015}]{DBLP:journals/corr/KingmaB14}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd International Conference for Learning
  Representations}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn:2004:EMNLP}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 388--395}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{koehn-EtAl:2007:PosterDemo}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association of
  Computational Linguistics: Demo and Poster Sessions}, \mbox{\BPGS\ 177--180}.

\bibitem[\protect\BCAY{Koehn, Och, \BBA\ Marcu}{Koehn
  et~al.}{2003}]{koehn-EtAl:2003:NAACLHLT}
Koehn, P., Och, F.~J., \BBA\ Marcu, D. \BBOP 2003\BBCP.
\newblock \BBOQ Statistical Phrase-Based Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Human Language Technology Conference of
  the North American Chapter of the Association for Computational Linguistics},
  \mbox{\BPGS\ 48--54}.

\bibitem[\protect\BCAY{Li \BBA\ Jurafsky}{Li \BBA\
  Jurafsky}{2016}]{DBLP:journals/corr/LiJ16}
Li, J.\BBACOMMA\ \BBA\ Jurafsky, D. \BBOP 2016\BBCP.
\newblock \BBOQ Mutual Information and Diverse Decoding Improve Neural Machine
  Translation.\BBCQ\ \textit{arXiv preprint}, arXiv:1601.00372.

\bibitem[\protect\BCAY{Mi, Sankaran, Wang, \BBA\ Ittycheriah}{Mi
  et~al.}{2016}]{mi-EtAl:2016:EMNLP2016}
Mi, H., Sankaran, B., Wang, Z., \BBA\ Ittycheriah, A. \BBOP 2016\BBCP.
\newblock \BBOQ Coverage Embedding Models for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 955--960}, Austin, Texas.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-EtAl:2002:ACL}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ Bleu: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{NIPS2014_5346}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of Advances in Neural Information Processing
  Systems 27}, \mbox{\BPGS\ 3104--3112}.

\bibitem[\protect\BCAY{Tokui, Oono, Hido, \BBA\ Clayton}{Tokui
  et~al.}{2015}]{chainer_learningsys2015}
Tokui, S., Oono, K., Hido, S., \BBA\ Clayton, J. \BBOP 2015\BBCP.
\newblock \BBOQ Chainer: a Next-Generation Open Source Framework for Deep
  Learning.\BBCQ\
\newblock In {\Bem Proceedings of Workshop on Machine Learning Systems in the
  29th Annual Conference on Neural Information Processing Systems}.

\bibitem[\protect\BCAY{Tu, Liu, Shang, Liu, \BBA\ Li}{Tu
  et~al.}{2017}]{Tu-etAl:AAAI2017}
Tu, Z., Liu, Y., Shang, L., Liu, X., \BBA\ Li, H. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Machine Translation with Reconstruction.\BBCQ\
\newblock In {\Bem Proceedings of the 31st AAAI Conference on Artificial
  Intelligence}, \mbox{\BPGS\ 3097--3103}.

\bibitem[\protect\BCAY{Tu, Lu, Liu, Liu, \BBA\ Li}{Tu
  et~al.}{2016}]{tu-EtAl:2016:P16-1}
Tu, Z., Lu, Z., Liu, Y., Liu, X., \BBA\ Li, H. \BBOP 2016\BBCP.
\newblock \BBOQ Modeling Coverage for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 76--85}, Berlin, Germany.

\bibitem[\protect\BCAY{Wu, Schuster, Chen, Le, Norouzi, Macherey, Krikun, Cao,
  Gao, Macherey, Klingner, Shah, Johnson, Liu, Kaiser, Gouws, Kato, Kudo,
  Kazawa, Stevens, Kurian, Patil, Wang, Young, Smith, Riesa, Rudnick, Vinyals,
  Corrado, Hughes, \BBA\ Dean}{Wu
  et~al.}{2016}]{DBLP:journals/corr/WuSCLNMKCGMKSJL16}
Wu, Y., Schuster, M., Chen, Z., Le, Q.~V., Norouzi, M., Macherey, W., Krikun,
  M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu,
  X., Kaiser, L., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K.,
  Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick,
  A., Vinyals, O., Corrado, G., Hughes, M., \BBA\ Dean, J. \BBOP 2016\BBCP.
\newblock \BBOQ Google's Neural Machine Translation System: Bridging the Gap
  between Human and Machine Translation.\BBCQ\ \textit{arXiv preprint},
  arXiv:1609.08144.

\end{thebibliography}


\begin{biography}
\bioauthor{後藤　功雄}{
1995年早稲田大学理工学部電気工学科卒業．
1997年同大学院理工学研究科修士課程修了．
2014年京都大学大学院情報学研究科博士課程修了．博士（情報学）．
1997年NHK入局，（株）国際電気通信基礎技術研究所 (ATR) および（独）情報通信研究機構出向を経て，現在，放送技術研究所スマートプロダクション研究部にて自然言語処理の研究に従事．
}


\bioauthor{田中　英輝}{
1982年九州大学工学部電子工学科卒業．1984年同大学院修士課程修了．同年NHK
 入局，1987年放送技術研究所研究員．（株）国際電気通信基礎技術研究所 (ATR) 
 音声言語コミュニケーション研究所第4研究室室
 長，NHK放送技術研究所上級研究員などを経て2018年7月より（一財）NHKエンジニアリングシステムシステム技術部上級研究員．
 テキストの平易化，機械翻訳などの自然言語処理の研究に従事．博士（工学）．
}

\end{biography}



\biodate




\end{document}
