\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\special{pdf:pagesize width 210mm height 297mm} % edited by mino
%%%%\usepackage{multirow}
%%%%\usepackage{amssymb}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{731}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Effective Use of Target-side Context \\
	for Neural Machine Translation}
\jauthor{美野　秀弥\affiref{affi-mino}}
\etitle{Effective Use of Target-side Context for Neural Machine Translation}
\eauthor{Hideya Mino\affiref{affi-mino}} 

\headauthor{美野}
\headtitle{Effective Use of Target-side Context for Neural Machine Translation}

\affilabel{affi-mino}{NHK放送技術研究所}{NHK Science \& Technology Research Laboratories}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，COLING2020に採択された論文である``Effective Use of Target-side Context for Neural Machine Translation'' \cite{Minob:20}を解説する．
採択論文の概要に加え，提案手法を思いつくまでの流れなどを交えて解説する．
採択論文は文脈を考慮した機械翻訳に関するものである．
従来の機械翻訳システムの多くは文単位で独立に翻訳を行うことが多いが，単文が持つ情報だけでは適切な翻訳を行えない場合がある．
例えば，単文翻訳では訳語を統一して翻訳することが難しくなる問題がある（訳語の統一の問題）．
ある文で``東京ディズニーランド''と書かれているにも関わらず他の文で``TDR''と書かれている文書は良い文書ではないであろう（同じ表現を繰り返して使わない方が良い場合もあるので，一概には言えない問題である）．「ですます調」と「である調」が混在するような文末表現が統一していない文書も良い文書とは言えない．
単文の持つ情報だけではこれらの表現を統一することは難しい．
また，単文翻訳では曖昧性のある表現の翻訳が難しくなる問題がある（語義曖昧性解消の問題）．
有名な例であるが，``I go to the bank.''という英文を日本語に翻訳する場合，``bank''が``銀行''なのか``土手''なのかこの文だけで判別して翻訳することは難しい．
他にも，日本語などに代表されるゼロ代名詞が含まれる言語の翻訳ではゼロ照応解析が必要となるが，単文の情報だけでは文を跨いだゼロ照応解析は行えない（ゼロ照応解析の問題）．
これらの問題は，文脈情報を使うことで解決できる可能性があり，多くの先行研究が存在する．
文脈を考慮した機械翻訳に関する先行研究を知りたい方は\citeA{Maruf:21}の論文を参照されたい．
採択論文では，これらの既存手法の中から目的言語側の文脈情報を用いた機械翻訳 \cite{Bawden:18}に着目した．
\citeA{Bawden:18}は文脈情報として目的言語側の前文を用いた手法では翻訳精度の向上が見られなかったと報告している．
しかしながら，例えば訳語を統一させるには前文でどのように翻訳されているかが重要な情報となり，目的言語側の情報が有益な場合もあると考えられる．
そこで，採択論文では，従来研究の問題点を洗い出し，目的言語側の文脈情報を用いて翻訳精度を向上させる手法を提案した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{従来手法の問題点}

目的言語側の文脈情報を用いた機械翻訳の従来手法は，以下のように学習，翻訳を行う．
\begin{description}
\item[学習] 目的言語側の文脈情報の{\bf 参照訳}と原言語側の翻訳対象の文を入力し，翻訳対象の文の参照訳を出力するように翻訳モデルを学習する．
\item[翻訳] 目的言語側の文脈情報の{\bf 機械翻訳結果}と原言語側の翻訳対象の文を学習済みの機械翻訳器に入力し，機械翻訳結果を得る．
\end{description}
目的言語側の文脈情報として，学習時は参照訳を使うのに対して翻訳時には機械翻訳結果を使う．
目的言語側の文脈情報が適切に翻訳されている参照訳に対して，機械翻訳結果は訳抜け，過剰訳，誤訳などの機械翻訳特有の誤りが含まれる．
仮に誤りがない場合でも，機械翻訳結果はTranslationese（翻訳調）と呼ばれる偏りのある文であることが知られている．
\citeA{Toral:19}は，機械翻訳は人手翻訳よりもシンプルかつ標準化された結果になる傾向にあると示しており，参照訳と機械翻訳結果は多様性の側面からも異なる特徴を有していると考えられる．

著者らは，従来研究では学習時と翻訳時で異なる特徴を有するデータを文脈情報として用いたことで適切に翻訳モデルが学習されずに翻訳精度が低下すると仮定し，学習時と翻訳時の文脈情報の違い（ギャップ）の問題を低減させる手法を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

学習時と翻訳時の文脈情報のギャップをなくす最も簡単な手法は同じ情報を使うことであり，学習時と翻訳時ともに参照訳を使うか，機械翻訳結果を使うかの選択肢がある．
翻訳誤り（ノイズ）のない参照訳を用いれば翻訳モデルはノイズを考慮した学習をする必要がないために学習が効率的に進むことが期待できるが，
翻訳時は参照訳を使うことが困難であるため，機械翻訳結果を使う選択肢のみが残る．
しかし，ノイズが多く含まれる機械翻訳結果を用いることで文脈情報から適切な情報を抽出することができなくなる可能性がある．
機械翻訳器の精度が低いほど，この問題は顕著になると考えられる．
すなわち，
翻訳時と同じ特徴を有する目的言語側の文脈情報を使うという観点では機械翻訳結果を用いることが好ましいが，効率的な学習という観点では参照訳を用いることが好ましい．
そこで，特徴の異なる参照訳と機械翻訳結果の両方を用いて効率的に学習する，カリキュラム学習 \cite{Bengio:09}とスケジュールサンプリング \cite{Bengio:15}のアプローチを参考にしたサンプリング制御の手法を提案した．
この手法は，学習エポックごとに学習データ内に含まれる参照訳の割合（サンプリングレート$p$）と機械翻訳の割合（サンプリングレート$1-p$）を変更することで，翻訳モデルを段階的にノイズに対応させるものである．
\begin{enumerate}
\item 1エポック目の学習はサンプリングレート$p_{1}=1$とし，目的言語側の文脈情報には全て参照訳を用い，機械翻訳結果は用いない．
\item 2エポック目以降の学習はサンプリングレート$p_{e}$を下記の逆シグモイド関数により減少させる．
\begin{equation}
p_{e}=\frac{k}{k+\exp({e-2}/k)}, \label{decay}
\end{equation}
\end{enumerate}
$e=2,3,...$はエポック数であり，$k(\geq1)$は$p$の減少スピードを制御するハイパーパラメータである．
1エポック終了時の翻訳モデルの性能が高いのであれば$k$の値を$1$に近づけ，2エポック目以降の学習データ内の機械翻訳の割合を増やす．
上記の手順により，ノイズに頑健な翻訳モデルの学習を実現する．
実装する機械翻訳器のアーキテクチャには，Concatenation-based Context-aware NMT \cite{Tiedemann:17}とMulti-encoder Context-aware NMT \cite{Bawden:18,Kim:19}を用いた．
どちらもエンコーダとデコーダにより構成されるが，文脈情報の入力方法が異なる．
Concatenation-based Context-aware NMTは，文脈情報と翻訳対象の文とを特殊記号で結合させた1つのデータを1種類のエンコーダに入力するアーキテクチャであり，
Multi-encoder Context-aware NMTは，文脈情報と翻訳対象の文を別々のエンコーダに入力するアーキテクチャである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

提案手法の効果を，時事通信社ニュースの英日・日英機械翻訳実験と，TEDトークの英日・日英，および英独・独英機械翻訳実験で確認した．
ベースライン手法として，
文脈情報を用いない手法 (Single-Sentence)，学習時の文脈情報として目的言語側の参照訳のみを用いた手法 (Trg-Context GT)
を用意した．
また，学習時と翻訳時のギャップをなくした，
学習時の文脈情報として目的言語側の機械翻訳結果のみを用いた手法 (Trg-Context Pred.)
も実験に加えた．

実験結果を表~\ref{results}に示す．
Concatenation-based Context-aware NMTとMulti-encoder Context-aware NMTとの比較では，タスクによって優劣が異なる結果となった．
Trg-Context GT，及びTrg-Context Pred.と提案手法との比較では，全タスクにおいて提案手法がBLEUスコアで上回っており，参照訳と機械翻訳結果の両方のデータを制御して用いた効果があったといえる．
文脈情報を用いていないSingle-Sentenceの結果と提案手法との比較では，Multi-encoder Context-aware NMTでは全タスクにおいてBLEUスコアで上回っており文脈を用いる効果を確認できた．
採択論文には記載していない余談になるが，当初は学習時に機械翻訳結果を使うことで効果が出るものと考えており，これを提案手法とする予定でいた．
しかし，表~\ref{results}のTrg-Context Pred.の結果から分かるように効果のあるタスクとないタスクが混在するという結果となってしまった．
そこで，Trg-Context Pred.よりもTrg-Context GTの方が翻訳精度向上が大きいタスク（時事通信社ニュースのJA-EN，
TEDトークタスクのDE-EN）があることに着目し，両方を使う手法が適切と考え，提案手法ができあがった．
さらに，提案手法を用いたことによる具体的な改善を見るために人手評価を行い，訳語の統一やゼロ照応解析で改善が見られる事例を確認した．
より詳細な改善事例については，採択論文を参照されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\begin{center}
\begin{tabular}{l|>{\hspace{0zw}}l||c|c||c|c||c|c}
\hline
\multicolumn{1}{c|}{\raisebox{-0.5\normalbaselineskip}[0pt][0pt]{手法}} & \multicolumn{1}{c||}{\raisebox{-0.5\normalbaselineskip}[0pt][0pt]{アーキテクチャ}} & \multicolumn{2}{c||}{時事通信社ニュース} & \multicolumn{4}{c}{TEDトーク}\\
 &  & \hbox to4zw{\hfil EN-JA\hfil} & {JA-EN} & {EN-JA} & {JA-EN} & {EN-DE} & {DE-EN} \\
\hline
{Single-Sentence} & {vanilla} & {41.99} & {24.23} & {15.69} & {8.48} & {24.04} & {28.46} \\ \hline
{Trg-Context GT} & {concat.} & {41.45} & {24.40} & {14.72} & {7.55} & {25.09} & {29.11} \\
{Trg-Context Pred.} & {concat.} & {42.07} & {23.83} & {15.32} & {7.37} & {23.99} & {29.05} \\
{提案手法} & {concat.} & {42.89} & {24.62} & {15.33} & {8.36} & {25.09} & {29.74} \\ \hline
{Trg-Context GT} & {multi-enc.} & {42.40} & {24.80} & {16.15} & {8.98} & {25.96} & {30.25} \\
{Trg-Context Pred.} & {multi-enc.} & {42.45} & {24.31} & {16.27} & {9.15} & {25.98} & {30.23} \\
{提案手法} & {multi-enc.} & {42.79} & {24.86} & {16.37} & {9.66} & {26.01} & {30.60} \\
\hline
\end{tabular}
\end{center}
\hangcaption{英語$\leftrightarrow$日本語 （時事通信社ニュース．TEDトーク），及び英語$\leftrightarrow$ドイツ語（TEDトーク）機械翻訳実験のBLEUスコア.vanillaはTransformerを用いたNMT，concat.はConcatenation-based Context-aware NMT，multi-enc.はMulti-encoder Context-aware NMTを表す．}
\label{results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

近年，機械翻訳の精度向上のために翻訳対象文以外の情報を使う研究が盛んに行われ，多くの成果が見られている．
本稿で解説した文脈情報だけでなく，マルチモーダル翻訳でよく用いられる画像情報（マルチモーダル翻訳とは視覚や聴覚，触覚など複数のモダリティを用いた機械翻訳を指す）や，BERTを始めとする事前学習された言語モデルなども含まれるであろう．
扱う情報の種類が増えるほど翻訳精度向上の可能性は高まるが，その分だけそれぞれの情報の特徴を熟知しなくてはならない．
研究者としてはうれしい悲鳴であろう．
また，採択論文は数多くある文脈を考慮した機械翻訳手法の中の1手法に着目しただけである．
冒頭で述べたとおり，文脈情報を使う利点は多くある．
今後も機械翻訳のための文脈情報の利用に関する研究を進め，さらなる成果を出していきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{31refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{美野　秀弥}{%
2002年東京工業大学情報理工学部計算工学科卒業．2004年同大学院情報理工学研究科修士課程修了．
同年NHK入局．北見放送局，国立研究開発法人情報通信研究機構を経て，現在，放送技術研究所スマートプロダクション研究部研究員．自然言語処理の研究に従事．
}

\end{biography}


%%%%\biodate

\end{document}



