\documentclass[japanese,tombow,other]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{latexsym}
%%%%\usepackage{booktabs}
\usepackage{multirow}
\usepackage{url}
%%%%%% \renewcommand{\UrlFont}{\ttfamily\small}
%%%%%% \usepackage{microtype}
\input{color-code}
%%%%\newcommand{\Sec}[1]{{\ref{sec:#1}~節}}
\newcommand{\Tab}[1]{{表~\ref{tab:#1}}}
%%%%\newcommand{\citep}[1]{{\shortcite{#1}}}
    \newcommand{\citep}[1]{{\cite{#1}}}
%%%%\newcommand{\citet}[1]{{\shortciteA{#1}}}
    \newcommand{\citet}[1]{{\citeA{#1}}}
\newcommand{\task}[2]{{#1$\rightarrow$#2}}
\newcommand{\bt}{{BT}}
\newcommand{\tbt}{{T-BT}}
\newcommand{\SL}{{起点言語}}
\newcommand{\TL}{{目標言語}}
\newcommand{\PC}{{対訳データ}}
\newcommand{\APC}{{正規の{\PC}}}
\newcommand{\PPC}{{疑似{\PC}}}
\newcommand{\MONO}{{単言語データ}}
\newcommand{\ORG}{{原テキスト}}
\newcommand{\TRA}{{翻訳テキスト}}
\newcommand{\NMTS}{{NMTシステム}}
\newcommand{\BT}{{逆翻訳}}
\newcommand{\BTM}{{{\BT}法}}
\newcommand{\BLEU}{{BLEUスコア}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\renewcommand\UrlFont{\rmfamily}


\Volume{27}
\Number{3}
\Month{September}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{689}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{ニューラル機械翻訳における逆翻訳へのタグ付与の効果}
\jauthor{Benjamin Marie\affiref{NICT} \and Raphael Rubino\affiref{NICT} \and 藤田　　篤\affiref{NICT}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Tagged Back-translation Revisited: Why Does It Really Work?}
\eauthor{Benjamin Marie\affiref{NICT} \and Raphael Rubino\affiref{NICT} \and Atsushi Fujita\affiref{NICT}}

\headauthor{Marie, Rubino, 藤田}
\headtitle{ニューラル機械翻訳における逆翻訳へのタグ付与の効果}

%%%% 英語所属は出力せず
\affilabel{NICT}{国立研究開発法人情報通信研究機構 (NICT)}{National Institute of Information and Communications Technology (NICT), Japan}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
本稿では，2020年7月に開催されたThe 58th Annual Meeting of the Association for Computational Linguistics (ACL)において我々が発表したショート論文``Tagged Back-translation Revisited: Why Does It Really Work?'' \citep{marie:20:c}について，日本語で紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本論文で取り組んだ問題}

ニューラル機械翻訳(NMT)システムの性能を向上させるアプローチとして，{\PC}に加えて{\MONO}を利用する手法がいくつか存在する．
その中で，訓練済みの{\NMTS}を用いて{\TL}の{\MONO}を{\SL}に翻訳することで{\PPC}を生成し，新たな{\NMTS}の訓練に用いる『{\BTM}』\citep{sennrich-etal-2016-improving}は，{\NMTS}の特にデコーダを強化し，訳文の流暢性を向上させられることが知られている．
特に，（正規の）{\PC}が小規模にしか存在しない状況下で有用である．

このようにして生成された{\PPC}には，流暢でない{\SL}文や正しい翻訳ではない文対が含まれる．
したがって，{\BTM}で{\NMTS}を訓練すると，{\PPC}の特徴が学習され，それらが翻訳時（デコード時）にも反映されると予想される．
{\NMTS}の訓練時に{\PPC}と{\APC}を区別するために，
\citet{caswell-etal-2019-tagged}は，{\PPC}の{\SL}側の各文の先頭にタグを付与する手法を提案した．
この手法は，元々は多言語{\NMTS}の訓練時に異なる言語対の{\PC}を区別するために考案された\citep{johnson-TACL}ものであるが，
単一言語対の分野適応にも有用であり\citep{chu:17}，{\BTM}においても翻訳性能を向上できることが経験的に示された．
しかしながら，実際に異なる{\PC}を区別できているか，どのような違いが学習されているかは解明されていない．

人間が直接作成したテキスト（以下，{\ORG}）と比べると，人間によって翻訳されたテキスト（以下，{\TRA}）は，より平易で，文長が短く，語彙が小さいなどの特徴を持つ\citep{laviosa1998universals}．これらの特徴は，{\BTM}で用いられる{\PPC}の{\SL}文の特徴\citep{burlot-yvon-2018-using}とも重なる．
そこで，{\BT}へのタグ付与\citep{caswell-etal-2019-tagged}によって{\APC}と{\PPC}の違いを学習できるか否かを，
{\ORG}と{\TRA}に対する{\NMTS}の性能比較を通じて検証した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}

WMT19の英語・独語翻訳(en-de)\footnote{\url{http://www.statmt.org/wmt19/translation-task.html}, ParaCrawlを除く520万文対．}，
WMT15の英語・仏語翻訳(en-fr)\footnote{\url{http://www.statmt.org/wmt15/translation-task.html}, 3,280万文対．}の{\PC}を用いて
{\NMTS}を訓練，評価した．
{\BT}の生成元となる{\MONO}としては，英語，独語，仏語の各々についてWMTが提供するすべてのNews Crawlから無作為に抽出した2,500万文を用いた．
モデル選択のための開発用データには，英語・独語翻訳についてはnewstest2016を，英語・仏語翻訳についてはnewstest2013を用いた．
これらには{\ORG}と{\TRA}の両方が比較的均等に含まれているためである．
評価用データには，英語・独語翻訳についてはWMT10からWMT19まで，英語・仏語翻訳についてはWMT08からWMT15までのすべてのnewstestのうち，
上記の開発用データ以外を用いた．
Moses\footnote{\url{https://github.com/moses-smt/mosesdecoder}}のツールを用いてすべてのデータをトーカナイズし，文字の大小を統制(truecasing)した．

{\NMTS}としては，Transformer Baseモデル\citep{NIPS2017_7181}を
Marian\footnote{\url{https://marian-nmt.github.io/}, 1.7.6 (1d4ba73)}を用いて訓練した．
各言語の語彙は，{\PC}の各言語部分のみに基づいて，バイト対符号化\citep{sennrich-etal-2016-neural}で32,000語を定めた．
その他の設定の詳細は\citet{marie:20:c}を参照されたい．

まず{\APC}のみを用いて{\NMTS}を訓練し，次にそのシステムを用いて{\TL}の{\MONO}を翻訳することで{\PPC}を作成した．
その際，ビーム幅は12，長さに対する正規化重みは1.0とした．
そして，{\APC}と{\PPC}を混合して用い，新たな{\NMTS}を訓練した．
データの混合前に{\PPC}の各{\SL}文にタグを付与して得たシステムを``{\tbt}''，タグを用いずに得たシステムを``{\bt}''と記す．

すべてのシステムを，{\BLEU}\citep{papineni-etal-2002-bleu}で評価した．
その際，SacreBLEU\footnote{\url{https://github.com/mjpost/sacreBLEU}, パラメタのsignatureは，BLEU+case.mixed+lang.L1-L2+numrefs.1+ \{origlang.L1,origlang.non-L2\}+smooth.exp+test.XXX+tok.13a+version.1.4.2．ただし，``L1''と``L2''は各々{\SL}と{\TL}の言語コード（en, de, frのいずれか），``XXX''は評価用データセットの名前である．}の``\texttt{--origlang}''オプションで``L1''および``non-L1'' （L1は{\SL}のコード）を指定することにより，{\ORG}と{\TRA}に対する翻訳結果を区別して評価した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}
\label{sec:restr}

\Tab{sys-year}に，{\bt}と{\tbt}の各々による{\BLEU}，および{\APC}のみを用いて訓練した{\NMTS}による{\BLEU}との差分を示す．
{\bt}は，{\TRA}については多くの場合に{\BLEU}を向上させたものの，
{\ORG}に対する{\BLEU}を一貫して低下させた．
一方{\tbt}は，{\ORG}に対する{\bt}の負の効果を打ち消し，多くの場合に{\BLEU}を向上させた．
{\bt}と{\tbt}の結果の比較を通じて，訓練時に{\APC}と{\PPC}をタグで区別することの有用性，
およびタグを用いずに訓練した{\NMTS}は{\PPC}に対して過度に適合することが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[p]
\caption{{\BT}(\bt)およびタグ付き{\BT}(\tbt)を用いて訓練した{\NMTS}による{\BLEU}}
\label{tab:sys-year}
\resizebox{\textwidth}{!}{%
\begin{tabular}{>{\hspace{1zw}}lc|ll>{\hspace{0.5zw}}l|ll>{\hspace{0.5zw}}l}
\hline
\multicolumn{1}{c}{\multirow{2}{*}{システム}} &\multirow{2}{*}{newstest}
&\multicolumn{3}{c|}{\task{de}{en}} &\multicolumn{3}{c}{\task{en}{de}}\\
&&\multicolumn{1}{c}{全体} &\multicolumn{1}{c}{{\ORG}} &\multicolumn{1}{c|}{{\TRA}}
&\multicolumn{1}{c}{全体} &\multicolumn{1}{c}{{\ORG}} &\multicolumn{1}{c}{{\TRA}}\\
\hline
\multirow{9}{*}{\bt}
&2010 & \bgBa{28.9 (+0.5)} & \bgRa{33.2 ($-0.9$)} &\bgBa{27.9 (+0.7)} &\bgRc{21.8 ($-2.3$)} &\bgRf{24.6 ($-5.7$)} &\bgRb{21.0 ($-1.2$)} \\
&2011 &\bgRa{25.3 ($-0.3$)} &\bgRb{29.9 ($-1.0$)} &\bgRa{24.2 ($-0.2$)} &\bgRb{19.9 ($-1.4$)} &\bgRb{23.8 ($-1.9$)} &\bgRb{19.0 ($-1.1$)} \\
&2012 &\bgBa{27.1 (+0.3)} &\bgRb{27.9 ($-1.6$)} &\bgBa{27.0 (+0.7)} &\bgRb{20.4 ($-1.2$)} &\bgRe{24.5 ($-4.6$)} &\bgRa{19.3 ($-0.2$)} \\
&2013 &\bgBa{30.3 (+0.3)} &\bgRb{34.7 ($-1.6$)} &\bgBa{29.2 (+0.6)} &\bgRb{23.8 ($-1.9$)} &\bgRc{25.1 ($-2.8$)} &\bgRb{23.6 ($-1.7$)} \\
&2014 &\bgBc{32.8 (+2.2)} &\bgRc{27.4 ($-2.5$)} &\bgBh{36.8 (+7.0)} &\bgRa{25.4 ($-0.5$)} &\bgRd{23.2 ($-3.3$)} &\bgBc{27.9 (+2.7)} \\
&2015 &\bgBc{33.8 (+2.4)} &\bgRb{22.5 ($-1.9$)} &\bgBf{39.5 (+5.5)} &\bgRb{27.2 ($-1.1$)} &\bgRc{28.1 ($-2.9$)} &\bgBb{24.7 (+1.9)} \\
&2017 &\bgBd{35.5 (+3.0)} &\bgRb{27.2 ($-1.1$)} &\bgBh{42.8 (+7.4)} &\bgRa{26.4 ($-0.1$)} &\bgRd{26.3 ($-3.6$)} &\bgBd{25.5 (+3.3)} \\
&2018 &\bgBe{43.9 (+4.6)} &\bgRb{32.0 ($-1.0$)} &\bgBk{53.8 (+10.4)} &\bgRb{38.0 ($-1.4$)} &\bgRf{38.9 ($-5.9$)} &\bgBd{35.0 (+3.8)} \\
&2019 &\multicolumn{1}{c}{\bgZ{---}} &\bgRb{33.1 ($-1.5$)} &\multicolumn{1}{c}{\bgZ{---}} &\multicolumn{1}{c}{\bgZ{---}} &\bgRe{31.4 ($-4.8$)} &\multicolumn{1}{c}{\bgZ{---}} \\
\hline
\multirow{9}{*}{\tbt}
&2010 &\bgBb{29.5 (+1.1)} &\bgBa{34.4 (+0.3)} &\bgBb{28.4 (+1.2)} &\bgBa{25.0 (+0.9)} &\bgBa{30.5 (+0.2)} &\bgBb{23.4 (+1.2)} \\
&2011 &\bgBa{26.4 (+0.8)} &\bgBa{31.7 (+0.8)} &\bgBa{25.2 (+0.8)} &\bgBa{22.1 (+0.8)} &\bgBa{25.8 (+0.1)} &\bgBa{21.0 (+0.9)} \\
&2012 &\bgBb{28.1 (+1.3)} &\bgBa{30.2 (+0.7)} &\bgBb{27.7 (+1.4)} &\bgBb{22.8 (+1.2)} &\bgBa{30.0 (+0.9)} &\bgBb{20.9 (+1.4)} \\
&2013 &\bgBa{30.8 (+0.8)} &\bgRa{36.0 ($-0.3$)} &\bgBb{29.6 (+1.0)} &\bgBa{26.4 (+0.7)} &\bgBa{28.1 (+0.2)} &\bgBa{26.1 (+0.8)} \\
&2014 &\bgBb{32.4 (+1.8)} &\bgRa{29.6 ($-0.3$)} &\bgBe{33.8 (+4.0)} &\bgBc{27.9 (+2.0)} &\bgBa{26.7 (+0.2)} &\bgBe{29.4 (+4.2)} \\
&2015 &\bgBc{33.9 (+2.5)} &\bgBa{24.9 (+0.5)} &\bgBd{37.7 (+3.7)} &\bgBb{29.9 (+1.6)} &\bgBb{32.1 (+1.1)} &\bgBc{25.6 (+2.8)} \\
&2017 &\bgBd{35.5 (+3.0)} &\bgRa{28.1 ($-0.2$)} &\bgBf{41.2 (+5.8)} &\bgBc{28.7 (+2.2)} &\bgBa{30.7 (+0.8)} &\bgBd{26.0 (+3.8)} \\
&2018 &\bgBd{43.2 (+3.9)} &\bgZ{33.0 (+0.0)} &\bgBh{50.4 (+7.0)} &\bgBc{41.8 (+2.4)} &\bgBa{45.6 (+0.8)} &\bgBe{35.5 (+4.3)} \\
&2019 &\multicolumn{1}{c}{\bgZ{---}} &\bgBa{35.0 (+0.4)} &\multicolumn{1}{c}{\bgZ{---}} &\multicolumn{1}{c}{\bgZ{---}} &\bgBb{37.6 (+1.4)} &\multicolumn{1}{c}{\bgZ{---}} \\
\hline
\hline
\multicolumn{1}{c}{\multirow{2}{*}{システム}} &\multirow{2}{*}{newstest}
&\multicolumn{3}{c|}{\task{fr}{en}} &\multicolumn{3}{c}{\task{en}{fr}}\\
&&\multicolumn{1}{c}{全体} &\multicolumn{1}{c}{{\ORG}} &\multicolumn{1}{c|}{{\TRA}}
&\multicolumn{1}{c}{全体} &\multicolumn{1}{c}{{\ORG}} &\multicolumn{1}{c}{{\TRA}}\\
\hline
\multirow{7}{*}{\bt}
&2008 &\bgRb{22.9 ($-1.7$)} &\bgRc{27.9 ($-2.6$)} &\bgRb{22.2 ($-1.5$)} &\bgRa{23.2 ($-0.2$)} &\bgRd{21.2 ($-3.3$)} &\bgBa{23.6 (+0.5)} \\
&2009 &\bgRc{26.5 ($-2.3$)} &\bgRf{41.1 ($-5.3$)} &\bgRb{23.9 ($-1.6$)} &\bgBb{27.7 (+1.1)} &\bgRc{22.7 ($-2.0$)} &\bgBb{28.4 (+1.4)} \\
&2010 &\bgRb{29.3 ($-1.4$)} &\bgRh{27.4 ($-7.8$)} &\bgBa{29.5 (+0.5)} &\bgRa{28.2 ($-0.5$)} &\bgRl{22.5 ($-11.1$)} &\bgBc{29.8 (+2.5)} \\
&2011 &\bgRb{29.4 ($-1.9$)} &\bgRe{29.3 ($-4.7$)} &\bgRb{29.4 ($-1.1$)} &\bgZ{30.9 (+0.0)} &\bgRi{36.7 ($-8.2$)} &\bgBc{29.3 (+2.1)} \\
&2012 &\bgRb{29.7 ($-1.4$)} &\bgRe{34.3 ($-4.3$)} &\bgRa{28.6 ($-0.6$)} &\bgBb{28.4 (+1.1)} &\bgRe{26.3 ($-4.1$)} &\bgBc{29.0 (+2.5)} \\
&2014 &\bgBa{36.6 (+0.6)} &\bgRe{31.4 ($-4.7$)} &\bgBf{40.3 (+5.6)} &\bgRd{32.9 ($-3.1$)} &\bgRk{26.1 ($-12.1$)} &\bgBg{39.6 (+6.1)} \\
&2015 &\bgZ{36.2 (+0.0)} &\bgRd{40.9 ($-3.1$)} &\bgBd{29.8 (+3.5)} &\bgBb{35.7 (+1.7)} &\bgRe{25.1 ($-4.4$)} &\bgBg{44.9 (+6.5)} \\
\hline
\multirow{7}{*}{\tbt}
&2008 &\bgRa{24.5 ($-0.1$)} &\bgRb{29.5 ($-1.0$)} &\bgZ{23.7 (+0.0)} &\bgBa{23.8 (+0.4)} &\bgBa{25.1 (+0.6)} &\bgBa{23.5 (+0.4)}\\
&2009 &\bgBa{28.9 (+0.1)} &\bgZ{46.4 (+0.0)} &\bgBa{25.7 (+0.2)} &\bgBa{27.3 (+0.7)} &\bgBa{25.1 (+0.4)} &\bgBa{27.7 (+0.7)}\\
&2010 &\bgBa{31.2 (+0.5)} &\bgRa{35.1 ($-0.1$)} &\bgBa{29.6 (+0.6)} &\bgBb{30.0 (+1.3)} &\bgBa{34.1 (+0.5)} &\bgBb{28.9 (+1.6)}\\
&2011 &\bgBa{31.8 (+0.5)} &\bgRa{33.3 ($-0.7$)} &\bgBa{31.4 (+0.9)} &\bgBa{31.6 (+0.7)} &\bgBa{45.3 (+0.4)} &\bgBa{28.0 (+0.8)}\\
&2012 &\bgBa{31.8 (+0.7)} &\bgRa{38.3 ($-0.3$)} &\bgBa{30.1 (+0.9)} &\bgBb{28.9 (+1.6)} &\bgBb{31.9 (+1.5)} &\bgBb{28.1 (+1.6)}\\
&2014 &\bgBb{37.3 (+1.3)} &\bgZ{36.1 (+0.0)} &\bgBc{37.2 (+2.5)} &\bgBc{38.2 (+2.2)} &\bgBb{39.7 (+1.5)} &\bgBd{36.5 (+3.0)}\\
&2015 &\bgBa{36.6 (+0.4)} &\bgRa{43.2 ($-0.8$)} &\bgBb{27.9 (+1.6)} &\bgBc{36.0 (+2.0)} &\bgBb{30.7 (+1.2)} &\bgBc{41.2 (+2.8)}\\
\hline
\end{tabular}
}\par\vspace{4pt}\small
括弧内の数値は，{\APC}のみを用いて訓練した{\NMTS}による{\BLEU}との差分．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[p]
\caption{評価用データにもタグを付与した場合の{\tbt}モデルの{\BLEU}の増減}
\label{tab:tsetsresults}
\begin{center}
\begin{tabular}{lcccccccc}
\hline
\multicolumn{1}{c}{\multirow{2}{*}{翻訳対象}} &\multicolumn{2}{c}{\task{de}{en}} &\multicolumn{2}{c}{\task{en}{de}} &\multicolumn{2}{c}{\task{fr}{en}} &\multicolumn{2}{c}{\task{en}{fr}} \\
& 2017 & 2018 & 2017 & 2018 & 2012 & 2015 & 2012 & 2015\\
\hline
{\ORG} &\bgRc{$-2.0$} &\bgRc{$-2.6$} &\bgRf{$-5.9$} &\bgRj{$-9.6$} &\bgRh{$-7.5$} &\bgRe{$-4.9$} &\bgRk{$-10.1$} &\bgRl{$-11.1$}\\
{\TRA} &\bgBb{+1.6} &\bgBd{+3.4} &\bgBa{+0.8} &\bgBb{+1.6} &\bgRd{$-3.1$} &\bgBb{+1.4} &\bgRa{\phantom{0}$-0.3$} &\bgBd{\phantom{0}+3.6}\\
\hline
\end{tabular}
\end{center}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

訓練時と同様に翻訳時に入力文にタグを付与する場合の効果についても調査した．
\Tab{tsetsresults}に示すように，{\ORG}にタグを付与して{\tbt}を誤誘導した場合，{\BLEU}が低下した．
一方，{\TRA}に対してタグを付与した場合，{\tbt}は{\TRA}の翻訳に適した処理を行うことができ，
8個の評価データのうち6個において{\BLEU}を向上させた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察と今後の課題}

実験を通じて，{\BTM}による{\NMTS}の訓練は{\PPC}の特徴に過度に適合すること，
その結果{\TRA}に対する翻訳品質は向上するものの，{\ORG}に対する翻訳品質は一貫して低下することを確認した．
後者は，「最先端の{\NMTS}は{\ORG}よりも{\TRA}の翻訳が得意である」\citep{graham2019translationese,zhang-toral-2019-effect}という報告とも符号する．
ただし，{\PPC}に対してタグを付与し，{\APC}と区別して訓練することより，{\ORG}に対する翻訳の大幅な品質劣化を回避することができる．
また，{\TRA}の翻訳時に同じタグを付与することで翻訳品質をさらに改善できる可能性がある．

\citet{marie:20:c}では，{\APC}を20万文対に減らした少資源設定の実験と，
より大規模な{\PPC}（en$\rightarrow$fr では7,660万文対，それ以外では1億5,000万文対）を用いた実験についても述べている．
少資源の実験では，\Tab{sys-year}とは異なる結果が観察された．
具体的には，{\BTM}は{\ORG}の翻訳，{\TRA}の翻訳の両方において常に翻訳品質を改善し，タグ付与の効果は希薄であった．
大規模な{\PPC}を用いた実験では，{\BT}の品質の影響がより濃く出るため，
{\bt}の{\ORG}に対する翻訳品質が大幅に劣化し，その分だけタグ付与の効果も大きかった．
ただし，最終的な{\BLEU}は，\Tab{sys-year}の{\tbt}の結果を大きく改善するほどではなかった．
以上より，{\BTM}で{\NMTS}の性能向上を図る際は，{\PPC}に対してタグを付与し，{\APC}と区別すべきである．

今後は，{\TRA}の自動検出に関する試み\citep{rabinovich-wintner-2015-unsupervised,rubino-etal-2016-information}をふまえ，
{\APC}中における{\ORG}と{\TRA}の識別，それに基づく{\NMTS}の訓練技術について研究を進める予定である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%\bibliographystyle{jnlpbbl_1.5}
%%%%\bibliography{main}
\input{13refs_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor[:]{Benjamin Marie}{2016年フランス・Paris-Sud
  UniversityでPh.D.を取得．同年よりNICT先進的音声翻訳研究開発推進セン
  ター研究員．主に機械翻訳を含む多言語処理の研究に従事．}

\bioauthor[:]{Raphael Rubino}{2011年フランス・Avignon University
  でPh.D.を取得．2019年よりNICT先進的音声翻訳研究開発推進センター研究
  員．主に機械翻訳，テキスト品質評価，機械学習の研究に従事．}

\bioauthor{藤田　　篤}{2005年奈良先端科学技術大学院大学情報科学研究科博士
  後期課程修了．博士（工学）．2014年よりNICT先進的音声翻訳研究開発推進
  センター主任研究員．主に言い換え表現の生成と認識，機械翻訳の研究に従
  事．}

\end{biography}




\clearpage





\end{document}

