\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{times}
%%%%\usepackage{latexsym}
\usepackage{booktabs}
\usepackage{arydshln}
%%%%\usepackage{bm}
%%%%\usepackage{adjustbox}
%%%%\usepackage{subcaption}
\usepackage{multirow}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{12}{1}
\revised{2022}{3}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2022}{3}{30}

\setcounter{page}{669}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{多言語雑音除去自己符号化器による教師なし品質推定}
\jauthor{西原　哲郎\affiref{Author_1} \and 岩本　裕司\affiref{Author_1} \and 吉仲　真人\affiref{Author_2} \and 梶原　智之\affiref{Author_1} \and \\
	荒瀬　由紀\affiref{Author_2} \and 二宮　　崇\affiref{Author_1}}
\jabstract{%
品質推定の教師あり学習は，言語対ごとに翻訳品質ラベルを人手で付与する必要があり，コストが高い．そこで，対訳コーパスのみで訓練された機械翻訳器を用いる教師なし品質推定が研究されているが，既存手法は少資源言語対では性能が低下する．本研究では，事前訓練された多言語雑音除去自己符号化器を活用することで，大規模な対訳コーパスが存在しない言語対にも適用可能な教師なし品質推定を提案する．具体的には，多言語雑音除去自己符号化器を対訳コーパスを用いて再訓練することで多言語機械翻訳器を構築する．そして，評価対象の機械翻訳器による出力文を原文からforced-decodingする際の文生成確率によって翻訳品質を推定する．大規模な単言語コーパスにより事前訓練された多言語雑音除去自己符号化器は言語間の特性を捉えられるため，提案手法では少資源または対訳コーパスが存在しない言語対においても品質推定が可能となる．WMT20の品質推定タスクにおける評価の結果，提案手法は6言語対のうち5言語対について，ブラックボックス設定における教師なし品質推定の最高性能を達成した．詳細な分析の結果，ゼロショット設定の品質推定においても提案手法は良好な性能を示すことが明らかとなった．
}
\jkeywords{品質推定，機械翻訳}

\etitle{Unsupervised Quality Estimation via Multilingual \\
	Denoising Autoencoder}
\eauthor{Tetsuro Nishihara\affiref{Author_1} \and Yuji Iwamoto\affiref{Author_1} \and Masato Yoshinaka\affiref{Author_2} \and Tomoyuki Kajiwara\affiref{Author_1} \and \\
	Yuki Arase\affiref{Author_2} \and Takashi Ninomiya\affiref{Author_1}}
\eabstract{%
Supervised quality estimation methods require a corpus that manually annotates qualities of translation outputs. To avoid such costly annotation process, previous studies have proposed unsupervised quality estimation methods based on machine translation models trained on a large-scale parallel corpora. However, these methods are not applicable to low-resource or zero-resource language pairs. This study addresses this problem by utilising a pre-trained multilingual denoising autoencoder. Specifically, the proposed method constructs a machine translation model by fine-tuning the multilingual denoising autoencoder with parallel corpora. It then estimates the translation quality as a forced-decoding probability of a translation output given its source sentence. The pre-trained denoising autoencoder captures linguistic characteristics across languages, which allows our method to evaluate translation quality of low-resource and zero-resource language pairs. Evaluation results on the WMT20 quality estimation task confirm that the proposed method achieves the best unsupervised quality estimation performance for five language pairs under the black box settings. Detailed analysis shows that the proposed method also performs well on under the zero-shot setting.
}
\ekeywords{Quality Estimation, Machine Translation}

\headauthor{西原，岩本，吉仲，梶原，荒瀬，二宮}
\headtitle{多言語雑音除去自己符号化器による教師なし品質推定}

\affilabel{Author_1}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_2}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


% ==================================================
\section{はじめに}\label{sec:intro}
% ==================================================

BLEU \cite{papineni-2002}やMETEOR \cite{banerjee-2005}などの参照文に基づく自動評価指標は，ベンチマーク上での機械翻訳 (MT) システムの開発に貢献してきた．
しかし，ユーザが実際にMTシステムを使用する際には，事前に参照文を用意できない場合が多いため，これらの自動評価指標を用いてユーザがMTの品質を確認することは難しい．
本研究では，参照文を用いない自動評価である品質推定 (Quality Estimation, QE) \cite{specia-2018}に取り組む．
QEでは，原文とそれに対応するMT出力文を比較することで，MT品質を推定する．
人手評価との相関が高いQE手法を開発することにより，MT出力文をそのまま使用するか，手動または自動で後編集するか，他のMTシステムを利用するかというユーザの判断を支援できる．

国際会議WMTにおけるQEタスク \cite{specia-2020}を中心に，これまで多くの教師ありQE手法 \cite{specia-2013,kim-2017,ranasinghe-2020}が提案されてきた．
しかし，これらの教師ありQEモデルの訓練には，「原文・対応するMT出力文・人手評価値」の3つ組が必要である．
このようなQE訓練データの構築は，翻訳者などの原言語と目的言語の両方に精通したアノテータによる作業が必要となるため，非常にコストが高い．
そのため，WMTのQEタスクに含まれるような，わずかな言語対でしか教師ありQEモデルを得られないのが現状である．

この問題を解決するために，教師なしQEが研究されている．
教師なしQEの先行研究は多言語MTシステムに基づいており，MTシステムの符号化器のみを用いる手法 \cite{artetxe-2019a}およびMTシステムの符号化器と復号器の全体を用いる手法 \cite{thompson-2020,fomicheva-2020b}に大別できる．
これらの既存手法は，人手評価のアノテーションこそ不要なものの，評価対象の言語対における大規模な対訳コーパスを用いた訓練が必要である．

本研究では，大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なしQE手法を提案する．
\citeA{thompson-2020}と同様に，提案手法は多言語MTシステムに基づき，原文を入力として評価対象のMT出力文をforced-decodingする際の翻訳確率を品質推定に用いる．
提案手法では，事前訓練された多言語雑音除去自己符号化器 \cite{lewis-2020,liu-2020}を活用することで，少資源，ひいては対訳コーパスが存在しない言語対においてもQEを可能とする．
大規模な単言語コーパスによって訓練された多言語雑音除去自己符号化器を再訓練して得られるMTシステムはゼロショット設定の言語対においても機械翻訳が可能となることが示されている \cite{liu-2020}．
同様の効果がQEにおいても期待され，一部の言語対における対訳コーパスを用いた再訓練によって他の言語対のQE性能も向上すること，さらには対訳コーパスを用意できない言語対におけるゼロショットQEも実現できると考えられる．

WMT20 QEタスク \cite{specia-2020}における実験の結果，提案手法は既存の教師なしQE手法よりも高い人手評価との相関を達成した．
また，詳細な分析の結果，対象言語対の対訳コーパスを使用しないゼロショットの設定においても提案手法は良好な結果が得られ，教師なしQEにおける単言語コーパスを用いた雑音除去自己符号化器の事前訓練の有効性を確認できた．


% ==================================================
\section{関連研究}\label{sec:related_work}
% ==================================================

本節では，QEにおける先行研究を議論する．
まず \ref{subsec:qe_supervised}節では，教師ありQEについて代表的な研究を紹介する．
続いて \ref{subsec:qe_regression}節では，符号化器のみを用いる教師なしQE手法を紹介する．
最後に \ref{subsec:qe_generation}節では，符号化器と復号器の両方を用いる教師なしQE手法を紹介する．
なお，本研究の提案手法は，\ref{subsec:qe_generation}節のアプローチの拡張として位置付けられる．


% ==============================
\subsection{教師あり品質推定}\label{subsec:qe_supervised}
% ==============================

多くのQE手法 \cite{specia-2013,kim-2017,ranasinghe-2020}は，教師あり学習を採用している．
深層学習に基づく強力な教師ありQE手法として知られるPredictor-Estimator \cite{kim-2017}は，対訳コーパス上で目的言語文の各単語を原言語文および目的言語文中の周辺単語から推定するように事前訓練されたPredictorと，Predictorによって得られる特徴表現からQEラベルを推定するEstimatorで構成される．
Predictor-Estimatorは，WMT17 QEタスク \cite{bojar-2017}で最高性能を達成し，WMT20 QEタスク \cite{specia-2020}ではOpenKiwi \cite{kepler-2019b}で実装されたLSTMに基づくPredictor-Estimatorがベースライン手法として用いられている．

WMT20のQEタスクにおける上位の手法 \cite{ranasinghe-2020,fomicheva-2020a,nakamachi-2020}は，事前訓練された多言語の文符号化器であるmBERT \cite{devlin-2019}やXLM-R \cite{conneau-2019,conneau-2020}に基づく教師ありQE手法である．
これらの多言語の文符号化器は，100を超える言語における単言語コーパスを用いてMasked Language Modelingの訓練を行った自己注意ネットワーク \cite{vaswani-2017}である．
WMT20のQEタスクにおいて最高性能を達成したTransQuest \cite{ranasinghe-2020}や同じく上位のTMUOUシステム \cite{nakamachi-2020}は，原文とそのMT出力文を\texttt{[SEP]}トークンで区切って連結した文対をXLM-Rに入力し，文頭の\texttt{[CLS]}トークンの出力を用いて回帰モデルを訓練する．

これらの教師ありQEは人手評価との高い相関を達成できるが，先述の通り人手評価値のアノテーションはコストが高く，多くの言語対においてアノテーションコーパスは利用できない．
そこで本研究では，人手評価値のアノテーションを必要としない教師なしQE手法を提案する．


% ==============================
\subsection{Encoder QE：符号化器に基づく教師なし品質推定}\label{subsec:qe_regression}
% ==============================

WMT19のQEタスク \cite{fonseca-2019}では，対訳コーパスを用いて訓練した多言語の文符号化器であるLASER \cite{artetxe-2019a}がベースライン手法として採用されている．
LASERは，再帰型ニューラルネットワークに基づく多言語MTシステムの符号化器部分である．
このLASERによるQEは教師なし手法であり，原文とそのMT出力文をそれぞれLASERによってベクトル化し，それらの余弦類似度によってMT出力文の品質を推定する．

QEタスクでは検証されていないものの，LaBSE \cite{feng-2020}やmSBERT \cite{reimers-2020}などの最先端の多言語文符号化器は，言語をまたいだ文間類似度推定タスク \cite{cer-2017}においてLASERを超える性能を達成している．
LaBSEやmSBERTは，mBERTやXLM-Rなどの単言語コーパスで事前訓練された文符号化器を，対訳コーパスを用いて再訓練した多言語の文符号化器である．
LaBSEは，mBERTの事前訓練に加えて，Translation Language ModelingやTranslation Rankingによる再訓練を実施している．
mSBERTは，文の類似度推定タスク \cite{cer-2017}に最適化したXLM-Rを用いたMultilingual Knowledge Distillationによって，多言語の文符号化器を得ている．
LASERと同様に，これらの多言語文符号化器も，余弦類似度による教師なしQEに使用できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{15table01.tex}
\caption{教師なし品質推定の先行研究と本研究の関係}
\label{table:previous_work}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\ref{sec:evaluation}章の評価実験において示す通り，符号化器に基づく手法では，各言語の単言語コーパスで事前訓練したモデル（mBERTやXLM-R）よりも対訳コーパスで訓練したモデル (LASER) の方が教師なしQEの性能は高い．
さらに，単言語コーパスで事前訓練したモデルを対訳コーパスで再訓練したモデル（LaBSEやmSBERT）は，これらの性能を上回る．
つまり，表~\ref{table:previous_work}にまとめた教師なしQEの先行研究のうち，右に位置するアプローチほどQE性能が高い．


% ==============================
\subsection{EncDec QE：符号化器と復号器に基づく教師なし品質推定}\label{subsec:qe_generation}
% ==============================

機械翻訳 \cite{thompson-2020}や文書要約 \cite{yuan2021bartscore}において近年注目を集めている自動評価手法に，符号化器と復号器からなる雑音除去自己符号化器に基づく手法がある．
代表的な手法であるPrism \cite{thompson-2020}は，自己注意ネットワークに基づく系列変換モデル \cite{vaswani-2017}を訓練し，そのモデルで参照文から生成文への系列変換を行う際の文生成確率を用いて生成文の品質を評価する．
この系列変換モデルが多言語MTシステムであれば，原文からMT出力文への系列変換を行う際の文生成確率を用いて教師なしQEを実現できる．
PrismはWMT19のQEタスク \cite{fonseca-2019}において高い性能を示したが，系列変換モデルの訓練のために大規模な対訳コーパスが必要であるため，少資源言語対や対訳コーパスを用意できないゼロショットの設定では利用できない．

Prismの他に，系列変換モデルに基づくQE手法として \citeA{fomicheva-2020b}のD-TPおよびD-Lex-Simがある．
D-TPおよびD-Lex-Simはモンテカルロ・ドロップアウト \cite{gal-2016}を用いてMTシステムのパラメータを変化させ，MT出力文の候補を複数生成する．
D-TPでは各候補の文生成確率を平均することによって翻訳品質を推定し，D-Lex-Simでは候補間のMETEORスコア \cite{banerjee-2005}によって翻訳品質を推定する．
Prismが評価対象のMTシステムとは独立にQE用の系列変換モデルを用意する一方で，D-TPおよびD-Lex-Simは評価対象のMTシステム自身を用いてMT出力文の品質を推定する．
D-TPおよびD-Lex-Simは教師なしQEとしての最高性能を達成しているものの，このようなホワイトボックスの設定が利用可能なケースは限定的である．
一般的には，MTシステムのユーザはMTシステムの内部パラメータにはアクセスできず，MT出力文のみを得られる．
そのため本研究では，\ref{subsec:qe_regression}節の符号化器に基づく手法やPrismのような，ブラックボックス設定における教師なしQEの性能改善を目指す．


% ==================================================
\section{提案手法}\label{sec:proposed_method}
% ==================================================

\ref{subsec:qe_regression}節の議論を踏まえると，表~\ref{table:previous_work}にまとめたように，各言語の単言語コーパスで事前訓練した系列変換モデルを対訳コーパスで再訓練することで，より高品質な教師なしQEの実現を期待できる．
本研究では，図~\ref{fig:overview}に示すように，系列変換モデルに基づく教師なしQE手法を改良する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia15f1.pdf}
\end{center}
\caption{提案手法の概要：mBARTに基づく多言語機械翻訳器を用いて翻訳品質を教師なしで推定}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{系列変換モデルによる教師なし品質推定}\label{subsec:prism}
% ==============================

本研究では，Prism \cite{thompson-2020}と同様に，符号化器と復号器からなる系列変換モデルを用いて計算する文の生成確率に基づき，MT出力文の品質を推定する．
Prismでは，自己注意ネットワークに基づく一般的な系列変換モデル \cite{vaswani-2017}を用いて文の生成確率を求めるが，復号器において一般的な貪欲法やビームサーチによる復号の代わりに，``forced-decoding''を用いる．
つまり，モデルが推定するトークン生成確率によらず，指定されたトークン（QEの場合はMT出力文に含まれるトークン）の出力を強制する．
提案手法もPrismに倣い，この``forced-decoding''によって文の生成確率を求める．
具体的には，原文$x$とそのMT出力文$y$が与えられたとき，翻訳品質$\hat{Q}(y|x)$を以下のように計算する．
\begin{equation}\label{eq:prism}
  \hat{Q}(y|x) = \frac{1}{|y|} \sum^{|y|}_{t=1} \log p{(y_t|y_{i<t}, x)},
\end{equation}
ここで，$y_{i<t}$ はタイムステップ$t$より前の出力トークンである．
長文ほど高い対数確率が与えられることを防ぐために，文レベルの対数確率を文長$|y|$で割っていることに注意されたい．

Prismおよび提案手法は，訓練の際に真の翻訳品質$Q(y|x)$を用いない教師なしQE手法である．
系列変換モデルには，対訳コーパスを用いて訓練された多言語MTシステムを用いる．
ただし，Prismではこれを一から訓練するが，提案手法では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することでより高品質なQEを実現する．


% ==============================
\subsection{多言語機械翻訳器の構築}\label{subsec:pre_training}
% ==============================

大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なしQEを実現するために，本研究では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することによって，QEのための多言語MTシステムを構築する．
事前訓練を行わない先行研究 \cite{thompson-2020}と比較して，本手法には以下の2つの利点がある．
\begin{itemize}
  \item 単言語コーパスは対訳コーパスよりも収集コストが低いため，大規模な単言語コーパスを用いた訓練を実現できる．そのため，モデルはより多様な文に触れることができ，様々な言語的特徴を捉えられる．
  \item 対訳コーパス上での再訓練により，対訳コーパス中の文対数が限られた言語対や対訳コーパスに含まれていない言語対であっても，事前訓練がサポートしている言語であればQE性能を改善できる．
\end{itemize}
一方，事前訓練なしのPrismは，対象外の言語対に対しては，トークンが語彙に含まれていないことや文法に関する知識を全く持っていないなどの問題のためにQEの実現は期待できない．

本研究では，代表的な事前訓練済み系列変換モデルのひとつであるBART \cite{lewis-2020}を利用する． 
BARTはTransformer符号化器と自己回帰型の復号器によって構成される標準的な系列変換モデル \cite{vaswani-2017}であり，雑音関数によって一部の情報が欠落したテキストから元のテキストを復元する雑音除去自己符号化器として教師なし学習により訓練されている．
BARTの事前訓練では，トークンの穴埋めや並び替えの復元を訓練するために，文中の一部を\texttt{[MASK]}トークンに置き換える雑音関数を用いる．
BARTの雑音除去自己符号化器を目的タスクの対訳コーパスで再訓練することによって，文書要約や対話応答生成などの多くのテキスト生成タスクの性能改善が報告されている \cite{lewis-2020}．

多言語MTシステムへの拡張のために，本研究では多言語版のBART (mBART) を用いる．
mBART \cite{liu-2020}は，複数言語のそれぞれで大規模な単言語コーパスを用意し，それらを用いてBART \cite{lewis-2020}の雑音除去自己符号化を訓練した雑音除去自己符号化器である．
\citeA{liu-2020}の研究では，事前訓練されたmBARTを対訳コーパス上で再訓練したMTシステムが，特に少資源言語対において優れた翻訳品質を発揮している．
また，mBARTを特定の言語対（例えば，韓国語$\rightarrow$英語）における対訳コーパスで再訓練したMTシステムが，他の言語からのMT（例えば，イタリア語$\rightarrow$英語）も実現できることが確認されている．
本研究では，mBARTのこれらの特性を活かし，系列変換に基づく高品質な教師なしQEを実現する．
提案手法では，事前訓練されたmBARTを複数の対訳コーパス上で再訓練して多言語MTシステムを構築し，これを用いて \ref{subsec:prism}節の方法で翻訳品質を推定する．


% ==================================================
\section{評価実験}\label{sec:evaluation}
% ==================================================

WMT20のQEタスク \cite{specia-2020}において提案手法の性能を評価する．


% ==============================
\subsection{実験設定}\label{subsec:setting}
% ==============================


% ====================
\subsubsection*{タスクの詳細}
% ====================

WMT20のQEタスクには，7つの言語対が含まれる．
英語からドイツ語 (en-de) および英語から中国語 (en-zh) の多資源言語対，ルーマニア語から英語 (ro-en) ・エストニア語から英語 (et-en) ・ロシア語から英語 (ru-en) の中資源言語対，ネパール語から英語 (ne-en) およびシンハラ語から英語 (si-en) の少資源言語対である．
各言語対において1,000文対の原文およびそのMT出力文が提供され，人手で付与されたQEスコアとモデルが推定したQEスコアの間のピアソン相関係数によってQE性能を評価する．
WMT20のQEタスクで翻訳品質の評価対象となるMTシステムは，fairseqツールキット\footnote{\url{https://github.com/pytorch/fairseq}} \cite{ott-2019}を用いて訓練されたTransformerモデル \cite{vaswani-2017}である．


% ====================
\subsubsection*{提案手法の実装}
% ====================

提案手法のQEモデルには，事前訓練されたmBART\footnote{\url{https://huggingface.co/facebook/mbart-large-50}} \cite{liu-2020}を用いた．
このmBARTは，50言語の単言語コーパスで事前訓練された雑音除去自己符号化器であり，16種類の自己注意ヘッドを持つ12層1,024次元のTransformerモデル \cite{vaswani-2017}である．

mBARTを我々が再訓練した多言語MTシステム (mBART+MT) と， \citeA{tang-2020}によって再訓練された多言語MTシステム (mBART+M2M) の両方を評価した．
mBART+MTの再訓練には，表~\ref{table:corpus-qe}に示すように，WMT20のQEタスク\footnote{\url{http://statmt.org/wmt20/quality-estimation-task.html}}で利用可能な対訳コーパスの一部\footnote{\citeA{vaswani-2017}など，MT研究で広く使用されているWMT14 en-deタスク（約450万文対）を参考に多資源言語対の文対数を設定した．また，中資源言語対については公開されているet-en言語対の総文対数に合わせてro-en言語対の文対数を，少資源言語対についてはne-en言語対の総文対数に合わせてsi-en言語対の文対数を設定した．}を使用した．
なお，ru-en言語対については，WMT20のQEタスクにおいて対訳コーパスが配布されていない．そのため，本稿では提案手法のうちmBART+MTについてはru-enをゼロショット設定の言語対として扱う．

これらの対訳コーパスに含まれる全ての文について，mosesdecoderのdetokenizer.perl\footnote{\url{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/detokenizer.perl}} \cite{koehn-2007}を適用した上で，mBARTのトークナイザ \cite{wolf-2020}によるトークン化の前処理を施した．
そして，原言語文と目的言語文がそれぞれ100トークン以下の長さである文対のみを再訓練に用いた．
最適化にはAdamW \cite{loshchilov-2018}を用い，学習率は$5.0 \times 10^{-6}$に設定した．
バッチサイズは1,000文とし，対訳コーパス上で75,000ステップの交差エントロピー損失最小化の再訓練を実施した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2 and 3
\begin{table}[t]
\noindent\begin{minipage}[b]{0.49\textwidth}
\input{15table02.tex}
\caption{mBART+MTの訓練用文対数\rule[-13pt]{0pt}{1zw}}
\label{table:corpus-qe}
\end{minipage}
\begin{minipage}[b]{0.49\textwidth}
\input{15table03.tex}
\caption{mBART+M2Mの訓練用文対数}
\label{table:corpus-m2m}
\end{minipage}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

mBART+M2M\footnote{\url{https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt}} \cite{tang-2020}は，mBARTを表~\ref{table:corpus-m2m}の対訳コーパスを用いて再訓練した多言語MTシステムである．
これらの対訳コーパスには，WMTやIWSLTなどのMTコンペティションにおいて公開されている多様なデータが含まれる．
mBART+MTモデルが6言語対の合計1,286万文対で訓練されているのに比べて，mBART+M2Mモデルは49言語対の合計2億文対という非常に大規模な対訳コーパスで訓練されていることに注意されたい．


% ====================
\subsubsection*{比較手法}
% ====================

本実験では，\ref{sec:related_work}節で紹介した教師なしQE手法と提案手法を比較する．
符号化器に基づく手法 (Encoder QE) として，単言語コーパスで訓練されたmBERT\footnote{\url{https://huggingface.co/bert-base-multilingual-cased}} \cite{devlin-2019}およびXLM-R\footnote{\url{https://huggingface.co/xlm-roberta-large}} \cite{conneau-2019,conneau-2020}，対訳コーパスで訓練されたLASER\footnote{\url{https://github.com/facebookresearch/LASER}} \cite{artetxe-2019a}，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されたLaBSE\footnote{\url{https://huggingface.co/sentence-transformers/LaBSE}} \cite{feng-2020}およびmSBERT\footnote{\url{https://huggingface.co/sentence-transformers/stsb-xlm-r-multilingual}} \cite{reimers-2020}と比較する．
WMT19のQEタスク \cite{fonseca-2019}におけるLASERによる教師なしQEと同様に，これらの多言語文符号化器を用いて原文とそのMT出力文をそれぞれベクトル化し，それらの余弦類似度によってMT出力文の品質を推定する．
各モデルの事前訓練の設定に従い，LASERは双方向LSTMの最終層の最大プーリング，mSBERTは最終層の平均プーリング，その他のモデルは文頭の\texttt{[CLS]}トークンに対する最終層の出力をそれぞれ文ベクトルとして使用する．

符号化器と復号器に基づく手法 (EncDec QE) として，単言語コーパスで訓練されたmBART \cite{liu-2020}および対訳コーパスで訓練されたPrism \cite{thompson-2020}を，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART+MTおよびmBART+M2M）と比較する．
本実験で使用するPrismは，mBARTと同じ構造の系列変換モデルであり，表~\ref{table:corpus-qe}の対訳コーパスを用いて我々が訓練したものである．
ただし，ru-en言語対については，先述の通りWMT20のQEタスクにおいて対訳コーパスが配布されていない．そのため，本稿ではPrismについてもru-enをゼロショット設定の言語対として扱う．
提案手法とmBARTおよびPrismは，いずれも式~(\ref{eq:prism})によってMT出力文の翻訳品質を推定する．

また，参考のために，ホワイトボックス設定の教師なしQE手法であるD-TPおよびD-Lex-Sim \cite{fomicheva-2020b}，教師ありQE手法であるPredictor-Estimator\footnote{Predictor-Estimatorモデルの実装にはOpenKiwi (\url{https://github.com/Unbabel/OpenKiwi}) \cite{kepler-2019b}を用いた．} \cite{kim-2017}およびTransQuest\footnote{\url{https://github.com/TharinduDR/TransQuest/}} \cite{ranasinghe-2020}も比較する．
教師ありQEモデルは，WMT20のQEタスク \cite{specia-2020}において公開されている7,000件ずつの訓練用データおよび1,000件ずつの検証用データを用いて，検証用データのピアソン相関係数を最大化するように訓練した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{15table04.tex}
\caption{WMT20のQEタスクにおけるピアソン相関係数．$\dagger$はゼロショット設定を示す．}
\label{table:qe}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{実験結果}
% ==============================

表~\ref{table:qe}に実験結果を示す．
表~\ref{table:qe}において，上段の1および2は比較対象の教師なしQE手法，下段の3および4はホワイトボックス設定および教師ありのQE手法である．
表中のMonoおよびParaの列は，教師なしQEモデルが単言語コーパスを用いて訓練されているか，対訳コーパスを用いて訓練されているかを表す．
MonoとParaの両方にチェックが入っている教師なしQEモデルは，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されている．
なお，ru-en言語対については，PrismおよびmBART+MTはゼロショット設定となっている．
全体としては，教師なしQE手法は以下の順番で人手評価との相関が高い．
\begin{enumerate}
  \item 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されたEncDec QE（提案手法）
  \item 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されたEncoder QE
  \item 対訳コーパスで訓練されたEncoder QE
  \item 対訳コーパスで訓練されたEncDec QE
  \item 単言語コーパスで訓練されたEncDec QE
  \item 単言語コーパスで訓練されたEncoder QE
\end{enumerate}

上段1のEncoder QEについて，単言語コーパスのみで訓練されたmBERTやXLM-Rは，単純な余弦類似度に基づく教師なしQEでは人手評価との相関が見られなかった．
mBERTやXLM-Rに比べて，対訳コーパスで訓練されたLASERは人手評価との高い相関を持つことがわかる．
単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されたLaBSEやmSBERTは，さらに高い相関を達成している．
特に，LaBSEは少資源言語対，mSBERTは多資源言語対において，特に優れた性能を発揮することがわかる．

上段2のEncDec QEについても同様の傾向が見られた．
つまり，単言語コーパスで訓練されたmBARTよりも対訳コーパスで訓練されたPrismが人手評価との高い相関を示し，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART+MTおよびmBART+M2M）がさらに高い相関を達成した．
同じく単言語コーパスのみで訓練されたmBERTやXLM-Rが全ての言語対において人手評価との相関を持たない一方で，mBARTは少資源言語対において0.2程度の弱相関を持ち，中資源言語対においては0.4程度の中相関を持っており，EncDec QEの有効性を確認できる．
提案手法は，ne-en以外の言語対において，教師なしQEとしての最高性能を達成した．
特に，より大規模な対訳コーパスを用いて再訓練したmBART+M2Mが多くの言語対においてより高い人手評価との相関を示している．

ゼロショット設定であるru-en言語対については，mBART+MTがmBARTやPrismよりも高い性能を示しており，提案手法の有効性を確認できる．
また，ru-enの対訳コーパスを用いて訓練したmBART+M2Mは，さらに大きな性能改善を達成している．

次に，具体的な出力をもとに，提案手法の有効性を定性評価する．
表~\ref{table:example}に，英日翻訳における品質推定の実例を示す．
上の例は，MT出力文が「見つけられるしばしば」のように文法的に不適格な翻訳となっているため，低いQEスコアを出力することが期待される．
Prismとは異なり，提案手法のmBART+MTは期待通り低いQEスコアを出力できた．
これは，mBART+MTでは事前訓練によって文法構造を捉えられていたために，適切に翻訳品質を推定できたと考えられる．
下の例は，MT出力文が適切な翻訳であるため，高いQEスコアが期待される例である．
しかし，この例ではPrismとmBART+MTの両方が低いQEスコアを出力した．
「ビドルフ」や「チェシャー」のような低頻度語は，その単語の生成確率が低くなるため，本アプローチでは低評価になりやすい傾向があると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{15table05.tex}
\hangcaption{英日機械翻訳における品質推定の例．モデルごとに0から1までの範囲に正規化したQEスコアを表示している．上段は適切に品質推定できた例であり，下段は誤推定をした例である．\label{table:example}}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{多資源言語対における品質推定と少資源言語対における品質推定}
% ==============================

対訳コーパスを用いて訓練するQE手法においては，より多くの文対から訓練できる多資源言語対におけるQE結果が中資源言語対や少資源言語対に比べて人手評価との相関が高くなると期待される．
しかし，表~\ref{table:qe}の実験結果では，アプローチに関わらず，多資源言語対におけるQE性能が中資源言語対や少資源言語対におけるQE性能を下回っている．
本節では，この期待が外れる理由を調査する．

分析の結果，翻訳品質ラベルの分布の偏りがQE推定結果に影響を与えている可能性があることが明らかとなった．
図~\ref{fig:histgram}に，多資源言語対のen-deおよび少資源言語対のsi-enにおける翻訳品質ラベル頻度のヒストグラムを示す．
図中の青色の部分はen-deのヒストグラム，赤色の部分はsi-enのヒストグラム，紫色の部分はグラフが重なっている部分を表している．
少資源言語対におけるMTシステムの翻訳品質が正規分布に近い分布を示しているのに対して，多資源言語対におけるMTシステムの出力は高品質なものが極端に多い．
このような翻訳品質ラベルの偏りがあると，高品質な翻訳の中で優劣をつけることになるため，多資源言語対におけるQEを難しくしている可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{29-2ia15f2.pdf}
\end{center}
\caption{品質ラベルのヒストグラム}
\label{fig:histgram}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{15table06.tex}
\caption{EncDec QEのアブレーション分析．$\dagger$はゼロショット設定であることを示す．}
\label{table:ana_zeroshot}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\section{ゼロショット設定での品質推定}
% ==============================

\ref{subsec:pre_training}節で述べたように，mBART \cite{liu-2020}を対訳コーパス上で再訓練して得たMTシステムは，再訓練に使用していない言語対のMT（ゼロショットMT）を実現できることが知られている．
本節では，mBARTに基づく教師なしQEが同様の特性を持つか，つまり，再訓練に使用した対訳コーパスに含まれない言語対のQEを実現できるかを検証する．
表~\ref{table:ana_zeroshot}に，PrismおよびmBART+MTを多資源および中資源の4言語対の対訳コーパスのみで訓練したアブレーション分析（w/o 少資源言語対）の結果を示す．
また，他言語のデータとの同時訓練の影響を調べるために，対象言語対のみ，つまり，ne-enまたはsi-enの対訳コーパスのみで訓練したアブレーション分析の結果も示す．

これらの実験結果から，対訳コーパスによる再訓練を実施しないmBARTと比べて，mBART+\linebreak
MT（w/o 少資源言語対）が少資源言語対のQEにおいて，人手評価との相関を大きく改善できることがわかる．
ゼロショットMT \cite{liu-2020}と同様に，mBARTに基づくQEモデルがゼロショットQEを実現できることを確認できた．
さらに，対象言語対の対訳コーパスを用いた再訓練や対象言語対を含む大規模な対訳コーパスによる再訓練には及ばないものの，mBART+MT（w/o 少資源言語対）の少資源言語対における性能は，強力な教師ありベースラインであるPredictor-Estimator \cite{kim-2017}と同等である．
QEラベルの収集コストのために教師ありQEが多くの言語対において実現できない現状を考えると，本手法のゼロショット性能は有望である．

また，表~\ref{table:ana_zeroshot}のアブレーション分析からは，単言語コーパスにおける事前訓練を実施していないPrismが小規模な対訳コーパスからは充分なQE性能が得られないこと，また他の言語対の大規模な対訳コーパスと同時に訓練しても少資源言語対におけるQE性能が改善しないことが確認できる．
一方で，mBART+MT（対象言語対のみ）とmBART+MTの比較から，提案手法は他の言語対の大規模な対訳コーパスとの同時訓練によって，少資源言語対におけるQE性能が改善されることがわかる．


% ==================================================
\section{おわりに}
% ==================================================

本研究では事前訓練された多言語雑音除去自己符号化器を活用した機械翻訳の教師なし品質推定手法を提案した．
提案手法は，多言語雑音除去自己符号化器を対訳コーパスにより再訓練することで得た多言語MTシステムにおいて，原文から評価対象のMT出力文をforced-decodingする際の文生成確率によって翻訳品質を推定する．
品質推定モデルの事前訓練にはmBART \cite{liu-2020}を用い，50言語に適用可能な教師なし品質推定手法を実現した．

6つの言語対における実験の結果，提案手法は多くの言語対において教師なし品質推定の最高性能を達成した．
また，再訓練に使用する対訳コーパスに含まれないゼロショット設定での品質推定では，教師ありQE手法と同等の性能を示した．
さらに，多資源言語対の対訳コーパスとの同時訓練によって少資源言語対における品質推定の性能が改善され，収集コストが高い翻訳品質ラベルや大規模な対訳コーパスを得られない設定における提案手法の有効性を確認した．

今後の課題として，モデルサイズの削減がある．
符号化器のみを用いるLaBSE \cite{feng-2020}やmSBERT \cite{reimers-2020}が約2~GBのモデルサイズを持つのに対して，復号器も用いる提案手法は約7~GBの記憶領域を必要とする．
主に符号化器において活発に研究されているモデル圧縮の技術を応用し，知識蒸留 \cite{sanh-2019}やパラメタ共有 \cite{lan-2020}によって多言語雑音除去自己符号化器に基づく品質推定のモデル圧縮を検討したい．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費（若手研究，課題番号：JP20K19861）および国立研究開発法人情報通信研究機構の委託研究による助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{15refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{西原　哲郎}{2020年愛媛大学工学部情報工学科卒業．2022年同大学大学院理工学研究科電子情報工学専攻修了．自然言語処理の研究に従事．}

\bioauthor{岩本　裕司}{2020年愛媛大学工学部情報工学科卒業．2022年同大学大学院理工学研究科電子情報工学専攻修了．自然言語処理の研究に従事．}

\bioauthor{吉仲　真人}{2020年大阪大学工学部電子情報工学科卒業．2022年同大学大学院情報科学研究科マルチメディア工学専攻修了．自然言語処理の研究に従事．}

\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\bioauthor{荒瀬　由紀}{2006年大阪大学工学部電子情報エネルギー工学科卒業．2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京の Microsoft Research Asia に入社，自然言語処理に関する研究開発に従事．2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ．}

\bioauthor{二宮　　崇}{1996年東京大学理学部情報科学科卒業．1998年同大学大学院理学系研究科修士課程修了．2001年同大学大学院理学系研究科博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

