\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{latexsym}
\usepackage{enumitem}
%%%%\usepackage{multirow}
\newcommand{\Sec}[1]{{\ref{sec:#1}~節}}
\newcommand{\Tab}[1]{{表~\ref{tab:#1}}}
\newcommand{\Fig}[1]{{図~\ref{fig:#1}}}
\newcommand{\citep}[1]{{\shortcite{#1}}}
\newcommand{\citet}[1]{{\shortciteA{#1}}}
%%%%%% \newcommand{\task}[2]{{#1$\rightarrow$#2}}
\newcommand{\MTpaper}{{MT論文}}
\newcommand{\MTout}{{MT訳}}
\newcommand{\HT}{{参照訳}}
\newcommand{\BLEU}{{BLEUスコア}}
\newcommand{\SB}{{SacreBLEU}}
\newcommand{\AutoEval}{{自動評価}}
\newcommand{\AEM}{{{\AutoEval}尺度}}
\newcommand{\AEMS}{{{\AEM}のスコア}}
\newcommand{\SigTest}{{統計的仮説検定}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1312}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{機械翻訳研究の科学的信頼性：品質評価方法の分析}
\jauthor{Benjamin Marie\affiref{NICT} \and 藤田　　篤\affiref{NICT} \and Raphael Rubino\affiref{NICT}}
\etitle{Scientific Credibility of Machine Translation Research: A Meta-Evaluation of Evaluation Methodology}
\eauthor{Benjamin Marie\affiref{NICT} \and Atsushi Fujita\affiref{NICT} \and Raphael Rubino\affiref{NICT}}

\headauthor{Marie，藤田，Rubino}
\headtitle{機械翻訳研究の科学的信頼性}

\affilabel{NICT}{国立研究開発法人情報通信研究機構(NICT)}{National Institute of Information and Communications Technology (NICT), Japan}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
本稿では，2021年8月に開催された
ACL-IJCNLP 2021においてOutstanding Paper Awardを受賞した我々の論文``Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers'' \citep{marie:21:c}の内容の一部を，日本語で紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{動機と方法}
\label{sec:motivation}

技術の性能向上や応用・実用の可否などを検討する上で，当該技術の評価は不可欠である．
機械翻訳(MT)技術の研究・開発においては，
MTシステムが生成する訳出物（以下，{\MTout}）の品質の評価を通じた間接的な評価が行われてきた．
{\BLEU}\citep{papineni:02:b}の出現以降，
人間の翻訳者によって別途作成された（複数の）{\HT}との比較に基づく{\AutoEval}が，
安価・高速・客観的な評価方法としてMTに関する研究を加速させた．
近年のMT技術に関する研究論文（以下，{\MTpaper}）は典型的に，
(1)~MTの品質を向上させる手法を提案し，
(2)当該手法による{\MTout}の品質を{\AEM}を用いて評価し，
(3)それが既存の手法で得られる{\MTout}の品質よりも高いことをもって提案手法の優位性を示す，
という論理展開で構成される．
しかしながら，上記の(2)や(3)の方法が適切でない論文が査読を経て出版されていたり，
論文の査読過程で査読者から不適切な提案・要求がなされたりする場合がある．
これらから，論文の著者や査読者の間で，評価方法の是非についての認識が一貫していないことが示唆される．

そこで我々は，MT技術の品質評価に関するガイドラインの構築を目指し，
MTのコミュニティによる査読を経て
出版された{\MTpaper}において用いられた品質評価方法を分析した．
まず，ACL主催のACL，NAACL，EACL，EMNLP，CoNLL，AACLにおいて2010～2020年に出版された{\MTpaper}を，
ACL Anthology\footnote{\url{https://aclanthology.org/}}から収集した．
そして，2種類以上の{\MTout}の品質を比較している769件について，
次の6種類の情報を付与した\footnote{データを無償で公開している．\url{https://github.com/benjamin-marie/meta_evaluation_mt/}
なおA2～A6については，``Yes''と判断された場合でも，論文中のすべての実験において成り立つとは限らないことに注意されたい．}．
\begin{enumerate}[label=A\arabic*.]
\item 品質評価に用いているすべての{\AEM}（亜種は一括）
\item 人手評価を行っているか否か
\item {\AEMS}の比較時に{\SigTest}を行っているか否か
\item 先行研究で報告されている{\AEMS}をコピーして示しているか否か
\item {\AutoEval}のツールとして{\SB} \citep{post:18:b}を用いているか否か
\item 比較している複数のMTシステムが同一のデータを用いていることを確認しているか否か
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{憂慮すべき傾向}
\label{sec:pitfalls}

769件の{\MTpaper}に対して付与した上述の6種類の情報を分析することで，科
学的に信頼できない結論を導きかねない，4つの傾向が明らかになった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{{\BLEU}への過度な偏向}
\label{sec:bleu}

A1とA2の情報を整理した結果を\Fig{metricpaper}に示す．
ほぼすべて(98.8\%)の{\MTpaper}が{\BLEU}を用いていた．
{\BLEU}の限界についてはよく知られており\citep{callison-burch:06:a,reiter:18,mathur:20}，
以前はTER \citep{snover:06}やMETEOR \citep{banerjee:05}などの他の{\AEM}も併用されていた．
しかしその割合は高くはなく，{\BLEU}のみを用いた{\MTpaper}の割合は全体の74.3\%，2019～2020年に限れば82.1\%に上る．
また，2010年以降少なくとも108種類の{\AEM}（亜種は一括，今回の分析対象の中では29種類）が提案され，
人間による評価との相関が{\BLEU}よりも高いことをもって「優れている」という主張がなされてきた．
それにもかかわらず，提案者以外によって評価に用いられたものは
RIBES \citep{isozaki:10}とchrF \citep{popovic:15}の2種類のみであった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia23f1.pdf}
\end{center}
\hangcaption{各{\AEM}（5件以上の論文で用いられた尺度に限る）および人手評価を含む{\MTpaper}の割合．``Other''はそれら以外のすべての{\AEM}すべてを，``Human''は人手評価を指す．}
\label{fig:metricpaper}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このように，多くのMT研究者が{\BLEU}以外の{\AEM}を無視している．
科学的な合意形成はなされていないにもかかわらず
{\BLEU}の差について語る際``small''，``large''，
（統計的な意味に限らず）``significant''などの表現が頻繁に用いられていることから，
{\BLEU}の差は解釈しやすい，先行研究との比較が容易である，などと認知されていることが推察される．
論文の査読過程で，論文の主旨とは関係ない文脈でも{\BLEU}を示すことや，
{\BLEU}以外の{\AEM}についての言及を削除することが求められる場合もある．

すでに多くの研究者によって指摘されているように，
{\BLEU}だけでなく，より適切な{\AEM}を併用すべきである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{消えゆく{\SigTest}}
\label{sec:sigtest}

{\SigTest}は，実験結果が偶然ではないことを確認するための標準的な作法である．
MTの研究においては，主に{\AEMS}の差が有意であることを確認する手段\citep{koehn:04,riezler:05}として
{\SigTest}が用いられてきた．
しかしながら，A3の情報（\Fig{sigpaper}）を見ると，{\AEMS}の比較時に{\SigTest}を行っている{\MTpaper}の割合は，最も多い年でも65\%に過ぎない．
さらに，2016年以降，その割合が急激に下がっている．
つまり，近年多くの{\MTpaper}が{\AEMS}の有意差を確認することなく結論を出しており，
論文の査読過程でもそれを問題視していない，ということである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia23f2.pdf}
\end{center}
\caption{{\AEMS}の比較時に{\SigTest}を行っている{\MTpaper}の割合．}
\label{fig:sigpaper}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

もちろん，{\SigTest}も万能ではない\citep{wasserstein:19}．
それでも，検定を行わないよりは信頼できるし，
無視することを正当化する理由にはならない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{安直にコピーされる{\AEMS}}
\label{sec:copy}

A4とA5の情報を整理した結果を\Fig{sbcppaper}に示す．
先行研究で報告されている{\AEMS}（大抵は{\BLEU}）をコピーするという行為が
2015年以降急増しており，その割合は2019～2020年には40\%近くに上る．
しかしながら，これらのスコアが本当に比較可能であるか否かは必ずしも確認されていない．
{\BLEU}は，他の多くの{\AEMS}と同様に，{\MTout}と{\HT}の前処理の方法などによって大きく異なりうる．
\citet{post:18:b}は，多くの{\MTpaper}が前処理に関する詳細を報告しておらず，{\AEMS}も適切に比較できていないことを指摘し，{\SB}を提案した．
しかしながら，{\SB}は2020年でも40\%弱の{\MTpaper}でしか用いられていない．
{\SB}の``signature''を報告していない論文も多い．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia23f3.pdf}
\end{center}
\hangcaption{先行研究における{\AEMS}をコピーしている{\MTpaper} (``Copied scores'')，{\SB}を用いている{\MTpaper} (``{\SB}'')，{\AEMS}をコピーしつつも{\SB}を用いずに評価を行っている{\MTpaper} (``Copied w/o SacreBLEU'')の割合．}
\label{fig:sbcppaper}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

先行研究で報告されている{\AEMS}をコピーする場合，
報告されていない尺度は比較できないため{\BLEU}への偏向が加速してしまう（\Sec{bleu}）し，
{\MTout}がないため{\SigTest}も行えない（\Sec{sigtest}）．
また，{\SB}の``signature''が同一であればスコアは比較可能であると言われているが，
MTシステムの訓練に用いられたデータの非同一性（\Sec{datadiff}）に対しては無力である．
{\AEMS}のコピーは避けるべきである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{同一でないデータに基づく公平でない比較}
\label{sec:datadiff}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia23f4.pdf}
\end{center}
\caption{同一ではないデータを用いて訓練されたMTシステムを比較している論文の割合．}
\label{fig:datadiffpaper}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

科学研究における作法の一つに，評価対象以外の変数を固定して行う対照実験がある．
MTシステムのアーキテクチャや訓練手法を提案する際は，
評価実験に用いるデータおよびその前処理（フィルタリング，分かち書きのツールやパラメタ，大文字小文字の処理など）を比較手法間で統一する必要がある．
そうでなければ，{\AEMS}の差異が手法の違いとデータの違いのどちらに依拠するのかを見分けられない．

先行研究で報告されている{\AEMS}をコピーしている{\MTpaper}に対してA6の情報を付与したところ，
データの同一性を確認しているものは3件のみであった．
不公平な比較を行っている論文の割合（対象を限定しているため，この値は下限値）を\Fig{datadiffpaper}に示す．
2019～2020年の{\MTpaper}のうち38.5\%が，同一でないデータを用いて訓練された異なるシステムを比較していた．
すなわち，これらの{\MTpaper}における結論は，評価に瑕疵があるため科学的には裏付けられていない．

同一のデータに基づく公平な比較を行うには，
結局は{\AEMS}をコピーすることを止め，我々自身が比較手法を再現するのが確実である．
その際の手間や計算コストは，前処理済のデータや手法の実装を公開・共有することによって軽減できる．
また，論文の査読過程で対照実験としての適切さを厳格に審査することも不可欠である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{MT研究の評価手法のメタ評価ガイドライン}
\label{sec:guideline}

上述の4つの問題は，先行研究でも指摘されており，かつ容易に回避できるものである．
しかしながら，多くの{\MTpaper}が1つ以上の問題を含んでおり，
複数の問題を含む{\MTpaper}の割合も年々増加している．

現状よりもいくらか科学的で建設的な議論を行うための一助となることを期待し，
我々は，上述の4つの問題をふまえた簡単なガイドライン（4点満点の採点手法）を作成した．
\begin{enumerate}
\item MTの評価の際に，人間による評価との相関が{\BLEU}よりも高い{\AEM}を用いているか?
  あるいは人手評価を行っているか?
\item {\AEMS}の有意差を，{\SigTest}を用いて確認しているか?
\item {\AEMS}を他の論文などからのコピーせず，
  自ら算出しているか? やむを得ずコピーした場合，
  比較可能であることを担保しているか?
\item 手法の優位性を検証する場合，同一のデータを用いた適切な対照実験を行っているか?
  （特定のデータや前処理に特化した手法についてはこの限りではないので，是とする）
\end{enumerate}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia23f5.pdf}
\end{center}
\caption{我々のガイドラインに照らしたときの得点の分布と平均値．}
\label{fig:points}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このガイドラインは，{\AEMS}に基づく評価を行う{\MTpaper}向けのものである．
{\MTpaper}の著者自身，また学会などのプログラム委員によって，論文の信頼性評価に利用できる．
本研究で分析した全論文の得点分布を\Fig{points}に示す．
{\MTpaper}の信頼性は年々劣化しているものの，
2020年に4点満点の論文が7件あったことは興味深い．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後の展望}
\label{sec:prospect}

本研究で分析した点以外にも，評価に用いられる言語対の偏り（特に英語を含む場合が極端に多い），ベースラインの適切さ\citep{denkowski:17}など，MTの評価における問題は多々存在する．
今後はこれらについての分析も予定している．
また，ACL以外の機械学習や人工知能に関する会議で発表された{\MTpaper}における傾向も調査したい．
末筆になるが，MT以外の自然言語処理の各分野においても，同様のメタ分析が行われることを期待している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本稿で報告した内容の一部は，
科研費若手研究『Neural Machine Translation for User-Generated Content』（課題番号：20K19879）ならびに
科研費基盤研究(S)『翻訳規範とコンピテンスの可操作化を通した翻訳プロセス・モデルと統合環境の構築』（課題番号：19H05660）の支援を受けた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
%%%%\bibliography{main}
    \input{23refs_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor[:]{Benjamin Marie}{2016年フランス・Paris-Sud
  UniversityでPh.D.を取得．同年よりNICT先進的音声翻訳研究開発推進セン
  ター研究員．主に機械翻訳を含む多言語処理の研究に従事．}

\bioauthor{藤田　　篤}{2005年奈良先端科学技術大学院大学情報科学研究科博士
  後期課程修了．博士（工学）．2014年よりNICT先進的音声翻訳研究開発推進
  センター主任研究員．主に言い換え表現の生成と認識，機械翻訳の研究に従
  事．}

\bioauthor[:]{Raphael Rubino}{2011年フランス・Avignon University
  でPh.D.を取得．2019年よりNICT先進的音声翻訳研究開発推進センター研究
  員，2021年より同主任研究員．主に機械翻訳，テキスト品質評価，機械学習
  の研究に従事．}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%\biodate   %%%% 受付日の出力（編集部で設定します）



\clearpage















\end{document}
