\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}



\Volume{26}
\Number{3}
\Month{September}
\Year{2019}

\received{2019}{2}{1}
\revised{2019}{5}{1}
\accepted{2019}{6}{17}

\setcounter{page}{613}

\jsubject{一般論文}
\jtitle{事前学習された文の分散表現を用いた機械翻訳の自動評価}
\jauthor{嶋中　宏希\affiref{Author_1} \and 梶原　智之\affiref{Author_1}\affiref{Author_2} \and 小町　　守\affiref{Author_1}}
\jabstract{
本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる．現在のデファクトスタンダードであるBLEUをはじめとして，多くの従来手法は文字や単語の$N$-gramに基づく素性に頼っており，文単位での評価にとっては限定的な情報しか扱えていない．そこで本研究では，文全体の大域的な情報を考慮するために，事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する．提案手法では，大規模コーパスによって事前学習された文の符号化器を用いて，翻訳文と参照文の分散表現を得る．そして，翻訳文と参照文の分散表現を入力とする回帰モデルによって，人手でラベル付けされた翻訳品質を推定する．WMT-2017 Metrics Shared Taskにおける翻訳品質のラベル付きデータセットを用いた実験の結果，我々の提案手法は文単位の全てのto-English言語対において最高性能を達成した．
}
\jkeywords{機械翻訳自動評価，文の分散表現}

\etitle{Metric for Automatic Machine Translation Evaluation based on Pre-trained Sentence Embeddings}
\eauthor{Hiroki Shimanaka\affiref{Author_1} \and Tomoyuki Kajiwara\affiref{Author_1}\affiref{Author_2} \and Mamoru Komachi\affiref{Author_1}} 
\eabstract{
This study describes a segment-level metric for automatic machine translation evaluation (MTE). Although various MTE metrics have been proposed, most MTE metrics, including the current de facto standard BLEU, can handle only limited information for segment-level MTE. Therefore, we propose an MTE metric using pre-trained sentence embeddings in order to evaluate MT translation considering global information. In our proposed method, we obtain sentence embeddings of MT translation and reference translation using a sentence encoder pre-trained on a large corpus. Then, we estimate the translation quality by a regression model based on sentence embeddings of MT translation and reference translation as input. Our metric achieved state-of-the-art performance in segment-level metrics tasks for all to-English language pairs on the WMT dataset with human evaluation score.
}
\ekeywords{Automatic Machine Translation Evaluation, Sentence Embeddings}

\headauthor{嶋中，梶原，小町}
\headtitle{事前学習された文の分散表現を用いた機械翻訳の自動評価}

\affilabel{Author_1}{首都大学東京}{Tokyo Metropolitan University}
\affilabel{Author_2}{大阪大学}{Osaka University}


\begin{document}
\maketitle


\section{はじめに}
\label{sec:intro}

本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる．
文単位での信頼性の高い自動評価によって，機械翻訳システムの細かい改善が可能になる．
文単位での機械翻訳の評価手法には，ある機械翻訳システムの翻訳文に対して他のシステムの翻訳文と比較して相対的に評価する手法と，翻訳文の品質を絶対的に評価する手法がある．
本研究では，機械翻訳システムの文単位での定性的な分析，つまり，評価対象の機械翻訳システムがどのような文に対してどの程度の品質で翻訳できるのかについての分析を可能にするため，各翻訳文に対して絶対的な自動評価を行う．
本研究では，人手評価に近い絶対評価ができる手法を信頼性の高い自動評価であると捉え，その信頼性に基づいて各評価手法の性能比較や分析を行う．

機械翻訳に関する国際会議Conference on
Machine Translation (WMT)\footnote{https://aclanthology.info/venues/wmt}では，機械翻訳自動評価手法の人手評価との相関を競うMetrics Shared Taskが開催されており，これまでに多くの手法が提案されてきた．
しかし，現在のデファクトスタンダードであるBLEU \cite{papineni-2002}をはじめとして，ほとんどの機械翻訳自動評価手法は文字$N$-gramや単語$N$-gramなどの局所的な素性を利用しており，文単位での評価にとっては限定的な情報しか扱えていない．
また，大域的な情報を考慮するために文の分散表現を用いた手法も存在するが，人手評価値付きのデータセットなどの比較的少量の教師ありデータのみを用いてモデル全体を学習するため，十分な性能を示せていない．

そこで本研究では，局所的な素性に基づく従来手法では扱えない大域的な情報を考慮するために，大規模コーパスによって事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する．
我々の提案手法は，(a)~翻訳文と参照文を独立に符号化する手法と，(b)~翻訳文と参照文を同時に符号化する手法に大別できる．
これらの2つの提案手法は，大規模コーパスによって事前学習された文の分散表現を素性として利用し，人手評価値付きのデータセット上で訓練された回帰モデルによって機械翻訳の自動評価を行うという点で共通している．


我々はまず，事前学習された文の分散表現を用いた機械翻訳自動評価のための回帰モデルRUSE\footnote{https://github.com/Shi-ma/RUSE} (Regressor Using Sentence Embeddings)
    （図~\ref{fig:ruse_bert}(a)）を提案する．
WMT-2017 Metrics Shared Task \cite{bojar-2017}のデータセットにおける実験の結果，RUSEは文単位の全てのto-English言語対で従来手法よりも高い性能を示した．
この結果は，事前学習された文の分散表現が機械翻訳の自動評価にとって有用な素性であることを示す．

\begin{figure}[t]
\begin{center}
\includegraphics[scale=1.1]{26-3ia3f1.eps}
\end{center}
\caption{各手法の概要．散点部は訓練し，横線部は固定する．}
\label{fig:ruse_bert}
\end{figure}

我々は続いて，文および文対の符号化器であるBERTによる機械翻訳自動評価手法
    （図~\ref{fig:ruse_bert}(b)）を提案する．
BERT (Bidirectional Encoder Representations from Transformers) \cite{devlin-2019}は，大規模な生コーパスを用いて双方向言語モデルおよび隣接文推定の事前学習を行った上でタスクに応じた再訓練を行い，多くの自然言語処理タスクで最高性能を更新している．
我々は，WMT Metrics Shared Taskの人手評価値付きデータセットを用いて再訓練することで，BERTによる機械翻訳自動評価を可能にした．
WMT-2017 Metrics Shared Taskのデータセットにおける実験の結果，BERTによる機械翻訳自動評価は文単位の全てのto-English言語対でRUSEを凌ぎ，最高性能を更新した．
詳細な分析の結果，RUSEとの主な相違点である事前学習の方法，文対モデリング，符号化器の再訓練の3点が，それぞれBERTによる機械翻訳自動評価における性能改善に貢献していることが明らかになった．

本研究の主な貢献は以下の3つである．

\begin{itemize}
\item 事前学習された文の分散表現に基づく機械翻訳自動評価手法RUSEを提案し，事前学習された文の分散表現が機械翻訳の自動評価において有用な素性であることを示した．
\item 同じく事前学習された文の分散表現に基づくBERTによる機械翻訳の自動評価を行い，WMT-2017 Metrics Shared Taskのデータセットを用いる実験において，文単位の全てのto-English言語対で最高性能を更新した．
\item RUSEとBERTによる機械翻訳自動評価の比較に基づく詳細な分析により，BERTの事前学習の方法，文対モデリング，符号化器の再訓練の3点が，それぞれ機械翻訳の自動評価における性能改善に貢献していることを明らかにした．
\end{itemize}

本稿の構成を示す．
2節では，まず機械翻訳の人手評価について説明し，続いて機械翻訳自動評価手法の関連研究について概説する．
3節では，事前学習された文の分散表現に基づくRUSEおよびBERTによる機械翻訳の自動評価手法を提案する．
4節では，WMT Metrics Shared Taskの人手評価値付きデータセットを用いて，提案手法の評価実験を行う．
5節では，訓練データの文対数と性能の関係やfrom-English言語対における性能について分析する．
最後に6節で，本研究のまとめを述べる．


\section{関連研究}
\label{sec:related_works}

本節では，まず機械翻訳の人手評価について説明し，続いて機械翻訳自動評価手法の関連研究について概説する．
自動評価については，人手評価値付きのデータセットを用いて訓練する手法を教師あり手法，訓練しない手法を教師なし手法として分けて説明する．


\subsection{機械翻訳の人手評価}
\label{sub:human_evaluation}

機械翻訳に関する国際会議WMTでは，機械翻訳システムの性能を競うNews Translation Shared Taskが開催されており，各システムの翻訳文を研究者やクラウドソーシングによって人手評価してきた．
WMTにおける機械翻訳の人手評価としては，各翻訳文に対する相対評価 (RR: Relative Ranking) \cite{bojar-2016a}と絶対評価 (DA: Direct Assessment) \cite{graham-2013,graham-2014,graham-2017}が行われてきた．

人手の相対評価では，ある原文と参照文に対して複数の機械翻訳システムによる翻訳文が与えられ，各翻訳文を順位付けする．
しかし，このような相対評価では異なる原文に対する翻訳文同士の品質を比較できないという問題が存在する．
そのため，WMT-2016 \cite{bojar-2016b}からは人手の絶対評価が行われ始めた\footnote{WMTにおいて，人手の絶対評価が採用され始めたのはWMT-2016 News Translation Shared Taskからであるが，WMT-2016 Metrics Shared Taskでは訓練用のデータセットとしてWMT-2015 News Translation Shared Task \cite{stanojevic-2015b}における翻訳文と参照文に対して人手で付与した絶対評価値付きデータセットが公開されている．}．

人手の絶対評価では，ある原文と参照文に対して単一の機械翻訳システムによる翻訳文が与えられ，各翻訳文に妥当性や流暢性についての品質スコアを付与する．
WMTの人手評価では，原文は考慮せず，翻訳文と参照文の比較のみによって各翻訳文の妥当性や流暢性について絶対的な評価を行っている．
ここでの翻訳文の妥当性とは，参照文との意味的な類似度のことであり，機械翻訳におけるターゲット言語側の単言語の評価タスクとなっている．
WMT News Translation Shared Taskにおける妥当性や流暢性の人手評価値の収集は下記の手順で行われる．

\begin{enumerate}
\item WMT News Translation Shared Taskに参加した機械翻訳システムの翻訳文とそれに対応する参照文の対が100文対ずつ無作為抽出され，各評価者に割り振られる．
\item 各評価者は，翻訳文と参照文を比較し，0〜100のアナログスケールにより各翻訳文の妥当性や流暢性を評価する．
\item 品質管理 \cite{graham-2014}により，質の低い評価者による評価値を排除する．
\item 評価者ごとのスコアの偏りを均質化するため，評価者ごとに平均が0，標準偏差が1となるようにz-scoreを用いて評価値を標準化する．
\item 複数の評価者による標準化された評価値を平均し，最終的な評価値とする．
\end{enumerate}  

WMT Metrics Shared Taskでは，上記の方法で収集されたデータセットの中から妥当性についての質の高いデータ\footnote{評価者15人以上によって評価された翻訳文と参照文の対 \cite{graham-2015}}を各言語対ごとに無作為抽出することにより，人手の絶対評価値付きデータセットを作成している．
本研究では，この人手による妥当性についての絶対評価値付きデータセットを用いて，提案手法を訓練および評価する．


\subsection{機械翻訳の自動評価のための教師なし手法}
\label{sub:unsupervised}

機械翻訳の自動評価におけるデファクトスタンダードであるBLEU \cite{papineni-2002}は，単語$N$-gramの一致率に基づくシステム単位の教師なし手法である．
文単位での評価のためには，平滑化されたSentBLEU\footnote{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/mteval-v13a.pl}が用いられる．
SentBLEUは，WMT Metrics Shared Taskにおけるベースラインとして利用されている．

AM-FM \cite{banchs-2015}は，機械翻訳自動評価のために文の分散表現を用いる教師なし手法であり，妥当性に基づく評価手法であるAdequacy Metric (AM)と流暢性に基づく評価手法であるFluency Metric (FM)の調和平均を最終的な翻訳文の評価値とする．
妥当性を評価するAMでは，潜在的意味インデキシング(LSI)により得られる，参照文と翻訳文の各分散表現間のコサイン類似度に基づいて翻訳文を評価する．
流暢性を求めるFMでは，$N$-gram言語モデルに基づいて翻訳文を評価する．

chrF\footnote{https://github.com/m-popovic/chrF} \cite{popovic-2015}は，文字$N$-gramのF値に基づく手法である．
また，chrF+およびchrF++ \cite{popovic-2017}は，文字$N$-gramとともに単語$N$-gramのF値も考慮する．
これらの手法は，WMT-2016 \cite{bojar-2016b}以降のMetrics Shared Taskにおいて文単位のfrom-English言語対で常に高い性能を示している．

MEANT~2.0\footnote{http://chikiu-jackie-lo.org/home/index.php/meant} \cite{lo-2017}は，逆文書頻度で重み付けされた単語$N$-gram，単語分散表現に基づく単語類似度および意味役割付与(SRL)に基づく構文類似度を用いる手法である．
SRLを利用できない言語においては，MEANT~2.0-nosrlを適用することができる．
MEANT~2.0はWMT-2017 Metrics Shared Taskにおいて，文単位のto-English言語対で高い性能を示しており，教師なし手法の中では最も高い性能を示している．
また，MEANT~2.0-nosrlはWMT-2017 Metrics Shared Taskにおいて,  文単位のfrom-English言語対で最高性能を示している．

これらの教師なし手法は，多くの言語対において一貫した評価ができるという利点を持つ．
しかし，評価値のラベル付きデータが比較的多く存在するto-English言語対においては，教師あり手法がより高い性能を示している．
我々は，to-English言語対を主な対象として，より人手評価に近い絶対評価ができる教師あり手法を提案する．


\subsection{機械翻訳の自動評価のための教師あり手法}
\label{sub:supervised}

BEER\footnote{https://github.com/stanojevic/beer} \cite{stanojevic-2015a}は，文字$N$-gramの一致率を素性として人手の相対評価値付きデータセット上で訓練を行う教師あり手法である．
この手法は，WMT-2017のMetrics Shared Taskにおいて，文単位のfrom-English言語対で高い性能を示している．

Blend\footnote{https://github.com/qingsongma/blend} \cite{ma-2017}は，機械翻訳の自動評価用ツールキットAsiya\footnote{http://asiya.lsi.upc.edu} \cite{PBML_Asiya:2010}の基本25素性に先述のBEERなど4種類の他の機械翻訳自動評価手法 \cite{stanojevic-2015a,wang-2016,yu-2015a,yu-2015b}を組み合わせたアンサンブル手法であり，人手の絶対評価値付きデータセット上で訓練する教師あり手法である．
この手法は，WMT-2017 Metrics Shared Taskにおいて，文単位のto-English言語対で最高性能を達成している．

Blendは多くの素性を用いる手法であるが，文字単位の編集距離や単語$N$-gramに基づく素性など，文全体を同時に考慮できない局所的な情報のみに頼っている．
本研究では，これらの教師あり学習に基づく従来手法では扱えない大域的な情報を考慮する手法を提案する．

\subsection{機械翻訳の自動評価のための大域的な素性に基づく教師あり手法}
\label{sub:reval}

文全体の大域的な情報を考慮する手法として，文の分散表現に基づくReVal\footnote{https://github.com/rohitguptacs/ReVal} \cite{gupta-2015}がある．
ReValはWMT Metrics Shared Taskおよび文対の意味的類似度推定タスク \cite{marelli-2014}における人手の相対評価値付きデータセット上でTree-LSTM \cite{tai-2015}によって文の分散表現を学習する．
しかし，小規模なラベル付きコーパスのみを用いるため十分な性能を達成できていない \cite{bojar-2016b}．
本研究では，大規模な生コーパス上で事前学習された文の分散表現を利用することで，
文単位での表現学習における少資源問題を克服する．


\section{事前学習された文の分散表現を用いた機械翻訳の自動評価}
\label{sec:ruse}

従来手法に多く見られる文字や単語の$N$-gram素性に基づく機械翻訳自動評価手法には，文全体の大域的な情報を考慮できないため，
参照文と表層的には異なるが意味的には似ている翻訳文に対して正確な評価ができないという問題がある．
一方で，\ref{sub:reval}節で説明したReValは文の分散表現を用いて大域的な情報を考慮するが，WMT Metrics Shared Taskのデータセットなどの小規模なラベル付きコーパスのみを用いてモデル全体を訓練するため，文単位での十分な表現学習ができていない．
そこで本研究では，大域的な情報を考慮する際の少資源問題を解決するために，
事前学習された文の分散表現に基づく機械翻訳自動評価手法を提案する．

我々の提案手法は，RUSEとBERTによる機械翻訳自動評価の2つである．
まず\ref{sub:ruse}節では，文の分散表現を用いた機械翻訳自動評価のための回帰モデルであるRUSEについて説明する．
次に\ref{sub:bert}節では，文対を同時に符号化するBERTによる機械翻訳自動評価について説明する．


\subsection{RUSE: 文の分散表現を用いた機械翻訳自動評価のための回帰モデル}
\label{sub:ruse}

本節では，事前学習された文の分散表現を素性とする回帰モデルRUSE (Regressor Using Sentence Embeddings) について説明する．
まず \ref{subsub:sentence_embeddings}節では，RUSEで使用する3種類の文の分散表現について説明する．
続いて \ref{subsub:ruse_regressor}節では，機械翻訳自動評価のための回帰モデルおよび素性抽出について述べる．


\subsubsection{事前学習された文の分散表現}
\label{subsub:sentence_embeddings}

大規模なコーパスを用いて事前学習された文の分散表現は，文書分類や文対の意味的類似度推定など多くの応用タスク \cite{conneau-2018}において高い性能を発揮している．
本研究では，教師あり学習に基づくInferSent \cite{conneau-2017}，教師なし学習に基づくQuick Thought \cite{logeswaran-2018}およびマルチタスク学習に基づくUniversal Sentence Encoder \cite{cer-2018}の3手法を用いて文全体の大域的な情報を考慮する．

InferSent\footnote{https://github.com/facebookresearch/InferSent}は，含意関係認識のためのStanford Natural Language Inference (SNLI) データセット \cite{bowman-2015}上でMax-poolingを用いた双方向LSTMネットワークを訓練する教師あり学習に基づく手法である．
図~\ref{fig:infersent}に示すように，文$u$および$v$をそれぞれ符号化し，それらの分散表現$\vec{u}$および$\vec{v}$から素性を抽出し，含意関係認識の3値分類を通して文の符号化器を学習する．
含意関係認識とは，所与の文対の関係を含意／矛盾／中立に3値分類するタスクであり，意味の違いに敏感な文の分散表現が得られると期待できる．

Quick Thought\footnote{https://github.com/lajanugen/S2V}は，大規模な生コーパス上で双方向GRUネットワークを用いて隣接文推定することにより，教師なしで文の表現学習を行う手法である．
図~\ref{fig:quick-thought}に示すように，文$i$，その文脈$t$，その他の文（対比文）$c_1,c_2,...,c_k$が与えられ，2種類の文の符号化器$f$および$g$がそれぞれ文を符号化する．
そして，入力文の分散表現$\vec{i}$との最大の内積値を持つ分散表現に対応する文を隣接文として推定する分類器を用いて，隣接文推定の学習を行う．
応用タスクでは，所与の文を2つの符号化器$f$および$g$を用いてそれぞれ符号化し，各符号化器から得られる分散表現を連結することによって文の分散表現を獲得する．
隣接文推定タスクを通して文の符号化器を学習することによって，文対の関係を考慮した分散表現が得られると期待できる．

\begin{figure}[t]
\noindent
\begin{minipage}[b]{158pt}
\begin{center}
\includegraphics[scale=1.1]{26-3ia3f2.eps}
\end{center}
\caption{InferSentの概要図}
\label{fig:infersent}
\end{minipage}
\begin{minipage}[b]{260pt}
\begin{center}
\includegraphics[scale=1.1]{26-3ia3f3.eps}
\end{center}
\caption{Quick Thoughtの概要図}
\label{fig:quick-thought}
\end{minipage}
\end{figure}

Universal Sentence Encoder\footnote{https://www.tensorflow.org/hub/modules/google/universal-sentence-encoder-large/2}は，復号器を用いるSkip-Thought \cite{kiros-2015}のような隣接文推定，発話応答推定および含意関係認識の3タスクを用いて自己注意機構に基づくネットワーク \cite{vaswani-2017}をマルチタスク学習する手法である．
Universal Sentence Encoderでは隣接文推定や発話応答推定のための訓練データとして，Wikipedia，ニュース，QAサイト，議論サイトなどの多様なWebソースを用いる．
多様なドメインのコーパスに基づくマルチタスク学習によって，幅広い応用タスクにおいて有用な文の分散表現が得られると期待できる．


\subsubsection{機械翻訳自動評価のための回帰モデルと素性抽出}
\label{subsub:ruse_regressor}

機械翻訳の自動評価は，翻訳文と参照文から翻訳文の人手評価値を推定する回帰タスクとして考えることができる．
そこでRUSE
    （図~\ref{fig:ruse_bert}(a)）は，
所与の翻訳文$t$と参照文$r$から\ref{subsub:sentence_embeddings}節の符号化器を用いて分散表現$\vec{t}$および$\vec{r}$を獲得し，InferSent \cite{conneau-2017}にならって以下の3つの方法で翻訳文と参照文の関係を抽出し，それら3つを連結したものを素性として多層パーセプトロン (MLP) に基づく回帰モデルを訓練する．

\begin{itemize}
\item 連結：$(\vec{t}, \vec{r})$
\item 要素積：$\vec{t}*\vec{r}$
\item 要素差：$|\vec{t}-\vec{r}|$
\end{itemize}

回帰モデルには，これらの3種類の素性を連結した4$d$次元の素性が入力される．
\pagebreak
ただし，$d$は分散表現$\vec{t}$および$\vec{r}$の次元数である．
RUSEでは回帰モデルのみを学習し，文の符号化器の再訓練は行わない．


\subsection{BERTによる機械翻訳自動評価}
\label{sub:bert}

文および文対単位の表現学習モデルであるBERT (Bidirectional Encoder Representations from Transformers) \cite{devlin-2019}が，文対の意味的類似度推定など多くのタスクで最高性能を更新し，注目を集めている．
本節では，BERTを用いて機械翻訳の自動評価を行う．
BERTによる機械翻訳の自動評価はRUSEと同じく，事前学習された文の分散表現を利用し，MLPによって人手評価値を推定する．
    ただし，図~\ref{fig:ruse_bert}(b)に示すように，
BERTによる機械翻訳の自動評価では翻訳文と参照文の両方を文対の符号化器で同時に符号化する．
以下では，RUSEとの主な相違点でありBERTによる機械翻訳自動評価の特徴である，事前学習の方法，文対モデリング，符号化器の再訓練について詳細に説明する．


\subsubsection{BERTにおける事前学習}
\label{subsub:bert_pre-train}

BERTは，大規模な生コーパス上で双方向の自己注意機構に基づくネットワーク \cite{vaswani-2017}を用いて，以下の2種類の教師なし事前学習を同時に行う．


\paragraph{双方向言語モデル：}
生コーパスの一部のトークンを[MASK]トークンに置換した上で，双方向の言語モデルによって元のトークンを推定する．
この教師なしの事前学習によって，BERTの符号化器は文内におけるトークン間の関係を学習する．

\paragraph{隣接文推定：}
生コーパスの一部の文を無作為に他の文に置換した上で，連続する2文が隣接していた文対か否かを2値分類する．
この教師なしの事前学習によって，BERTの符号化器は文対の関係を学習する．


\subsubsection{BERTにおける文対モデリング}
\label{subsub:bert_sentence-pair_encoding}

BERTでは，隣接文推定や含意関係認識などの文対を扱うタスクのために，各文を独立に符号化するのではなく，文対を同時に符号化する．
文対に含まれる各文は，入力系列の先頭に一度のみ追加される[CLS]トークンおよび各文末に追加される[SEP]トークンによって区別される
（図~\ref{fig:bert_input}）．最終的に，[CLS]トークンに対応する最終の隠れ層が，文対の分散表現を表す\footnote{極性分類などの単一文を扱うタスクのために，文対ではなく文を符号化することもできる．この場合，文頭と文末に[CLS]トークンと[SEP]トークンが一度ずつ追加され，[CLS]に対応する最終の隠れ層が文の分散表現を表す．}．


\subsubsection{BERTにおける符号化器の再訓練}
\label{subsub:bert_fine-tuning}

BERTでは，符号化器で文または文対の分散表現を得た後，それを入力としてMLPによって分類や回帰などの応用タスクを解く．
なお，応用タスクのラベル付きデータを用いてMLPを訓練する際，文または文対の分散表現を得るための符号化器も再訓練する．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia3f4.eps}
\end{center}
\caption{BERTの文対モデリング（$u$, $v$：入力トークン，$T, T'$：各入力トークンに対する分散表現）}
\label{fig:bert_input}
\end{figure}


\section{評価実験}
\label{sec:experiment_wmt17}

本節では，WMT Metrics Shared Taskにおける人手の絶対評価値付きデータセットを用いて，文単位のto-English言語対における提案手法の有効性を検証する．

\begin{table}[b]
\caption{WMT Metrics Shared Taskのto-English言語対における人手の絶対評価値付き文対数}
\label{tab:dataset_da}
\input{03table01.tex}
\end{table}


\subsection{実験設定}
\label{sub:settings_wmt17}

表~\ref{tab:dataset_da}に，\ref{sub:human_evaluation}節の手順により作成された人手の絶対評価値付きデータセットの言語対\footnote{en：英語，cs：チェコ語，de：ドイツ語，fi：フィンランド語，ro：ルーマニア語，ru：ロシア語，tr：トルコ語，lv：ラトビア語，zh：中国語}ごとの文対数を示す．
これらのデータセットにおける人手の絶対評価値は，約$-1.95$〜約$1.65$の実数値で示されている．
本実験では，WMT-2015 \cite{stanojevic-2015b}およびWMT-2016 \cite{bojar-2016b}の合計5,360文対を無作為に分割し，9割を訓練用，1割を開発用に利用する．
また，WMT-2017 \cite{bojar-2017}の文対は評価用に利用する．

RUSEの素性には，それぞれ著者らによって公開されている学習済みのInferSent，Quick ThoughtおよびUniversal Sentence Encoderを用いて文の分散表現を得る．
BERTには，著者らによって公開されている訓練済みモデルのうち，BERT$_\text{BASE}$ (uncased)\footnote{https://github.com/google-research/bert}を用いる．

各自動評価手法のメタ評価のために，人手の絶対評価値とのピアソンの積率相関係数，スピアマンの順位相関係数および平均2乗誤差を用いる．
ピアソンの積率相関係数は，WMT Metrics Shared Taskで用いられており，各手法が出力する評価値の絶対的なメタ評価ができる指標である．
しかし，ピアソンの積率相関係数は外れ値が存在した場合に不当な値を示すという問題が存在するため，本実験ではスピアマンの順位相関係数によるメタ評価も行う．
また本研究では，機械翻訳の自動評価を回帰問題として扱っているため，各自動評価手法がどれほど人手の評価値に近い値を出力しているかについても評価したい．
そのため，本タスクを回帰問題として扱っているBlend，RUSEおよびBERTについては，人手の評価値と各手法の評価値の平均2乗誤差によるメタ評価も行う．


\subsection{比較手法}
\label{sub:metrics_wmt17}

本実験では，WMT-2017 Metrics Shared TaskにおけるベースラインであるSentBLEUおよび上位3手法を提案手法と比較する．
比較手法のメタ評価には，WMT-2017 Metrics Shared Task\footnote{http://www.statmt.org/wmt17/results.html}で公開されている各手法の評価値を利用した．

提案手法については，事前学習された文の分散表現による貢献を明らかにするため，RUSEの素性として単語分散表現の平均ベクトルを用いた実験も行う．
RUSEとBERTによる機械翻訳自動評価を比較するため，最終的に以下の7つの設定で実験した．

\paragraph{RUSE with GloVe-BoW: }
    図~\ref{fig:ruse_bert}(a)の文の分散表現として，
単語分散表現GloVe \cite{pennington-2014} (glove.840B.300d\footnote{https://nlp.stanford.edu/projects/glove})の平均ベクトルを用いる．この300次元のベクトルを文の分散表現として，\ref{subsub:ruse_regressor}節の方法で素性を抽出する．

\paragraph{RUSE with IS: }
SNLIデータセット \cite{bowman-2015}の56万文およびMultiNLIデータセット \cite{williams-2018}の約43万文の両方を用いて事前学習されたInferSentによって4,096次元の文の分散表現を獲得し，\ref{subsub:ruse_regressor}節の方法で素性を抽出する．

\paragraph{RUSE with QT: }
BookCorpusデータセット \cite{Zhu-2015}の4,500万文およびUMBC WebBase \cite{han-2013}の約1億3,000万文の両方を用いて事前学習されたQuick Thoughtによって4,800次元の文の分散表現を獲得し，\ref{subsub:ruse_regressor}節の方法で素性を抽出する．

\paragraph{RUSE with USE: }
Wikipedia，ニュース，QAサイト，議論サイトなどの多様なWebソースを用いて事前学習されたUniversal Sentence Encoderによって512次元の文の分散表現を獲得し，\ref{subsub:ruse_regressor}節の方法で素性を抽出する．

\paragraph{RUSE with BERT: }
単一文を入力とするBERTの[CLS]トークンに対応する隠れ層のうち，最終4層を連結したものを3,072次元の文の分散表現として\ref{subsub:ruse_regressor}節の方法で素性を抽出する．
ただし，BERTの符号化器の部分は再訓練しない．

\paragraph{BERT (w/o fine-tuning): }
文対を入力とするBERTの[CLS]トークンに対応する隠れ層のうち最終4層を連結したもの（3,072次元）を，
    図~\ref{fig:ruse_bert}(b)のMLPの入力として用いる．
ただし，BERTの符号化器の部分は再訓練しない．

\paragraph{BERT: }
文対を入力とするBERTの[CLS]トークンに対応する最終隠れ層（768次元）を
    図~\ref{fig:ruse_bert}(b)のMLPの入力として用い，
MLPとともにBERTの符号化器の部分も再訓練する．

RUSEとBERT (w/o fine-tuning)の各パラメータは，以下の組み合わせの中からグリッドサーチにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択する．
なお，全ての層において活性化関数はReLUを使用する．

\begin{itemize}
\item $バッチサイズ \in \{64, 128, 256, 512, 1024\}$
\item $学習率 (\text{Adam})  \in \{\text{1e-3}\}$
\item $エポック数 \in \{1, 2, ..., 30\}$
\item $\text{ドロップアウト率} \in \{0.1, 0.3, 0.5\}$
\item $\text{MLPの隠れ層の数} \in \{1, 2, 3\}$
\item $\text{MLPの隠れ層の次元} \in \{512, 1024, 2048, 4096\}$
\end{itemize}

BERTの各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサーチにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択する．


\begin{table}[b]
\caption{WMT-2017 Metrics Shared Task（to-English言語対）におけるピアソンの積率相関係数}
\label{tab:experiment_wmt17_pearson}
\input{03table02.tex}
\end{table}


\subsection{実験結果}
\label{sub:results_wmt17}

表~\ref{tab:experiment_wmt17_pearson}，表~\ref{tab:experiment_wmt17_spearman}および表~\ref{tab:experiment_wmt17_mse}にWMT-2017 Metrics Shared Taskにおける実験結果を示す．
表~\ref{tab:experiment_wmt17_pearson}および表~\ref{tab:experiment_wmt17_spearman}より，
BERTが全てのto-English言語対において人手評価との最高の相関を示す．
同様に，表~\ref{tab:experiment_wmt17_mse}より，BERTがzh-en以外の言語対で最小の誤差を示す．
これらの結果は，文対を同時に符号化する表現学習モデルであるBERTが機械翻訳自動評価タスクにおいても有効であることを示す．

\begin{table}[t]
\caption{WMT-2017 Metrics Shared Task（to-English言語対）におけるスピアマンの順位相関係数}
\label{tab:experiment_wmt17_spearman}
\input{03table03.tex}
\end{table}

\begin{table}[t]
\caption{WMT-2017 Metrics Shared Task（to-English言語対）における平均2乗誤差}
\label{tab:experiment_wmt17_mse}
\input{03table04.tex}
\end{table}

各表の下段を比較すると，事前学習された文の分散表現を素性として用いた全てのRUSEモデルが，単語分散表現の平均ベクトルを素性として用いたRUSE with GloVe-BoWよりも高い相関および小さな誤差を示していることがわかる．
これらの結果は，文全体の大域的な情報を考慮できる文の分散表現に基づく素性が，機械翻訳自動評価にとって有用であることを意味する．

また，Quick ThoughtやBERTの素性を用いるRUSE with QTおよびRUSE with BERT が，単一の符号化器に基づく提案手法の中でも特に高い性能を示した．
このことから，隣接文推定の教師なし学習によって得られる文の分散表現が，機械翻訳の評価において特に有効であると考えられる．
Universal Sentence Encoderもマルチタスク学習の一部として隣接文推定を行っているが，これはQuick ThoughtやBERTにおける隣接文推定とは設定が異なる．
Quick ThoughtやBERTにおける隣接文推定では，符号化器と単純な分類器を用いて文対が隣接するか否かを分類する．
一方でUniversal Sentence Encoderにおける隣接文推定では，符号化器と復号器を用いて入力文から隣接文を生成する．
そのため，前者はタスクを解くための情報を符号化器が獲得するが，後者は符号化器と復号器の両方にタスクを解くための情報が散在すると考えられる．
この違いのために，Quick ThoughtやBERTが有用性の高い文の分散表現を獲得できた．

さらに，隣接文推定のみによって事前学習されたRUSE with Quick Thoughtよりも，双方向言語モデルと隣接文推定の両方によって事前学習されたRUSE with BERTの方が，多くの言語対において高い性能を示していることがわかる．
このことから，BERTの符号化器における事前学習の方法による性能への影響がわかる．
つまり，BERTの大きな特徴のひとつである双方向言語モデルによる事前学習は，機械翻訳の自動評価のためにも有効であると考えられる．

RUSE with BERTとBERT (w/o fine-tuning)を比較すると，BERTの文対モデリングによる性能への影響がわかる．
多くの言語対において，翻訳文と参照文を独立に符号化する前者よりも，同時に符号化する後者の方が高い性能を持つ．
RUSEでは，InferSentにならって2つの文の分散表現を組み合わせる素性抽出を行ったが，これが機械翻訳の自動評価に適した素性抽出の方法であるとは限らない．
一方で，BERTの文対モデリングは，素性抽出を陽に行うことなく文対の関係を考慮した分散表現を得ている．
BERTでは隣接文推定による事前学習の際に，上手く文対の関係を学習できている可能性がある．

BERT (w/o fine-tuning)とBERTを比較すると，符号化器の再訓練による性能への影響がわかる．
事前学習された文対の符号化器から素性抽出を行いMLPのみを訓練するBERT (w/o fine-tuning)よりも，文対の分散表現を素性としMLPとともに符号化器を再訓練するBERTの方が，全ての言語対において大幅に高い相関を示し，zh-en以外の言語対で最小の誤差を示す．
つまり，BERTの大きな特徴のひとつである符号化器の再訓練は，機械翻訳の自動評価のためにも有効である．


\section{分析}
\label{sec:analysis}

\subsection{訓練データの文対数と性能の関係}
\label{sub:larning_curve}

本節では，WMT-2017のlv-en言語対の560文対を評価用データとして，RUSEとBERTについて訓練データの文対数と性能の関係を分析する．
WMT-2015，WMT-2016およびWMT-2017のlv-en言語対以外の合計8,720文対を無作為に分割し，8,160文対を訓練用，560文対を開発用に利用する．
そして，訓練用データを510文対，1,020文対，2,040文対，4,080文対，8,160文対の5つの大きさでそれぞれ無作為抽出し，開発用データと評価用データにおける人手評価値とのピアソンの積率相関係数，スピアマンの順位相関係数および平均2乗誤差を評価する．

RUSEの素性には\ref{sub:settings_wmt17}節で述べたQuick Thoughtを用いる．
RUSEの各パラメータは\ref{sub:settings_wmt17}節の組み合わせの中からグリッドサーチにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズのみ以下に変更した．

\begin{itemize}
\item $バッチサイズ \in \{16, 32, 64, 128, 256, 512, 1024\}$
\end{itemize}

BERTの各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサーチにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズとエポック数のみ以下に変更した．

\begin{itemize}
\item $バッチサイズ \in \{8, 16, 32\}$
\item $エポック数 \in \{1, 2, ..., 6\}$
\end{itemize}

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia3f5.eps}
\end{center}
\caption{RUSE（左）とBERT（右）における学習曲線（人手評価とのピアソンの積率相関係数）}
\label{fig:LC_pearson}
\end{figure}

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia3f6.eps}
\end{center}
\caption{RUSE（左）とBERT（右）における学習曲線（人手評価とのスピアマンの順位相関係数）}
\label{fig:LC_spearman}
\end{figure}

図~\ref{fig:LC_pearson}，図~\ref{fig:LC_spearman}および図~\ref{fig:LC_mse}に，RUSEとBERTのピアソンの積率相関係数，スピアマンの順位相関係数および平均二乗誤差に対する学習曲線をそれぞれ示す．
RUSEの学習曲線およびBERTの学習曲線において，訓練データ数が510文対の場合と8,160文対の場合では評価時のピアソンの積率相関係数およびスピアマンの順位相関係数に約0.1の差があり，評価時の平均2乗誤差には約0.05以上の差がある．
このことから，RUSEおよびBERTによる機械翻訳自動評価の両手法において，訓練データ数による性能の変化が大きいことがわかる．
また，図~\ref{fig:LC_pearson}と図~\ref{fig:LC_spearman}および図~\ref{fig:LC_mse}より，BERTによる機械翻訳自動評価は訓練データ数が510文対の場合でも，RUSEの8,160文対の訓練データ数での性能を上回っていることがわかる．
510文対のデータで訓練されたBERTによる機械翻訳自動評価の性能は，表\ref{tab:experiment_wmt17_pearson}と表\ref{tab:experiment_wmt17_spearman}および表\ref{tab:experiment_wmt17_mse}におけるいずれの比較手法よりも同等もしくは高い性能を示している．
以上の分析から，BERTは少量のラベル付きコーパスを用いる訓練でも高い性能を発揮することがわかり，訓練データ数を増やすことが可能であれば，更に信頼性の高い機械翻訳自動評価手法になると考えられる．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia3f7.eps}
\end{center}
\caption{RUSE（左）とBERT（右）における学習曲線（人手評価との平均2乗誤差）}
\label{fig:LC_mse}
\end{figure}


\subsection{from-English言語対における性能}
\label{sub:from-english}

本節では，to-English言語対以外の設定として，from-English言語対の中で最も多くのラベル付きコーパスが存在するen-ru言語対における性能を調査する．
WMT-2015の500文対およびWMT-2016の560文対の合計1,060文対を無作為に分割し，9割を訓練用，1割を開発用に利用する．
評価用には，WMT-2017の560文対を用いる．

RUSEの素性には，ロシア語のWikipedia上で事前学習したQuick Thoughtを用いる．
RUSEの各パラメータは\ref{sub:settings_wmt17}節の組み合わせの中からグリッドサーチにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズとMLPの隠れ層の次元のみ以下に変更した．

\begin{itemize}
\item $バッチサイズ \in \{16, 32, 64, 128, 256\}$
\item $\text{MLPの隠れ層の次元} \in \{128, 256, 512, 1024, 2048, 4096\}$
\end{itemize}

BERTには，著者らによって公開されている多言語対応の訓練済みモデル(Multilingual, Cased)\footnote{https://github.com/google-research/bert/blob/master/multilingual.md}を用いる．
BERTの各パラメータは，\ref{sub:larning_curve}節と同様に選択する．

比較手法として，WMT Metrics Shared TaskのベースラインであるSentBLEU，WMT-2017 Metrics Shared Taskにおける上位3手法である，chrF+ \cite{popovic-2017}，MEANT~2.0-nosrl \cite{lo-2017}およびBlend \cite{ma-2017}を用いる．
\ref{sub:metrics_wmt17}節と同様に，各比較手法の公開されている評価値を用いて各比較手法のメタ評価を行った．
人手評価値とのピアソンの積率相関係数，スピアマンの順位相関係数および平均2乗誤差によって各手法を評価する．

評価の結果を表~\ref{tab:from-english}に示す．
教師あり学習に基づくBlendとRUSEを比較すると，RUSEの方が高い性能を示しており，to-English言語対以外の設定においても事前学習された文の分散表現が機械翻訳の自動評価にとって有効な素性であると言える．
しかし，RUSEは教師なし学習に基づくchrF+およびMEANT~2.0-nosrlの性能には及ばない．
前節の分析から，RUSEは訓練データ数による性能の変化が大きいことが確認されており，en-ru言語対においても同様の理由で性能が低下していると考えられる．

\begin{table}[t]
\hangcaption{WMT-2017 Metrics Shared Task（en-ru言語対）における人手による絶対評価とのピアソンの積率相関係数，スピアマンの順位相関係数および平均2乗誤差}
\label{tab:from-english}
\input{03table05.tex}
\end{table}

一方でBERTは，他の手法よりも大幅に高い性能を示している．
同じく前節の分析から，BERTは少量のデータでも高い性能を発揮することが確認されており，en-ru言語対においても最高性能を達成した．
このことからBERTは，少量のラベル付きコーパスが利用できれば，様々な言語対に対応した機械翻訳自動評価手法になると考えられる．


\subsection{出力例}
\label{output_examples}

WMT-2017 Metrics Shared Taskにおいて文単位のto-English言語対で最高性能を達成したBlendと，提案手法であるRUSEおよびBERTによる機械翻訳自動評価の出力を比較をする．
人手評価値と各手法の評価値を比較するために，\ref{sub:larning_curve}節と同様にWMT-2017におけるlv-en言語対560文対に対する人手評価値および各手法の評価値を用いた．
表~\ref{tab:examples}に，翻訳文と参照文に対する人手評価値および各手法の評価値を示す．

成功例1において，参照文と語彙や構文は異なるが意味が似ている（人手評価値が高い）翻訳文に対して，Blendでは低い値をつけてしまっているのに対し，提案手法であるRUSEやBERTによる評価ではBlendより高い値を示しており，正しい評価が行えている．
また，成功例2において，参照文と語彙や構文が似ているが意味が異なる（人手評価値が低い）翻訳文に対して，Blendでは高い値をつけてしまっているのに対し，RUSEやBERTによる評価では低い値を示しており，正しい評価が行えている．
このことから，RUSEやBERTは，局所的な素性に基づく手法であるBlendでは扱えない大域的な情報を考慮した評価ができていると考えられる．

\begin{table}[t]
\caption{Blend，RUSEおよびBERTによる機械翻訳自動評価の出力例}
\label{tab:examples}
\input{03table06.tex}
\end{table}

失敗例には言い換えの問題があると考えられ，どの手法でも人手評価より低い値をつけてしまっている．
Blendによる評価では，言い換えによる表層の不一致の影響により低い値がつけられていると考えられる．
RUSEやBERTによる評価では，文全体の言い換えの関係を上手く捉えられていないため，低い値をつけてしまっていると考えられる．


\section{おわりに}

本研究では，信頼性の高い文単位での絶対的な自動評価を行うため，事前学習された文の分散表現に基づく機械翻訳の自動評価手法を提案した．
我々は，大規模な生コーパスを用いる隣接文推定や双方向言語モデルの教師なし事前学習によって，機械翻訳の自動評価のために有用な文の符号化器が得られることを示した．
我々の提案手法は，局所的な素性に基づく従来手法では扱えない大域的な情報を考慮することができ，翻訳文と参照文の間の表層的な一致率にとらわれない正確な自動評価を可能にした．

RUSEによる機械翻訳の自動評価では，WMT-2017 Metrics Shared Taskの評価実験において，文単位のto-English言語対でどの従来手法よりも高い性能を示した．
また，BERTによる機械翻訳の自動評価では，WMT-2017 Metrics Shared Taskの評価実験において，文単位の全てのto-English言語対でRUSEを凌ぎ，最高性能を更新した．
詳細な分析の結果，BERTによる機械翻訳の自動評価は，事前学習の方法，文対モデリング，符号化器の再訓練の3点がそれぞれ性能改善に貢献しており，少量のラベル付きコーパスのみを用いても高い性能を発揮することがわかった．


\acknowledgment

本研究の一部はJSPS科研費（研究活動スタート支援，課題番号: 18H06465）の助成を受けたものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Banchs, D'Haro, \BBA\ Li}{Banchs
  et~al.}{2015}]{banchs-2015}
Banchs, R.~E., D'Haro, L.~F., \BBA\ Li, H. \BBOP 2015\BBCP.
\newblock \BBOQ Adequacy-Fluency Metrics: Evaluating MT in the Continuous Space
  Model Framework.\BBCQ\
\newblock {\Bem IEEE/ACM Transactions on Audio, Speech, and Language
  Processing}, {\Bbf 23}  (3), \mbox{\BPGS\ 472--482}.

\bibitem[\protect\BCAY{Bojar, Chatterjee, Federmann, Graham, Haddow, Huck,
  Jimeno~Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post,
  Rubino, Scarton, Specia, Turchi, Verspoor, \BBA\ Zampieri}{Bojar
  et~al.}{2016}]{bojar-2016a}
Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M.,
  Jimeno~Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A.,
  Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi,
  M., Verspoor, K., \BBA\ Zampieri, M. \BBOP 2016\BBCP.
\newblock \BBOQ Findings of the 2016 Conference on Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation},
  \mbox{\BPGS\ 131--198}.

\bibitem[\protect\BCAY{Bojar, Graham, \BBA\ Kamran}{Bojar
  et~al.}{2017}]{bojar-2017}
Bojar, O., Graham, Y., \BBA\ Kamran, A. \BBOP 2017\BBCP.
\newblock \BBOQ Results of the WMT17 Metrics Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 489--513}.

\bibitem[\protect\BCAY{Bojar, Graham, Kamran, \BBA\ Stanojevi{\'{c}}}{Bojar
  et~al.}{2016}]{bojar-2016b}
Bojar, O., Graham, Y., Kamran, A., \BBA\ Stanojevi{\'{c}}, M. \BBOP 2016\BBCP.
\newblock \BBOQ Results of the WMT16 Metrics Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation},
  \mbox{\BPGS\ 199--231}.

\bibitem[\protect\BCAY{Bowman, Angeli, Potts, \BBA\ Manning}{Bowman
  et~al.}{2015}]{bowman-2015}
Bowman, S.~R., Angeli, G., Potts, C., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ A Large Annotated Corpus for Learning Natural Language
  Inference.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 632--642}.

\bibitem[\protect\BCAY{Cer, Yang, Kong, Hua, Limtiaco, St.~John, Constant,
  Guajardo-Cespedes, Yuan, Tar, Strope, \BBA\ Kurzweil}{Cer
  et~al.}{2018}]{cer-2018}
Cer, D., Yang, Y., Kong, S.-y., Hua, N., Limtiaco, N., St.~John, R., Constant,
  N., Guajardo-Cespedes, M., Yuan, S., Tar, C., Strope, B., \BBA\ Kurzweil, R.
  \BBOP 2018\BBCP.
\newblock \BBOQ Universal Sentence Encoder for English.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference on Empirical Methods in
  Natural Language Processing: System Demonstrations}, \mbox{\BPGS\ 169--174}.

\bibitem[\protect\BCAY{Conneau \BBA\ Kiela}{Conneau \BBA\
  Kiela}{2018}]{conneau-2018}
Conneau, A.\BBACOMMA\ \BBA\ Kiela, D. \BBOP 2018\BBCP.
\newblock \BBOQ SentEval: An Evaluation Toolkit for Universal Sentence
  Representations.\BBCQ\
\newblock In {\Bem Proceedings of the 11th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 1669--1704}.

\bibitem[\protect\BCAY{Conneau, Kiela, Schwenk, Barrault, \BBA\ Bordes}{Conneau
  et~al.}{2017}]{conneau-2017}
Conneau, A., Kiela, D., Schwenk, H., Barrault, L., \BBA\ Bordes, A. \BBOP
  2017\BBCP.
\newblock \BBOQ Supervised Learning of Universal Sentence Representations from
  Natural Language Inference Data.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 670--680}.

\bibitem[\protect\BCAY{Devlin, Chang, Lee, \BBA\ Toutanova}{Devlin
  et~al.}{2019}]{devlin-2019}
Devlin, J., Chang, M.-W., Lee, K., \BBA\ Toutanova, K. \BBOP 2019\BBCP.
\newblock \BBOQ BERT: Pre-training of Deep Bidirectional Transformers for
  Language Understanding.\BBCQ\
\newblock In {\Bem Proceedings of the 2019 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies, Volume 1 (Long and Short Papers)}, \mbox{\BPGS\ 4171--4186}.

\bibitem[\protect\BCAY{Gim{\'{e}}nez \BBA\ M{\`{a}}rquez}{Gim{\'{e}}nez \BBA\
  M{\`{a}}rquez}{2010}]{PBML_Asiya:2010}
Gim{\'{e}}nez, J.\BBACOMMA\ \BBA\ M{\`{a}}rquez, L. \BBOP 2010\BBCP.
\newblock \BBOQ Asiya:~An Open Toolkit for Automatic Machine Translation
  (Meta-) Evaluation.\BBCQ\
\newblock {\Bem The Prague Bulletin of Mathematical Linguistics}, {\Bbf 94},
  \mbox{\BPGS\ 77--86}.

\bibitem[\protect\BCAY{Graham, Baldwin, \BBA\ Mathur}{Graham
  et~al.}{2015}]{graham-2015}
Graham, Y., Baldwin, T., \BBA\ Mathur, N. \BBOP 2015\BBCP.
\newblock \BBOQ Accurate Evaluation of Segment-level Machine Translation
  Metrics.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 1183--1191}.

\bibitem[\protect\BCAY{Graham, Baldwin, Moffat, \BBA\ Zobel}{Graham
  et~al.}{2013}]{graham-2013}
Graham, Y., Baldwin, T., Moffat, A., \BBA\ Zobel, J. \BBOP 2013\BBCP.
\newblock \BBOQ Continuous Measurement Scales in Human Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Linguistic Annotation Workshop and
  Interoperability with Discourse}, \mbox{\BPGS\ 33--41}.

\bibitem[\protect\BCAY{Graham, Baldwin, Moffat, \BBA\ Zobel}{Graham
  et~al.}{2014}]{graham-2014}
Graham, Y., Baldwin, T., Moffat, A., \BBA\ Zobel, J. \BBOP 2014\BBCP.
\newblock \BBOQ Is Machine Translation Getting Better over Time ?\BBCQ\
\newblock In {\Bem Proceedings of the 14th Conference of the European Chapter
  of the Association for Computational Linguistics 2014}, \mbox{\BPGS\
  443--451}.

\bibitem[\protect\BCAY{Graham, Baldwin, Moffat, \BBA\ Zobel}{Graham
  et~al.}{2017}]{graham-2017}
Graham, Y., Baldwin, T., Moffat, A., \BBA\ Zobel, J. \BBOP 2017\BBCP.
\newblock \BBOQ Can Machine Translation Systems be Evaluated by the Crowd
  Alone.\BBCQ\
\newblock {\Bem Natural Language Engineering}, {\Bbf 23}  (1), \mbox{\BPGS\
  3--30}.

\bibitem[\protect\BCAY{Gupta, Orasan, \BBA\ van Genabith}{Gupta
  et~al.}{2015}]{gupta-2015}
Gupta, R., Orasan, C., \BBA\ van Genabith, J. \BBOP 2015\BBCP.
\newblock \BBOQ Machine Translation Evaluation using Recurrent Neural
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 380--384}.

\bibitem[\protect\BCAY{Han, L.~Kashyap, Finin, \mbox{Mayfield}, \BBA\
  Weese}{Han et~al.}{2013}]{han-2013}
Han, L., L.~Kashyap, A., Finin, T., \mbox{Mayfield}, J., \BBA\ Weese, J. \BBOP
  2013\BBCP.
\newblock \BBOQ UMBC\_EBIQUITY-CORE: Semantic Textual Similarity Systems.\BBCQ\
\newblock In {\Bem 2nd Joint Conference on Lexical and Computational Semantics,
  Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic
  Textual Similarity}, \mbox{\BPGS\ 44--52}.

\bibitem[\protect\BCAY{Kiros, Zhu, Salakhutdinov, Zemel, Urtasun, Torralba,
  \BBA\ Fidler}{Kiros et~al.}{2015}]{kiros-2015}
Kiros, R., Zhu, Y., Salakhutdinov, R.~R., Zemel, R., Urtasun, R., Torralba, A.,
  \BBA\ Fidler, S. \BBOP 2015\BBCP.
\newblock \BBOQ Skip-Thought Vectors.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 28},
  \mbox{\BPGS\ 3294--3302}.

\bibitem[\protect\BCAY{Lo}{Lo}{2017}]{lo-2017}
Lo, C.-K. \BBOP 2017\BBCP.
\newblock \BBOQ MEANT~2.0:~Accurate Semantic MT Evaluation for Any Output
  Language.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 589--597}.

\bibitem[\protect\BCAY{Logeswaran \BBA\ Lee}{Logeswaran \BBA\
  Lee}{2018}]{logeswaran-2018}
Logeswaran, L.\BBACOMMA\ \BBA\ Lee, H. \BBOP 2018\BBCP.
\newblock \BBOQ An Efficient Framework for Learning Sentence
  Representations.\BBCQ\
\newblock In {\Bem International Conference on Learning Representations},
  \mbox{\BPGS\ 1--16}.

\bibitem[\protect\BCAY{Ma, Graham, Wang, \BBA\ Liu}{Ma et~al.}{2017}]{ma-2017}
Ma, Q., Graham, Y., Wang, S., \BBA\ Liu, Q. \BBOP 2017\BBCP.
\newblock \BBOQ Blend:~a Novel Combined MT Metric Based on Direct
  Assessment---CASICT-DCU submission to WMT17 Metrics Task.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 598--603}.

\bibitem[\protect\BCAY{Marelli, Menini, Baroni, Bentivogli, Bernardi, \BBA\
  Zamparelli}{Marelli et~al.}{2014}]{marelli-2014}
Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., \BBA\
  Zamparelli, R. \BBOP 2014\BBCP.
\newblock \BBOQ A SICK Cure for the Evaluation of Compositional Distributional
  Semantic Models.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 216--223}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-2002}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU:~a Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of 40th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Pennington, Socher, \BBA\ Manning}{Pennington
  et~al.}{2014}]{pennington-2014}
Pennington, J., Socher, R., \BBA\ Manning, C. \BBOP 2014\BBCP.
\newblock \BBOQ GloVe: Global Vectors for Word Representation.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1532--1543}.

\bibitem[\protect\BCAY{Popovi{\'{c}}}{Popovi{\'{c}}}{2015}]{popovic-2015}
Popovi{\'{c}}, M. \BBOP 2015\BBCP.
\newblock \BBOQ chrF: Character N-gram F-score for Automatic MT
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 392--395}.

\bibitem[\protect\BCAY{Popovi{\'{c}}}{Popovi{\'{c}}}{2017}]{popovic-2017}
Popovi{\'{c}}, M. \BBOP 2017\BBCP.
\newblock \BBOQ chrF++:~Words Helping Character N-grams.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 612--618}.

\bibitem[\protect\BCAY{Stanojevi{\'{c}}, Koehn, \BBA\ Bojar}{Stanojevi{\'{c}}
  et~al.}{2015}]{stanojevic-2015b}
Stanojevi{\'{c}}, M., Koehn, P., \BBA\ Bojar, O. \BBOP 2015\BBCP.
\newblock \BBOQ Results of the WMT15 Metrics Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 256--273}.

\bibitem[\protect\BCAY{{Stanojevi{\'{c}}} \BBA\ Sima'an}{{Stanojevi{\'{c}}}
  \BBA\ Sima'an}{2015}]{stanojevic-2015a}
{Stanojevi{\'{c}}}, M.\BBACOMMA\ \BBA\ Sima'an, K. \BBOP 2015\BBCP.
\newblock \BBOQ BEER~1.1:~ILLC UvA Submission to Metrics and Tuning Task.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 396--401}.

\bibitem[\protect\BCAY{Tai, Socher, \BBA\ Manning}{Tai et~al.}{2015}]{tai-2015}
Tai, K.~S., Socher, R., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Improved Semantic Representations From Tree-Structured Long
  Short-Term Memory Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing}, \mbox{\BPGS\ 1556--1566}.

\bibitem[\protect\BCAY{Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez,
  Kaiser, \BBA\ Polosukhin}{Vaswani et~al.}{2017}]{vaswani-2017}
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.~N.,
  Kaiser, L., \BBA\ Polosukhin, I. \BBOP 2017\BBCP.
\newblock \BBOQ Attention is All you Need.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 30},
  \mbox{\BPGS\ 5998--6008}.

\bibitem[\protect\BCAY{Wang, Peter, Rosendahl, \BBA\ Ney}{Wang
  et~al.}{2016}]{wang-2016}
Wang, W., Peter, J.-T., Rosendahl, H., \BBA\ Ney, H. \BBOP 2016\BBCP.
\newblock \BBOQ CharacTER:~Translation Edit Rate on Character Level.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation},
  \mbox{\BPGS\ 505--510}.

\bibitem[\protect\BCAY{Williams, Nangia, \BBA\ Bowman}{Williams
  et~al.}{2018}]{williams-2018}
Williams, A., Nangia, N., \BBA\ Bowman, S. \BBOP 2018\BBCP.
\newblock \BBOQ A Broad-Coverage Challenge Corpus for Sentence Understanding
  through Inference.\BBCQ\
\newblock In {\Bem Proceedings of the 2018 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies, Volume 1}, \mbox{\BPGS\ 1112--1122}.

\bibitem[\protect\BCAY{Yu, Ma, Wu, \BBA\ Liu}{Yu et~al.}{2015a}]{yu-2015a}
Yu, H., Ma, Q., Wu, X., \BBA\ Liu, Q. \BBOP 2015a\BBCP.
\newblock \BBOQ CASICT-DCU Participation in WMT2015 Metrics Task.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 417--421}.

\bibitem[\protect\BCAY{Yu, Wu, Jiang, Liu, \BBA\ Lin}{Yu
  et~al.}{2015b}]{yu-2015b}
Yu, H., Wu, X., Jiang, W., Liu, Q., \BBA\ Lin, S. \BBOP 2015b\BBCP.
\newblock \BBOQ An Automatic Machine Translation Evaluation Metric Based on
  Dependency Parsing Model.\BBCQ\
\newblock In {\Bem arXiv preprint arXiv:1508.01996}.

\bibitem[\protect\BCAY{Zhu, Kiros, Zemel, Salakhutdinov, Urtasun,
  \mbox{Torralba}, \BBA\ Fidler}{Zhu et~al.}{2015}]{Zhu-2015}
Zhu, Y., Kiros, R., Zemel, R.~S., Salakhutdinov, R., Urtasun, R.,
  \mbox{Torralba}, A., \BBA\ Fidler, S. \BBOP 2015\BBCP.
\newblock \BBOQ Aligning Books and Movies: Towards Story-Like Visual
  Explanations by Watching Movies and Reading Books.\BBCQ\
\newblock In {\Bem 2015 IEEE International Conference on Computer Vision},
  \mbox{\BPGS\ 19--27}.

\end{thebibliography}


\begin{biography}
\bioauthor{嶋中　宏希}{2018年首都大学東京システムデザイン学部システムデザイン学科情報通信システムコース卒業．同年，首都大学東京システムデザイン研究科システムデザイン専攻情報科学域博士前期課程に進学，現在に至る．}
\bioauthor{梶原　智之}{2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程電気電子情報工学専攻修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了．博士（工学）．同年より大阪大学データビリティフロンティア機構特任助教．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}
\bioauthor{小町　　守}{2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年博士後期課程修了．博士（工学）．同年より同研究科助教を経て，2013年より首都大学東京システムデザイン学部准教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\end{biography}


\biodate




\end{document}
