\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{url}
\usepackage[dvipdfmx]{color}
\usepackage{xcolor}
\usepackage{booktabs}
\usepackage{colortbl}
\newcounter{magicrownumbers}
\newcommand\rownumber{\small{\stepcounter{magicrownumbers}\arabic{magicrownumbers} :}}
%%%%\usepackage[multiple]{footmisc}
%%%%\usepackage{amssymb}
%%%%\usepackage{midpage}
%%%%\newcommand{\fc}[1]{\color{blue} #1}
    \newcommand{\fc}[1]{\textcolor{blue}{#1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{10}{27}
\revised{2020}{12}{28}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{2}{4}

\setcounter{page}{450}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの構築と分析}
\jauthor{藤井　　諒\affiref{Affi_1} \and 三田　雅人\affiref{Affi_2}\affiref{Affi_1} \and 阿部香央莉\affiref{Affi_1} \and 塙　　一晃\affiref{Affi_2}\affiref{Affi_1} \and \\ 森下　　睦\affiref{Affi_3}\affiref{Affi_1} \and 鈴木　　潤\affiref{Affi_1}\affiref{Affi_2} \and 乾　健太郎\affiref{Affi_1}\affiref{Affi_2}}

\jabstract{%
ニューラル機械翻訳 (NMT) の登場により，ニュース記事など文体の整った入力に対する翻訳の品質は著しく向上してきた．しかし，ソーシャル・ネットワーキング・サービス (SNS) に代表されるユーザ生成コンテンツ (UGC) を対象とした NMT の翻訳には依然として多くの課題が残されている．異文化・多言語交流の促進に向けた機械翻訳システムの活用には，そうした特異な入力を正確に扱うことのできる翻訳モデルの構築が不可欠である．近年では，UGC における翻訳品質の向上に向けたコンペティションが開催されるなどその重要性は広く認知されている．一方で，UGC に起因するどのような要因が機械翻訳システムの出力に悪影響を及ぼすのかは明らかでなく，偏在するユーザコンテンツの翻訳に向けた確かな方向性は依然として定まっていない．そこで本研究では，言語現象に着目した日英機械翻訳システムの頑健性測定データセット \textbf{PheMT} を提案する．特定の言語現象を含む文に特化したデータセットにより，当該表現の翻訳正解率，および正規化に基づく翻訳品質の差分を用いた精緻なエラー分析を可能にする．構築したデータセットを用いた評価により，広く商用に利用される機械翻訳システムを含む，最先端の NMT モデルにおいても十分に扱えない，対処すべき言語現象の存在を明らかにする．
}
\jkeywords{機械翻訳，ソーシャルメディア，頑健性，データセット}

\etitle{Phenomenon-wise Evaluation Dataset Towards Analyzing Robustness of Machine Translation Models}
\eauthor{Ryo Fujii\affiref{Affi_1} \and Masato Mita\affiref{Affi_2}\affiref{Affi_1} \and Kaori Abe\affiref{Affi_1} \and Kazuaki Hanawa\affiref{Affi_2}\affiref{Affi_1} \and \\ Makoto Morishita\affiref{Affi_3}\affiref{Affi_1} \and Jun Suzuki\affiref{Affi_1}\affiref{Affi_2} \and Kentaro Inui\affiref{Affi_1}\affiref{Affi_2}} 

\eabstract{%
 Neural Machine Translation (NMT) has shown drastic improvement in its quality when translating clean input such as text from the news domain. However, existing studies suggest that NMT still struggles with certain kinds of input with considerable noise, such as User-Generated Contents (UGC) on the Internet. To make better use of NMT for cross-cultural communication, one of the most promising directions is to develop a translation model that correctly handles these informal expressions. Though its importance has been recognized, it is still not clear as to what creates the large performance gap between the translation of clean input and that of UGC. To answer the question, we present a new dataset, \textbf{PheMT}, for evaluating robustness of MT systems against specific linguistic phenomena in Japanese-English translation. We provide more fine-grained error analysis about the behavior of the models with the accuracy and relative drop in translation quality on the contrastive dataset specifically designed for each phenomenon. Our experiments with the dataset revealed that not only our in-house models but even widely used off-the-shelf systems are greatly disturbed by the presence of certain phenomena.
}
\ekeywords{Machine Translation, Social Media, Robustness, Dataset}

\headauthor{藤井　他}
\headtitle{機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの構築と分析}

\affilabel{Affi_1}{東北大学}{Tohoku University}
\affilabel{Affi_2}{理化学研究所}{RIKEN}
\affilabel{Affi_3}{NTT コミュニケーション科学基礎研究所}{NTT Communication Science Laboratories}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

ニューラル機械翻訳 (Neural Machine Translation, NMT) の発展 \shortcite{luong:2015:emnlp,vaswani:2017:nips}により，ニュース記事のような文体の整った入力に対する翻訳品質は著しく向上し，一部の言語対においては既に人間の翻訳に匹敵するレベルにまで到達したと言われている \shortcite{hassan:2018,barrault:2019:wmt}．
しかし，そのめざましい発展をもってしても，ソーシャルメディアに見られるようなユーザ生成コンテンツ (User-Generated Contents, UGC) に対するNMTの適用可能性は依然として極めて限られている \shortcite{michel:2018:emnlp}．

一方で，ソーシャルメディアなどの普及に伴い，UGCが我々の日常生活に与える影響は非常に大きなものとなっている．
例えば，それらのサービスへの投稿はユーザの購買行動の決定にも重大な影響を及ぼすことが報告されている\footnote{\url{https://stackla.com/resources/reports/the-consumer-content-report-influence-in-the-digital-age/}}．
そのような背景において，\citeA{berard:2019:wngt}はFoursquare\footnote{\url{https://foursquare.com/}}に寄稿されたレストランのレビューに着目し，異文化交流の促進に向けて実応用を見据えた翻訳タスクを設計した．

近年ではUGCに対して頑健な翻訳システム構築への関心の高まりと共に，ソーシャルメディア上のテキストの翻訳精度を競うコンペティションも開催されている \shortcite{li:2019:wmt}．
当該コンペティションにおいて，翻訳の評価は従来の機械翻訳出力に対する評価と同様に，あるひとつの包括的なデータセットに対してひとつの全体スコアを付与する手法で行われている（図\ref{fig:overview}a）．
しかし，我々はこの評価における改善は必ずしもモデルの頑健性を説明していないと考える．
例えば，訓練データ規模の異なる2つのモデル出力に対してBLEUスコアの比較を行い，スコアの改善をもってあらゆる事象に対する頑健性を結論付けることは危険である．
UGCにおける機械翻訳システムの性能向上への端緒を見出すためには，翻訳品質の低下を招く要因を明らかにし，実際にそれらが改善されていることを示すことのできる確かな基盤が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia6f1.pdf}
\end{center}
\caption{一般的な機械翻訳評価の手法と我々のデータセットによる現象毎評価の比較．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで本研究では，機械翻訳システムの精緻な評価に向けた第一歩として日英機械翻訳に焦点を当て，日本語ユーザコンテンツに含まれる特定の言語現象が出力に及ぼす影響を調査する．
具体的には，既存の評価データセットに対して，新たに固有名詞，名詞の省略，口語表現，異表記の4つの言語現象に着目したアノテーションを付与することで，言語現象毎評価データセット\textbf{PheMT} (\textbf{Phe}nomenon-wise Dataset for \textbf{M}achine \textbf{T}ranslation Robustness) を構築した（図\ref{fig:overview}b）．
文中の特定の表現に注目することにより，ある言語現象を正しく扱えるかどうかを翻訳正解率を用いてより直接的に測定することを可能にした．
また，ある現象がモデルに及ぼす影響は，その現象の存在を取り除いた場合との差分により評価できるというアイデアのもと，人手による当該表現の正規化を行った．
原文と正規化後の文を入力した際の評価指標の差異の測定により，個々のモデルが元来有する表現能力の違いに起因する影響を取り除き，当該表現が翻訳文全体の品質に与える影響を測定する．
構築したデータセットを用いた評価と分析を通して，UGCという限定されたドメインにおいても依然として十分に翻訳することのできない対処すべき現象が存在することを明らかにする．

本論文の貢献は以下の2点である．

\begin{enumerate}
    \item{日英機械翻訳における詳細なエラー分析のための第一歩として，日本語ユーザコンテンツに頻繁に現れる言語現象に着目した評価データセットを構築した．}
    \item{構築したデータセットを用いた評価と分析により，広く商用に利用される機械翻訳システムを含む最先端のNMTモデルにおいても，依然として多くの課題が残されていることを明らかにし，今後の機械翻訳評価における一つの方向性として言語現象毎評価の可能性を示した．}
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

機械翻訳分野において，入力文中のノイズに頑健なシステムの構築に対する関心が高まっている．
これに対して，\citeA{michel:2018:emnlp}はUGCの代表例となるオンラインディスカッションサイトReddit\footnote{\url{https://www.reddit.com}}に投稿されたコメントに対して，プロの翻訳家による参照訳を付与することで英日翻訳を対象としたMTNT (\textbf{M}achine \textbf{T}ranslation of \textbf{N}oisy \textbf{T}ext)データセットを構築した．
彼らは，MTNTデータセットの原言語文が既存の他の機械翻訳ベンチマークと比較して誤植（タイポ）や文法誤りなどのノイズを多く含むことを明らかにすると共に，ベースラインモデルによる翻訳実験の結果からUGCに対する翻訳の難しさを示した．
また，このデータセットは近年開催された機械翻訳システムの頑健性に関するコンペティションにおいても，訓練および評価のために用いられた\footnote{\url{http://www.statmt.org/wmt19/robustness.html}}．

しかし，MTNTデータセットには，ニュースの見出しのように文語調なものから，隠語を含む特定コミュニティ内の崩れた会話まで多種多様な文体やドメインが含まれている．
また，付加された翻訳文においても，その解釈の難しさから未訳や誤訳を含むものが一定数存在し，品質は玉石混淆であると言える．
このようなデータセットを評価基盤として，機械翻訳における代表的な評価指標であるBLEUスコア \shortcite{papineni:2002:acl}を用いた比較を行った場合，スコアの改善が実際にどれほどノイズに対する頑健性に起因するのかを推定することは難しい．
事実，コンペティションにおいて最も良いスコアを獲得したチームである\citeA{berard:2019:wmt}は，UGCに頻出する大文字・小文字の混同に対処するため各単語の先頭にタグを付与するなどの工夫を行い，人手評価をもって入力に対する頑健性が向上することを示したが，BLEUスコアを用いた評価では，単に訓練データ中からペアとして不十分なものを取り除くコーパスフィルタリングが最も改善に寄与したと報告している．
コーパスフィルタリングは，データ駆動の機械翻訳システムにおいては不可欠な技術であるものの \shortcite{koehn:2018:wmt,junczys-dowmunt:2018:wmt}，これはパラレルコーパスの構築にあたって生じたノイズへの対処を目的としており，本質的に\textbf{入力に対する頑健性}を対象としてはいない．
したがって，現状のデータセットおよび評価をもってUGCという特異な入力に対するシステムの優位性を帰結することは早計であり，真に頑健な機械翻訳システムの構築に向けては，低コストで再現性が高く継続的な改善を実現可能な評価基盤を築くことの重要性は高いと考える．
これらの問題意識のもと，本研究では入力に見られる特殊な言語現象に対する改善を重点的に測定できるような評価用データセットを構築することを目的とする．

言語現象という観点から誤訳の原因究明を目指すアプローチは，誤植 \shortcite{heigold:2018:amta,yonatan:2018:iclr,karpukhin:2019:wnut,niu:2020:acl}，文法誤り \shortcite{nagase:2011:paclic,sennrich:2017:eacl,anastasopoulos:2019:naacl}からジェンダーバイアスの存在 \shortcite{stanovsky:2019:acl}に至るまで広く受け入れられている．
例えば，\citeA{isabelle:2017:emnlp}は英語からフランス語への翻訳において，主述の一致など構造の差異から生じる20種類以上の細分類を言語現象的観点から設定し，当該箇所の翻訳精度によりモデルを評価した．
モデルの汎化性能の測定においては様々な性質のデータを用いて評価することが一般的であり，それぞれが単一の言語現象を対象とした少数データセットによる分析，という彼らの提案は機械翻訳システムに対する理解を促進する上で新たな側面を提供したと言える．
一方で，彼らの手法は人手による絶対評価を要するため，言語学に関する高度な知識を持った公平な評価者の選定や評価データの拡張において課題がある．

この問題に対し，\citeA{sennrich:2017:eacl}は対照データセットによる相対比較を用いた自動評価のアプローチを提案した．
この研究では，それぞれの入力文に対し，正解の参照訳とその一部を改変した対照的な参照訳を作成し，モデルが正解に対して高い生成確率を与えることができた文の割合をもって評価が行われた．
後に，\citeA{bawden:2018:naacl}は同様の手法を用いて，先行文脈を利用した機械翻訳における照応代名詞の影響を検証した．
しかし，彼らが指摘するように，この手法はモデルが2つの参照訳を正しく順位付けできた場合にも，最も尤度の高い生成文が誤りを含まないことは保証しない．
さらに，これらの手法は入力に曖昧性のない整った文を想定しているため，そのような特徴を有しないUGCの分析に適用することは難しいという問題がある．

一方で，対照的なのは必ずしも参照訳である必要はない．
\citeA{heigold:2018:amta}は，誤植を模した人工的な誤りをルールにより作成し入力文に加えることで，\textbf{入力文中の}誤りの存在がモデルの翻訳品質の低下にどれだけ寄与するかを調査した．
さらに，\citeA{yonatan:2018:iclr,karpukhin:2019:wnut}はウェブサイトの編集履歴を用いることで，人間が生成しやすい誤りの分布を再現し，検証の範囲を自然な誤りに拡張した．
しかし，これらの研究では誤りは疑似的なものであり，実際に人間が記述したテキストに対するモデルの頑健性は検証されていない．
これに対して，\citeA{anastasopoulos:2019:naacl}は文法誤りに対するベンチマークであるJFLEGコーパス \shortcite{napoles:2017:eacl}に翻訳文を付与することで，人間が生成した誤りを直接入力文として用いた．
彼らは，テスト時に含まれる誤りと同種の誤りを含む訓練事例を用いてモデルを学習することで，他種の誤りを加えて学習したモデルに比べ高い精度を達成することを示した．

このように，機械翻訳システムの頑健性に関して特定の観点に着目した研究は多く行われている．
しかし，これらの工夫をもってしてもなお，我々が取り組むUGCの翻訳においては，ニュース記事などを翻訳する場合に比べて著しい品質の低下が見られる．
この背景には，UGCに特有の難しさが体系的に分類されていないことや，UGCを模したデータへの変換が極めて難しいことがあげられる．
これに対して，我々はUGCに頻繁に見られる言語現象の定義を行い，UGC上の文からそれらの現象を取り除く正規化を行う事で対照データセットを作成する．
また，先行研究の多くは文字体系を共有する比較的近い言語対を対象としており，我々の知る限りでは日本語-英語のような類似しない言語対における詳細なエラー分析のための基盤は未だ構築されていない．
しかし，固有名詞の翻字に示されるように，文字体系を共有しない言語対に特有の問題も生じるため，取り扱う言語対に応じた柔軟な拡張が必要であると考えられる．
我々のデータセットが，この極めて難しい言語対の翻訳に対する新たなアプローチの一助となることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{現象毎データセットの構築}
\label{sec:methodology}

本節では現象毎データセット構築の手順について説明する．
我々は，UGCにおける機械翻訳システム評価のための既存のベンチマークであるMTNTデータセットに新たに言語現象のアノテーションを行うことでデータセットを構築した．
図\ref{fig:dataset_creation}に一連の手順の概要を示す．
データセットの構築は主に，品質担保のための事前データ選定と現象該当箇所の抽出および正規化の2つの段階から成る．
まず\ref{subsec:approp_anno}節では，翻訳品質の基準となる十分性スコアの定義と，MTNTデータセットに対する人手のアノテーションを行った結果として得られたスコアの分布について考察する．
後述する\ref{subsec:methodology}節では，評価の対象とする言語現象の定義および，表現の抽出と正規化の手順について実例を交えて展開する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia6f2.pdf}
\end{center}
\caption{現象毎データセット構築の流れ．}
\label{fig:dataset_creation}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{品質担保のための事前データ選定}
\label{subsec:approp_anno}

現象毎データセットを構築するにあたっては，現象を含む文を収集しそこに新たに翻訳を付与する方法と，既存のパラレルデータに現象のアノテーションを行う方法の2つが考えられる．
前者の方法には，原言語に含まれるニュアンスや文体を目的言語にも保持するかという観点から参照訳をコントロール可能であるという利点がある．
例えば，「かわいいいい」のような表現ではcute，cuuuuteのいずれもが正解となり得るため，それぞれの形式にどの程度対応可能であるかを個別に把握することの重要性は高い．
しかし，UGCに対して高品質な翻訳を大規模に付与する方法は自明ではなく，このようにボトムアップにデータセットを構築することは高いコストを伴う．
そのため，我々は既存のベンチマークであるMTNTデータセットにラベルを付与し，分類・正規化を行うことでデータセットの構築を試みた．
ここで，MTNTデータセットでは各言語対に対して翻訳方向毎にデータセットが用意されている．
このことから，我々は対訳にはニュアンスの保持を期待しないものとしてデータセットの構築・分析を行った．
また，MTNTデータセットを複数の現象に細分類する場合，評価用データの文数は限られているため，個々の現象データセットが極めて少ない文数に分割されてしまう恐れがある．
そこで，我々はMTNTデータセットの訓練および開発用データを含めた全データを，評価用データ (PheMT) として用いることにした．
しかし，通常，訓練データは規模が大きいため人手による品質の評価を経ていない場合が多く，実際に人手で数件確認した限りでも，MTNTデータセットの訓練データには多くの未訳や誤訳が含まれていた．
そこで，我々は翻訳品質の基準として十分性スコアを定義し，MTNTデータセット中の全文に対し，クラウドソーシングを用いて評価を行うことで現象毎データセットの品質を担保することにした．

十分性スコアの付与に先立って，まず簡単なルールベースのフィルタリングを行った．
具体的には，最低限の品質を満たさない文対として，(i) 対話コーパスのフィルタリングのために定義された不適切語リスト\footnote{\url{https://github.com/1never/open2ch-dialogue-corpus}}中の単語を含む (ii) 原言語文と目的言語文が一致する（未翻訳） (iii) 他の文対と完全に一致する のいずれかを満たすものを除外した．
さらに，アノテーションタスクの平易化のため (iv) 一方もしくは両方の言語が1語のみ，もしくは80語以上からなるものを除外した．
フィルタリングの適用後，残った文対について1（不適切）-- 5 （適切かつ流暢）の5段階のリッカート尺度で分類するタスクを行った．

各スコアへの分類基準の策定にあたっては，機械翻訳システムの出力を人手評価する際に一般的に用いられる，適切性 (adequacy) と流暢性 (fluency) の2つの観点 \shortcite{white:1994:amta,li:2019:wmt}を用いた．
しかし，我々が今回評価対象とする翻訳文は人手で生成されたものであるため，流暢性に関してはある程度担保されていると考えるのが自然である．
そこで，流暢性の観点として翻訳語（機械翻訳らしさ）を参照し \shortcite{graham:2019,freitag:2020}，表~\ref{tab:appropriateness_criterion}に示す5段階の基準を設定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{06table01.tex}
\caption{翻訳十分性スコアの評価基準．}
\label{tab:appropriateness_criterion}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

タスクの実行に際し，翻訳文の人手評価は本来目的言語の母語話者を評価者として行われるべきであるが，UGCの文意を正確に把握するためには当該言語に対する高度な理解を必要とするため，英語が堪能な10名の日本語母語話者に評価を依頼した\footnote{1名あたりの担当文約2,200文に対し，標準報酬を2万円に設定した．10名の募集に対し，80名以上の応募者の中から，職業としての翻訳経験，海外在留経験，もしくは同等のスキルを有するワーカを選出した．}．
評価者によるスコアのぶれを低減するため，1文あたり3名の評価者を割り当て，平均をもって各文の十分性スコアとした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia6f3.pdf}
\end{center}
\caption{MTNTデータセットの各分割に対する十分性スコアの分布．}
\label{fig:appropriateness}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{fig:appropriateness}に本タスクによって付与されたMTNTデータセットの各分割に対する十分性スコアの分布を示す．
この結果から，青色および黄色で示される学習，開発用セットにおけるスコアの分布が，評価用に作成された他の分割（テスト，ブラインドセット\footnote{コンペティションにおいてシステムの順位を決定するために用いられたデータセット．評価期間の終了まで参加者には公開とされた．}）に比べ，低スコア側で高くなったことがわかる．
このことは，評価データを単純に拡張する事が招く品質の低下と，フィルタリングの必要性を示唆していると言える．
現象毎データセットの構築にあたっては，両言語により伝わる情報を等価と見なすことのできる，平均スコアが4.0以上の文対のみを用いることとした．
表\ref{tab:approp_results}には十分性スコアの各スコア帯における原文と翻訳文の一例を示す．

また，我々はこれらのアノテーションが妥当かつ信頼性の高いものであるかを検証するため，アノテーションの一致率を調査するとともに，一部の文対に対して英語母語話者により同様の品質評価を実施した．
まず，アノテータ間一致率について，順序尺度に最適化されていることや，欠損値を含むデータにも適用可能なことからKrippendorffのalpha係数 \shortcite{krippendorff:2011}を測定した結果，一致率の値は0.32となった．
これは，\citeA{landis:1977}の基準においてfair agreement （まずまずの一致）とされる値であり，一致率としては少し低いと考えられる．
原因としては，評価対象文であるMTNTデータセットの翻訳が人手で生成されていることから意味の等価性に重点を置いた評価基準を設定したものの，実際には機械翻訳にかけたような流暢でない翻訳文も散見され，文法性の許容範囲に主観の入る余地が生まれてしまったことが想定される．
さらに，各ワーカの付与したスコアの分布に着目すると，10名のワーカの平均点の範囲は3.32--4.44点と広いものの，四分位範囲は0.46点に収まっていた．
これは，図\ref{fig:score_all}に示すように評価対象文の大多数に高い点数を付与するようなワーカの存在に起因すると考えられる．
そこで，スコアの平均が最も高い・低い各2名の結果を外れ値として除外し，再度alpha係数を測定したところ，値はmoderate agreement （中等度の一致）となる0.48まで向上した．
ワーカの質には依然として議論の余地が残るものの，利用可能な文数とのトレードオフにより信頼性の高い部分集合を用いるなど品質の調整は可能である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{06table02.tex}
\caption{十分性スコアの各スコア帯における翻訳文例．}
\label{tab:approp_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia6f4.pdf}
\end{center}
\caption{各ワーカの付与した十分性スコアの分布．}
\label{fig:score_all}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，妥当性に関して，具体的にはクラウドワーカによる平均点が4.0以上・未満の文からそれぞれ50文対を無作為に取り出した合計100文対に対して，翻訳業を生業とする英語母語話者にクラウドソーシング実施時と同様の指針を提示して評価を依頼した．
評価の結果を図\ref{fig:validity_check}に示す．
図から，平均点が4.0以上であった50文対に対して新たに3点以下が付与されたものは7文対であり，4.0未満の28文対に対して4分の1と少ないことから評価の妥当性は保たれていると考えられる．
また，表\ref{tab:validity}にはとりわけ点数の低かった3文対とその判断の根拠（原文）を示す．
この結果から，スコアに乖離が生じた例の中には文脈情報の不足により評価が困難なものも多いように思われる．
文章単位の情報が利用可能な状況では改善の余地はあるものの，そのような例を完全に取り除くことは難しいと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia6f5.pdf}
\end{center}
\caption{平均点4.0以上・未満の各50文対に対する英語母語話者による品質評価．}
\label{fig:validity_check}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{06table03.tex}
\caption{低スコアが付与された文対とその判断の根拠．}
\label{tab:validity}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上の結果を踏まえ，言語現象の評価に用いる文を可能な限り多く確保するため，今回の実験ではアノテーションの信頼性によるフィルタリングは行わなかった．
その結果，条件を満たした文数は評価対象とした7273文の約57.1\%にあたる4152文であった．
また，訓練データを評価のために用いる際のもう一つの問題点として，複数の翻訳文を持つ原言語文の存在があげられる．
特に，MTNTデータセットはその構築過程において，一連の発言であるコメント単位で翻訳を行い，文単位に自動で分割する処理を経るため，アラインメントの誤りに起因する重複部分を多く含む特徴がある．
そこで，我々は原言語文を空白で区切った際の最初の分割が同一のものを集計し，最も高いスコアが付与された一文のみを参照訳として保持することで対処した．
これにより，現象ラベルの付与対象は3896文となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価データセットの構築手法}
\label{subsec:methodology}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{(i) 言語現象ラベルの定義}

評価の対象とする言語現象のラベルを定義するにあたって，我々はUGCに特有のどのような要因が他の言語処理タスクにおいて問題となっているかを調査した．
\citeA{sasano:2013:ijcnlp}は日本語形態素解析の文脈において，インターネット上のテキストに含まれる標準的でない綴りの影響に着目している．
彼らは，母音の長音化や小文字化などのルールを人手で設計し，ルールに基づいた正規化適用後の表現が事前定義済みの語彙に含まれる場合に，形態素ラティスに追加することで解析誤りを抑制できることを報告した．
さらに，同様のルールに基づいて作成した正規-崩れ文字列パターンのシードデータからアラインメントを学習することで，より複雑な崩れ表記にも対応できることが示されている \shortcite{saito:2014:nlp}．
また，ニューラルネットワークを利用したテキスト正規化モデルにおいても，疑似データの作成時に類似のルールを適用することで精度の向上が確認されている \shortcite{ikeda:2016:wnut}．
しかし，これらの崩れ表記が機械翻訳などの言語横断的タスクに及ぼす影響は未だ十分に検討されていない．
そこで，我々はこれらの先行研究に倣い，口語表現および異表記の2種類の現象ラベルを定義した．


さらに，我々はUGCを含む様々なテキストにおいて頻繁に見られる固有名詞および名詞の省略の2種類の現象に着目した．
固有表現が機械翻訳システムに及ぼす影響については翻字や転写の文脈で注目を浴びつつある \shortcite{shao:2016:news,rosca:2016,ugawa:2018:coling}．
我々は，これらの現象が実際にUGCにおいてどれだけ現れるかを検証するため，予備実験としてMTNTデータセットの訓練データから無作為に取り出した500文に対するアノテーションを行った．
実験の結果から，名詞の省略について全体の10\%以上，固有名詞については40\%以上の文に含まれる極めて頻出の現象であることが分かった．

我々は，以上の4種類の現象について最新の機械翻訳システムに及ぼす影響を調査する．
各ラベルの具体的な定義とその分類例を表~\ref{tab:label_definition}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{06table04.tex}
\caption{言語現象ラベルの定義と分類例．}
\label{tab:label_definition}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{(ii) 該当表現の抽出と正規化}

言語現象毎データセットの構築にはクラウドソーシングを用いた．
問題の難易度およびワーカ間の一致率を考慮し，アノテーション手順を各文への現象ラベルの付与，該当表現およびアラインメントの抽出，正規化の3つの段階に分けてデータセットを構築した．
また，回答の品質を担保するため，すべてのタスクにはチェック設問を設け，各設問に対しチェック設問を通過した5名のワーカの回答を集約した．

初めに，\ref{subsec:approp_anno}節の十分性スコアにより選定したMTNTデータセット中の文対に対して，原言語（日本語）文を表\ref{tab:label_definition}に定義する4種類の現象ラベルに分類するタスクを行った（図\ref{fig:dataset_creation} Step1）．
各設問は，ある文に対して各現象の有無をチェックする4つの小設問からなる．
ワーカの過半数にあたる3名以上が同一の現象に対して「含む」と回答した場合のみ，その現象を含むと見なした．

続いて，現象ラベルとその該当表現の対応づけを行った（図\ref{fig:dataset_creation} Step2）．
具体的には，日本語文と現象ラベルのペア1つに対し，最大5箇所を本文中の形式で抜き出すタスクとして設計した．
つまり，前述の分類タスクにおいてある文が複数の現象を含むと分類された場合，注目する現象毎に別の設問として取り扱われる．
また，抽出された各表現について目的言語中から対応する表現（アラインメント）の抜き出しを行った．
これらのタスクに対する回答は過半数の完全一致が得られたもののみを使用した．

さらに，各現象の影響を取り除き対になる評価文を作成するため，抽出された表現の正規化を行った（図\ref{fig:dataset_creation} Step3）．
ここで「正規化」とは，表\ref{tab:label_definition}の定義に従い辞書中の表記から逸脱した表現を，対応する標準形の表現に書き直すことを意味する．
つまり，ある現象に分類される表現に対し，その現象に分類される理由を取り除くような逆向きの変形を適用する．
例えば，名詞の省略に分類される「アプデ」という表現は，この表現を名詞の省略ではなくするような変形，つまり省略元の表現への書き換えにより「アップデート」に正規化される．
同様に，長音記号の挿入により口語表現となる「ねむーーい」という表現は，長音記号を除去することで「ねむい」に正規化される．
ここで，口語表現と異表記は標準形と同音であるか否かにより定義上排他的であるものの，一部の口語表現では正規化適用後により一般的な漢字表記（上記例「眠い」）を持つ異表記に転化する場合も見られた．
このような例では，口語表現の範囲外となる漢字化は行わないよう指示し，当該現象の切り分けを行った．
また，同一の表現が複数の現象に分類される場合には，注目する現象毎に当該現象のみを取り除くような正規化を行う．
例えば，「すまほ」という表現は，名詞の省略と異表記に分類されるべき表現であるが，これはそれぞれ「すまーとふぉん」「スマホ」に正規化されると期待される．
なお，実際にはこのような複合はあまり見られなかった．

我々は，これらのタスクの結果を集約し，該当表現を正規化後の表現に置き換えることで，（原文, 正規化後文, アラインメント，参照訳）の4つ組としてデータセットを構築した．
この際，同一の現象ラベルに属する表現が一文中に複数含まれる場合には，当該文が複数回評価されることによる過剰評価の影響を防ぐため，評価データから削除した．
なお，「標準形」という概念が存在しない固有名詞に関しては，正規化タスクは行わず，原文とアラインメントを用いて評価を行うこととした．
一連の手順により構築したデータセットの一例を表\ref{tab:dataset_examples}に示す．
また，各現象データセットの構成文数，ユニークな表現数，および正規化前後の文字単位による編集距離は表\ref{tab:stat_pheno_wise}のとおりであった．
この結果から，口語表現や異表記は構成文数に対するユニークな表現の割合が高く，変化のパターンには多様性があることが窺える．
また，口語表現は異表記に比べて正規化による編集距離が小さく，推論時の表層的な手がかりの利用可能性が品質の改善に寄与することが期待される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[p]
\input{06table05.tex}
\hangcaption{構築したデータセット中の文例．Orig., Norm., Ref.はそれぞれ，MTNTデータセット中の原文，正規化タスク適用後の文，参照訳を表す．}
\label{tab:dataset_examples}
\vspace{1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[p]
\input{06table06.tex}
\caption{各現象データセットの構成文数．}
\label{tab:stat_pheno_wise}
\vspace{1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[p]
\input{06table07.tex}
\caption{各内製モデルの主な特徴．\textsc{Large}, \textsc{Cat}の両モデルには同一のBPEモデルを適用した．}
\label{tab:model_desc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{翻訳モデル}

本節では，構築したデータセットによる評価および分析の対象とした翻訳モデルについて説明する．
我々は訓練データの規模や前処理の方法が異なる5種類のモデルを用意し，それぞれ5つの乱数シードで実験を行った．
表\ref{tab:model_desc}に各モデルの主な特徴，表\ref{tab:dataset_details}には学習に用いたデータセットの内訳を示す．
また，実験は我々が独自に訓練したモデルに加え，Google翻訳などの商用翻訳システムに対しても行った．
実際にユーザからの入力を受け付けることで改善が行われる商用のシステムでは，UGCに対する頑健性がより高いことが期待される．
そのようなシステムに対して実験を行うことで，より重要性の高い現象の存在を明らかにすると共に，質の高い翻訳を得るためにユーザが行うことのできる工夫としての正規化の有用性を確認する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{06table08.tex}
\caption{訓練データセットの内訳．}
\label{tab:dataset_details}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

まず，訓練データの規模のみが異なる2つのモデルの比較を通して，ある現象が大規模なデータの収集により解決されうるかどうかを調査する．
評価指標の差分による頑健性の評価に改善が見られない場合，前処理やモデリングにおいて特別な工夫を要する現象であり，より重要性が高いと考えることができる．
\textsc{Small}モデルはWMT 2019 にて開催されたコンペティションにおいて訓練データとして公式に提供されたTED talks, KFTT (\textbf{K}yoto \textbf{F}ree \textbf{T}ranslation \textbf{T}ask), JESC (\textbf{J}apanese-\textbf{E}nglish \textbf{S}ubtitle \textbf{C}orpus) の3つのデータセットを用いて学習したモデルである．
一方で，\textsc{Large}モデルにはこれらのデータに加え，現在一般に利用可能な日英パラレルコーパスとして最大規模であるJParacrawl v2.0 \shortcite{morishita:2020:lrec}を用いた．
また，データセットの前処理として，JESCにあたる部分の英語文がすべて小文字で記述されていたため，TED talks, KFTT, MTNTデータセットを用いて学習した\texttt{moses}ツールキット \shortcite{koehn:2007:acl}のrecaserを適用することで，文字種情報の復元を行った．
さらに，文中のunicode絵文字および顔文字を特殊トークンに置換し，後処理において復元を行った \shortcite{murakami:2019:wmt}．
また，翻訳時にコピーされることが望ましいユーザ名についても同様の処理を適用した\footnote{@から始まる連続15文字以内の英数字の出現を正規表現により置換した．推論時には，MTNTデータセットの情報源であるRedditの記法に倣い，\textit{u/name}または\textit{g/name}の形で表される表現をユーザ名と見なした．}．
トークンの単位にはサブワードを用い，\texttt{sentencepiece} \shortcite{kudo:2018:emnlp}により，両言語共有で語彙数が32,000となるようにByte-Pair-Encoding (BPE)を適用した \shortcite{sennrich:2016:acl}．

続いて，トークンの分割単位がモデルの頑健性に及ぼす影響を調べるため，\textsc{Large}モデルの訓練データに異なる分割を適用してモデルの学習を行った．
\textsc{Char}モデルは，入出力を文字の系列と見なすことで，原言語側の一連の文字の並びから目的言語側の異なる文字の並びへの翻訳を行う \shortcite{wang:2015}．
数値やコードスイッチングを適切に扱うため，ここでも両言語の語彙は共有とした．
先行研究において，文字ベースの翻訳モデルはBPEを用いたモデルに比べ誤植などの誤りに対する頑健性が高いことが示されている \shortcite{durrani:2019:naacl}．
我々は，UGCを取り扱う上でも分割手法の差異が翻訳品質に影響を及ぼすかについて改めて確認する．

さらに，我々のデータセットによる評価が，特定の現象に対する工夫を反映できることを検証するため，残る\textsc{Pron}，\textsc{Cat}の2モデルについては，原言語（日本語）側に特殊な前処理を施した．
具体的には，日本語形態素解析ツールキット\texttt{MeCab} \shortcite{kudo:2004:emnlp}を用いて取得した各形態素の読みを結合することで発音ベースのコーパスを作成し，これを用いて学習を行った．
日本語ではすべての単語の読みは表音文字であるひらがなまたはカタカナを用いて表すことができるが，\textsc{Pron}モデルの訓練には\texttt{MeCab}の標準出力であるカタカナに変換されたデータを用いた．
この前処理は，特に異表記に対する頑健性の向上を目的としている．
中でも，異表記の定義に含まれるひらがな・カタカナの混同に適切に対処することを期待した．
例えば，表\ref{tab:label_definition}中の「アリガトウ」という表現は通常ひらがなで記述されるが，発音への変換を経ることで同一の表現（アリガトウ）に集約することが出来る．
これにより，推論時に未知の表現が減少し，翻訳品質が改善すると考えられる．
さらに，このような音声的情報は同音異義語の翻訳曖昧性解決にも有効であることが示されている \shortcite{liu:2019:acl}．

一方で，\textsc{Cat}モデルでは通常のコーパスと発音ベースのコーパスの結合コーパスを用いて学習を行った．
コーパスの結合の方法には，それぞれのコーパス中の文を別々の文として縦方向に結合する方法と，\texttt{<sep>}などの特殊トークンを用いて同一文内で横方向に結合する方法が考えられるが，このモデルでは前者の方法を採用した\footnote{モデル名はUnix系OSにおける\texttt{cat}コマンドに由来する．特殊トークンによる\texttt{paste}モデルについても実験を行ったが，有意義な結果を得ることができなかったため本論文では省略する．}．
また，発音ベースのコーパスに相当する部分をさらにひらがなに転写し，\textsc{Large}モデルと同一のBPEモデルを用いてサブワードに分割した．
元文と発音に転写された文の2文から同一の目的言語文を出力するように学習を行う事で，一般的でない表記から生じる予期しない分割に対しても頑健な表現を得ることを期待した．

すべてのモデルには\texttt{fairseq}ツールキット \shortcite{ott:2019:naacl}に実装されたTransformer-baseアーキテクチャを用い，ハイパーパラメータは~\citeA{murakami:2019:wmt}の設定に準じた．
また，広く商用に利用されている機械翻訳システムとして，Google翻訳\footnote{\url{https://translate.google.co.jp}}，およびDeepL翻訳\footnote{\url{https://www.deepl.com/translator}}の2つのシステムの出力結果についても分析を行った\footnote{本論文で用いた商用システムの翻訳結果は2020年6月10日現在のものである．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{現象毎評価}

本節では，構築した現象毎データセットを用いた評価によりニューラル機械翻訳システムの現状を概観する．
具体的には，MTNTデータセット中の原文と正規化後の文のそれぞれをモデルに入力し，単一参照訳BLEU \shortcite{papineni:2002:acl,post:2018:wmt}，およびアラインメントを用いた翻訳正解率の差分をもって評価を行う．
それぞれの文は評価対象とする現象の有無の一点においてのみ異なるため，任意の評価指標によるスコアの差分の大きさは，当該現象がモデルに与える影響の大きさと考えることができる．
この際，同一の差分であればスコアの絶対値が小さい場合により影響が大きいという直感のもと，差分を正規化後のスコアで除算した \shortcite{niu:2020:acl}．
つまり，原文に対する翻訳を$x_{\mathrm{orig}}$，正規化後の文に対する翻訳を$x_{\mathrm{norm}}$，参照訳またはアラインメントを$y$，翻訳文と参照訳（アラインメント）を受け取りスコアを返す任意の評価指標を$\mathrm{score}(x,y)$としたとき，頑健性スコア\textsc{Robust}は以下のように定義される．
\begin{equation}
  \textsc{Robust} = \frac{\mathrm{score}(x_{\mathrm{orig}}, y) - \mathrm{score}(x_{\mathrm{norm}}, y)}{\mathrm{score}(x_{\mathrm{norm}}, y)} \times 100
  \label{eq:robust}
\end{equation}
頑健性スコア\textsc{Robust}は，正規化後の入力に対して到達可能な翻訳品質に対する相対的な品質の低下（上昇）と捉えることが出来る．
我々はBLEUスコアのような文レベルの評価指標に加え，局所的な翻訳可能性を測定する正解率を相補的に用いることで，現状のモデルにおける改善点を明らかにするためのより詳細な分析を提供する．
続く\ref{sec:result_quantitative}節では定量評価，\ref{sec:result_qualitative}節では定性評価の結果を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{06table09.tex}
\hangcaption{%
我々のデータセットにおけるBLEUスコアの測定結果（内製モデル）．* 5シードの平均値 $\pm$ 標準偏差．Orig.は原文, Norm.は正規化後の文に対するスコアを表す．\textsc{Robust}は式(\ref{eq:robust})による．}
\label{tab:bleu_in-house_seed_extended}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定量評価}
\label{sec:result_quantitative}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{内製モデル}

表\ref{tab:bleu_in-house_seed_extended}および\ref{tab:acc_in-house_seed_extended}にはそれぞれ，現象毎データセットに対する我々のモデルのBLEUスコア，当該箇所の翻訳正解率を示す．
この結果から，訓練データ規模が小さい場合（\textsc{Small}モデル）は，正規形の存在する名詞の省略，口語表現，異表記のすべての現象において，原文入力時に品質の低下が見られることがわかった．
さらに，特に評価指標に正解率を用いた場合，\textsc{Small}モデルの名詞の省略に対する頑健性スコアが他のモデルに比べ著しく低いことが確認された．
固有名詞や名詞の省略では，\textsc{Large}モデルにおいて原文入力時の正解率も大幅に向上したことから，訓練データを拡充しカバー率を向上することである程度対処可能な現象であると考えられる．
しかし，一般に正規化により翻訳文の品質が低下することは考えにくく，正のスコアを示す頑健性スコアの解釈には疑問も残る．
これに対して，我々は正規化後に翻訳文の品質が低下する例にはどのようなものがあるかを確かめるため，名詞の省略データセットの細分類を行った．
その結果，省略形がアルファベットの頭字語である場合に，特に\textsc{Large}モデルで正規化前の入力に対する正解率が高く，それ以外の入力のパターンでは正解率の低下が確認された．
これは，主に参照訳中にそのまま現れることの多い頭字語が，正規化により過剰に説明されてしまい表層の一致が取れなくなってしまったことに起因すると考えられる．
しかし，実際にはPCの翻訳がpersonal computerでも問題ないように，頭字語の翻訳には複数の正解が許容される場合がある．
従って，正規化後の上界はより高いと考えられ\textsc{Large}モデルにおいても依然として課題は残されていると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{06table10.tex}
\hangcaption{我々のデータセットにおける正解率 (\%) の測定結果（内製モデル）．* 5シードの平均値 $\pm$ 標準偏差．Orig.は原文, Norm.は正規化後の文に対するスコアを表す．\textsc{Robust}は式(\ref{eq:robust})による．}
\label{tab:acc_in-house_seed_extended}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

口語表現と異表記の2現象に注目すると，\textsc{Large}モデルは，BLEUスコアにおいて\textsc{Small}モデルよりも2--3ポイント程度優位であるものの，この改善は頑健性の向上に起因するものではないと考えられる．
中でも，口語表現の正解率について，正規化後の入力にさえ\textsc{Small}モデルがより高い値を示したことは注目に値する．
このことは，これらの現象が最先端の翻訳モデルにおいても十分に扱うことが難しく，データセットの拡充に加えて特別な対処を必要とすることを示唆している．

続いて，トークンの分割単位が各現象への頑健性に及ぼす影響を確認する．
\textsc{Large}モデルと\textsc{Char}モデルに対する結果の比較から，文字ベースの分割は特に口語表現に対する頑健性を向上させることが確認できる．
これは，\ref{subsec:methodology}節で述べたとおり，口語表現データセットの正規化前後の編集距離が他のデータセットに比べ小さいことに起因すると考えられる．
先行研究における誤植と同様，周囲の文字が大きな手がかりとなるような現象に対しては，文字単位に分割することの有用性が確認できる．
しかし，同時にBLEUスコアの絶対値や正規化後の表現に対する正解率において減少も見られることから，現象の存在が明らかである場合を除いてはBPEに基づく分割が優位であるように思われる．
一方で，異表記については一種の綴りの誤りと見なすことができるため，文字単位で扱うことによる頑健性の向上を期待したがその改善は限定的であった．
これは，一般にある単語内の数文字の変化からなる誤植や口語表現に対して，単語単位で生じる異表記の問題としての難しさを示唆していると言える．

また，我々のデータセットによる評価が，特定の現象に対する頑健性に感受性を有するかについて，\textsc{Pron}モデルの結果から確認する．
表\ref{tab:bleu_in-house_seed_extended}から，原文入力時のBLEUスコアに注目すると，一般に\textsc{Pron}モデルは流暢性において他のモデルよりも劣ることがわかる．
一方で，このモデルにおいて頑健性の向上が期待される異表記のスコアに注目すると，同量のデータで学習した3モデル中では最小の$-3.90$，$-26.47$ポイント（BLEU，正解率）となった．
スコアが大きく改善した一因には，表音文字への統一により表現力が低下したことに起因する正規化後の正解率低下も考えられるものの，原文入力時の10\%に迫る改善は従来の自動評価では見いだせない解決策を切り拓く可能性の一例であると言える．

これに対して\textsc{Cat}モデルは，原文入力時の異表記の正解率について大幅な向上を達成しながら，同時にBLEUスコアの低下も抑えている点で\textsc{Pron}モデルの流暢性の問題を克服したモデルであると言える．
正解率は全モデル中最大の28.34\%を示し，\textsc{Large}モデルからは15\%以上の飛躍が見られた（表\ref{tab:acc_in-house_seed_extended}）．
また，口語表現に注目すると，BLEUスコアでは\textsc{Large}モデルから大幅な向上は見られないものの，正規化の適用により翻訳できる表現の割合に違いが生じていることがわかる．
これは，\ref{subsec:methodology}節で述べたように口語表現と異表記における階層性に起因すると考えられ，同様に\textsc{Cat}モデルの異表記に対する頑健性を支持していると言える．
このような改善が見られた理由としては，ひらがな化から生じる予期しない分割に対する適応可能性の向上があげられる．
日本語では多くの高頻度の機能語は数文字のひらがなから構成される．
そのため，ひらがな化された表現は単一の語としてではなく，より高頻度の機能語を生成するように分割されてしまう場合がある \shortcite{sasano:2013:ijcnlp}．
発音に転写したコーパスの混合により，意図しない機能語を含む難しい系列からも正しい出力を行うように強いることで，共起関係がよりうまく捉えられたと考えられる．
この結果から，UGCを取り扱う際には起こりうる言語の変化に対してその特性などからの考察を行う事が重要であることが窺える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{商用システム}

驚くべきことに，広く商用に利用される機械翻訳システムをもってしても，我々の異表記データセットに対する評価の結果からは改善の余地が見られることがわかった（表\ref{tab:res_off-the-shelf}）．
結果から，双方のシステムで原文入力時に比べ正解率で約15\%，BLEUスコアについても最大2.3ポイントの大きな低下が確認された．
つまり，我々がユーザとしてこれらのシステムを用いる上では，複数の表記を許容できる表現についても，より一般的な表記に置き換える一工夫で，得られる翻訳の質を大きく高めることができると言える．
また，BLEUスコアにおいて優れているシステムは必ずしも正解率で勝ってはいなかった．
例えば，名詞の省略に対するDeepL翻訳の正解率はGoogle翻訳に比べ2.0ポイント低かったものの，同一のデータセットにおいてBLEUスコアでは1.7ポイント高い値を示した．
これは，2つのシステムが未知の表現に面した際の異なる挙動に由来すると考えられる．
我々の実験では，DeepL翻訳が一般的でない表現を省略することで全体の翻訳を流暢に保つのに対し，Google翻訳はモデルの以後の出力に悪影響を及ぼすようなフレーズであっても何らかの出力を行う傾向が見られた．
実用上は，あるシステムの適合率と再現率のどちらが重視されるべきかは応用先に依存する．
現象毎の観点の提供に加え，適合率に基づくBLEUと再現率に基づく正解率の二面からの評価を行うことは，モデルの選択に大いに役立つと考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{06table11.tex}
\hangcaption{我々のデータセットにおけるBLEUスコアおよび正解率の測定結果（商用システム）．* Orig.は原文, Norm.は正規化後の文に対するスコアを表す．\textsc{Robust}は式(\ref{eq:robust})による．}
\label{tab:res_off-the-shelf}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定性評価}
\label{sec:result_qualitative}

本節では，モデルによって生成された出力が正規化の有無によりどのように変化したかを分析する．
表\ref{tab:output_examples}は我々のモデルによる実際の出力の一例である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{06table12.tex}
\caption{内製モデルによる実際の出力例．*\{正規化前 / 正規化後\}}
\label{tab:output_examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表中の例 (a) にはひらがなで記述された一般的でない表現「ぎゃくたい」が漢字（虐待）に置換された場合の出力の変化を示す．
この例において，\textsc{Large}モデルでは原文を入力した際，誤ってwant toというフレーズを出力してしまった．
このような出力となった理由として，当該表現がBPEモデルによって4つのトークンに過度に分割されていたことがあげられる．
特に，しばしば願望を表す助動詞として用いられる「たい」という分割の存在によりこのような誤訳が生じたと推測される．
一方で，\textsc{Cat}モデルでは入力文は同一のBPEモデルで分割されているにも関わらず，ひらがなの入力に対しても正しい訳であるabuseを出力することができた．
多くの場合，助動詞「たい」に先行する文字は「したい」や「食べたい」のように「い」または「え」の子音で構成される．
発音ベースのコーパスを加えることにより，願望の意味で用いられない熟語中の「たい」などの負例が十分数出現したため，出力が改善したと考えられる．
異表記は日本語のように多様な文字を用いる言語に特有な現象であるものの，類似の問題はアルファベットを用いる言語にも存在する．
例えば (a) の例は，単語の一部が既存の他の単語に連想されることで生じた誤りであるが，誤植の一部では同様の問題が生じる．
そのような場合に，その表現が誤りであることを文脈から正しく判断し，正確な翻訳を行う事は現在の翻訳システムにとって大きな課題である．

次の例 (b) は名詞の省略データセット中の例である．
この例では，\textsc{Large}モデルは原文中の表現「サバゲー」を，誤って「サバ」と「ゲー」の二語の組みあわせとして翻訳している．
一方で\textsc{Cat}モデルでは，同様に正しく翻訳することはできなかったものの，対象の表現をアルファベットへ転写することで対処した．
この結果から，\textsc{Cat}モデルはサバとゲームが共起しにくいといった情報をよりうまく捉えているように思われる．
また，データセット中には「生保」のようにある表現が文脈に応じて複数の表現の省略となりうる例\footnote{生命保険，または生活保護．}も存在した．
こういった曖昧性に対してモデルをさらに頑健にするためには，単語や文内に限らずより広い文脈を考慮することが求められていると言える．

最後に (c) の例では，文中の「平昌」という固有名詞を\textsc{Small}モデルは扱うことができなかったのに対し，\textsc{Large}モデルは正しく翻訳することができた．
これは，訓練データを新たに加えたことでテストデータ中に既知の固有名詞が増加したことに由来すると考えられるが，我々は訓練データの規模の増大が固有名詞に対するモデルの頑健性を説明する理由として必ずしも十分ではないと考えている．
その理由として，固有名詞にはある時期を境とした出現頻度の変化が生じやすいことがあげられる．
例えば，「平昌」という表現を例にあげると，これは同所でオリンピックが開催された2018年前後の記事を含むコーパスでは出現数が大幅に増加することが見込まれる．
\textsc{Small}モデルの訓練に使用されたコーパスは2018年以前に作成されたものであることから，当該表現の相対的な出現数の少なさが翻訳を困難にしたと考えられる．
我々は，日々新たに生まれる未知の固有名詞に対して真に頑健なシステムを評価するためには，評価データが訓練データよりも常に時系列的に新しくなるように分割を行うべきだと考える．
しかし，現実的には入手可能ないかなる訓練データよりも新たなデータを作成することは不可能である．
そのため，このような要因の存在を認識し留意した上で，我々のデータセットを用いた評価を固有名詞に対する一定の指針として用いることは有意だと考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察}
\label{sec:discussion}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{WMTコンペティション参加システムの現象毎分析}

現象毎データセットの潜在的な活用事例を探るため，我々はWMT 2019にて行われた機械翻訳システムの頑健性に関するコンペティションに投稿されたシステム出力の現象毎分析を行った．
コンペティションの公式サイト\footnote{\url{http://matrix.statmt.org/matrix/systems_list/1917}}より，MTNTデータセットのブラインドセットにあたる部分について5つのシステムの出力をダウンロードした．
その後，構築したデータセットよりブラインドセットに由来する部分を抽出し，評価の対象となる固有名詞136文，名詞の省略48文，口語表現21文と異表記11文を得た．
システム出力には，それぞれの文に対し3名の翻訳者による人手評価で1 （非常に悪い）-- 100 （非常に良い）のスコアが付与されている \shortcite{li:2019:wmt}．
我々は，3名のスコアの平均を翻訳文のスコアとし，各現象データセットに対して平均を取ることで，モデルのある現象に対する人手評価スコアを算出した．

図\ref{fig:corr}には，各現象に対する人手評価スコアと翻訳正解率の相関を示す．
図より，特に固有名詞と名詞の省略について人手評価と正解率の間にはピアソンの積率相関係数$r > 0.9$の非常に強い正の相関があることがわかった．
正解率という，文中の局所的な翻訳可能性に注目した指標が文全体の翻訳品質と高い相関を示したことは注目に値する．
これは，人間が翻訳の良さを判断する上で特定の表現をより重点的に考慮する可能性を示唆している．
ひとつの理由としては，人間にとって翻訳文中に固有名詞が含まれるかどうかの判断は容易であることがあげられる．
こうした表現の訳抜けは，他の表現の訳抜けに比べて評価への影響が大きいと考えられる．
一方で，今回比較したシステムは個々の性能差も大きいことから，相関が現象に関連する部分のみに起因すると帰結することは難しい．
今後の方向性としては，類似の性能を示すモデルを用いて同様の検証を行うとともに，他の評価指標との相補的な利用を模索し，よりよい人手評価の近似について検討することが考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia6f6.pdf}
\end{center}
\hangcaption{WMTコンペティション投稿システム出力に対する人手評価スコアと翻訳正解率の相関．$r$はピアソンの積率相関係数を表す．}
\label{fig:corr}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，日英機械翻訳システムの精緻な評価に向けた第一歩として，ユーザ生成コンテンツに着目した言語現象毎評価データセットを提案した．
具体的には，固有名詞，名詞の省略，口語表現，異表記の4つの現象に対するモデルの頑健性について評価・分析を行った．

分析の結果，広く商用に利用される翻訳システムを含む多くのモデルが，異表記を含む入力に対して不安定であることがわかった．
これは，現在の主流であるモデルや訓練データの大規模化が異表記のような特異な入力に対する頑健性の十分条件ではなく，異文化・多言語交流を促進する翻訳システムの構築に向けては特別な工夫を要することを示唆している．

また，過去に開催されたコンペティションにおけるシステムの人手評価スコアを用いて，現象毎に人手評価と翻訳正解率の相関関係を調査した．
実験の結果，特に固有名詞と名詞の省略について両者の間に非常に強い正の相関が見られたことから，従来の適合率に基づく評価に加えて，我々の評価を用いることで人手評価をよりよく近似する可能性を確認した．

我々は，機械翻訳システムのさらなる発展のため構築したデータセットを公開している\footnote{\url{https://github.com/cl-tohoku/PheMT}}．
我々のデータセットが，より実用的な機械翻訳システムの構築に向けて，機械翻訳コミュニティを一歩前進させるための先駆けとなることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文の内容の一部は，The 28th International Conference on Computational Linguistics (COLING 2020)で発表されたものです \shortcite{fujii:2020:coling}．
また，本研究の一部はJSPS科研費JP19H04162，JP20J21694の支援を受けて行いました．
本論文の執筆にあたり，有益なコメントを頂きました査読者，担当編集委員の皆様に感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{06refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{藤井　　諒}{
2019年東北大学工学部電気情報物理工学科を卒業，同年より東北大学情報科学研究科博士前期課程に在籍中（2021年3月修了予定）．多言語処理に関心があり主に機械翻訳に関する研究に従事している．
}

\bioauthor{三田　雅人}{
理化学研究所革新知能統合研究センター自然言語理解チームテクニカルスタッフ．2016年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
日本マイクロソフト株式会社のエンジニアを経て，2018年より現職．同年，東北大学情報科学研究科博士後期課程に進学．文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある．言語処理学会，ACL各会員．
}

\bioauthor{阿部香央莉}{
2020年東北大学大学院情報科学研究科博士前期課程修了．
現在，東北大学情報科学研究科博士課程取得に向け研究を進めている．
2020年度日本学術振興会DC1採択．
多言語処理を伴う機械翻訳や言語類型学的観点からの言語処理分析に関心がある．言語処理学会，ACL各会員．
}

\bioauthor{塙　　一晃}{
理化学研究所革新知能統合研究センター自然言語理解チームテクニカルスタッフ．2019年東北大学大学院情報科学研究科博士前期課程修了．同年より現職．
2020年東北大学大学院情報科学研究科博士後期課程に進学．主に自然言語処理に関する研究に従事．言語処理学会，ACL各会員．
}

\bioauthor{森下　　睦}{
NTT コミュニケーション科学基礎研究所研究員．2017年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．同年より現職．
主に機械翻訳，言語資源構築に関する研究に従事．言語処理学会，情報処理学会，ACL各会員．
}

\bioauthor{鈴木　　潤}{
2001年から2018年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員（主任研究員／特別研究員）．2005年奈良先端科学技術大学院情報科学研究科博士後期課程修了．現在，東北大学データ駆動科学・AI教育研究センター教授．
}

\bioauthor{乾　健太郎}{
東北大学大学院情報科学研究科教授．1995年東京工業大学大学院情報理工学研究科博士課程修了．同大学助手，九州工業大学助教授，奈良先端科学技術大学院大学助教授を経て，2010年より現職．2016年より理化学研究所AIPセンター自然言語理解チームリーダー兼任．情報処理学会論文誌編集委員長，同会自然言語処理研究会主査，言語処理学会論文誌編集委員長等を歴任，2020年より言語処理学会副会長．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

