    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath,amssymb}
\usepackage{array}

\usepackage{multirow}

\Volume{24}
\Number{4}
\Month{September}
\Year{2017}

\received{2017}{1}{16}
\revised{2017}{4}{9}
\accepted{2017}{5}{18}

\setcounter{page}{597}

\jtitle{素性空間拡張法に基づくフレーズベース統計翻訳の\\
	マルチドメイン適応}
\jauthor{今村　賢治\affiref{NICT} \and 隅田英一郎\affiref{NICT}}
\jabstract{
ドメイン適応は，機械翻訳を実用に使用するときの大きな課題の一つである．本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案する．本稿の方式は，カバレッジが広い（未知語が少ない）コーパス結合モデルと，素性関数の精度がよい単独ドメインモデルを併用する．これらを，機械学習のドメイン適応に用いられている素性空間拡張法の考え方で結合する．従来の機械翻訳における素性空間拡張法は，単一のモデルを用いていたが，本稿の提案方式は，複数のモデルを用いることにより，両者の利点を活かすことが特徴である．実験では，単独ドメインモデルに比べ，翻訳品質が向上または同等を保持した．提案法は，当該ドメインの訓練コーパスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つドメインへの適応に使用しても，翻訳品質を下げることなく，ドメインによっては品質向上の効果がある．基本的な対数線形モデルでも，モデルの選択と設定を適切に行うことで，最先端品質の適応方式が実現できることを示す．
}
\jkeywords{ドメイン適応，フレーズベース統計翻訳，素性空間拡張法，コーパス結合モデル，empty 値}

\etitle{Multi-domain Adaptation for Statistical Machine Translation Based on Feature Augmentation}
\eauthor{Kenji Imamura\affiref{NICT} \and Eiichiro Sumita\affiref{NICT}} 
\eabstract{
Domain adaptation is a major challenge when machine translation is applied to practical tasks. In this study, we present domain adaptation methods for machine translation that assume multiple domains. The proposed methods combine two typesof models: a corpus-concatenated model covering multiple domains and single-domain models that are accurate but sparse in specific domains. We combine the advantages of both the models using feature augmentation for domain adaptation in machine learning; however, a conventional method of feature augmentation for machine translation uses a single model. Our experimental results show that the translation qualities of the proposed method improved or were at the same level as those of the single-domain models. The proposed method is extremely effective in low-resource domains. Even in domains having a million bilingual sentences, the translation quality was at least preserved and even improved in some domains. These results demonstrate that state-of-the-art domain adaptations can be realized with appropriate model selection and appropriate settings, even when standard log-linear models are used.
} 
\ekeywords{Domain Adaptation, Phrase-based Statistical Machine Translation, Feature Augmentation, Corpus-concatenated Model, Empty Value}

\headauthor{今村，隅田}
\headtitle{素性空間拡張法に基づくフレーズベース統計翻訳のマルチドメイン適応}

\affilabel{NICT}{国立研究開発法人情報通信研究機構}{National Institute of Information and Communications Technology}



\begin{document}
\maketitle


\section{はじめに}
\label{sec-introduction}

さまざまな種類のテキストや，音声認識結果が機械翻訳されるようになってき
ている．しかし，すべてのドメインのデータにおいて，適切に翻訳できる機械
翻訳器の実現はいまだ困難であり，翻訳対象ドメインを絞りこむ必要がある．

対象ドメインの翻訳品質を向上させるには，学習データ（対訳文）を大量に収
集し，翻訳器を訓練するのが確実である．しかし，多数のドメインについて，
対訳文を大量に収集することはコスト的に困難であるため，他のドメインの学
習データを用いて対象ドメインの翻訳品質を向上させるドメイン適応技術が研
究されている \cite{foster-kuhn:2007:WMT,foster-goutte-kuhn:2010:EMNLP,axelrod-he-gao:2011:EMNLP,Bisazza:SMTAdaptation2011,sennrich:2012:EACL2012,sennrich-schwenk-aransa:2013:ACL2013}．このドメイン適応は，機械翻訳を実用に供するときには非常に重要な技術で
ある．

本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案する．本稿
の提案方式は，複数のモデルを対数線形補間で組み合わせる方法である．シン
プルな方法であるが，機械学習分野のドメイン適応方法である素性空間拡張法
\cite{daumeiii:2007:ACLMain}の考え方を流用することで，複数ドメインの利
点を活かす．具体的には，以下の2方式の提案を行う．

\begin{enumerate}
\item 複数ドメインの同時最適化を行う方法．この場合，拡張された素性空間
  に対して，マルチドメイン対応に変更した最適化器で同時最適化を行う．

\item 複数ドメインを一つ一つ個別に最適化する方法．この場合，素性空間を
  制限し，通常の対数線形モデルとして扱う．既存の翻訳システムへの改造が
  少なくても実現できる．
\end{enumerate}

いずれの方法も，さまざまなドメインで未知語が少ないコーパス結合モデルと，
ドメインを限定した際に翻訳品質がよい単独ドメインモデルを併用する．さら
に，複数モデル組み合わせ時のハイパーパラメータをチューニングする．

素性空間拡張法を機械翻訳に適用した例には，\citeA{Clark:SMTAdaptation2012}がある．これは，翻訳文の尤度の算出に用
いられる素性ベクトルの重みだけを適応させていて，素性関数は適応させてい
ない．本稿の新規性は，コーパス結合モデルと単独ドメインモデルを使って，
素性関数を適応させていること，および，複数モデル組み合わせ時のハイパー
パラメータを適切に設定することの2点である．モデルの選択と設定を適切に行
うことによって，最先端のドメイン適応と同等以上の精度が出せることを示す．

なお，本稿では，事前並べ替えを使ったフレーズベース統計翻訳方式
(PBSMT)\cite{koehn-och-marcu:2003:HLTNAACL,koehn-EtAl:2007:PosterDemo}
を対象とする．
以下，第\ref{sec-related-work}節では，統計翻訳のドメイン適応に関する関
連研究を述べる．第\ref{sec-proposed-method}節では，提案方式を詳細に説明
する．第\ref{sec-experiments}節では，実験を通じて本方式の特徴を議論し，
第\ref{sec-conclusion}節でまとめる．


\section{統計翻訳のドメイン適応}
\label{sec-related-work}

機械翻訳のドメイン適応は，翻訳対象のドメイン（内ドメイン）データが少な
く，他のドメイン（外ドメイン）データが大量にある場合，内外ドメインのデー
タ双方を使って，内ドメインの翻訳品質を向上させる技術である．

ドメイン適応には，「ニュース」「Web」のように，あらかじめデータがどのドメ
インに属するか決まっている場合の他に，自動クラスタリングによって仮想的
に作られる場合もある．自動で分割されたドメインでも，重みを最適化するこ
とによって，トータルの翻訳品質が向上するという報告もある
\cite{finch-sumita:2008:WMT,sennrich-schwenk-aransa:2013:ACL2013}．本稿
では，前者のあらかじめデータのドメインが決まっている場合で議論する．


\subsection{コーパス結合}

最もシンプルなベースラインとして用いられている方法は，内ドメインと外ド
メインのデータを結合して学習し，1つのモデルを構築する方法である（本稿で
  はコーパス結合方式と呼ぶ）．学習された結合モデルは，各ドメインの開発
セットで最適化される．

一般的な機械学習では，結合されたコーパスで学習したモデルは，内ドメイン，
外ドメイン双方の中間的性質を持つため，その精度も内ドメインデータのみ，
外ドメインデータのみで学習されたモデル（単独ドメインモデルと呼ぶ）の中
間の精度になることが多い．一方，機械翻訳の場合，コーパスを結合すること
により，カバーする語彙が増加するため未知語が減少し，単独ドメインモデル
より翻訳品質が向上する場合もある．最終的に翻訳品質が向上するか否かは，
未知語の減少とモデルパラメータの精度低下のトレードオフになる．


\subsection{線形補間，対数線形補間}

統計翻訳では，翻訳に使用するサブモデル（フレーズテーブル，言語モデル，
  並べ替えモデルなど）が返す値（素性関数値）を，線形または対数線形結合
して，翻訳文の尤度を算出する．対数線形モデルでは，以下の式で尤度$\log
P(e|f)$を算出する．
\begin{equation}
\log P(e|f) \quad \propto \quad \mathbf{w} \cdot \mathbf{h}(e,f)
\end{equation}
ただし，$e$は翻訳文，$f$は原文，$\mathbf{h}(e,f)$は素性ベクトル，
$\mathbf{w}$は素性関数の重みベクトルである．

このとき，重みベクトル$\mathbf{w}$をドメイン毎に切り替えることで，ドメ
イン依存訳を生成する方法がある．たとえば，\citeA{foster-kuhn:2007:WMT}
は，PBSMTのサブモデルをドメイン毎に訓練し，線形補間，対数線形補間でドメ
イン毎の重みを変えて翻訳を行った．彼らはパープレキシティなどを目標関数
にして，独自の重み推定を行ったが，近年は，重みの推定に誤り率最小訓練法
(MERT) \cite{Och:2003:ACL}などの最適化方法が用いられている
\cite{foster-goutte-kuhn:2010:EMNLP}．

素性空間拡張法\cite{daumeiii:2007:ACLMain}は，翻訳に限らず，機械学習全
般に使われるドメイン適応方式で，素性関数の重みをドメイン毎に最適化する
（\ref{sec-feature-augmentation}節参照）．
\citeA{Clark:SMTAdaptation2012}は，これを対数線形補間方式の一種として翻
訳に適用し，効果があったと報告している．なお，彼らは単一のモデルを用い，
モデルの重みのみをドメイン適応させている．


\subsection{モデル適応}

重みベクトルではなく，素性ベクトル$\mathbf{h}(e,f)$（素性関数）を変更す
ることによってドメイン適応する方法は，大きく2つに分けられる．一つは，訓
練済みサブモデル自身を変更する方法である．もう一つは，ドメインに適応さ
せたコーパスからモデルを訓練する方法である．
このうち，サブモデル自身を変更する方法には，fill-up法
\cite{Bisazza:SMTAdaptation2011}，翻訳モデル混合
\cite{sennrich:2012:EACL2012}，インスタンス重み付け
\cite{foster-goutte-kuhn:2010:EMNLP,matsoukas-rosti-zhang:2009:EMNLP}が
知られている．

fill-up法は，フレーズテーブルから翻訳候補を取得する際，内ドメインの単独
モデルにフレーズが存在する場合はその素性関数値を使用，存在しない場合は
外ドメインの単独モデルからフレーズを取得し，その値を使用する．

翻訳モデル混合は，2 つのフレーズテーブルに記録された翻訳確率を重み付き
で混合し，新たなフレーズテーブルを生成する．重みは開発セットのパープレ
キシティが最小になるように，素性関数毎に設定される．

インスタンス重み付けは，フレーズテーブルのモデルパラメータ一つ一つを，
内ドメインと外ドメインを識別するように内ドメインの開発セットで混合する．

これらの方法は，素性関数値のみでなく，デコード時のフレーズ候補も2つのモ
デルのフレーズを使用するため，一般的には未知語は減少する．しかし，フレー
ズテーブル以外のサブモデルは，別の構築・混合法を使わなければならないと
いうデメリットも存在する．


\subsection{コーパスフィルタリング}

素性ベクトル$\mathbf{h}(e,f)$を変更するもう一つの方法は，モデル訓練用コー
パスをドメイン適応させる方法である．最初に述べたコーパス結合も，この一
種であるが，よりドメインに適応させるには，外ドメインコーパスから対訳文
を取捨選択した方がよい．この，外ドメインコーパスから対訳文を取捨選択し，
内ドメインコーパスとともにモデルを作成する方式を，コーパスフィルタリン
グと呼ぶ．\citeA{axelrod-he-gao:2011:EMNLP}は，内ドメインに適した対訳文
を，内外ドメインの交差エントロピーの差に基づき，外ドメインコーパスから
取捨選択した．選択された文を内ドメインコーパスに追加してモデルを訓練す
ることで，ドメイン適応を行った．

コーパスフィルタリングは，翻訳器が使用する全サブモデルを，その種類を問
わず適応させることができる点がメリットであるが，最適な追加訓練文数は，
あらかじめ予想できない点がデメリットである．


\subsection{その他の方法}

その他の方法としては，2 つの翻訳器を直列に接続し，外ドメイン翻
  訳器による翻訳結果を，さらに内ドメイン翻
訳器を使って訂正する方法もある\cite{jeblee-EtAl:2014:ANLP20142}．これは，
ドメイン依存訳の生成を一種の誤り訂正ととらえていることに相当する．


\section{マルチドメイン適応方式}
\label{sec-proposed-method}

\subsection{素性空間拡張法}
\label{sec-feature-augmentation}

素性空間拡張法\cite{daumeiii:2007:ACLMain}は，一般的な機械学習における
パラメータ（統計翻訳では素性の重みに対応）のドメイン適応に用いられる方
式である．素性空間を共通，内ドメイン（ターゲットドメイン），外ドメイン
（ソースドメイン）に分割し，素性を，それが由来するドメインごとに異なる
空間に配置する．内ドメインの素性は共通空間と内ドメイン空間に，外ドメイ
ンの素性は共通空間と外ドメイン空間にコピーして配置するのが特徴である．
そして，全体を最適化することにより，適応された重みベクトルを得る．

素性が疎な二値素性の場合，共通空間に格納される素性は，内ドメインデータ
から得られる素性と，外ドメインデータから得られる素性の和 (OR) になる．
そのため，共通空間にある素性が，内外ドメインのお互いに欠落した素性を補
完し，精度が向上する．統計翻訳のような密な実数素性の場合，共通空間を介
して，外ドメインの素性が内ドメインの事前分布として作用し，より内ドメイ
ンに適合した重みに調整される（\citeA{daumeiii:2007:ACLMain}の3.2節参
  照）．

通常は，外ドメインを内ドメインに適応するために使用されるが，素性空間拡
張法では，外ドメインと内ドメインを同等に扱っており，容易に$D$ドメインに
拡張することができる．その場合，素性空間は共通，ドメイン1, ... ドメイン
$D$のように，$D+1$空間に分割される（図\ref{fig-feature-augmentation}）．
すなわち，
\begin{equation}
\mathbf{h}(f,e)  =  \langle \mathbf{h}_{c}, \mathbf{h}_{1}, \ldots, 
  \mathbf{h}_{i}, \ldots, \mathbf{h}_{D}\rangle
\label{eqn-augmented-vector}
\end{equation}
ただし，$\mathbf{h}_{c}$は共通空間の素性ベクトル，$\mathbf{h}_{i}$はド
メイン依存空間の素性ベクトルである．共通空間には常に素性が配置されるが，
ドメイン依存空間には，データの属するドメインが一致する場合だけ，素性が
配置される．
\begin{align}
\mathbf{h}_{c} & = \mathbf{\Phi}(f,e) 
\label{eqn-aug-common}\\
\mathbf{h}_{i} & =  \left\{ 
  \begin{array}{ll}
    \mathbf{\Phi}(f,e) & \text{if}\ \mathrm{domain}(f) = i \\
    \emptyset       & \text{otherwise}
  \end{array}\right.
\label{eqn-aug-dependent}
\end{align}
ただし，$\mathbf{\Phi}(f,e)$はモデルスコア等を格納した部分ベクトルで，
素性空間を拡張しない場合は，$\mathbf{h}(f,e)$と同じになる．この素性マト
リクスを最適化し，重みベクトルを得る．

\begin{figure}[t]
\begin{center}
\includegraphics{24-4ia4f1.eps}
\end{center}
\caption{素性空間拡張とコーパス結合モデル／単独ドメインモデルの併用}
\label{fig-feature-augmentation}
\end{figure}

\ref{sec-experiments}節の実験では，Mosesツールキット
\cite{koehn-EtAl:2007:PosterDemo}のデフォルト素性（15次元）を使用する．
素性の一覧を表\ref{tbl-feature-list}に示す．これに素性空間拡
張法を適用すると，共通空間では15次元，ドメイン依存空間では各14次元とな
る\footnote{未知語数を表す素性 UnknownWordPenalty は，重みの調整は不可とされているため，共通空間だけに配置する．}．

\citeA{Clark:SMTAdaptation2012}は，アラビア語$\rightarrow$英語翻訳（ド
  メインはNewsとWeb），およびチェコ語$\rightarrow$英語翻訳（ド
  メインはFictionなど6ドメイン）について素性空間拡張法を適用し，
効果が観測されたと報告している．ただし，彼らは，翻訳モデル，言語モデル
などのサブモデルは，コーパス結合モデル1種類だけを使用しており，純粋に素
性関数の重みだけをドメイン最適化している．

\begin{table}[t]
\caption{本稿で用いる素性の一覧}
\label{tbl-feature-list}
\input{04table01.txt}
\end{table}


\subsection{提案法}

\subsubsection{コーパス結合モデルと単独ドメインモデルの導入}
\label{sec-concat-and-specific}

機械翻訳では，素性の重みより素性関数の方が翻訳品質に対する影響が大きい
ため，素性空間によってモデルを切り替えるのは自然な拡張である．

本稿で用いる素性関数は，実数値を返す関数であるが，その実態は，モデルファ
イルに記録されているインスタンスを読み込み，それに対応する値を返してい
る．もし，訓練データ不足などの理由でモデルファイル中にインスタンスが存
在しない場合，素性関数値は極小値になる．つまり，実数値の素性関数であっ
ても，実際には二値素性と同様に，スパースネスの問題がある．そこで本稿で
は，二値素性の素性空間拡張法の考え方を素性関数に適用し，共通空間に対応
するモデルとして，全ドメインのコーパスから作成したコーパス結合モデルを
使用する．ドメイン依存空間には，それぞれの単独ドメインモデルを使用する．
具体的には，

\begin{itemize}
\item フレーズテーブル，語彙化並び替えモデル，言語モデルなどのサブモデル
  について，単独ドメインモデルとコーパス結合モデルを作成しておく．

\item 素性空間拡張では，共通空間にはコーパス結合モデルのスコアを素性関
  数値として配置し，各ドメインの空間には，単独ドメインモデルのスコアを
  配置し，最適化する（図\ref{fig-feature-augmentation}）．式
  (\ref{eqn-aug-common})(\ref{eqn-aug-dependent})は以下の式に置換され
  る．
\begin{align}
\mathbf{h}_{c} & =  \mathbf{\Phi}_{c}(f,e) 
\label{eqn-flat-common} \\
\mathbf{h}_{i} & = \left\{ 
  \begin{array}{ll}
    \mathbf{\Phi}_{i}(f,e) & \text{if}\ \mathrm{domain}(f) = i \\
    \emptyset          & \text{otherwise}
  \end{array}\right.
\label{eqn-flat-dependent}
\end{align}
ただし，$\mathbf{\Phi}_{c}(f,e)$はコーパス結合モデルから得られた素性ベ
クトル，$\mathbf{\Phi}_{i}(f,e)$は，単独ドメインモデル$i$から得られた素
性ベクトルである．

\item デコーディングの際は，まず，単独ドメインモデルとコーパス結合モデ
  ルのフレーズテーブルをすべて検索し，翻訳仮説を生成する．探索の際には，
  共通空間と対象ドメインの空間の素性だけを使って尤度計算をする．
\end{itemize}

翻訳仮説生成にコーパス結合フレーズテーブルを使用することにより，他のド
メインで出現した翻訳フレーズも利用でき，未知語の減少が期待できる．また，
翻訳仮説が単独ドメインモデルに存在している場合，高い精度の素性関数値が
得られると期待される．

本方式は，拡張素性空間を最適化することによって，重みベクトル
{$\mathbf{w}$}を適応し，コーパス結合モデルと単独ドメインモデルを併用す
ることで，素性関数{$\mathbf{h}(e,f)$}の適応を行っている．どちらもモデル
の種類に依存しないため，翻訳に使用する全サブモデルについて，適応させる
ことができる．

なお，機械翻訳では，言語モデルを大規模な単言語コーパスから作成
する場合がある．このモデルは，いわば非常に多くのドメインを含むコーパス
結合モデルに相当するため，共通空間に配置するとよい．このように，外部知
識から得られたモデル（素性関数）を追加する場合には，共通空間の次元を増
加させる．


\subsubsection{empty値}

本方式では，コーパス結合モデル，単独ドメインモデルのどちらか一方にのみ
出現するフレーズ対が多数存在する．これらフレーズなどのインスタンスに関
しても素性関数は値を返す必要がある．この値を本稿ではempty値と呼ぶ．これ
はいわばn-gram言語モデルにおける未知語確率に相当するものであるので，フ
レーズの翻訳確率分布から算出されるべきものであるが，本稿では，パイパー
パラメータとして扱い，開発コーパスにおけるBLEUスコアが最高になるよう，
実験的に設定する\footnote{Mosesでは，empty値として一律に$-100$を割り当てている\cite{Koehn:DomainAdaptation2007,Birch:MultipathDecoding2007}．\ref{sec-experiments}節で述べるように，これは小さすぎる値で，BLEUスコ  アが下がる原因となる．}．


\subsection{最適化}
\label{sec-optimization}

\subsubsection{同時最適化}
\label{sec-joint-optimization}

一般的な機械学習における素性空間拡張法の利点の一つは，素性空間を操作し
ているだけなので，最適化アルゴリズムは既存の方法が使えるという点である．

機械翻訳の場合，最適化方法には，誤り率最小訓練
(MERT)\cite{Och:2003:ACL}，ペアランク最適化
(PRO)\cite{hopkins-may:2011:EMNLP}，kベストバッチ
MIRA (KBMIRA) \cite{cherry-foster:2012:NAACL-HLT}が知られている．本稿では，
高次元の最適化に適したKBMIRAを使用する
\footnote{もう一つの理由は，予備実験において，ベースラインシステムの
  BLEUスコアが最も高かったためである．}．

通常の機械学習における最適化と，機械翻訳の最適化の大きな相違点は，多く
の機械学習の損失関数が，尤度などデコーダが出力するスコアを使用している
のに対して，機械翻訳はBLEU \cite{papineni-EtAl:2002:ACL}のような，翻訳文
の自動評価値を使用する点である．この自動評価値は，翻訳文と参照訳との比
較によって算出され，{\em コーパス単位に}計算される場合が多い．実際，
MERT, KBMIRAは開発セットのBLEUスコアを損失関数の一部に使用している
\footnote{\citeA{Clark:SMTAdaptation2012}が素性空間拡張法の最適化に使用
  したPROは文単位に近似したBLEUスコアを用いている．}．つまり，複数ドメ
インを同時に最適化する場合は，ドメイン毎にBLEUスコアを算出しないと，結
果がドメイン最適にならないことを意味している．

上記問題を解決するため，本稿ではKBMIRAを変更する．
\citeA{cherry-foster:2012:NAACL-HLT}のアルゴリズム1に対する変更点は，以
下のとおりである．
\begin{enumerate}
\item 処理済み翻訳文のBLEU統計量（n-gram一致数など）を保存する変数$BG$を，
  1つからドメイン数$D$個に拡張する．

\item 各翻訳文のBLEUスコアは，その翻訳文のドメイン$i$の$BG_{i}$から算出する．

\item 素性重みを更新後，その翻訳文のBLEU統計量を$BG_{i}$に追加する．
\end{enumerate}
この変更によって，各ドメイン空間の素性重みは，そのドメインの開発セット
に最適化される．


\subsubsection{個別最適化}
\label{sec-independent-optimization}

同時最適化は，適応させたいドメインが限られている場合にも，すべてのドメ
インを最適化しなければならないので，少々非効率である．そこで，全$D$ドメ
インのうち，ドメイン$i$だけ適応させたい場合，ドメイン$i$に関連する空間
だけに限り，最適化を行う．これを本稿では個別最適化と呼ぶ．

個別最適化は，素性空間を共通空間とドメイン$i$空間に制限し，チューニング
データもドメイン$i$に関するものだけにする．すなわち，式
(\ref{eqn-augmented-vector})は式(\ref{eqn-augvector-simple})に置き換え
る．
\begin{align}
\mathbf{h}(f,e) & =  \langle \mathbf{h}_{c}, \mathbf{h}_{i}\rangle
  \label{eqn-augvector-simple}\\
\mathbf{h}_{c} & = \mathbf{\Phi}_{c}(f,e) \\
\mathbf{h}_{i} & = \mathbf{\Phi}_{i}(f,e) 
\end{align}

これは，一般的な対数線形モデルであるので，同時最適化を行わなくても，既
存の最適化器をそのまま使うことができる．また，デコーダも，(1)複数モデル
を同時に使えること，(2) empty値を設定できること，の2点を満たすものであれ
ばよいため，既存のものを少し修正するだけで利用可能となる．

同時最適化に比べると，共通空間の最適化が弱くなる恐れがあるが，もともと
機械翻訳は素性の重みより素性関数の影響の方が大きいため，実用上は問題は
少ないと考えられる．ただし，以下の2点に関しては，同時最適化と共通に満た
す必要がある．

\begin{enumerate}
\item 共通空間の素性にコーパス結合モデルを使うこと．
\item empty値を適切に設定すること．
\end{enumerate}


\section{実験}
\label{sec-experiments}

\subsection{実験設定}
\label{sec-experimental-settings}


\subsubsection{ドメイン／コーパス}

本稿では，英日／日英翻訳を対象に，以下の4つのドメインの最適化を行う．各
ドメインのコーパスサイズを表\ref{tbl-corpus-size}に示す．MEDコーパスは
比較的小規模で，それ以外のドメインは100万文規模である．なお，訓練文は
80単語以下のものだけを使用した．

\begin{itemize}
\item \textbf{MED}: 病院等における医師（スタッフ）と患者の疑似対話のコー
  パス．内部開発．
\item \textbf{LIVING}: 外国人が日本に旅行や在留する際の疑似対話コーパス．
  内部開発．
\item \textbf{NTCIR}: 特許コーパス．訓練コーパスと開発コーパスは国際ワー
  クショップNTCIR-8，テストコーパスはNTCIR-9のものを使用\footnote{http://research.nii.ac.jp/ntcir/index-ja.html}．
\item \leavevmode\hbox to160pt{\textbf{ASPEC}: 科学技術文献コーパス}\cite{Nakazawa:ASPEC2016}
  \footnote{http://lotus.kuee.kyoto-u.ac.jp/ASPEC/}．ASPEC-JEのうち，
  対訳信頼度の高い100万文を使用．
\end{itemize}

\begin{table}[b]
\caption{コーパスサイズ}
\label{tbl-corpus-size}
\input{04table02.txt}
\end{table}


\subsubsection{翻訳システム}

各コーパスの対訳文は，内部開発の事前並べ替え
（\citeA{Goto:2015:PUT:2791399.2699925}の4.5節）を適用したのちに使用した．
これは，新聞，Wikipedia，旅行会話，生活会話，科学技術文，ブログなどを混
合した対訳コーパスから，ランダムに500万文程度を抽出して訓練した，特定の
ドメインに依存しない事前並び替えである．今回は，全ドメイン，全方式につ
いて同一の事前並び替えを適用した．

また，日本語に関しては，訓練，テスト等すべての文について，
あらかじめ形態素解析器MeCab\cite{kudo-yamamoto-matsumoto:2004:EMNLP}で
単語分割を行ってから使用した．英語に関しては，Mosesツールキット
\cite{koehn-EtAl:2007:PosterDemo}付属のtokenizer，truecaserで前処理した．

翻訳システムの訓練のうち，フレーズテーブル，語彙化並び替えモデルの学習
にはMosesツールキットをデフォルト設定で使用した．言語モデルは
KenLM\cite{heafield-EtAl:2013:Short}を用いて，訓練セットの目的言語側か
ら5グラムモデルを構築した．最適化は\ref{sec-joint-optimization}節で述べ
たマルチドメインKBMIRAを使用した．

デコーディングには，内部開発のMosesのクローンデコーダを使用した．デコー
ダの設定値はMosesのデフォルト値と同じ
$\texttt{phrase\_table\_limit}=20$，$\texttt{distortion\_limit}=6$，ビー
ム幅200とした．なお，フレーズ候補取得の際には，複数のフレーズテーブルを
すべて検索して候補を取得後，拡張素性空間で算出された尤度に従って，20個
に絞り込んだ．


\subsubsection{empty値}

\ref{sec-concat-and-specific}節で述べたempty値は，$-3$から$-20$の間の整数値
のうち，全ドメインの開発セット翻訳結果を1ドキュメント扱いしたときの
BLEUスコアが最高値になる値を採用した．結果，英日翻訳に関しては$-7$，日英
翻訳は$-6$となった．これを確率値とみなした場合，英日は$\exp(-7)\approx
0.0009$，日英は$\exp(-6)\approx 0.0025$となる．


\subsubsection{評価指標}

評価指標にはBLEU, 翻訳編集率(TER) \cite{Snover:TER2006},
Meteor \cite{denkowski:lavie:meteor-wmt:2014}（英語のみ），
RIBES \cite{D10-1092}（日本語のみ）を使用し，MultEvalツール
\cite{clark-EtAl:2011:ACL-HLT2011}
\footnote{https://github.com/jhclark/multeval}で有意差検定を行っ
た\footnote{RIBESに関しては，http://www.kecl.ntt.co.jp/icl/lirg/ribes/index.htmlのスクリプトと同等なものをMultEvalツールに組み込んで測定した．}．危険率は
$p<0.05$とした．最適化の揺れを吸収するため，5回最適化を実施し，その平均
値を使用した．なお，単純化のため，本文ではBLEUで説明する．


\subsubsection{比較方式}

各ドメインコーパスだけでモデルを構築，最適化，テストする単独ドメインモ
デル方式をベースラインにし，他の方式と比較する．
従来法としては，\ref{sec-related-work}節で述べた以下の方式を使用する．
\begin{itemize}
\item \textbf{コーパス結合}：全ドメインのコーパス結合モデルを使用し，各
  ドメインの開発セットで最適化，テストした場合．

\item \textbf{素性空間拡張法(Clark)}：
\pagebreak
共通空間，ドメイン空間共に，コー
  パス結合モデルの素性関数を使った素性空間拡張法．
  \citeA{Clark:SMTAdaptation2012}の設定と同じだが，最適化にはマル
  チドメインKBMIRAを使用した．

\item \textbf{Fill-up法}：ドメイン適応方式にfill-up法
  \cite{Bisazza:SMTAdaptation2011}を用いた場合．

\item \textbf{翻訳モデル混合}：ドメイン適応方式に翻訳モデル混合
  \cite{sennrich:2012:EACL2012}を用いた場合．Moses付属の
  \texttt{tmcombine}プログラムで混合した．

\item \textbf{コーパスフィルタリング}：
  \citeA{axelrod-he-gao:2011:EMNLP}が提案した修正Moore-Lewisフィルタリ
  ングで，自分以外のドメインのコーパスから対訳文を選択し，ドメインの訓
  練文に加えた場合．追加文数は，10万文単位に文数を変え，各ドメインの開
  発セットのBLEUスコアが最高になった文数を採用した
\footnote{数十万文単位で追加文数を変えながら開発セットBLEUスコ
    アを測定し，その後，最適文数近傍で10万文単位の調整を行った．}．
\end{itemize}
提案法は，以下のバリエーションをテストする．

\begin{itemize}
\item \textbf{提案法（同時最適化）}：提案法のうち，
  \ref{sec-joint-optimization}節で述べた同時最適化を使用した場合．

\item \textbf{提案法（個別最適化）}：提案法のうち，
  \ref{sec-independent-optimization}節で述べた個別最適化を使用した場合．

\item \textbf{提案法($\mathbf{empty}\boldsymbol{=-100}$)}：提案法のempty値を，Mosesと同じ$-100$に
  設定した場合．なお，最適化は個別最適化を使用したが，同時最適化でも同
  じ傾向が観察された．

\item \textbf{提案法（外ドメイン）}：提案法のうち，
  共通空間に対応するモデルとして，コーパス結合モデルではなく，内ドメイ
  ンデータを取り除いた外ドメインコーパス（つまり，内ドメイン以外の3ドメ
  インのコーパス）だけから学習したモデルを使用した場合．これも個別最適化
  を使用した．
\end{itemize}


\subsection{翻訳品質}
\label{sec-experimental-quality}

各方式について，英日翻訳および日英翻訳における自動評価スコアを，それぞ
れ表\ref{tbl-result-ej}，表\ref{tbl-result-je}に示す．なお，表中太字は
方式間最高値，(+)は，単独ドメインモデル方式をベースラインとしたとき有意
に向上したもの，($-$)は有意に悪化したものを表す ($p < 0.05$)．

\begin{table}[t]
\caption{方式別の自動評価スコア（英日翻訳）}
\label{tbl-result-ej}
\input{04table03.txt}
\end{table}

今回用いたデータは，ドメイン同士の関連性が比較的薄かったため，従来法で
は，適応によって翻訳品質は軒並み悪化した．たとえば，コーパス結合方式と
素性空間拡張法(Clark)は，単独モデルより翻訳品質が低下する傾向が強かった．
コーパス結合方式は各ドメインが平均化されたモデルが作成され，素性関数の
精度が落ちたためと考えられる．

Fill-up法は，コーパス結合方式に比べると翻訳品質は向上する場合が多かった
が，単独ドメインモデルより悪化した．翻訳モデル混合は，ドメインによって
有意に向上する場合と悪化する場合があり，この実験での有効性は確認できな
かった．コーパスフィルタリングは，ASPECの英日翻訳を除き，単独ドメインモ
デルより有意に向上，または同等品質となった．ASPEC英日翻訳は10万文を加え
ただけだったが，これが悪影響しており，コーパスフィルタリングは有効だが，
最適な追加文数の決定は難しいことを示している．

一方，提案法は，同時最適化，個別最適化ともに，すべてのドメインにおいて
単独ドメインモデルより向上あるいは同等品質となり，適切に適応できた．同
時最適化に比べ，個別最適化の方が，BLEUスコアが高い傾向がある．
なお，empty値を$-100$にすると，最適化時にBLEUスコアが振動して，最適化でき
ない場合があった（表中のN/A）．また，提案法でも，共通空間に使用するモデ
ルを外ドメインモデルにすると，大部分のケースでは提案法に比べ品質が悪化
した．共通空間に使用するモデルは，内ドメインを含むコーパス結合モデルの
方が望ましいことを示している．

\begin{table}[t]
\caption{方式別の自動評価スコア（日英翻訳）}
\label{tbl-result-je}
\input{04table04.txt}
\end{table}

まとめると，提案法はドメイン適応方式の中ではほぼ最高品質を確保できた．
特に，個別最適化方式のような標準的な対数線形モデルであっても，適切な設
定をすれば，最先端方式と同等以上のドメイン適応が実現できることを示して
いる．


\subsection{シングルドメイン適応としての効果}
\label{sec-size-experiments}

ドメイン適応が必要となる場面は，新たなドメインデータの翻訳を行わなけれ
ばならないにも関わらず，十分な量の訓練文が集まらない場合である．本節で
は，MED英日翻訳に絞って，訓練コーパスのサイズを変えて翻訳品質を測定する．
なお，他のドメインについては変更せず，全訓練文を使用する．

表\ref{tbl-quality-among-sizes}は，単独ドメインモデル，コーパス結合，コー
パスフィルタリングと提案法（個別最適化）を比較した結果である．表中の(+)は
単独ドメインモデルと比較して有意に高く，($-$)は有意に低いことを表す．
(\dag)はコーパス結合と比較して有意に高く，({$\uparrow$})はコーパスフィ
ルタリングと比較して有意に高いことを表している ($p < 0.05$)．

\begin{table}[t]
\caption{訓練コーパスサイズ別BLEUスコア（MEDコーパス，英日翻訳）}
\label{tbl-quality-among-sizes}
\input{04table05.txt}
\end{table}

訓練コーパスが1,000文(1~k)しかない場合は，提案法は単独ドメインモデルに比
べて非常に高い品質となっているが，コーパス結合とはほぼ同じである．訓練
コーパスサイズが増えるにしたがい，全方式ともにBLEUスコアが向上するが，
コーパス結合の品質向上は単独ドメインモデルより緩やかで，約10万文(100~k)
で単独ドメインモデルの品質が逆転する．提案法は，3,000 文(3~k)以上では常に単
独ドメインモデル，コーパス結合の品質を上回っており，両者の利点をうまく
融合させた方式であることを示している．

コーパスフィルタリングは，提案方式とほぼ同様に，3万文(30~k)以上では，単
独ドメインモデル，コーパス結合を有意に上回ったが，提案法を有意に上回る
ことはなかった．\ref{sec-experimental-quality}節でも述べたように，コー
パスフィルタリングは，最適な追加文数の決定が難しい．実際，この実験では，
10万文単位での最適な追加文数を決定するため，1試行あたり10回以上の訓練，
最適化，テストを繰り返した．提案法の訓練回数は，個別最適化の場合，コー
パス結合モデルと単独ドメインモデルの2回に固定されており，使いやすさの観
点では提案法がコーパスフィルタリングより優れていると考える．

ここで，表\ref{tbl-result-ej}，\ref{tbl-result-je}に戻る．表
\ref{tbl-result-ej}，\ref{tbl-result-je}では，MEDコーパスにおける提案法
（同時最適化，個別最適化）の翻訳品質が英日，日英ともに向上した．この理由
は，MEDコーパスが約22万文と，他のコーパスに比べて小規模で，翻訳品質向上
の余地を残していたためと推測できる．
一方，MED以外のドメインは，100万文規模の大規模コーパスから学習している
ため，必ずしも翻訳品質が向上するわけではない．しかし，特筆したいのは，
大規模コーパスに提案方式を適用しても，翻訳品質が下がることがなく，デー
タによっては向上する場合もあるという点である．その点で，提案方式はコー
パスサイズに対して非常にロバストな方式といえる．


\subsection{未知語}

本稿の提案方式の特徴は，コーパス結合モデルと単独ドメインモデルの利点を
融合させたものとまとめられる．本節では各モデルの未知語の観点から分析す
る．

本稿では，\citeA{Irvine:MTErrors2013}に準じて，未知語を原言語未知と
目的言語未知に分けて考える\footnote{原言語未知は，\citeA{Irvine:MTErrors2013}のSEENエラー，目的言語未知はSENSEエラーに相当する．}．
原言語未知は入力の単語あるいはフレー
ズがフレーズテーブルに存在しない場合である，目的言語未知は，原言語のフ
レーズは存在するが，目的言語の単語あるいはフレーズが存在しないために，
参照訳が生成できない場合である．これは，強制デコーディング
\cite{yu-EtAl:2013:EMNLP}を行い，参照訳が生成できるかどうかで判定できる．

英日翻訳におけるドメイン毎の未知語率を表\ref{tbl-unk-rate}に示す．これ
は，5回の最適化のうちの1試行を取り出した結果である．
ドメイン毎に割合の差はあるが，単独ドメインモデルに比べ，コーパス結合は
原言語未知，目的言語未知ともに減少する．たとえば，MEDコーパスでは，原言
語未知は9.1\%$\rightarrow$0.9\%，目的言語未知は
38.5\%$\rightarrow$16.1\%と減少し，他のドメインの単語が利用可能になって
いる．しかし，最終的な翻訳品質は単独ドメインモデルの方がよかったことを
考えると，未知語の減少が直接品質向上に寄与したわけではない．最適化が重
要であることがわかる．

\begin{table}[t]
\caption{未知語を含む文の割合（英日翻訳）}
\label{tbl-unk-rate}
\input{04table06.txt}
\end{table}

提案法は，NTCIRを除き，さらに未知語が減少した．提案法はコーパス結合モデ
ルと単独ドメインモデルのフレーズテーブル
をOR検索している．2つのフレーズテーブルは，重複する訓練コーパスを使用し
ているにも関わらず，訓練によって得られるフレーズは異なるため，結果的に
カバレッジが向上したものと考えられる．

\begin{table}[p]
\caption{翻訳の変化例（MEDドメイン，英日翻訳，テストセット）}
\label{tbl-trans-examples}
\input{04table07.txt}
\end{table}


\subsection{ドメイン適応による翻訳の変化例}

統計翻訳のモデルを変更した場合，翻訳文の変化を適切に分類するのは非常に
難しい．本提案のドメイン適応に関しても，正確な分類は困難だと判断したが，
翻訳品質が向上している場合，典型的には以下の3パターンが観察された．ここ
では表\ref{tbl-trans-examples}に示す翻訳例を参照しながら説明する．この
例はMEDドメインの英日翻訳から抜き出したものである．

\begin{itemize}
\item 単語の翻訳がドメイン依存訳に変化したものがある．例1の``first
  visit''の翻訳に関しては，コーパス結合では「初めて」と一般的な訳になっ
  ているが，単独ドメインモデルと提案法では，「初診」となり，病院におけ
  る対話に適応した訳となっている．同様に，例2では``opening hours''の訳
  が「診療時間」と翻訳されている．

\item 例3，4のように，コーパス結合では常体の翻訳文になっているが，単独
  ドメインモデル，提案法では敬体の翻訳文となっている．コーパス結合モデ
  ルでは，特許や論文のコーパスを用いているため，常体が多数派を占めてい
  るためだと考えられる．提案法は，コーパス結合モデルを併用しているにも
  関わらず，MEDの単独ドメインモデルを適切に利用して，敬体の翻訳文を生成
  した．これも一種のドメイン依存訳であると考えられる．

\item 例5，6では，単独ドメインモデルでは原言語未知になる単語があった
  (starvation, 
\linebreak Sangenjaya, Shimokitazawa) が，コーパス結合，提案法では
  これが解消されている．
\end{itemize}


\section{まとめ}
\label{sec-conclusion}

本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案した．本稿
の方式は，カバレッジが広い（未知語が少ない）コーパス結合モデルと，素性
関数の精度がよい単独ドメインモデルを併用
し，機械学習分野のドメイン適応方法である，素性空間拡張法の考え方を利用
して両者を結合した．また，empty値をチューニング対象に追加した．

実験では同時最適化を行った場合，個別最適化を行った場合ともに，単独ドメ
インモデルに比べ，翻訳品質が向上または同等を保持した．提案法は，当該ド
メインの訓練コーパスが小規模である場合に高い効果を持ち，100万文規模の大
規模コーパスを持つドメインへの適応に使用しても，翻訳品質を下げることな
く，ドメインによっては品質向上の効果がある．基本的な対数線形モデルでも，
モデルの選択とチューニングを慎重に行うことで，最先端方式と同等以上の適
応方式になることを示した．

提案方式は，対数線形モデルに基づく統計翻訳にはすべて適用可能であるので，
木構造変換のような翻訳方式でも効果を確認したいと考えている．ただし，木
構造変換の翻訳方式は，構文解析を利用しているため，翻訳品質は構文解析自
身の精度にも影響を受ける．本稿で用いた事前並び替えも，構文解析を利用し
ている．構文解析などの翻訳に使われているコンポーネントについては，別途
    ドメイン適応させる必要がある (森下，赤部，波多腰，Neubig，吉野，中村 2016) が，
本稿の提案方式は，コンポーネントの適応とは独立に併用可能である．
\nocite{Morishita:ParsingAdaptation2016j}

\acknowledgment

本研究は総務省の情報通信技術の研究開発「グローバルコミュニケーション計
画の推進—多言語音声翻訳技術の研究開発及び社会実証—I. 多言語音声翻訳技
術の研究開発」の一環として行われました．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Axelrod, He, \BBA\ Gao}{Axelrod
  et~al.}{2011}]{axelrod-he-gao:2011:EMNLP}
Axelrod, A., He, X., \BBA\ Gao, J. \BBOP 2011\BBCP.
\newblock \BBOQ Domain Adaptation via Pseudo In-Domain Data Selection.\BBCQ\
\newblock In {\Bem Proceedings of the 2011 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 355--362}, Edinburgh, Scotland,
  UK.

\bibitem[\protect\BCAY{Birch, Osborne, \BBA\ Koehn}{Birch
  et~al.}{2007}]{Birch:MultipathDecoding2007}
Birch, A., Osborne, M., \BBA\ Koehn, P. \BBOP 2007\BBCP.
\newblock \BBOQ CCG Supertags in Factored Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 9--16}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Bisazza, Ruiz, \BBA\ Federico}{Bisazza
  et~al.}{2011}]{Bisazza:SMTAdaptation2011}
Bisazza, A., Ruiz, N., \BBA\ Federico, M. \BBOP 2011\BBCP.
\newblock \BBOQ Fill-up versus Interpolation Methods for Phrase-based SMT
  Adaptation.\BBCQ\
\newblock In {\Bem Proceedings of the International Workshop on Spoken Language
  Translation (IWSLT)}, San Francisco, California, USA.

\bibitem[\protect\BCAY{Cherry \BBA\ Foster}{Cherry \BBA\
  Foster}{2012}]{cherry-foster:2012:NAACL-HLT}
Cherry, C.\BBACOMMA\ \BBA\ Foster, G. \BBOP 2012\BBCP.
\newblock \BBOQ Batch Tuning Strategies for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2012 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 427--436}, Montr{\'{e}}al, Canada.

\bibitem[\protect\BCAY{Clark, Dyer, Lavie, \BBA\ Smith}{Clark
  et~al.}{2011}]{clark-EtAl:2011:ACL-HLT2011}
Clark, J.~H., Dyer, C., Lavie, A., \BBA\ Smith, N.~A. \BBOP 2011\BBCP.
\newblock \BBOQ Better Hypothesis Testing for Statistical Machine Translation:
  Controlling for Optimizer Instability.\BBCQ\
\newblock In {\Bem Proceedings of the 49th Annual Meeting of the Association
  for Computational Linguistics: Human Language Technologies}, \mbox{\BPGS\
  176--181}, Portland, Oregon, USA.

\bibitem[\protect\BCAY{Clark, Lavie, \BBA\ Dyer}{Clark
  et~al.}{2012}]{Clark:SMTAdaptation2012}
Clark, J.~H., Lavie, A., \BBA\ Dyer, C. \BBOP 2012\BBCP.
\newblock \BBOQ One System, Many Domains: Open-Domain Statistical Machine
  Translation via Feature Augmentation.\BBCQ\
\newblock In {\Bem Proceedings of the 10th biennial conference of the
  Association for Machine Translation in the Americas (AMTA 2012)}, San Diago,
  California, USA.

\bibitem[\protect\BCAY{Daum{\'{e}}}{Daum{\'{e}}}{2007}]{daumeiii:2007:ACLMain}
Daum{\'{e}}, III, H. \BBOP 2007\BBCP.
\newblock \BBOQ Frustratingly Easy Domain Adaptation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association of
  Computational Linguistics}, \mbox{\BPGS\ 256--263}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Denkowski \BBA\ Lavie}{Denkowski \BBA\
  Lavie}{2014}]{denkowski:lavie:meteor-wmt:2014}
Denkowski, M.\BBACOMMA\ \BBA\ Lavie, A. \BBOP 2014\BBCP.
\newblock \BBOQ Meteor Universal: Language Specific Translation Evaluation for
  Any Target Language.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 376--380}, Baltimore, Maryland, USA.

\bibitem[\protect\BCAY{Finch \BBA\ Sumita}{Finch \BBA\
  Sumita}{2008}]{finch-sumita:2008:WMT}
Finch, A.\BBACOMMA\ \BBA\ Sumita, E. \BBOP 2008\BBCP.
\newblock \BBOQ Dynamic Model Interpolation for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 208--215}, Columbus, Ohio, USA.

\bibitem[\protect\BCAY{Foster, Goutte, \BBA\ Kuhn}{Foster
  et~al.}{2010}]{foster-goutte-kuhn:2010:EMNLP}
Foster, G., Goutte, C., \BBA\ Kuhn, R. \BBOP 2010\BBCP.
\newblock \BBOQ Discriminative Instance Weighting for Domain Adaptation in
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2010 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 451--459}, Cambridge,
  Massachusetts, USA.

\bibitem[\protect\BCAY{Foster \BBA\ Kuhn}{Foster \BBA\
  Kuhn}{2007}]{foster-kuhn:2007:WMT}
Foster, G.\BBACOMMA\ \BBA\ Kuhn, R. \BBOP 2007\BBCP.
\newblock \BBOQ Mixture-Model Adaptation for SMT.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 128--135}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Goto, Utiyama, Sumita, \BBA\ Kurohashi}{Goto
  et~al.}{2015}]{Goto:2015:PUT:2791399.2699925}
Goto, I., Utiyama, M., Sumita, E., \BBA\ Kurohashi, S. \BBOP 2015\BBCP.
\newblock \BBOQ Preordering Using a Target-Language Parser via Cross-Language
  Syntactic Projection for Statistical Machine Translation.\BBCQ\
\newblock {\Bem ACM Transactions on Asian and Low-Resource Language Information
  Processing}, {\Bbf 14}  (3), \mbox{\BPGS\ 13:1--13:23}.

\bibitem[\protect\BCAY{Heafield, Pouzyrevsky, Clark, \BBA\ Koehn}{Heafield
  et~al.}{2013}]{heafield-EtAl:2013:Short}
Heafield, K., Pouzyrevsky, I., Clark, J.~H., \BBA\ Koehn, P. \BBOP 2013\BBCP.
\newblock \BBOQ Scalable Modified Kneser-Ney Language Model Estimation.\BBCQ\
\newblock In {\Bem Proceedings of the 51st Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  690--696}, Sofia, Bulgaria.

\bibitem[\protect\BCAY{Hopkins \BBA\ May}{Hopkins \BBA\
  May}{2011}]{hopkins-may:2011:EMNLP}
Hopkins, M.\BBACOMMA\ \BBA\ May, J. \BBOP 2011\BBCP.
\newblock \BBOQ Tuning as Ranking.\BBCQ\
\newblock In {\Bem Proceedings of the 2011 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1352--1362}, Edinburgh, Scotland,
  UK.

\bibitem[\protect\BCAY{Irvine, Morgan, Carpuat, Daum{\'{e}}, \BBA\
  Munteanu}{Irvine et~al.}{2013}]{Irvine:MTErrors2013}
Irvine, A., Morgan, J., Carpuat, M., Daum{\'{e}}, III, H., \BBA\ Munteanu, D.
  \BBOP 2013\BBCP.
\newblock \BBOQ Measuring Machine Translation Errors in New Domains.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 1}, \mbox{\BPGS\ 429--440}.

\bibitem[\protect\BCAY{Isozaki, Hirao, Duh, Sudoh, \BBA\ Tsukada}{Isozaki
  et~al.}{2010}]{D10-1092}
Isozaki, H., Hirao, T., Duh, K., Sudoh, K., \BBA\ Tsukada, H. \BBOP 2010\BBCP.
\newblock \BBOQ Automatic Evaluation of Translation Quality for Distant
  Language Pairs.\BBCQ\
\newblock In {\Bem Proceedings of the 2010 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 944--952}, Cambridge,
  Massachusetts, USA.

\bibitem[\protect\BCAY{Jeblee, Feely, Bouamor, Lavie, Habash, \BBA\
  Oflazer}{Jeblee et~al.}{2014}]{jeblee-EtAl:2014:ANLP20142}
Jeblee, S., Feely, W., Bouamor, H., Lavie, A., Habash, N., \BBA\ Oflazer, K.
  \BBOP 2014\BBCP.
\newblock \BBOQ Domain and Dialect Adaptation for Machine Translation into
  Egyptian Arabic.\BBCQ\
\newblock In {\Bem Proceedings of the EMNLP 2014 Workshop on Arabic Natural
  Language Processing (ANLP)}, \mbox{\BPGS\ 196--206}, Doha, Qatar.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{koehn-EtAl:2007:PosterDemo}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics Companion Volume Proceedings of the Demo and
  Poster Sessions}, \mbox{\BPGS\ 177--180}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Koehn, Och, \BBA\ Marcu}{Koehn
  et~al.}{2003}]{koehn-och-marcu:2003:HLTNAACL}
Koehn, P., Och, F.~J., \BBA\ Marcu, D. \BBOP 2003\BBCP.
\newblock \BBOQ Statistical Phrase-Based Translation.\BBCQ\
\newblock In {\Bem HLT-NAACL 2003: Main Proceedings}, \mbox{\BPGS\ 127--133},
  Edmonton, Alberta, Canada.

\bibitem[\protect\BCAY{Koehn \BBA\ Schroeder}{Koehn \BBA\
  Schroeder}{2007}]{Koehn:DomainAdaptation2007}
Koehn, P.\BBACOMMA\ \BBA\ Schroeder, J. \BBOP 2007\BBCP.
\newblock \BBOQ Experiments in Domain Adaptation for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 224--227}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Kudo, Yamamoto, \BBA\ Matsumoto}{Kudo
  et~al.}{2004}]{kudo-yamamoto-matsumoto:2004:EMNLP}
Kudo, T., Yamamoto, K., \BBA\ Matsumoto, Y. \BBOP 2004\BBCP.
\newblock \BBOQ Applying Conditional Random Fields to Japanese Morphological
  Analysis.\BBCQ\
\newblock In Lin, D.\BBACOMMA\ \BBA\ Wu, D.\BEDS, {\Bem Proceedings of EMNLP
  2004}, \mbox{\BPGS\ 230--237}, Barcelona, Spain.

\bibitem[\protect\BCAY{Matsoukas, Rosti, \BBA\ Zhang}{Matsoukas
  et~al.}{2009}]{matsoukas-rosti-zhang:2009:EMNLP}
Matsoukas, S., Rosti, A.-V.~I., \BBA\ Zhang, B. \BBOP 2009\BBCP.
\newblock \BBOQ Discriminative Corpus Weight Estimation for Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2009 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 708--717}, Singapore.

\bibitem[\protect\BCAY{森下\JBA 赤部\JBA 波多腰\JBA G.\JBA 吉野\JBA 中村}{森下
  \Jetal }{2016}]{Morishita:ParsingAdaptation2016j}
森下睦\JBA 赤部晃一\JBA 波多腰優斗\JBA G.Neubig\JBA 吉野幸一郎\JBA 中村哲 \BBOP
  2016\BBCP.
\newblock 統語ベース翻訳のための構文解析器の自己学習.\
\newblock \Jem{自然言語処理}, {\Bbf 23}  (4), \mbox{\BPGS\ 353--376}.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita,
  \protect\mbox{Kurohashi}, \BBA\ \mbox{Isahara}}{Nakazawa
  et~al.}{2016}]{Nakazawa:ASPEC2016}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E.,
  \protect\mbox{Kurohashi}, S., \BBA\ \mbox{Isahara}, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASEPC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 10th \mbox{Edition} of the Language
  Resources and Evaluation Conference (LREC-2016)}, Portoroz, Slovenia.

\bibitem[\protect\BCAY{Och}{Och}{2003}]{Och:2003:ACL}
Och, F.~J. \BBOP 2003\BBCP.
\newblock \BBOQ Minimum Error Rate Training in Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 41st Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 160--167}, Sapporo, Japan.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-EtAl:2002:ACL}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ Bleu: a Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting of the Association
  for Computational Linguistics (ACL)}, \mbox{\BPGS\ 311--318}, Philadelphia,
  Pennsylvania, USA.

\bibitem[\protect\BCAY{Sennrich}{Sennrich}{2012}]{sennrich:2012:EACL2012}
Sennrich, R. \BBOP 2012\BBCP.
\newblock \BBOQ Perplexity Minimization for Translation Model Domain Adaptation
  in Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference of the European Chapter
  of the Association for Computational Linguistics}, \mbox{\BPGS\ 539--549},
  Avignon, France.

\bibitem[\protect\BCAY{Sennrich, Schwenk, \BBA\ Aransa}{Sennrich
  et~al.}{2013}]{sennrich-schwenk-aransa:2013:ACL2013}
Sennrich, R., Schwenk, H., \BBA\ Aransa, W. \BBOP 2013\BBCP.
\newblock \BBOQ A Multi-Domain Translation Model Framework for Statistical
  Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 51st Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  832--840}, Sofia, Bulgaria.

\bibitem[\protect\BCAY{Snover, Dorr, Schwartz, Micciulla, \BBA\ Makhoul}{Snover
  et~al.}{2006}]{Snover:TER2006}
Snover, M., Dorr, B., Schwartz, R., Micciulla, L., \BBA\ Makhoul, J. \BBOP
  2006\BBCP.
\newblock \BBOQ A Study of Translation Edit Rate with Targeted Human
  Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Biennial Conference of the
  Association for Machine Translation in the Americas (AMTA-2006)},
  \mbox{\BPGS\ 223--231}, Cambridge, Massachusetts, USA.

\bibitem[\protect\BCAY{Yu, Huang, Mi, \BBA\ Zhao}{Yu
  et~al.}{2013}]{yu-EtAl:2013:EMNLP}
Yu, H., Huang, L., Mi, H., \BBA\ Zhao, K. \BBOP 2013\BBCP.
\newblock \BBOQ Max-Violation Perceptron and Forced Decoding for Scalable MT
  Training.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1112--1123}, Seattle, Washington,
  USA.

\end{thebibliography}

\begin{biography}
\bioauthor{今村　賢治}{
1985年千葉大学工学部電気工学科卒業．同年〜2014年日本電信電話株式会社．
1995年〜1998年NTTソフトウェア株式会社．2000年〜2006年ATR音声言語コミュ
ニケーション研究所．2014年より（株）ATR-Trek所属として，国立研究開発法人
情報通信研究機構 (NICT) へ出向．現在NICT先進的音声翻訳研究開発推進センター
主任研究員．主として自然言語処理技術の研究・開発に従事．博士（工学）．
電子情報通信学会，情報処理学会，言語処理学会，ACL各会員．
}
\bioauthor{隅田英一郎}{
1982年電気通信大学大学院修士課程修了．1999年京都大学大学院博士（工学）
取得．1982年〜1991年（株）日本アイ・ビー・エム東京基礎研究所研究員．
1992年〜2009年国際電気通信基礎技術研究所研究員．主幹研究員．室長．2007
年〜現在　国立研究開発法人情報通信研究機構(NICT)先進的音声翻訳研究開発
推進センター (ASTREC) 副センター長．2016年NICTフェロー．機械翻訳の研究に
従事．
}
\end{biography}

\biodate




\end{document}
