    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\makeatletter
\renewenvironment{description}{}{}
\makeatother

\usepackage{multirow}


\Volume{24}
\Number{3}
\Month{June}
\Year{2017}

\received{2016}{10}{28}
\rerevised{2016}{12}{15}
\accepted{2017}{1}{31}

\setcounter{page}{421}

\jtitle{大域的な並べ替えによるサブ言語翻訳の高精度化}
\jauthor{富士　　秀\affiref{Author_1}\affiref{Author_2} \and 内山　将夫\affiref{Author_1} \and 隅田英一郎\affiref{Author_1} \and 松本　裕治\affiref{Author_2}}
\jabstract{
法律文書や技術文書等の専門文書に対する機械翻訳では，翻訳対象のサブ言語に特有の大域的な文構造を適切に捉えて翻訳することが高品質な訳文を得る上で必要不可欠である．本論文では，文内の長距離な並べ替えに焦点を当てることによって，大域的な並べ替えを行うための手法を提案する．提案する大域的並べ替え手法では，アノテートされていない平文学習データを対象として，構文解析を行うことなく大域的な並べ替えモデルを学習する．そして，大域的な並べ替えを従来型の構文解析による並べ替えと併用することによって，高精度な並べ替えを実現する．公開特許公報英文抄録 (Patent Abstracts of Japan, PAJ) のサブ言語を対象とした日英翻訳および英日翻訳の評価実験を行ったところ，両言語方向において，大域的な並べ替えと構文に基づく並べ替えを組み合わせることによって翻訳品質向上が達成できることがわかった．
}
\jkeywords{機械翻訳，並べ替え，サブ言語，文構造，大域的な並べ替え}

\etitle{Improving Sublanguage Translation via Global Pre-ordering}
\eauthor{Masaru Fuji\affiref{Author_1}\affiref{Author_2} \and Masao Utiyama\affiref{Author_1} \and Eiichiro Sumita\affiref{Author_1} \and Yuji Matsumoto\affiref{Author_2}} 
\eabstract{
When translating formal documents, capturing the sentence structure specific to the sublanguage is extremely necessary to obtain high-quality translations. This paper proposes a novel global reordering method that focuses on long-distance reordering to capture the global sentence structure of a sublanguage. The proposed method learns global reordering models without syntactic parsing from a non-annotated parallel corpus and works in conjunction with conventional syntactic reordering. The experimental results regarding patent abstract sublanguage show concrete improvements in translation quality, both for Japanese-to-English and English-to-Japanese translations.
}
\ekeywords{Machine Translation, Reordering, Sublanguage, Sentence Structure, Global Reordering}

\headauthor{富士，内山，隅田，松本}
\headtitle{大域的な並べ替えによるサブ言語翻訳の高精度化}

\affilabel{Author_1}{国立研究開発法人情報通信研究機構}{National Institute of Information and Communications Technology}
\affilabel{Author_2}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



\begin{document}
\maketitle


\section{はじめに}

法律文書や技術文書等の専門文書は，その文種に特有の表現を持っていることから，サブ言語を形成していると考えることができる．
サブ言語を対象とした翻訳に関する従来の研究では，サブ言語の翻訳品質を向上させるには，対象のサブ言語に特徴的に表れる文構造を適切に捉え，対象言語の文構造に変換することが不可欠であることが指摘されている\cite{DBLP:conf/coling/BuchmannWS84,DBLP:conf/eacl/Luckhardt91,DBLP:conf/anlp/MarcuCW00}．
図\ref{fig:ex-sents}は，特許抄録のサブ言語に特有な2対の対訳文である．
いずれの文対でも，適切な訳文を得るためには，原言語文におけるABCという文構造を目的言語においてCBAに変換しなければならない．
このようなサブ言語に特徴的な文では，文構造を適切に捉えられなければその後の処理でも良い翻訳に結びつく可能性が低いため，初期段階での正確な文構造の把握が極めて重要である．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia0f1.eps}
\end{center}
\hangcaption{大域的な並べ替えが必要な，特許抄録のサブ言語に特徴的な対訳文の例．A, B, Cは，文の大域的構造を構成する構造部品を表す．}
\label{fig:ex-sents}
\end{figure}

\leavevmode\hbox to357pt{この課題に対して様々な研究が行われてきた．骨格構造を用いた機械翻訳}\cite{Mellebeek06asyntactic,DBLP:conf/acl/XiaoZZ14}では，構文解析器を用いて入力文から{\bf 骨格構造}，つまり文の大域的な構造を抽出し，従来の統計的機械翻訳を用いて大域的な構造の学習を行って翻訳文を生成する．
しかしながらこの方法は，構文解析の精度の影響を受けるため，解析精度が低い場面では結果的に翻訳の精度も低くなるという問題がある．
もう一つの手法としては，文構造変換のための同時文脈自由文法の規則を人手で構築し，これを用いて入力文の文構造を出力側言語の構造に変換する手法が提案されている\cite{Fuji:2015,Fuji2016claim}．
こちらの手法は，新規のサブ言語に対して人手で規則を作成しなければならないという問題がある．
これらの手法では，構文解析精度による制約の問題があったり，人手による規則作成の問題があるなど，新たなサブ言語に対して柔軟に適用できる翻訳を実現することができていない．

本論文では，サブ言語に特有な大域的な文構造を捉えるための，大域的な並べ替え手法を提案する．
提案手法は，構文解析を用いることなく，アノテートされていない平文テキストデータから大域的並べ替えモデルを学習し，このモデルを用いて新規の入力文に対する大域的な並べ替えを行う．
本手法は構文解析器を用いないため，構文解析器の解析精度の影響を受けることはなく，また新規のサブ言語にも容易に適用できる．

特許抄録のサブ言語を対象にした日英および英日翻訳実験を行って本手法の評価を行ったところ，大域的な並べ替えと従来型の構文解析に基づく並べ替えを併用することによって，翻訳品質が向上することがわかった．

本論文の貢献は次のとおりである．

\begin{itemize}
\item 構文解析を用いることなく，アノテートされていない平文テキストデータから大域的並べ替えモデルを学習できる手法を提案する．
\item 大域的な並べ替えと構文解析に基づく並べ替えを併用したときに翻訳品質が向上することが確認できた．
\item 特に特許抄録文では，サブ言語に特有な文構造を持った入力文に対して，日英・英日双方向において翻訳精度が向上した．
\end{itemize}


\section{関連研究}

翻訳処理の一環として，入力文中の単語の並べ替えを行うことは翻訳品質の向上において有効であることが示されており，様々な手法が提案されてきた．


\subsection{階層的フレーズベース機械翻訳}

階層的フレーズベース機械翻訳\cite{Chiang:2005:HPM:1219840.1219873}における並べ替え手法は，統計的機械翻訳研究の初期の頃に提案され，並べ替えを必要とする言語対にとって現在も有効な手法となっている．
この並べ替え手法では，統計的機械翻訳の学習段階において，アノテートされていない平文学習データから並べ替え規則が自動的に学習され，翻訳実行時にはこの並べ替え規則を用いた翻訳が行われる．
構文解析を用いないことと，平文テキストデータから自動的に規則を学習することから，新規のサブ言語への適用は容易である．
しかしながら，本手法では，長距離の単語間の関係を捉えにくいという問題が指摘されており\cite{dyer}，また文の大域的な構造を捉えるための手段は設けられていない．


\subsection{Tree-to-String翻訳およびString-to-Tree翻訳}

これらの手法では，原言語か目的言語かのいずれかの言語のための構文解析が利用可能なときに，その構文解析を用いて言語対の翻訳精度を向上させるものである\cite{yamada:2001syntax,ambati:2007cross}．
片方の言語における言語リソースが限られている場合でも，もう片方の言語の構文情報によって翻訳精度を向上させられるという特長がある．
しかしながら，これら手法も構文解析の解析精度に影響されるという問題がある．


\subsection{骨格構造を用いた機械翻訳}

本手法は，文の大域的な構造を捉えることを主眼においた研究である\cite{Mellebeek06asyntactic,DBLP:conf/acl/XiaoZZ14}．
手法では，入力文に対して構文解析器を用いて解析を行い，骨格構造と言われる，文の大域的な構造を抽出し，これに対して従来の統計的機械翻訳を適用して翻訳を行う．
本手法も，構文解析器を用いているため解析精度の影響を受ける．
なお，関連した研究としては述語項構造による手法も提案されている\cite{komachi2006phrase}．


\subsection{構文解析による事前並べ替え翻訳}

構文解析を用いた事前並べ替え翻訳に関する研究は幅広く行われてきた\cite{Isozaki:2010:HFS:1868850.1868886,Goto:2015:PUT:2791399.2699925,nnpreohlt15,hoshino-EtAl:2015:ACL-IJCNLP}．
現状，実用面と精度の面からもっとも使われている手法である．
本手法は，構文解析器を用いるため解析精度の影響を受けるという問題がある．
また，新規分野に適用させるためには，人手によってアノテートした対象分野の対訳コーパスが大量に必要となるという問題がある．

なお，本論文の提案する大域的並べ替え手法は，この従来型の構文解析による事前並べ替え手法の前処理として動作することにより，従来手法のこれら欠点を補うものである．


\section{大域的並べ替え手法}

本論文で我々は，入力文に対してサブ言語に特有な大域的な文構造を把握して並べ替えるための手法を提案する．
サブ言語に特有な大域的な文構造は，対象文書を読みやすくするために，特徴的な表層的手掛かりを使いながら記述される傾向にある\cite{DBLP:conf/coling/BuchmannWS84}．
このため，本手法では，対象サブ言語において頻出する表層的な手掛かり表現を取り出し，この手掛かりをもとに文構造の認識および並べ替えを行う．
表層的な手掛かり表現は，単語Nグラムとして取り出す．
大域的な並べ替えを含む学習文からNグラムを取り出し，新たに入力された文に対してこのNグラムを照合することによって，大域的な並べ替えの有無を検知し，必要な場合に並べ替えを行う．

例えば，図\ref{fig:ex-sents}は，特許抄録文のサブ言語に属する学習データ中に表れる，大域的な並べ替えを必要とする2文の例文である．
本論文では以降，大域的な並べ替えにおける並び替え単位となる文字列を{\bf 構造部品}と呼ぶ．
この例文では，入力文の大域的構造をABCという3つの構造部品で表しているが，訳文では大域的な並べ替えを行って構造部品をCBAの順番で出力することによって訳文として自然な文を得る．

ここで，これら学習データにおいて，入力文を構成する構造部品の境界の左右からユニグラムを抽出するとユニグラムが得られる．
ここで ``\textbar''は構造部品の境界位置を表す．

\vspace{0.5\Cvs}
\begin{center}
\small
\begin{tabular}{c}
\{{\it provide}, \textbar, {\it a}\} \\
\{{\it apparatus}, \textbar, {\it capable}\} \\*
\end{tabular}
\end{center}
\vspace{0.5\Cvs}

新たな文``To provide a heating apparatus capable of maintaining the temperature."が入力されると，上記ユニグラムとの照合が行われ，``To provide \textbar \ a heating apparatus \textbar \ capable of maintaining the temperature"のように構造部品の境界がマーキングされた文が得られる．
ここで，ピリオドは並べ替え処理の対象外としており，一通りの並べ替えおよび翻訳処理が完了してから最後にピリオドに相当する句点等を訳文に戻す．
入力文において認識されたこれら構造部品は大域的に並べ替えられて，``Capable of maintaining the temperature \textbar \ heating apparatus \textbar \ to provide"が得られる．
さらに，各構造部品について従来型の並べ替えを行うことによって，``The temperature maintaining of capable \textbar \ heating appratus \textbar \ provide to''という文が得られる．
これは，目的言語である日本語の文構造および単語順を持った文となっており，図\ref{fig:sent-glob-conv}に示すように，統計的機械翻訳を用いて容易に翻訳することができるようになる．

\begin{figure}[t]
\begin{center}
\includegraphics{24-3ia0f2.eps}
\end{center}
\caption{大域的な並べ替えと従来の並べ替えの両方を適用した後の入力文}
\label{fig:sent-glob-conv}
\end{figure}

本手法は，2つの手順から構成される．
手順1では，大域的な並べ替えを必要とする文対を学習データから抽出する．
この抽出した文対の原文側文は，構造部品の境界位置を付与して格納されるが，このコーパスを以降，{\bf 大域的並べ替えコーパス}と呼ぶ．
手順2では，大域的並べ替えコーパスからNグラム等の文の素性を抽出してモデルを学習し，新規入力文に対してこのモデルを用いて構造部品の推定を行う．
推定した入力文中の構造部品を大域的に並べ替えることにより，大域的な並べ替えが完了する．
本論文では，手順2の実現方法として，ヒューリスティックな方法と機械学習による方法の両者を試した．
次節では，手順1と手順2について説明する．


\subsection{大域的な並べ替えを必要とする文対の抽出}

以下では，統計的機械翻訳用の学習コーパスを対象に大域的な並べ替えが必要な文対を抽出するためのアルゴリズムについて説明する．

大域的な並べ替えを必要とする文対とは，単語アラインメントされた文対において，文を2つもしくは3つの構造部品に区切ったときに，これら構造部品が原文と訳文の間で，フレーズ単位 (phrase-based) でswapの位置関係\cite{Galley:2008:SEH:1613715.1613824}にある文対，と定義する．
なお，3つの構造部品に区切った場合には，隣接する2つの構造部品同士がそれぞれswapの関係にある場合に条件が適用される．
例えば図\ref{fig:ex-segs}は，3つの構造部品から構成される英日対訳文の例であり，隣接する2つの構造部品の組み合わせがすべて原文側と訳文側でswapの関係に配置されているため，大域的な並べ替えの対象となる．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia0f3.eps}
\end{center}
\caption{英日対訳文において，構造部品$\phi_1$，$\phi_2$，$\phi_3$がswapの位置関係に配置された例}
\label{fig:ex-segs}
\end{figure}

なお提案手法は，理論上は4つ以上の構造部品に区切っても適用できるが，人手による分析から，2つもしくは3つの構造部品に区切ったときに境界位置に特徴的な N グラムが現れやすいことから，2つもしくは3つとしている．
さらに，区切る数が多くなると，構文的な単位と差がなくなって効果が出にくくなることもあげられる．

大域的な並べ替えを必要とする文対を対訳コーパスから抽出するための手順を以下に順を追って述べる．

\begin{enumerate}
\item 原文・訳文それぞれについて，すべての隣接する2単語間位置が構造部品の境界になり得るとみなし，すべての原文境界位置に対するすべての訳文境界候補を作成する．ここで，文長$F$の原文$f$では単語間位置の個数は$F-1$であり，文長$E$の訳文$e$では単語間位置の数が$E-1$あることから，$(F-1) \times (E-1)$個の単語間位置の組み合せを候補として作成する．
\item 上記各々の組み合わせ候補の中から，境界で区切ることで得られた構造部品が原文と訳文の間でswapの位置関係にある候補を抽出する．
ここで，原文中の$k$番目の構造部品が$\phi_k$であり，$K$個の構造部品から構成される文が$(\phi_1 , \phi_2 \cdots \phi_K)$であり，原文中の$k$番目の構造部品が訳文中の$\alpha_k$番目の構造部品と対応するときに，$\alpha_k = \alpha_{k+1} + 1$が成り立つ構造部品の組み合わせがswapの関係にある構造部品であるが，このようなswapの位置関係にある構造部品から構成される文対をすべて抽出する．
なお，上述の「大域的な並べ替えを必要とする文対」の定義で述べたとおり，本実験では$K$は2もしくは3である．
\item 前記の手順で候補を選択した結果，複数個の候補が残った場合には，原文言語が主辞先行型か主辞終端型かによって，候補を一つに絞り込む．
我々の分析から，主辞先行型言語では，もっとも重要な構造部品が文頭の近くに表れる傾向があるのに対して，主辞終端型では文末の近くに表れる，という特徴を用いる．
実験では，主辞先行型言語の場合には，文頭に近い構造部品が最短である候補を選択し，主辞終端型言語の場合には，文末に近い構造部品が最短である候補を選択する．

図\ref{fig:select-segs}は，3つの構造部品から構成される英語文で，複数（2つ）の候補が存在する場合の例を示す．
ここで英語は主辞先行型言語のため，文頭に近い構造部品である$\phi_1$と$\phi_2$の長さ（単語数）の合計が短い方を選択する．
候補1の$\phi_1$と$\phi_2$の単語数の合計は$2 + 5 = 7$であり，候補2の$\phi_1$と$\phi_2$の単語数の合計は$2 + 2 = 4$であるため，この合計値がより短い候補2を選択する．
\end{enumerate}

\begin{figure}[t]
\begin{center}
\includegraphics{24-3ia0f4.eps}
\end{center}
\caption{入力言語の主辞位置による候補の選択の例}
\label{fig:select-segs}
\end{figure}


\subsection{大域的な並べ替えの学習と推定}
\label{sec:train-glob}

前項で抽出した大域的並べ替えコーパスを用いて大域的並べ替えモデルを学習し，翻訳実行時には，大域的並べ替えモデルを用いて入力文を大域的に並べ替えるためのアルゴリズムを以下に説明する．
大域的並べ替えコーパスの各例文から単語 N グラムを抽出し，これを用いて大域的並べ替えモデルを学習させる．
大域的な並べ替えの学習と推定を実現する手段として，以下に，ヒューリスティックに基づく手法と機械学習に基づく手法について説明する． 


\subsubsection{ヒューリスティックに基づく手法}

ヒューリスティックに基づく手法では，大域的な並べ替えの学習と推定において，Nグラム照合の手順や推定候補の推定など各々の手順をヒューリスティックに基づいて決める．

\begin{description}
\item[Nグラム抽出]
構造部品$\phi_k$と$\phi_{k+1}$の境界の左右両方からNグラムを抽出する．
ヒューリスティックに基づく方法では，構造部品の境界の左右で異なるNグラムのNを持つことができるようにしている．
ここで，$B$が$\phi_{k+1}$中の1番目の単語位置，$f$が原言語文，$f_B$が原言語文における位置$B$の単語，$n_L$が左側から抽出するNグラムのNだとすると，$f_B$の左側から抽出するNグラムは式(\ref{eq:ngram-left})の通りとなる．
\begin{equation}
(f_{B-n_L},  f_{B-n_L+1} \cdots  f_{B-1})
\label{eq:ngram-left}
\end{equation}
同様にして，境界の右側から抽出するNグラムのNを$n_R$とすると，$f_B$の右側から抽出するNグラムは式(\ref{eq:ngram-right})の通りとなる．
\begin{equation}
(f_B  \cdots f_{B+n_R-2},  f_{B+n_R-1})
\label{eq:ngram-right}
\end{equation}

\item[デコード]
前項で抽出したNグラムを用いた，新規入力文に対する大域的並べ替えの推定方法について以下に説明する．
大域的な並べ替えの推定は，入力文に対するNグラム照合によって行う．
ここでは，(a)候補に対するNグラム合致長が長いほど，およびまたは，(b)候補のNグラム頻度が高いほどその候補の信頼性が高い，という仮説に基づいて計算する．
具体的には，$len$が候補に対するNグラム合致長であり，$freq$が候補のNグラム頻度だとしたとき，仮説に基づき信頼性を式(\ref{eq:heuristic-score})で計算する．
\begin{equation}
{\log (freq)} \times len
\label{eq:heuristic-score}
\end{equation}
\end{description}

以下では，具体例を用いて，2つの構造部品を含む大域的な並べ替えと，3つの構造部品を含む大域的な並べ替えによるデコードについてそれぞれ説明する．
なお照合の結果，2つの構造部品を持つ並べ替えと3つの構造部品を持つ並べ替えの両方に合致した場合は，照合箇所が多いほうがより信頼度が高いという仮説から，3つの構造部品を持つ並べ替えのほうを採用する．

表\ref{tab:matching-2segs}は，2つの構造部品を含む場合，つまり$K=2$の場合の大域的な並べ替えの例である．
構造部品が2つの場合，隣接する構造部品の間の境界の数は1つである．
M2:1からM2:4の候補は，入力文``To prevent imperfect coating and painting.''が入力されたときに合致したNグラムであり，``\textbar''は境界位置を表す．
ここで，構造部品境界に関わる合致長は，境界左側のNグラムである$n_L$と右側Nグラムである$n_R$を足し合わせた$len$である．
例えば候補M2:3では，$len = n_L + n_R = 2+1=3$であり，この候補の出現頻度である$freq$の値は表\ref{tab:matching-2segs}から120として与えられている．
入力文について，全候補の評価値を式(\ref{eq:heuristic-score})に基づいて計算し，すべての候補の評価値が計算できたところで評価値順に候補をソートして最高点を得た候補を出力する．

\begin{table}[b]
\caption{2つの構造部品から構成される入力文に対する照合の例}
\label{tab:matching-2segs}
\input{11table01.txt}
\end{table}

表\ref{tab:matching-3segs}は，3つの構造部品を含む場合，つまり$K=3$の場合の大域的な並べ替えの例である．
構造部品が3つの場合，隣接する構造部品の間の境界の数は2つである．
M3:1からM3:5の候補は，入力文``To provide a household heating device capable of maintaining the room temperature.''が入力されたときに合致したNグラムであり，``\textbar''は境界位置を表す．
ここで，合致長$len$は，1番目の境界の左右のNグラムと，2番目の境界の左右のNグラムを足したものである．
例えば候補M3:3では，$len = 2 + 1 + 1 + 1 = 5$となる．
そしてこの候補の出現頻度は112として与えられている．
2つの構成部品を含む場合と同様に，入力文について，全候補の評価値を式(\ref{eq:heuristic-score})に基づいて計算し，すべての候補の評価値が計算できたところで評価値順に候補をソートして最高点を得た候補を出力する．

\begin{table}[t]
\caption{3つの構造部品から構成される入力文に対する照合の例}
\label{tab:matching-3segs}
\input{11table02.txt}
\end{table}


\subsubsection{機械学習に基づく手法}
\label{sec:svm-method}

ヒューリスティックに基づく手法では直観に基づいて計算方法などを決める場面が発生するため，他ドメインへの適応において画一的な方法でチューニングすることが困難である．
このことから，機械学習を導入することによって画一的な最適化を可能にする．

ここでは，境界推定を2値分類問題として位置づけ，機械学習器としてサポートベクターマシン (SVM) を導入する．
入力文の各単語について，その次の単語との間の位置が構造部品境界であるか否かの2値判定ができるように，当該単語の周辺の素性を与えてSVMモデルを学習させる．
実験では，以下の2種類の素性を用いて，学習および判定を行った．

\begin{description}
\item[Nグラム]
SVMに与える素性として，学習・推定対象の単語の左右のNグラムを用いる．
ヒューリスティックに基づく手法とは異なり，単純化のために，単語の左側と右側で同じNのNグラムを用いる．
学習・推定に利用するNグラムは式\ref{eq:ngram-svm}の通りとなる．
\begin{equation}
(f_{i-n+1},  f_{i-n+2} \cdots  f_i  \cdots f_{i+n-1},  f_{i+n})
\label{eq:ngram-svm}
\end{equation}

\item[文中の単語出現位置]
学習・推定対象の各単語について，文中におけるその単語の出現位置を素性として与える．
この素性は，Nグラム素性が同一の単語が複数個存在する場合に，適切な境界位置を学習・推定するために導入した．
素性の与え方としては，当該単語の文頭からの位置を文長で割った数値を用いている．
$i$が学習・推定対象の単語の文頭からの位置であり，$F$が文長であるとして，文中単語出現位置の素性は式(\ref{eq:feat-pos})に示すとおりに計算する．
\begin{equation}
\frac{i}{F}
\label{eq:feat-pos}
\end{equation}
\end{description}

新規入力文に対する推定の段階では，各単語位置について素性を抽出して学習されたSVMモデルに渡して，境界か否かの推定を繰り返す．
全単語に対してこの処理を繰り返すことによって，入力文$f$の各単語位置$i$に境界であるか否かのマークが付与された状態になる．

なお本手法では，学習時において構造部品の個数についての制約をかけないため，新規入力文に対する推定においても，不特定数の構造部品が得られることがある．
学習データ中には構造部品が2つと3つの文しか入っていないため，出力において4つ以上の構造部品が出力された場合には選択を行って3つになるようにする．
選択は，入力言語の主辞方向性を基に行う．
具体的には，英語のような主辞先行型言語ではもっとも文頭に近い構造部品区切り2つを採用し，日本語のような主辞終端型言語ではもっとも文末に近い構造部品区切り2つを採用する．


\section{評価実験}

大域的並べ替え手法の導入による効果を評価するための実験をついて以下に述べる．
最初に，大域的並べ替え手法をベースラインや他の並べ替え手法と比較するための設定について説明する．
そして，大域的並べ替え実験のための準備について説明し，次に翻訳実験における各種設定について説明する．


\subsection{比較対象の設定}

大域的並べ替え手法の効果を評価するために，以下の4つの評価対象構成を設定し，それぞれに対して評価を行った．

\begin{itemize}
\item[\textbf{T1}] 
並べ替えを行わない，ベースラインの統計的機械翻訳．

\item[\textbf{T2}]
T1に加えて，大域的並べ替え手法のみを適用した場合．
入力文は構造部品に分解され，大域的な並べ替えが行われる．
各構造部品はベースライン統計的機械翻訳によって目的言語に翻訳され，結合されて出力文が作成される．

\item[\textbf{T3}]
T1に加えて，従来型の構文に基づく並べ替えを行った場合．
入力文の単語は，そのまま構文に基づく従来型の並べ替えによって並べ替えられ，単語が並べ替えられた文が統計的機械翻訳で目的言語に翻訳される．

\item[\textbf{T4}]
T1に加えて，大域的並べ替え手法と，従来型の構文に基づく並べ替えの双方が適用された場合．
入力文は構造部品に分解され，構造部品は目的言語の並びになるように並べ替えられる．
そして，各構造部品に対して構文に基づく並べ替えが実行され，最後にこれらの翻訳された構造部品を結合することによって出力文を作成する．
なお，これまで述べてきたように，大域的並べ替え手法は，構文による並べ替えと併用することによって精度向上につながることを想定している．
\end{itemize}


\subsection{大域的な並べ替えの構築}

\ref{sec:train-glob}節で述べたように本実験では，大域的な並べ替えの学習において，ヒューリスティックに基づく手法と機械学習に基づく手法の両者を用いている．
ヒューリスティックに基づく手法では，出力を見ながら直観に基づいて計算式等を決めており，大域的な並べ替え単体についての，各パラメータを変化させての定量的な測定は行っていない．
これに対して機械学習に基づく手法では，構成を変化させながら機械学習器の推定機能を使って定量評価を行い，実験に先立って最適な構成を決めている．
以下では，機械学習に基づく手法における最適化について述べる．

\ref{sec:svm-method}節で説明したように，機械学習に基づく手法では，N グラムと，文中単語出現位置の両者を素性として用いる．
このうち N グラムについては，学習条件を変化させることで推定精度が変化するため，実験に先立って最適な推定精度が得られる学習条件を見つけるための予備実験を行った．
具体的には，Nグラム抽出対象の文数と，N グラムの N を変化させて，推定精度の変化を測定した．
機械学習の学習器としては，学習・推定ともに，liblinear 1.94 \cite{DBLP:journals/jmlr/FanCHWL08}を用いた．
liblinearの実行に先立って，ツールキットに同梱されたsvm-scaleによるスケール調整，およびgrid.pyによるグリッド探索によるパラメータ調整を試みたがデフォルトと比較して改善が得られなかったため，デフォルト設定のまま学習を行った．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia0f5.eps}
\end{center}
\hangcaption{SVMモデルを用いた日本語入力文における構造部品境界の推定精度について，NグラムのNと大域的並べ替えコーパスの文数を変化させることによる変化．右側の凡例は，大域的並べ替えコーパスの文数を表す．}
\label{fig:svm-ja}
\end{figure}

図\ref{fig:svm-ja}は，大域的並べ替えコーパスの文数とNグラムのNを変化させたときの，日本語入力文に対する推定精度の変化であり，図\ref{fig:svm-en}は英語入力文に対して同様の測定を行った結果である．
ここで精度とは，10分割による交差確認による，入力文における構造部品境界の推定精度である．
なお図中，大域的並べ替えコーパスの文数が10万文（「100~k」）のときに N を増やすに連れて逆に精度が下がるという現象がみられるが，これは過学習によることが考えられる．

\begin{figure}[t]
\begin{center}
\includegraphics{24-3ia0f6.eps}
\end{center}
\hangcaption{SVMモデルを用いた英語入力文における構造部品境界の推定精度について，NグラムのNと大域的並べ替えコーパスの文数を変化させることによる変化．右側の凡例は，大域的並べ替えコーパスの文数を表す．}
\label{fig:svm-en}
\end{figure}

この測定から，推定精度が最大となる学習条件を選択した．
具体的には，日本語入力と英語入力の双方において，NグラムのNとして5を選択し，大域的並べ替えコーパスの文数としては 100~k，つまり100,000文を選択した．


\subsection{翻訳評価実験の設定}
\label{sec:exper-conf}

\begin{description}
\item[データ]
翻訳評価実験の評価データとしては，日本特許抄録の英語訳である，公開特許公報英文抄録（Patent Abstracts of Japan, 以下PAJ）\footnote{特許庁　公開特許公報英文抄録 (Patent Abstracts of Japan) \\https://www.jpo.go.jp/shiryou/toushin/kenkyukai/pdf/riyousuisin\_siryou.pdf}を用いた．
PAJおよびPAJの元となった日本語抄録文の間で自動対応付けを行い，日英対訳文の自動抽出を行った\cite{Utiyama:2007}．
自動対応付けした対訳文から，1,000,000文を学習データ，1,000文を開発データ，1,000文を評価データとして無作為抽出した．
評価データ1,000文のうち，Nグラムとの合致があった300文を対象として評価実験を行った．
なお，この翻訳実験用の学習データは，前述のように，大域的並べ替え手法の学習データとしても用いた．\\
翻訳評価実験では，学習の一環として，1,000,000文の学習データに対する単語対応付けを行った．
現時点では，大域的な並べ替えの必要な文対を判定するためのソフトウェアプログラムの速度性能に問題があるため，翻訳用にアラインメントされた1,000,000の対訳文のうち，100,000文対を対象に大域的な並べ替えの必要な文対を抽出した．
抽出の結果，38.194文対が得られ，この対訳文の原文を大域的並べ替えコーパスに格納して後段の実験に用いた．
ヒューリスティックに基づく手法では，上記で作成した大域的並べ替えコーパスから2〜5グラムを抽出したところ，381,311個が得られた．

\item[ベースライン統計的機械翻訳]
翻訳評価実験のベースラインとしては，統計的機械翻訳のツールキットであるMoses phrase-based SMT \cite{Koehn:2007:MOS:1557769.1557821}を用い，歪み範囲としては，システムのデフォルト値である6を使用した．
単語クラスの学習にはmkcls\footnote{mkcls: training of word classes \ https://www-i6.informatik.rwth-aachen.de/web/Software/mkcls.html}\cite{och1999efficient}を用い，単語クラス数としてはデフォルトの50個を用いた．
言語モデルの学習には，KenLM \cite{heafield2013scalable}を用い，単語アラインメントにはSyMGIZA++ \cite{DBLP:conf/imcsit/Junczys-DowmuntS10}を使用した．
モデルの重みづけでは，BLEU値\cite{Papineni:2002:BMA:1073083.1073135}を指標としてn-best batch MIRA \cite{Cherry:2012:BTS:2382029.2382089}によるチューニングを行った．
各評価実験において，重み付けチューニングを3回繰り返し，開発セットにおいて最大のBLEU値を獲得した重み設定を採用した．
ベースラインの変形として，フレーズベース統計的機械翻訳における歪み範囲として20をした場合と，階層的フレーズベースの実装であるMoses hierarchical phrase-base SMT \cite{Chiang:2005:HPM:1219840.1219873} を使用した場合についても併せて評価を行った．
また，Tree-to-String方式の統計的機械翻訳であるTravatar\footnote{Travatar \ http://www.phontron.com/travatar/}\cite{neubig13travatar}についても評価を行った．
Travatarの学習では，入力言語文の解析においてTravatar推奨の構文解析器であるCkylark\footnote{Ckylark \ http://odaemon.com/?page=tools\_ckylark}\cite{oda-EtAl:2015:demos}を用いた．

\item[従来型の構文解析に基づく並べ替え]
本評価実験では，構文解析器としてBerkeley Parser \cite{Petrov:2006:LAC:1220175.1220230}を用いて，提案手法によって分割された各構造部品に対して事前並べ替えを行った．
この基本的な構成は，日英・英日方向いずれも同じである．
Berkeley Parserのドメイン適用では自己学習の手法を用いた．
具体的には最初に，初期モデルを用いて200,000文の特許文の解析を行い，次に，得られた自動解析結果から構文解析モデルを学習することにより，特許文に適応した解析モデルを構築した．
英語の初期モデルについては，Penn Treebank\footnote{The Penn Treebank Project \ https://www.cis.upenn.edu/{\textasciitilde}treebank/}の文，および我々が人手で木構造を記述した3,000文の特許文を用いて学習した．
日本語の初期モデルについては，EDR Treebank\footnote{国立研究開発法人情報通信研究機構，EDRコーパス \\https://www2.nict.go.jp/out-promotion/techtransfer/EDR/index.html}の200,000文を用いて学習させた．
日本語の初期モデル学習では特許文は用いていない．\\
並べ替えモデルの学習では，内製の大規模な特許文対訳コーパスを用いて次の手順によって事前並べ替えモデルを学習させた（\cite{Goto:2015:PUT:2791399.2699925}の4.5節）．

\begin{enumerate}
\item 対訳コーパスの原言語文を構文解析する
\item 対訳コーパスに対して単語アラインメントを行う
\item 原言語文と目的言語文の間でケンドールの順位相関係数 $\tau$ が最大化されるような原言語文に対する並べ替えを行う．
このようにして各2分ノードは，子ノードの入れ替えを行うことを表すSWAPと，入れ替えを行わないことを表すSTRAIGHTに分類される．
\item 上記のデータを用いて，各ノードのSWAP，STRAIGHTを判定するためのニューラルネットワーク分類器を学習する．
\end{enumerate}

なお，従来型の並べ替えの変形として，top-down bracketing transducer grammar (TDBTG)ベースの並べ替え\footnote{topdown-btg-reordering \ https://github.com/google/topdown-btg-preordering}\cite{nakagawa:2015:ACL-IJCNLP}の結果を併記した．
TDBTGベースの並べ替えでは，ベースラインの統計的機械翻訳の学習の過程で得られたmkclsの出力およびSyMGIZA++の出力を用いて並べ替えの学習を行った．

\item[大域的並べ替えモジュール]
大域的並べ替えモジュールは，入力文に対する構造部品の推定と，推定した構造部品の大域的な並べ替えから構成される．
大域的な並べ替えの学習および推定ではヒューリスティックに基づく手法と機械学習に基づく手法の両方の手法を用いて実験を行ったが，双方に対しての評価を行った．

\item[評価尺度]
各システムは，BLEU \cite{Papineni:2002:BMA:1073083.1073135}とRIBES \cite{Isozaki:2010:AET:1870658.1870750}の2種類の評価指標を用いて評価した．
これは，Nグラムベースの評価手法であるBLEUのみでは長距離の関係を十分に評価することができず，本研究が目標としている構造レベルの改善を十分に測定できないと考えたからである．
RIBESは順位相関係数に基づく自動評価手法であり，評価対象の機械翻訳出力文中の語順と，参照訳中の語順の比較を行う．
RIBESのこのような特性によって，語順の大きく異なる言語間で頻繁に発生する，構造部品の入れ替えを評価できると考えられる．
なお，RIBESは，NTCIR-10ワークショップの特許翻訳タスク (PatentMT) \cite{DBLP:conf/ntcir/GotoCLST13}や2nd Workshop on Asian Translation (WAT) \cite{Nakazawa:2015,isozaki-kouchi:2015:WMT}等においても，英日・日英の翻訳方向において，人間評価との高い相関性が報告されている．\\
なお，実験で得られた各BLEU 値とRIBES 値は，MT Eval Toolkit\footnote{MT Eval Toolkit \ https://github.com/odashi/mteval}を用いた反復数1,000回の100分割ブートストラップ法による両側検定を行って，各設定での最高値との有意差を調べた．
\end{description}


\section{実験結果}

\begin{table}[b]
\caption{日英翻訳の翻訳評価結果}
\label{tab:trans-je}
\input{11table03.txt}
\end{table}
\begin{table}[b]
\caption{英日翻訳の評価結果}
\label{tab:trans-ej}
\input{11table04.txt}
\end{table}

表\ref{tab:trans-je}は日英翻訳，表\ref{tab:trans-ej}は英日翻訳の実験結果であり，ともに4つの比較対象におけるBLEU値およびRIBES値を掲載している．
カッコ内の数字は，ベースライン翻訳システム（歪み範囲6の場合）を基準としたときの向上の差分を表している．
太字で表した数値は，各列における最高値に対してブートストラップ法に基づく片側有意差検定を行い，5\%水準で有意差が認められない，つまり最高値と同等とみなされる値を示す\protect\cite{DBLP:conf/emnlp/Koehn04}．

実験結果から，日英翻訳・英日翻訳ともに，大域的な並べ替えと構文解析に基づく並べ替えを併用したときに，ベースラインと比較してRIBES値が20ポイント以上と大幅に向上していることがわかる．
BLEU値は，構文解析に基づく並べ替えのみの構成であるT3と比較しても有意な差が出ていないが，これは，BLEU値が大域的な変換を捉えにくいということに起因している可能性もある．
このようにして，RIBES値とBLEU値で異なった傾向が得られたため，次節の考察では，さらに訳文中の文構造の正しさ，および人手評価を行った．



\section{考察}

本手法の目的は適切な文構造を持った訳文を出力するための大域的な並べ替えを行うことであるが，本手法の適用によって，どのくらいの訳文が文構造的に正しく出力されているかの評価を行った．
これまでにも述べてきているとおり，サブ言語の翻訳では，まずは文構造を正しく出力できなければそもそも全体の訳文を適切に出力することができないことから，本評価は重要であると考えている．
評価文としては，\ref{sec:exper-conf}節の「データ」項において，無作為抽出して作成した翻訳評価用文1,000文のうちNグラムに合致した300文について述べているが，本評価ではこの300文の先頭100文を用いている．
本評価では，評価対象訳文が以下の条件を満たしている場合に，文構造が正しく翻訳されているとみなした．
なお，各構造部品の内部の訳は評価していない．

\begin{itemize}
\item 出力文において，入力文中のすべての構造部品が過不足なく訳出されていること．
\item 出力文において，入力文中のすべての構造部品が適切な順番で訳出されていること．
\item 入力文中で一続きで現れる構造部品が，出力文中でも一続きの構造部品として訳出されていること．
\end{itemize}

表\ref{tab:struct-je}は，100文の日英翻訳中で文構造が正しく出力された文の文数を表す．
表\ref{tab:struct-ej}は，100文の英日翻訳中で文構造が正しく出力された文の文数を表す．
太字で表した数値は，各列における最高値に対して比率検定に基づく片側有意差検定を行い，5\%水準で有意差が認められない，つまり最高値と同等とみなされる値を示す．

いずれの表においても，大域的な並べ替えと構文的並べ替えを併用したT4は，T1およびT2と比較して文構造の正解率が有意に改善していることがわかる．
さらにいずれの表でも，T2とT4を比較するとT4のほうが有意に改善している．
これは，T2で構造部品の並べ替えのみを行うと構造部品の境界での単語並びが不自然になり結果として訳文中の構造部品境界が不適切になる場合があったのが，T4でさらに構文的並べ替えを行うことでこの問題が解消する場合があることに起因すると考えられる．
日英翻訳では，従来の並べ替えであるT3のみと比較してT4の正解率が有意に改善していることがわかる．
これに対して英日翻訳では，従来の構文解析に基づく並べ替えの精度がすでに高いため，T3からT4への精度向上はそれほど顕著ではない．
なお，表\ref{tab:trans-je}および表\ref{tab:trans-ej}においてHPBのBLEU値がベースラインと比べて大きく上がっていたが， 表\ref{tab:struct-je}および表\ref{tab:struct-ej}ではそれほど大きな改善とはなっていない．
このことから，HPBによる改善は比較的局所的なために，BLEU値には反映されやすいが，文構造の変換にはそれほど寄与していないと考えられる．

\begin{table}[t]
\caption{日英翻訳における文構造が正しく出力された文数（100文中）}
\label{tab:struct-je}
\input{11table05.txt}
\end{table}
\begin{table}[t]
\caption{英日翻訳における文構造が正しく出力された文数（100文中）}
\label{tab:struct-ej}
\input{11table06.txt}
\end{table}


\begin{table}[b]
\caption{日英翻訳に対する人手評価（100文中）}
\label{tab:human-je}
\input{11table07.txt}
\end{table}
\begin{table}[b]
\caption{英日翻訳に対する人手評価（100文中）}
\label{tab:human-ej}
\input{11table08.txt}
\vspace{-1\Cvs}
\end{table}

次に，各翻訳結果に対する人手評価を行った．
評価文としては，上述の文構造評価で用いた100文を用いた．
これは，表\ref{tab:trans-je}および表\ref{tab:trans-ej}において，RIBES値による傾向とBLEU値による傾向に異なりが見られるため，より人手に近い評価結果を見極めるためである．
特に，BLEU値で比較すると，例えば表\ref{tab:trans-je}では，T4の値はT1およびT3と比較して有意差が見られないという結果になるが，RIBES値で比較すると，有意差があるという結果になる．
人手評価には手間がかかるため，T1およびT2ではそれぞれ，表\ref{tab:trans-je}および表\ref{tab:trans-ej}においてもっと高い値となった設定について評価を行った．
T3とT4については，設定によって大きな異なりが見られなかったため，すべての設定について評価を行った．
評価は，対象文書である特許文書の技術内容に精通した1名の評価者が行った．
評価文はシャッフルし，評価者にはT1，T2, T3，T4のいずれの文であるかがわからないようにして評価作業を行った．
評価尺度は，S (Native level), A (Good), B (Fair), C (Acceptable), D (Nonsense) の5段階として，評価者が直観的に付与した．
従来の人手評価では正確さと流暢さの2つに分けて評価する場合も多い\cite{denkowski2010choosing}が，正確さと流暢さは相関性が高く実際の場面では分離困難なことも多い\cite{callison2007meta}ため上記の1つの指標を用いた．

表\ref{tab:human-je}に日英翻訳の人手評価結果を，表\ref{tab:human-ej}に英日翻訳の人手評価結果を示す．
\pagebreak
太字で表した数値は，各列における最高値に対して比率検定に基づく片側有意差検定を行い，5\%水準で有意差が認められない，つまり最高値と同等とみなされる値を示す．
結果として，表\ref{tab:human-je}の日英翻訳では，T4はT1, T2, T3のいずれと比べても有意に評価値が向上しており，このことから，表\ref{tab:trans-je}のRIBES値とBLEU値では，RIBESのほうが人手評価に傾向が似ていると考えられる．
表\ref{tab:human-ej}の英日翻訳では，T4はT1, T2，と比べて有意に評価値が向上しており，T3との比較では，用いた並べ替え手法によって比較結果が異なっている．
英日翻訳でも，RIBESのほうが人手評価に傾向が似ていると考えられる．

\begin{table}[b]
\caption{日英翻訳における典型的な翻訳例}
\label{tab:typical-trans}
\input{11table09.txt}
\end{table}

表\ref{tab:typical-trans}は，参照訳，および4つの比較構成であるT1，T2, T3, T4のそれぞれについて，典型的な翻訳結果を載せたものである．

\begin{itemize}
\item[\textbf{T1}]
ベースラインであるT1では，参照訳と比較すると，原文の構造部品Cに相当する部分が訳文から欠落しており，また構造部品Aと構造部品Bが適切な順番で出力されていない．
さらに，T1の訳文では，構造部品内での単語も適切な順番で訳出されていない．
\item[\textbf{T2}]
ベースラインに対して大域的な並べ替えのみを行ったT2では，すべての構造部品が訳文中に出力されているとともに，これら構造部品が目標言語として適切な順番で出力されている．
しかしながら，各構造部品内の単語は適切でないため，構造部品単位での訳質はベースラインと比べて向上していない．
\item[\textbf{T3}]
ベースラインに対して従来型の構文解析ベース並べ替えのみを行ったT3では，各構造部品内での単語の並びが目的言語としてより適切になっている．
しかしながら，構造部品は適切な順番で出力されていない．
\item[\textbf{T4}]
ベースラインに対して大域的な並べ替えと従来型の構文解析に基づく並べ替えの両者を用いたT4では，構造部品が目的言語として適切な順番で並べられ，かつ各構造部品内の単語もより目的言語にふさわしい順番で出力されて翻訳品質が向上している．
\end{itemize}

\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{日英翻訳の翻訳失敗例とその中間結果}
\label{tab:error-trans}
\input{11table10.txt}
\end{table}

なお人手評価では，T4であっても評価 C 以上の評価となる文が日英で65\%，英日で55\%とそれほど高くないため，翻訳失敗文の目視分析を行った．
まず，最初の段階の構造部品の認識が誤った場合は，そこから適切な訳文を生成することは困難となり，人手評価はほぼ D となる．
次に，構造部品の認識および大域的な並べ替えが正しくても，訳文として不適切となり人手評価が低くなる場合がある．
このような翻訳失敗の典型例およびその中間処理結果を表\ref{tab:error-trans}に示す．
ここでは，大域的な並べ替えまでは適切に処理されているが，各構造部品に対する構造解析に基づく並べ替えにおいて，3つめの構造部品に対する並べ替えが適切に行われていない．
具体的には，「うる」のトークンが構文解析に基づく並べ替えによって構造部品の先頭にくるべきところが，先頭から5番目のトークンとして誤って並び替えられ，代わりに「中心部」が構造部品の先頭にきている．
これによって SMT 適用後の訳文において，「光学投影装置」に対応する``an optical projection device''の後に，本来くるべき``which can ...''ではなく，「中心部」に対応する``center part''が来てしまい，読み手には``an optical projection device center part''のような一続きの文字列として認識されてしまう．
結果として，読み手は訳文において構造部品，ひいては文の構造を認識することができず，低い評価結果となってしまう．
原因としては，現在の実験構成では，構文解析に基づく並べ替えを，文単位での入力を前提として訓練しているが，実験には構造部品を対象に並べ替えていることが考えられる．


\section{おわりに}

本論文では，大域的な並べ替えを行うことによって従来型の構文解析に基づく並べ替えを補い，対象サブ言語の翻訳精度を向上させるための手法を提案した．
提案手法は，大域的な並べ替えモデルを，構文解析を行うことなく，平文対訳テキストから抽出する．
本手法を対象とした評価実験を行ったところ，日英・英日双方向の翻訳において，
大域的な並べ替えと従来型の構文解析に基づく並べ替えを併用することによって，
従来の手法による翻訳精度を向上させられることが確認できた．
特に日英翻訳では，RIBESによる自動評価，文構造評価，人手評価のいずれにおいても，提案手法が従来の手法より有意に訳質を向上させることがわかった．

\acknowledgment

本論文の内容の一部は，The 3rd Workshop on Asian Translation (WAT 2016) \cite{Fuji2016GlobalPF}で発表したものである．




\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Ambati \BBA\ Chen}{Ambati \BBA\
  Chen}{2007}]{ambati:2007cross}
Ambati, V.\BBACOMMA\ \BBA\ Chen, W. \BBOP 2007\BBCP.
\newblock {\Bem Cross Lingual Syntax Projection for Resource-Poor Languages}.
\newblock CMU.

\bibitem[\protect\BCAY{Buchmann, Warwick-Armstrong, \BBA\ Shane}{Buchmann
  et~al.}{1984}]{DBLP:conf/coling/BuchmannWS84}
Buchmann, B., Warwick-Armstrong, S., \BBA\ Shane, P. \BBOP 1984\BBCP.
\newblock \BBOQ Design of A Machine Translation System for a Sublanguage.\BBCQ\
\newblock In {\Bem 10th International Conference on Computational Linguistics
  and 22nd Annual Meeting of the Association for Computational Linguistics,
  Proceedings of COLING '84, July 2--6, 1984, Stanford University, California,
  USA}, \mbox{\BPGS\ 334--337}.

\bibitem[\protect\BCAY{Callison-Burch, Fordyce, Koehn, Monz, \BBA\
  Schroeder}{Callison-Burch et~al.}{2007}]{callison2007meta}
Callison-Burch, C., Fordyce, C., Koehn, P., Monz, C., \BBA\ Schroeder, J. \BBOP
  2007\BBCP.
\newblock \BBOQ (Meta-) Evaluation of Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 136--158}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Cherry \BBA\ Foster}{Cherry \BBA\
  Foster}{2012}]{Cherry:2012:BTS:2382029.2382089}
Cherry, C.\BBACOMMA\ \BBA\ Foster, G. \BBOP 2012\BBCP.
\newblock \BBOQ Batch Tuning Strategies for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2012 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, NAACL HLT '12, \mbox{\BPGS\ 427--436}, Stroudsburg, PA, USA.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Chiang}{Chiang}{2005}]{Chiang:2005:HPM:1219840.1219873}
Chiang, D. \BBOP 2005\BBCP.
\newblock \BBOQ A Hierarchical Phrase-based Model for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting on Association for
  Computational Linguistics}, ACL '05, \mbox{\BPGS\ 263--270}, Stroudsburg, PA,
  USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{de~Gispert, Iglesias, \BBA\ Byrne}{de~Gispert
  et~al.}{2015}]{nnpreohlt15}
de~Gispert, A., Iglesias, G., \BBA\ Byrne, W. \BBOP 2015\BBCP.
\newblock \BBOQ Fast and Accurate Preordering for SMT using Neural
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the North American Chapter
  of the Association for Computational Linguistics - Human Language
  Technologies (NAACL HLT 2015)}.

\bibitem[\protect\BCAY{Denkowski \BBA\ Lavie}{Denkowski \BBA\
  Lavie}{2010}]{denkowski2010choosing}
Denkowski, M.\BBACOMMA\ \BBA\ Lavie, A. \BBOP 2010\BBCP.
\newblock \BBOQ Choosing the Right Evaluation for Machine Translation: An
  Examination of Annotator and Automatic Metric Performance on Human Judgment
  Tasks.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Conference of the Association for
  Machine Translation in the Americas}. AMTA.

\bibitem[\protect\BCAY{Dyer, Gimpel, Clark, \BBA\ Smith}{Dyer
  et~al.}{2011}]{dyer}
Dyer, C., Gimpel, K., Clark, J.~H., \BBA\ Smith, N.~A. \BBOP 2011\BBCP.
\newblock \BBOQ The CMU-ARK German-English Translation System - Research.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 337--343}.

\bibitem[\protect\BCAY{Fan, Chang, Hsieh, Wang, \BBA\ Lin}{Fan
  et~al.}{2008}]{DBLP:journals/jmlr/FanCHWL08}
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., \BBA\ Lin, C.-J. \BBOP
  2008\BBCP.
\newblock \BBOQ LIBLINEAR: A Library for Large Linear Classification.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 9}, \mbox{\BPGS\
  1871--1874}.

\bibitem[\protect\BCAY{富士\JBA 藤田\JBA 内山\JBA 隅田\JBA 松本}{富士 \Jetal
  }{2016}]{Fuji2016claim}
富士秀\JBA 藤田篤\JBA 内山将夫\JBA 隅田英一郎\JBA 松本裕治 \BBOP 2016\BBCP.
\newblock 特許請求項に特有の文構造に基づく英中日特許請求項翻訳.\
\newblock \Jem{自然言語処理}, {\Bbf 23}  (5), \mbox{\BPGS\ 407--435}.

\bibitem[\protect\BCAY{Fuji, Fujita, Utiyama, Sumita, \BBA\ Matsumoto}{Fuji
  et~al.}{2015}]{Fuji:2015}
Fuji, M., Fujita, A., Utiyama, M., Sumita, E., \BBA\ Matsumoto, Y. \BBOP
  2015\BBCP.
\newblock \BBOQ Patent Claim Translation based on Sublanguage-specific Sentence
  Structure.\BBCQ\
\newblock In {\Bem Proceedings of the 15th Machine Translation Summit},
  \mbox{\BPGS\ 1--16}.

\bibitem[\protect\BCAY{Fuji, Utiyama, \BBA\ Sumita}{Fuji
  et~al.}{2016}]{Fuji2016GlobalPF}
Fuji, M., Utiyama, M., \BBA\ Sumita, E. \BBOP 2016\BBCP.
\newblock \BBOQ Global Pre-ordering for Improving Sublanguage
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Asian Translation (WAT
  2016)}, \mbox{\BPGS\ 84--93}.

\bibitem[\protect\BCAY{Galley \BBA\ Manning}{Galley \BBA\
  Manning}{2008}]{Galley:2008:SEH:1613715.1613824}
Galley, M.\BBACOMMA\ \BBA\ Manning, C.~D. \BBOP 2008\BBCP.
\newblock \BBOQ A Simple and Effective Hierarchical Phrase Reordering
  Model.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, EMNLP '08, \mbox{\BPGS\ 848--856}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Goto, Chow, Lu, Sumita, \BBA\ Tsou}{Goto
  et~al.}{2013}]{DBLP:conf/ntcir/GotoCLST13}
Goto, I., Chow, K.-P., Lu, B., Sumita, E., \BBA\ Tsou, B.~K. \BBOP 2013\BBCP.
\newblock \BBOQ Overview of the Patent Machine Translation Task at the NTCIR-10
  Workshop.\BBCQ\
\newblock In {\Bem Proceedings of the 10th NTCIR Conference on Evaluation of
  Information Access Technologies, NTCIR-10, National Center of Sciences,
  Tokyo, Japan, June 18--21, 2013}, \mbox{\BPGS\ 260--286}.

\bibitem[\protect\BCAY{Goto, Utiyama, Sumita, \BBA\ Kurohashi}{Goto
  et~al.}{2015}]{Goto:2015:PUT:2791399.2699925}
Goto, I., Utiyama, M., Sumita, E., \BBA\ Kurohashi, S. \BBOP 2015\BBCP.
\newblock \BBOQ Preordering Using a Target-Language Parser via Cross-Language
  Syntactic Projection for Statistical Machine Translation.\BBCQ\
\newblock {\Bem ACM Transaction on Asian and Low-Resource Language Information
  Processing}, {\Bbf 14}  (3), \mbox{\BPGS\ 13:1--13:23}.

\bibitem[\protect\BCAY{Heafield, Pouzyrevsky, Clark, \BBA\ Koehn}{Heafield
  et~al.}{2013}]{heafield2013scalable}
Heafield, K., Pouzyrevsky, I., Clark, J.~H., \BBA\ Koehn, P. \BBOP 2013\BBCP.
\newblock \BBOQ Scalable Modified Kneser-Ney Language Model Estimation.\BBCQ\
\newblock In {\Bem ACL (2)}, \mbox{\BPGS\ 690--696}.

\bibitem[\protect\BCAY{Hoshino, Miyao, Sudoh, Hayashi, \BBA\ Nagata}{Hoshino
  et~al.}{2015}]{hoshino-EtAl:2015:ACL-IJCNLP}
Hoshino, S., Miyao, Y., Sudoh, K., Hayashi, K., \BBA\ Nagata, M. \BBOP
  2015\BBCP.
\newblock \BBOQ Discriminative Preordering Meets Kendall's $\tau$
  Maximization.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \mbox{\BPGS\
  139--144}, Beijing, China. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Isozaki, Hirao, Duh, Sudoh, \BBA\ Tsukada}{Isozaki
  et~al.}{2010}]{Isozaki:2010:AET:1870658.1870750}
Isozaki, H., Hirao, T., Duh, K., Sudoh, K., \BBA\ Tsukada, H. \BBOP 2010\BBCP.
\newblock \BBOQ Automatic Evaluation of Translation Quality for Distant
  Language Pairs.\BBCQ\
\newblock In {\Bem Proceedings of the 2010 Conference on Empirical Methods in
  Natural Language Processing}, EMNLP '10, \mbox{\BPGS\ 944--952}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Isozaki \BBA\ Kouchi}{Isozaki \BBA\
  Kouchi}{2015}]{isozaki-kouchi:2015:WMT}
Isozaki, H.\BBACOMMA\ \BBA\ Kouchi, N. \BBOP 2015\BBCP.
\newblock \BBOQ Dependency Analysis of Scrambled References for Better
  Evaluation of Japanese Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 450--456}, Lisbon, Portugal. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Isozaki, Sudoh, Tsukada, \BBA\ Duh}{Isozaki
  et~al.}{2010}]{Isozaki:2010:HFS:1868850.1868886}
Isozaki, H., Sudoh, K., Tsukada, H., \BBA\ Duh, K. \BBOP 2010\BBCP.
\newblock \BBOQ Head Finalization: A Simple Reordering Rule for SOV
  Languages.\BBCQ\
\newblock In {\Bem Proceedings of the Joint 5th Workshop on Statistical Machine
  Translation and MetricsMATR}, WMT '10, \mbox{\BPGS\ 244--251}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Junczys-Dowmunt \BBA\ Szal}{Junczys-Dowmunt \BBA\
  Szal}{2010}]{DBLP:conf/imcsit/Junczys-DowmuntS10}
Junczys-Dowmunt, M.\BBACOMMA\ \BBA\ Szal, A. \BBOP 2010\BBCP.
\newblock \BBOQ SyMGiza++: A Tool for Parallel Computation of Symmetrized Word
  Alignment Models.\BBCQ\
\newblock In {\Bem International Multiconference on Computer Science and
  Information Technology - IMCSIT 2010, Wisla, Poland, 18--20 October 2010,
  Proceedings}, \mbox{\BPGS\ 397--401}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{DBLP:conf/emnlp/Koehn04}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the 2004 Conference on Empirical Methods in
  Natural Language Processing , EMNLP 2004, A Meeting of SIGDAT, a Special
  Interest Group of the ACL, held in Conjunction with ACL 2004, 25--26 July
  2004, Barcelona, Spain}, \mbox{\BPGS\ 388--395}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{Koehn:2007:MOS:1557769.1557821}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the ACL on
  Interactive Poster and Demonstration Sessions}, ACL '07, \mbox{\BPGS\
  177--180}, Stroudsburg, PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Komachi, Matsumoto, \BBA\ Nagata}{Komachi
  et~al.}{2006}]{komachi2006phrase}
Komachi, M., Matsumoto, Y., \BBA\ Nagata, M. \BBOP 2006\BBCP.
\newblock \BBOQ Phrase Reordering for Statistical Machine Translation based on
  Predicate-argument Structure.\BBCQ\
\newblock In {\Bem IWSLT}, \mbox{\BPGS\ 77--82}. Citeseer.

\bibitem[\protect\BCAY{Luckhardt}{Luckhardt}{1991}]{DBLP:conf/eacl/Luckhardt91}
Luckhardt, H.-D. \BBOP 1991\BBCP.
\newblock \BBOQ Sublanguages In Machine Translation.\BBCQ\
\newblock In {\Bem EACL 1991, 5th Conference of the European Chapter of the
  Association for Computational Linguistics, April 9--11, 1991, Congress Hall,
  Alexanderplatz, Berlin, Germany}, \mbox{\BPGS\ 306--308}.

\bibitem[\protect\BCAY{Marcu, Carlson, \BBA\ Watanabe}{Marcu
  et~al.}{2000}]{DBLP:conf/anlp/MarcuCW00}
Marcu, D., Carlson, L., \BBA\ Watanabe, M. \BBOP 2000\BBCP.
\newblock \BBOQ The Automatic Translation of Discourse Structures.\BBCQ\
\newblock In {\Bem ANLP}, \mbox{\BPGS\ 9--17}.

\bibitem[\protect\BCAY{Mellebeek, Owczarzak, Groves, Genabith, \BBA\
  Way}{Mellebeek et~al.}{2006}]{Mellebeek06asyntactic}
Mellebeek, B., Owczarzak, K., Groves, D., Genabith, J.~V., \BBA\ Way, A. \BBOP
  2006\BBCP.
\newblock \BBOQ A Syntactic Skeleton for Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 11th Conference of the European
  Association for Machine Translation}, \mbox{\BPGS\ 195--202}.

\bibitem[\protect\BCAY{Nakagawa}{Nakagawa}{2015}]{nakagawa:2015:ACL-IJCNLP}
Nakagawa, T. \BBOP 2015\BBCP.
\newblock \BBOQ Efficient Top-Down BTG Parsing for Machine Translation
  Preordering.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\ 208--218},
  Beijing, China. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Nakazawa, Mino, Goto, Neubig, Kurohashi, \BBA\
  Sumita}{Nakazawa et~al.}{2015}]{Nakazawa:2015}
Nakazawa, T., Mino, H., Goto, I., Neubig, G., Kurohashi, S., \BBA\ Sumita, E.
  \BBOP 2015\BBCP.
\newblock \BBOQ Overview of the 2nd Workshop on Asian Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Asian Translation},
  \mbox{\BPGS\ 1--28}.

\bibitem[\protect\BCAY{Neubig}{Neubig}{2013}]{neubig13travatar}
Neubig, G. \BBOP 2013\BBCP.
\newblock \BBOQ Travatar: A Forest-to-String Machine Translation Engine based
  on Tree Transducers.\BBCQ\
\newblock In {\Bem Proceedings of the ACL Demonstration Track}, \mbox{\BPGS\
  91--96}, Sofia, Bulgaria.

\bibitem[\protect\BCAY{Och}{Och}{1999}]{och1999efficient}
Och, F.~J. \BBOP 1999\BBCP.
\newblock \BBOQ An efficient method for determining bilingual word
  classes.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Conference on European Chapter of the
  Association for Computational Linguistics}, \mbox{\BPGS\ 71--76}. Association
  for Computational Linguistics.

\bibitem[\protect\BCAY{Oda, Neubig, Sakti, Toda, \BBA\ Nakamura}{Oda
  et~al.}{2015}]{oda-EtAl:2015:demos}
Oda, Y., Neubig, G., Sakti, S., Toda, T., \BBA\ Nakamura, S. \BBOP 2015\BBCP.
\newblock \BBOQ Ckylark: A More Robust PCFG-LA Parser.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Demonstrations},
  \mbox{\BPGS\ 41--45}, Denver, Colorado. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{Papineni:2002:BMA:1073083.1073135}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting on Association for
  Computational Linguistics}, ACL '02, \mbox{\BPGS\ 311--318}, Stroudsburg, PA,
  USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Petrov, Barrett, Thibaux, \BBA\ Klein}{Petrov
  et~al.}{2006}]{Petrov:2006:LAC:1220175.1220230}
Petrov, S., Barrett, L., Thibaux, R., \BBA\ Klein, D. \BBOP 2006\BBCP.
\newblock \BBOQ Learning Accurate, Compact, and Interpretable Tree
  Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 21st International Conference on
  Computational Linguistics and the 44th Annual Meeting of the Association for
  Computational Linguistics}, ACL-44, \mbox{\BPGS\ 433--440}, Stroudsburg, PA,
  USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Utiyama \BBA\ Isahara}{Utiyama \BBA\
  Isahara}{2007}]{Utiyama:2007}
Utiyama, M.\BBACOMMA\ \BBA\ Isahara, H. \BBOP 2007\BBCP.
\newblock \BBOQ A Japanese-English Patent Parallel Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the Eleventh Machine Translation Summit},
  \mbox{\BPGS\ 475--482}.

\bibitem[\protect\BCAY{Xiao, Zhu, \BBA\ Zhang}{Xiao
  et~al.}{2014}]{DBLP:conf/acl/XiaoZZ14}
Xiao, T., Zhu, J., \BBA\ Zhang, C. \BBOP 2014\BBCP.
\newblock \BBOQ A Hybrid Approach to Skeleton-based Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 52nd Annual Meeting of the Association
  for Computational Linguistics, ACL 2014, June 22--27, 2014, Baltimore, MD,
  USA, Volume 2: Short Papers}, \mbox{\BPGS\ 563--568}.

\bibitem[\protect\BCAY{Yamada \BBA\ Knight}{Yamada \BBA\
  Knight}{2001}]{yamada:2001syntax}
Yamada, K.\BBACOMMA\ \BBA\ Knight, K. \BBOP 2001\BBCP.
\newblock \BBOQ A Syntax-based Statistical Translation Model.\BBCQ\
\newblock In {\Bem Proceedings of the 39th Annual Meeting on Association for
  Computational Linguistics}, \mbox{\BPGS\ 523--530}. Association for
  Computational Linguistics.

\end{thebibliography}

\begin{biography}
\bioauthor{富士　　秀}{
1987年英国王立ロンドン大学キングス校工学部卒業．1988年より株式会社富士通研究所研究員，シニアリサーチャー．2014〜2017年国立研究開発法人情報通信研究機構に出向．2017年奈良先端科学技術大学院大学博士後期課程終了．博士（工学）．2017年より富士通研究所主任研究員．機械翻訳の研究に従事．情報処理学会，言語処理学会，AAMT, 日本言語類型論学会等各会員．
}
\bioauthor{内山　将夫}{
1992年筑波大学卒業．1997年同大学院工学研究科修了．博士（工学）．現在，国立研究開発法人情報通信研究機構研究マネージャー．主な研究分野は機械翻訳．情報処理学会，言語処理学会等各会員．
}
\bioauthor{隅田英一郎}{
1982年　電気通信大学大学院修士課程修了．1999年京都大学大学院博士（工学）取得．1982年〜1991年（株）日本アイ・ビー・エム東京基礎研究所研究員．1992年〜2009年国際電気通信基礎技術研究所研究員，主幹研究員，室長．2007年〜現在　国立研究開発法人情報通信研究機構(NICT) 先進的音声翻訳研究開発推進センター(ASTREC) 副センター長．2016年 NICTフェロー．機械翻訳の研究に従事．
}
\bioauthor{松本　裕治}{
1977年京都大学工学部情報工学科卒．1979年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984〜85年英国インペリアルカレッジ客員研究員．1985〜1987年（財）新世代コンピュータ技術開発機構に出向．京都大学助教授を経て，1993年より奈良先端科学技術大学院大学教授，現在に至る．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，AAAI, ACL, ACM各会員．情報処理学会フェロー．ACL Fellow．
}

\end{biography}


\biodate





\end{document}
