    \documentclass[japanese]{jnlp_2.2}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage[multi]{otf}


\usepackage{algpseudocode, algorithm}
\usepackage{bm}
\usepackage{amssymb}



\Volume{26}
\Number{1}
\Month{March}
\Year{2019}
\Issuetitle{「　　　　」特集号}

\received{2018}{8}{1}
\revised{2018}{11}{1}
\accepted{2018}{12}{12}

\setcounter{page}{155}

\jsubject{論文}
\jtitle{統計的機械翻訳のための Recursive Neural Network による\\事前並び替えと分析}
\jauthor{瓦　　祐希\affiref{Author_1} \and Chenhui Chu\affiref{Author_2} \and 荒瀬　由紀\affiref{Author_1}}
\jabstract{
統計的機械翻訳において，原言語と目的言語における語順の違いは翻訳精度に大きく影響することが知られている．この問題に対して，翻訳器に入力する前に原言語の語順を並び替える事前並び替え手法が提案されている．先行研究において最高性能を達成しているNakagawaの手法では事前並び替えの学習のために素性テンプレートの設計が必要である．本稿では，データから直接素性ベクトルを学習するRecursive Neural Networkを用いた事前並び替え手法を提案する．英日・英仏・英中の言語対を用いた評価実験の結果，英日翻訳では素性テンプレートの設計を必要とせず，Nakagawaの手法と遜色ない精度を達成した．また実験結果の詳細な分析を行い，事前並び替えに影響を与える要因を分析した．そして近年の機械翻訳において主流となっているニューラル機械翻訳における事前並び替えの効果についても検証した．
}
\jkeywords{機械翻訳，事前並び替え，Recursive Neural Network}

\etitle{Recursive Neural Network-Based Preordering for Statistical Machine Translation and Its Analysis}
\eauthor{Yuki 
Kawara\affiref{Author_1} \and Chenhui Chu\affiref{Author_2} \and Yuki Arase\affiref{Author_1}} 
\eabstract{
Word-order differences between source and target languages significantly affect statistical machine translation. This problem can be effectively addressed by preordering. A state-of-the-art preordering method would involve manually designed feature templates. In this paper, we propose a method that uses a recursive neural network that can learn end-to-end preordering. English-Japanese, English-French, and English-Chinese datasets are extensively evaluated. The results confirm that this method achieves an English-to-Japanese translation quality that is comparable with that of the state-of-the-art method, without manually designed feature templates. In addition, a detailed analysis examines the factors affecting preordering and translation quality as well as the effects of preordering in neural machine translation.
}
\ekeywords{Machine Translation, Preordering, Recursive Neural Network}

\headauthor{瓦，Chu, 荒瀬}
\headtitle{統計的機械翻訳のための Recursive Neural Network による事前並び替えと分析}

\affilabel{Author_1}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}
\affilabel{Author_2}{大阪大学データビリティフロンティア機構}{Institute for Datability Science, Osaka University}


\begin{document}
\maketitle


\section{はじめに}

フレーズベースの統計的機械翻訳\cite{Koehn:2003:SPT:1073445.1073462}は，フレーズを翻訳単位として機械翻訳を行う手法である．この手法では局所的な文脈を考慮して翻訳を行うため，英語とフランス語のように，語順が似ている言語対や短い文においては高品質な翻訳を行えることが知られている．しかし，英語と日本語のように，語順が大きく異なる言語対では，局所的な文脈を考慮するだけでは原言語のフレーズを目的言語のどのフレーズに翻訳するかを正しく選択することは難しいため，翻訳精度が低い．

このような語順の問題に対し，翻訳器のデコーダで並び替えを考慮しつつ翻訳する手法 
\linebreak
\cite{Tillmann:2004:UOM:1613984.1614010}，翻訳器に入力する前に原言語文の語順を目的言語文の語順に近づくよう並び替える事前並び替え\cite{nakagawa2015}，原言語文をそのまま翻訳した目的言語文を並び替える事後並び替えが提案されている\cite{hayashi-EtAl:2013:EMNLP}．特に事前並び替え手法は，長距離の並び替えを効果的かつ効率的に行える\cite{E14-1026,nakagawa2015}．
先行研究として，Nakagawa \cite{nakagawa2015}はBracketing Transduction Grammar (BTG) \cite{Wu:1997:SIT:972705.972707}にしたがって構文解析を行いつつ事前並び替えを行う手法を提案している．この手法は事前並び替えにおいて最高性能を達成しているが，並び替えの学習のために人手による素性テンプレートの設計が必要である．

そこで，本稿では統計的機械翻訳のためのRecursive Neural Network (RvNN) \cite{GollerandKuchler,Socher:2011:PNS:3104482.3104499}を用いた事前並び替え手法を提案する．ニューラルネットワークによる学習の特徴として，人手による素性テンプレートの設計が不要であり，訓練データから直接素性ベクトルを学習できるという利点がある．また，RvNNは木構造の再帰的ニューラルネットワークであり，長距離の並び替えが容易に行える．
提案手法では与えられた構文木にしたがってRvNNを構築し，葉ノードからボトムアップに計算を行っていくことで，各節ノードにおいて，並び替えに対して重要であると考えられる部分木の単語や品詞・構文タグを考慮した並び替えを行う．

統計的機械翻訳をベースにすることで，事前並び替えのような中間プロセスに注目した手法の性能が翻訳全体に与える影響について明らかにできる利点がある．また統計的機械翻訳のようにホワイトボックス的なアプローチは，商用翻訳においてシステムの修正やアップデートが容易であるという利点もある．さらに現在主流のニューラル機械翻訳\cite{D15-1166}でも，統計的機械翻訳とニューラル機械翻訳を組み合わせることで性能を向上するモデルが先行研究\cite{D17-1149}により提案されており，統計的機械翻訳の性能を向上させることは有益である．

英日・英仏・英中の言語対を用いた評価実験の結果，英日翻訳において，提案手法はNakagawaの手法と遜色ない精度を達成した．また詳細な分析を実施し，英仏，英中における事前並び替えの性能，また事前並び替えに影響を与える要因を調査した．さらに近年，機械翻訳の主流となっているニューラル機械翻訳\cite{D15-1166}において事前並び替えが与える影響についても実験を行い検証した．


\section{関連研究}
\label{sec:mt_reordering}

本章では，提案手法と関連の深い事前並び替えに関する既存研究について議論する．
Collinsら\cite{CollinsKoehn2005}やGojun and Fraser \cite{gojunfraser2012}，Wangら\cite{wang-collins-koehn:2007:EMNLP-CoNLL2007}は並び替えのルールを定め，そのルールにしたがって事前並び替えを行っている．Xuら\cite{xu-EtAl:2009:NAACLHLT09}やIsozakiら\cite{isozaki10hfe}は木構造に対して並び替えのルールを定め，SVO型言語である英語からSOV型言語への翻訳における事前並び替えを行っている．これらの手法のように，ある言語対について並び替えのルールを定めるためには原言語と目的言語についての知識が必要であり，また全ての言語対において並び替えのルールを定めることは難しい．そのため，ルールに基づいた並び替えでは適用可能な言語対が限られてしまう．

そこで，対訳コーパスから自動で並び替えを学習する手法も提案されている．Zhangら\cite{Zhang:2007:CRS:1626281.1626282}やCrego and Habash \cite{crego-habash:2008:WMT}は$n$-gram からなるチャンクに対して，並び替えルールを対訳コーパスから得る手法を提案している．Crego and Mari\~no \cite{Crego2006}やTromble and Eisner \cite{tromble-eisner:2009:EMNLP}は品詞タグを用いた事前並び替え手法を提案している．またVisweswariahら\cite{visweswariah-EtAl:2011:EMNLP}は単語をノードとしたグラフを作成し，巡回セールスマン問題として並び替えの問題を定式化している．

木構造を用いることで長距離の部分フレーズの並び替えが容易に行えるという利点があるため，木構造を用いる手法も多く提案されている．Xia and McCord \cite{xia-mccord:2004:COLING}やGenzel \cite{genzel:2010:PAPERS}は木構造から並び替えパターンを抽出し，これを原言語文に適用することで並び替えを行っている．機械学習を用いて並び替えを学習する手法も提案されている．Liら\cite{li-EtAl:2007:ACLMain2}は構文木での各ノードにおいて最大エントロピーモデルを用いて，子ノードが$3$つ以内のノードに限定して学習および並び替えを行うモデルを提案している．Lerner and Petrov \cite{lerner-petrov:2013:EMNLP}は依存木に対して，子ノードが$7$つ以内のノードに対して並び替えを行う手法を提案している．Yangら\cite{yang-EtAl:2012:ACL2012}は並び替えを子ノードの順序を求める順序問題とし，Ranking-SVM \cite{joachims2002optimizing}を用いて子ノードの順序を求めることで並び替えを行っている．

木構造を用いて各ノードにおける子ノードの順序を決定するようなモデルでは，子ノードの数が多くなるにつれて並び替え候補が爆発的に増加するという問題がある．そこで，木構造を$2$分木に限定することで，各ノードにおいて子ノードを並び替えるか否かという二値分類の問題として定義できる．
Jehlら \cite{E14-1026} は$2$分木に対して，アラインメントの交差が少なくなるようにロジスティック回帰モデルを用いて並び替えを学習する手法を提案している．
Hoshinoら\cite{hoshino-EtAl:2015:ACL-IJCNLP}は，$2$分木に対して順位相関係数であるKendallの$\tau$ \cite{kendall1938measure}が最大となるように二値分類の分類器を用いて各ノードでの並び替えを行っている．DeNero and Uszkoreit \cite{denero-uszkoreit:2011:EMNLP}は構文解析をしつつ同時に並び替えも学習する手法を提案している．Neubigら\cite{neubig-watanabe-mori:2012:EMNLP-CoNLL}はBTGに基づいて構文木の構築および並び替えを行う手法を提案しているが，計算量が多く時間がかかるという問題があった．本稿で比較を行うNakagawa \cite{nakagawa2015}の手法は，BTGに基づく並び替えにおける計算量の問題を解決した手法であり，翻訳において最高性能を達成している．原言語文と単語アラインメントからトップダウンで$2$分木を構築しつつ，各ノードで並び替えをするか否かを学習する．$2$単語以上のスパンのうち，どこで区切るか，区切った部分の前後を並び替えるかをトップダウンで再帰的に計算していくことで，最終的に構文木および各節ノードでのラベルが決定される．構文木を構築しながら並び替えも予測するため構文解析を事前に行う必要がなく，構文解析器の精度に依ることなく並び替えを行える．しかしその学習のために素性テンプレートを人手で設計する必要がある．

近年では，素性テンプレートの設計を必要としないニューラルネットワークに基づいた手法も提案されている．de Gispertら\cite{degispert-iglesias-byrne:2015:NAACL-HLT}はフィードフォワードニューラルネットワーク (FFNN)を用いた$2$分木での並び替えを提案している．Bothaら\cite{botha-EtAl:2017:EMNLP2017}もFFNNを用いた並び替えを提案しているが，木構造を用いずに並び替えを行っている．Miceli-Barone and Attardi \cite{micelibarone-attardi:2015:ACL-IJCNLP}はRecurrent Neural Network (RNN)を用いて依存木のノードを辿ることで並び替え手法を提案している．彼らは，単語を出力する``EMIT''，親ノードへ移動する``UP''，$j$番目のノードへ移動する``DOWN$_j$''の$3$つの動作を定義し，RNNで動作を予測することで並び替えを行う．Kanouchiら\cite{kanouchi-sudoh-komachi:2016:WAT2016}は統計的機械翻訳の翻訳モデルにより抽出するフレーズペアについて，RvNNを用いて並び替えラベルを推定することで，翻訳システムの内部で翻訳と同時にフレーズの並び替えを行う．提案手法と同様RvNNを用いているが，提案手法は翻訳システムとは独立して事前並び替えを行う点で異なる．また提案手法では原言語の構文木に対してボトムアップに構築されるRvNNを用いて$2$種類のラベルの予測を行うことで，部分木全体を考慮した並び替えを行える．構文木を用いることで，長距離の並び替えがより簡単に行えるという利点がある．Kawaraら\cite{P18-3004}は英日対においてRvNNを用いた事前並び替え手法を提案し，提案手法が有効であることを示している．本稿では英日，英仏，英中対に対してRvNNを用いた事前並び替えを適用し，詳細な分析を行う．


\section{Recursive Neural Networkによる事前並び替え}
\label{sec:reorder_rvnn}

本章では提案手法であるRvNNによる並び替え手法を説明する．まず提案手法のベースとなる，文対における語順の近さを測る指標であるKendallの$\tau$を説明する．次に節ノードにおける正解ラベル付与のアルゴリズムについて述べ，RvNNを用いた事前並び替えモデルについて述べる．


\subsection{Kendallの$\tau$}
\label{sec:kendall_tau}

Kendallの$\tau$ \cite{kendall1938measure}は順位相関係数の$1$つであり，式(\ref{eq:kendall_tau})で計算される．
\begin{align}
\label{eq:kendall_tau}
\tau (\bm{a}) &= \frac{4\sum^{n-1}_{i=1}\sum^{n}_{j=i} \delta ({\bm{a}}_i<{\bm{a}}_j)}{|\bm{a}|(|\bm{a}|-1)} - 1, \\
\delta(x) &= \begin{cases}
1 & (x\ {\rm is\ true}), \\
0 & ({\rm otherwise}).
\end{cases} \nonumber
\end{align}

数列$\bm{a}$の要素が完全に昇順に並んでいる場合，$\tau(\bm{a})$は$1$を，完全に降順であれば$-1$をとり，それ以外であれば$-1<\tau(\bm{a}) <1$となる．式(\ref{eq:kendall_tau})は$\bm{a}$に含まれる数値のペア$\bm{a}_iと\bm{a}_j (i < j)$が昇順 $(\bm{a}_i<\bm{a}_j)$になっている割合を$-1$から$1$の間に正規化したものであり，この値が大きいほど昇順に並んでいるペアの割合が多い．


\subsection{正解ラベルの付与}
\label{sec:rank_eval}

提案手法では，$2$分木である句構文木の各節ノードにおいて子ノードの順序を入れ替えるかどうかのラベル付けを行い，並び替えの訓練データを作成する．
Algorithm \ref{alg:labeling}に正解ラベル付与の擬似コードを示す．入力は$2$分木のノード$n$と単語アラインメント$\bm{a}$である．ノードは左右の子ノードへのリンク（leftおよびright）と，並び替えを示すラベル (label) を保持する．$\bm{a}[n]$は，葉ノードにおける単語のアラインメントの目的言語におけるインデックスを表す．並び替えのラベルは関数KendallTau($a_l, a_r$)により，\ref{sec:kendall_tau}節で説明した手法でKendallの$\tau$の値を計算し，その結果に基づいて決定する．各節ノードにおいて，子ノードを並び替えた際にKendallの$\tau$が大きくなる場合は並び替えを行う``Inverted''ラベルを，小さくなるまたは変わらない場合はそのままの順序を維持する``Straight''ラベルを付与する．これをボトムアップで行うことで，与えられた構文木においてKendallの$\tau$が最大となるようにラベルが付与される．

\begin{algorithm}[t]
\caption{正解ラベル付与の擬似コード}
\label{alg:labeling}
\input{06algo01.tex}
\end{algorithm}


\subsection{事前並び替えモデル}

RvNNは木構造型のニューラルネットワークである\cite{GollerandKuchler,Socher:2011:PNS:3104482.3104499}．
RvNNにおける各ノードは図\ref{fig:rvnn_unit}に示す構造を持ち，これを再帰的に結合することで，木構造型のニューラルネットワークを構築する．

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia6f1.eps}
\end{center}
\caption{RvNNの基本となる構造}
\label{fig:rvnn_unit}
\end{figure}

提案手法では句構文木にしたがってRvNNを構築し， 各節ノードにおいてAlgorithm \ref{alg:labeling}で付与した正解ラベルを予測する学習を行う．Algorithm \ref{alg:preorder}に予測したラベルを用いた並び替えの擬似コードを示す．入力はAlgorithm \ref{alg:labeling}によって正解ラベルが付与された$2$分木のノード$n$であり，左右の子ノードへのリンク（leftおよびright）と並び替えの予測結果を保持するlabelを持つ．$\mathrm{len}(\cdot)$は要素の数を計算する．葉ノードはさらに自身の単語wordとそのベクトル表現$\bm{e}$を保持する．$S_l$，$S_r$は並び替え後の単語列である．節ノードにおいては，左と右の子ノードから，それぞれのベクトル表現$\bm{v}_l$，$\bm{v}_r$を入力とし，関数RvNN($\bm{v}_l, \bm{v}_r$)によって自身のベクトルの計算とラベルの予測を行う．RvNN($\bm{v}_l, \bm{v}_r$)はベクトル表現$\bm{v}_l$，$\bm{v}_r$を受け取り，予測されたラベル$Label$と節ノードのベクトル$\bm{v}$を返す関数である．左の子ノードと右の子ノードのベクトル表現を用いてラベルを予測することで，部分木を考慮しつつ並び替えを行うかどうかを決定できる．

\begin{algorithm}[b]
\caption{RvNNによる並び替えの擬似コード}
\label{alg:preorder}
\input{06algo02.tex}
\end{algorithm}
\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia6f2.eps}
\end{center}
\hangcaption{``My parents live in London''のRvNNによる並び替え（横線が引いてある節ノードは``Inverted''）．緑色はノードのベクトルを表し，青色は品詞・構文タグのベクトルを表す．}
\label{fig:rec_example}
\end{figure}

図\ref{fig:rec_example}に``My parents live in London''という文に対してRvNNを用いた並び替えの例を示す．
例えば``live in London''のフレーズに対応したノードにおいて，式(\ref{eq:concatnodes})に従い``live''と``in London''の子ノードを考慮してベクトルを計算する．
\begin{align}
\label{eq:concatnodes}
\bm{v} &= f([\bm{v}_l; \bm{v}_r]W + \bm{b}) \\
\label{eq:labelfunc}
\bm{s} &= \bm{v}W_s + \bm{b_s}
\end{align}
$f$はReLU関数，$W\in \mathbb{R}^{\lambda\times2\lambda}$は重み行列，$\bm{v}_l$，$\bm{v}_r\in \mathbb{R}^\lambda$はそれぞれ左，右の子ノードのベクトル，$W_s\in \mathbb{R}^{2\times \lambda}$は出力層における重み行列，$\bm{b}\in \mathbb{R}^\lambda$，$\bm{b_s}\in \mathbb{R}^2$はバイアス項を表す（$\lambda$は隠れ層の次元数を表す）．また$[\cdot;\cdot]$はベクトルを結合する．${\bf s}\in R^2$は各ラベルに対する重みのベクトルであり，式(\ref{eq:softmax})に示すソフトマックス関数に入力することで``Straight''および``Inverted''ラベルの確率を計算する．
\begin{equation}
\label{eq:softmax}
p_i = \frac{\exp (\bm{s}_i)}{\sum_{m=1}^{|\bm{s}|} \exp (\bm{s}_m)}
\end{equation}
$|\cdot|$はベクトルの次元数を表し，ここでは$|\bm{s}|=2$である．

葉ノードでは，単語ベクトルを入力とし，式(\ref{eq:leaf_node})によってベクトル表現を得る．
\begin{align}
\bm{e} &= \bm{x}W_x \nonumber \\
\label{eq:leaf_node}
\bm{v}_e &= f(\bm{e}W_e + \bm{b}_e)
\end{align}
ここで$\bm{x}\in \mathbb{R}^V$は入力単語を表すone-hotベクトル，$W_x\in \mathbb{R}^{V\times \lambda}$は単語分散表現を表す行列（$V$は語彙数を表す），$W_e\in \mathbb{R}^{\lambda \times \lambda}$は重み行列，$\bm{b}_e \in \mathbb{R}^\lambda$はバイアス項である．ロス関数は式(\ref{eq:loss_func})で定義される交差エントロピーを用いる．
\begin{equation}
\label{eq:loss_func}
L(\theta) = -\frac{1}{K}\sum^K_{k=1} \sum_{n\in \mathcal{T}} \log p(l^n_k; \theta)
\end{equation}
$\theta$はモデルのパラメータ，$n$は構文木$\mathcal{T}$のノードであり，$K$はミニバッチのサイズ，$l^n_k$はミニバッチの$k$番目の構文木の$n$番目のノードのラベルを表す．

本稿では，各ノードにおける品詞もしくは構文タグを考慮する手法も提案する．これらを考慮する際は，式(\ref{eq:concatnodes})に代わり式(\ref{eq:concatnodes_pos})を用いる．
\begin{equation}
\label{eq:concatnodes_pos}
\bm{v}_t = f([\bm{v}_l; \bm{v}_r; \bm{e}_t]W_t + \bm{b}_t)
\end{equation}
${\bf e}_t\in \mathbb{R}^\lambda$は品詞・構文タグの情報を表現するベクトルで，各ノードの品詞または構文タグを表すone-hotベクトルを入力とし，
    式(\ref{eq:leaf_node})と同様に計算する．
$W_t \in\mathbb{R}^{3\lambda \times \lambda}$は重み行列，$\bm{b}_t\in \mathbb{R}^\lambda$はバイアス項である．


\section{翻訳性能評価}
\label{sec:experiments}

本章では事前並び替えを用いた翻訳評価実験について述べる．まず初めに実験設定について述べ，実験結果を示す．その後，翻訳結果の詳細な分析を行う．


\subsection{実験設定}

英日，英仏，英中対において原言語文の事前並び替えを行い，その上で機械翻訳システムを訓練し，翻訳精度を評価する．英日翻訳はASPECコーパス\cite{NAKAZAWA16.621}を用いた．
ASPECコーパスはUtiyama and Isahara \cite{Utiyama07ajapanese-english}による文アラインメント類似度に基づいて対訳文がランク付けされている．本稿では上位$50$万文対から$10$万文対をサンプリングして事前並び替えの訓練データとした．
英仏翻訳はCommon Crawlコーパス\cite{bojar-EtAl:2015:WMT}を用いた．Common Crawlコーパスに含まれる訓練データは約$291$万文対，開発データ (newstest2013)は3,000 文対，テストデータ (newstest2014)は 3,003 文対である．
英中翻訳はIWSLTコーパス\cite{iwslt15}を用いた．IWSLTコーパスに含まれる訓練データは約$21$万文対，開発データ (dev2010)は$887$文対，テストデータ (tst2013)は 1,261 文対である．英仏，英中ともに，訓練データから無作為にサンプリングした10万文を並び替えの訓練データとした．
全ての言語対において，先行研究\cite{nakagawa2015,D15-1166}と同様翻訳器の学習には原言語，目的言語ともに$50$単語以下で，文対の単語数の比はMosesの前処理スクリプトのデフォルト値である$9$以下の条件を満たす文対を用いた．表\ref{tab:corpus_stats}に翻訳システムの訓練に用いたデータの統計量を示す．

\begin{table}[b]
\caption{翻訳の学習に用いたデータの統計量（文対）}
\label{tab:corpus_stats}
\input{06table01.tex}
\end{table}

英語文はStanford CoreNLP\footnote{http://stanfordnlp.github.io/CoreNLP/}で単語分割と品詞タグ付けを，Enju\footnote{http://www.nactem.ac.uk/enju/}で構文解析を行った．日本語文はMeCab\footnote{http://taku910.github.io/mecab/}で形態素解析を，Ckylark\footnote{https://github.com/odashi/Ckylark}で構文解析を行った．フランス語文はMosesに付属しているスクリプト\footnote{https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl}で単語分割を行い，Berkeley Parser\footnote{https://github.com/slavpetrov/berkeleyparser}で構文解析を行った．中国語文はKyotoMorph\footnote{https://bitbucket.org/msmoshen/kyotomorph-beta}を用いて単語分割を行い，Berkeley Parserで構文解析を行った．KyotoMorphの訓練にはCTB version 5 (CTB5)とSCTB \cite{chu-EtAl:2016:ALR12}を用いた．
並び替えの学習における単語アラインメントはMGIZA\footnote{https://github.com/moses-smt/mgiza}を用い，IBM Model1とhidden Markov modelをそれぞれ$3$回繰り返して両方向のアラインメントを計算した．この時の単語クラス数は，先行研究\cite{nakagawa2015}にしたがって$256$とした．その後，intersectionのルールにより最終的なアラインメントを獲得した．

提案手法であるRvNNはChainer\footnote{http://chainer.org/}を用いて実装し，語彙は頻度が高いものから$5$万語を用いた．最適化にはAdam \cite{DBLP:journals/corr/KingmaB14}に重み減衰 (0.0001) およびGradientClipping ($5$) を適用して行った．ミニバッチサイズは$500$とした．開発データにおけるロス値が最小となったエポック（英日：2，英中・英仏：5）のモデルを用い，事前並び替えを行う．Nakagawa \cite{nakagawa2015}のBTG手法を比較対象とし，公開されている実装\footnote{http://github.com/google/topdown-btg-preordering}を用いた．訓練には提案手法と同一の前処理を行った$10$万文対の対訳データを用い事前並び替えを行った．

統計的機械翻訳器としてMoses\footnote{http://www.statmt.org/moses/}のフレーズベース統計的機械翻訳 (PBSMT)を用いた．訓練データの目的言語文を用いてKenLM\footnote{http://github.com/kpu/kenlm}で$5$-gram言語モデルを訓練した．並び替えモデルはLinearモデル\cite{Koehn:2003:SPT:1073445.1073462}を用いた．ハイパーパラメータのチューニングは開発データを用いてMERT \cite{och:2003:ACL}で$3$回行った．それぞれの設定でテストデータの翻訳を評価した評価値の平均を最終的な評価値とする．また，ニューラル機械翻訳器としてOpenNMT\footnote{http://opennmt.net/}の注意機構モデルを用いた．語彙は原言語，目的言語ともに頻度の上位$5$万語を用い，単語ベクトルの次元数は$500$，隠れ層のベクトルの次元数は$500$とした．デフォルトの設定に従い，エンコーダ，デコーダともに$2$層のLSTMを用いた．バッチサイズは$64$文とし，$13$エポックの学習を行った．

翻訳精度の評価指標としてBLEU \cite{papineni-EtAl:2002:ACL}，また語順の評価指標としてRIBES \cite{sudoh-nagata:2016:WAT2016}を用いた．それぞれの評価値の統計的有意差を検証するため，ブートストラップによる検定 \cite{koehn:2004:EMNLP}を行った．

\subsection{実験結果}
\label{sec:ex_result}


\subsubsection{提案手法における品詞・構文タグの効果}

RvNNにおける品詞・構文タグおよび単語ベクトル，節ノードのベクトルの次元数が事前並び替えおよびPBSMTの翻訳精度に与える影響を検証するため，英日対においてASPECコーパスの上位$50$万文対を用いて実験を行った．表\ref{tab:rec_bleu}に，単語のみを入力とした場合と品詞・構文タグを付与した場合の開発セットにおけるBLEU値を示す．WAT2017のベースラインシステム\footnote{http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2017/baseline/baselineSystemPhrase.html}と同様に並び替えなしのものは歪み制約は$20$とし，BTGとRvNNで並び替えを行った場合の歪み制約は$0$とした．
品詞・構文タグがない場合，ベクトルの次元数が$100$の時に比べて，$200$の時はBLEU値が低下しているが，$500$の時は向上している．品詞・構文タグを用いた場合，ベクトルの次元数が$100$の時に比べて，$200$の時はBLEU値が向上したが，$500$の時は低下している．また，品詞・構文タグを用いないベクトル次元数が$500$の時と，品詞・構文タグを用いたベクトル次元数が$200$の時を比較すると，有意差は見られなかった．以上の結果に基づき，以降の実験では隠れ層のベクトルの次元数をより少ない$200$とし，品詞・構文タグを用いて事前並び替えを行う．

\begin{table}[t]
\hangcaption{ベクトルの次元数と品詞・構文タグの有無による開発セットにおけるBLEUの変化（英日ASPECコーパスの50万文対で学習）}
\label{tab:rec_bleu}
\input{06table02.tex}
\end{table}


\subsubsection{PBSMTおよびNMTによる翻訳精度}

PBSMT，NMTにより翻訳を行った結果を表\ref{tab:eval_bleu}に示す．BTGとRvNNで事前並び替えを行ったものはPBSMTにおける歪み制約を$0$とした．並び替えなしのものは英日，日英ではWAT2017のベースラインシステムの設定に従い，歪み制約を$20$とした．英中，中英，英仏，仏英対では歪み制約をMosesのデフォルト値である$6$とした\footnote{Gotoら\cite{P13-1016}は中英翻訳において歪み制約を$10$，$20$，$30$，$\infty$にして翻訳を行い，歪み制約が$10$の時にBLEU値が一番高かったと報告している．そのため，英中，中英翻訳において，歪み制約を$6$，$10$，$20$に設定し翻訳実験を行った．その結果，開発データにおいてBLEU値が一番高かった歪み制約$6$を選択した．}．

\begin{table}[t]
\hangcaption{テストセットにおけるBLEUおよびRIBESの評価結果（最も性能の高いものと有意差がないもの ($p<0.05$) を太字で表す）}
\label{tab:eval_bleu}
\input{06table03.tex}
\end{table}

PBSMTで翻訳を行った場合，英日方向の翻訳では並び替えなしに比べてRvNNとBTGの両方でBLEU値がそれぞれ$4.62$ポイント，$4.97$ポイント有意に向上した．またRIBES値も事前並び替えなしに比べて，RvNNおよびBTGで$8.77$ポイント，$9.58$ポイント有意に向上した．これらの結果から，英日翻訳において事前並び替えを行うことで翻訳精度が大きく向上していることが分かる．RvNNとBTGでは，BLEU値およびRIBES値において統計的有意差は認められなかった（$p$値はそれぞれ$p=0.068$，$p=0.226$であった）．このことから提案手法では，素性テンプレートの設計を必要とすることなく，事前並び替え手法のstate-of-the-artであるBTGと同等の翻訳性能を達成していることが分かる．

英仏，英中方向におけるPBSMTを用いた翻訳結果のBLEU値およびRIBES値は，BTGでは有意に向上したが，RvNNでは並び替えなしと同程度となった．一方で，RvNN，BTG，並び替えなしの三者について，英仏・英中翻訳におけるRIBESの値に有意差はなかった．これは英中，英仏の言語対では元々長距離の語順変換が不要であるため，事前並び替えの効果が限定的だったことを示唆していると考える．

また日英方向では，PBSMTを用いた翻訳結果では，並び替えなしと比較してRvNNによる事前並び替えを行うことで，BLEU値が有意に$1.99$ポイント向上している．しかしBTGでの並び替えによるBLEU値の向上には及ばない結果となった．RIBES値はRvNNとBTGでそれぞれ$7.65$ポイント，$8.27$ポイントの向上を達成している．
仏英，中英方向においてPBSMTによる翻訳では，BTGによる並び替えではBLEU値が並び替えなしの場合に比べ有意に向上しているが，RvNNによる並び替えでは，並び替えなしの場合よりも低下している．これは構文木の精度が影響したものと考えられ，\ref{sec:analsys_reorder}項において分析する．

NMTを用いた翻訳では，RvNNによる事前並び替えを行うと，英日，英中，日英，仏英方向の翻訳においてBLEU値，RIBES値が低下した．しかし，英仏方向ではBLEU値が$0.65$ポイント，RIBES値が$0.18$ポイント，中英方向ではBLEU値が$0.62$ポイント，RIBES値が$0.57$ポイント向上した．
BTGによる事前並び替えでは，NMTを用いて翻訳を行うと，並び替えなしの場合に比べ，すべての言語対でBLEU値{，RIBES値}が低下する結果となった．これはSudohら\cite{sudoh-nagata:2016:WAT2016}の英中翻訳における実験結果と共通の現象であり，原因の$1$つとして，事前並び替えにより言語の構造が崩れてしまうことが考えられる．しかし英仏，中英対においては，RvNNの事前並び替えの結果，NMTの翻訳精度が向上しており，NMTにおいても事前並び替えによる効果が発揮される場合があることを示している．今後，提案手法をNMTのモデルに組み込み同時に学習を行うことで，NMTにおける翻訳精度の向上に取り組む予定である．

NMTによる翻訳におけるRIBES値について，英仏，仏英翻訳においてBTGによる並び替えを行ったPBSMTの性能が事前並び替えなしのNMTの性能をわずかに上回っているが，これらの結果には統計的有意差はなかった（それぞれ$p=0.329$，$p=0.323$）．先行研究でも示されている通り，本実験においても事前並び替えの有無に関わらず，NMTがSMTを上回る結果となっている．


\subsection{分析}

\subsubsection{事前並び替えと翻訳精度の関係分析}
\label{sec:analsys_reorder}

事前並び替えの性能が翻訳結果に与える影響を調査するため，事前並び替えの性能と翻訳精度の関連を分析する．入力文の理想的な事前並び替えが行えると，原言語と目的言語の語順が等しくなる．つまり，並び替えた入力文と参照翻訳の語順が等しくなり，翻訳タスクは逐語翻訳に近づくと考えられる．そのため，並び替えた入力文と参照翻訳の語順の近さを評価するKendallの$\tau$と，翻訳結果と参照翻訳の語順を評価するRIBES値には相関があると期待される．また逐語翻訳に近づくことで翻訳タスク自体が簡単になり，BLEU値も向上すると期待できる．表\ref{tab:kendallBLEURIBES}に，開発セットにおける並び替え前後の入力文それぞれと参照翻訳文間のKendallの$\tau$と，PBSMTによる翻訳結果のBLEU値，RIBES値を示す．英日対において，RvNNは並び替えなしに比べてKendallの$\tau$が$27.07$ポイント向上しており，英語，日本語文での語順の一致率を大きく向上できている．BLEU値，RIBES値もそれぞれ$3.68$ポイント，$8.27$ポイント向上している．日英対においても並び替えなしと比較してRvNNによる事前並び替えでKendallの$\tau$が$10.83$ポイント向上し，BLEU値，RIBES値もそれぞれ$2.27$ポイント，$8.23$ポイント向上している．つまりRvNNでは，語順の一致率を大きく向上できた英日，日英対では，BLEU値およびRIBES値を改善できていることが分かる．一方，仏英，中英対では並び替えなしに比べてRvNNのKendallの$\tau$がそれぞれ$1.08$ポイント，$0.26$ポイント向上したが，BLEU値，RIBES値に有意な変化はみられなかった．このことから，事前並び替えにより語順の一致率を高めることができれば，翻訳精度に大きく貢献できるが，Kendallの$\tau$の小規模な改善が翻訳精度に与える影響は限定的であることが分かる．

\begin{table}[t]
\hangcaption{開発データにおけるKendallの$\tau$とBLEUおよびRIBESとの関係（最も性能の高いものと有意差がないもの ($p<0.05$) を太字で表す）}
\label{tab:kendallBLEURIBES}
\input{06table04.tex}
\end{table}

一方で，BTGでは仏英対においてKendallの$\tau$を$1.43$ポイント向上できており，またBLEU値，RIBES値がそれぞれ$1.27$ポイント，$0.41$ポイント，中英対においてもKendallの$\tau$を$1.65$ポイント改善し，またRIBES値が$0.24$ポイント向上している．提案手法では中英対においてBLEU，RIBESを向上できなかった理由として，構文解析エラーの影響が考えられる．
BTGでは事前並び替えに適した木構造を構築しながら並び替えを行う．一方，RvNNでは構文解析器が出力する構文木に基づいて事前並び替えを行うため，構文解析器の精度がRvNNによる並び替えの精度に影響する．本実験で用いた構文解析器の精度は，中国語で$77\%$ \cite{che-spitkovsky-liu:2012:ACL2012short}と報告されており，英語の場合の$91\%$ \cite{Miyao:2008:FFM:1350986.1350988}より大幅に低い．中英翻訳のため構文解析した中国語文のうち，開発データから一文単位のBLEU値が低下した$50$件を観察した結果，構文解析エラーと単語アラインメントの質が低いことによる複合的な要因により事前並び替えに失敗していることが明らかとなった．構文解析に失敗した文は$13$文あり，そのうち名詞句の解析誤りが$9$件，動詞句の解析誤りが$6$件あった．これらの構文解析エラーにより，事前並び替えに失敗したものは$6$件あった．このうち構文解析エラーによりどのような並び替えを行ってもKendallの$\tau$を向上できないものが$3$件，単語アラインメントそのものができておらず，どのような並び替えを行ってもKendallの$\tau$を向上できないものが$2$件あった．これらは中英翻訳の実験に用いた対訳コーパス (IWSLT2015) はTEDより収集された口語体の文であるため構文解析が難しく，またコーパスサイズが小さいことから単語アラインメントも困難なためと考えられる．


\subsubsection{機械学習手法の効果}
\label{sec:diff_ml}

次に，提案手法では構文木に基づく機械学習により事前並び替えを行うが，構文木を用いる効果および機械学習手法の効果を分けて検証するため，提案手法と同様に機械学習を用いて構文木の各ノードで並び替えを行う手法であるHoshinoら\cite{hoshino-EtAl:2015:ACL-IJCNLP}と英日対で比較実験を行った．Hoshinoらの手法は，機械学習手法としてSupport Vector Machineを用いるものである．表\ref{tab:comp_hoshino}にその結果を示す．Hoshinoらの手法と比較して，RvNNを用いた翻訳ではBLEU値が有意に$0.58$ポイント高い結果となった．この結果より，単語ベクトルおよび品詞・構文タグベクトルを考慮しRvNNによる事前並び替えを行うことで，構文情報をよりとらえた並び替えを実現できることが分かる．

\begin{table}[b]
\hangcaption{機械学習手法の違いによる並び替えのPBSMTによる英日対での翻訳評価（最も性能の高いものと有意差がないもの ($p<0.05$) を太字で表す）}
\label{tab:comp_hoshino}
\input{06table05.tex}
\end{table}
\begin{table}[b]
\caption{英日対における並び替えの成功例とその翻訳例}
\label{tab:preorder_success}
\input{06table06.tex}
\end{table}


\subsubsection{翻訳例の分析}

表\ref{tab:preorder_success}に英日対において事前並び替えに成功した例，およびそのPBSMT，NMTを用いた翻訳結果を示す．原文と参照訳では語順が大きく異なっているが，並び替えを行うことで語順が近づいていることが分かる．
PBSMTによる翻訳例では，並び替えなしの文と比べ，並び替えを行った文は意味が通るような訳文となっている．特に，動詞である``causes''が並び替えを行うことで文末に移動し，参照訳の「ひきおこす」と同様の意味を表す「原因となる」と翻訳されており，並び替えなしの翻訳である「部品である」と比べて正しい翻訳結果となっている．NMTによる翻訳例ではPBSMTによる翻訳例と比較してより流暢な翻訳となっているが，低頻度語である``economizer''が$\langle$unk$\rangle$と翻訳されている．

\begin{table}[b]
\caption{英日対における並び替えの失敗例とその翻訳例}
\label{tab:preorder_failed1}
\input{06table07.tex}
\end{table}

表\ref{tab:preorder_failed1}
に英日対において事前並び替えに失敗した例およびそのPBSMT，NMTによる翻訳結果を示す．RvNNによる並び替えの例では，元々括弧外にあった単語列が，並び替えの結果括弧の中に入っていたり，左括弧と右括弧の順番が反対になっている．これは構文解析の結果，図\ref{fig:parse_ex}に示すように``(c)''というフレーズが誤って二つの句に分断されており，その誤りが事前並び替えに影響してしまったためである．BTGでは構文解析と並び替えを同時に行うため，このような構文解析誤りの影響を受けない．

表\ref{tab:preorder_enfr}，\ref{tab:preorder_enzh}に，英仏対および英中対での並び替えおよび翻訳結果を示す．これらの言語対では語順が似ているため，事前並び替えを行っても語順はほとんど変化せず，実際に並び替えなしの文とBTG，RvNNによって並び替えられた文も，それほど変化していない．

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia6f3.eps}
\end{center}
\caption{失敗した構文解析結果の一部分（横線が引いてある節ノードは``Inverted''を示す）}
\label{fig:parse_ex}
\end{figure}
\begin{table}[t]
\caption{英仏対における並び替えの例とその翻訳例}
\label{tab:preorder_enfr}
\input{06table08.tex}
\end{table}

\begin{table}[t]
\caption{英中対における並び替えの例とその翻訳例}
\label{tab:preorder_enzh}
\input{06table09.tex}
\end{table}


\section{まとめ}

本稿では統計的機械翻訳のための素性テンプレートの設計を必要としないRvNNを用いた事前並び替え手法を提案した．英日，英仏，英中言語対を用いた評価実験の結果，提案手法は英日統計的機械翻訳において，人手で設計した素性テンプレートに基づく事前並び替え手法のstate-of-the-art \cite{nakagawa2015}と同等の翻訳性能を達成している．しかし，提案手法では構文解析を必要とするため，構文解析の誤りが事前並び替えの精度に影響する．よって，構文解析とノードの並び替えを同時に行うモデルの構築が今後の課題の$1$つとして挙げられる．

先行研究\cite{sudoh-nagata:2016:WAT2016,DuandWay:2017}において，事前並び替えを行った文対でNMTを訓練すると，翻訳精度が低下することが報告されている．しかし提案手法を用いた場合，英仏，中英対ではNMTにおいてBLEU値が有意に向上しており，事前並び替えがNMTに貢献する可能性が示された．提案手法では事前並び替えとNMTは完全に独立なモデルとなっているが，これらを統合し，事前並び替えモデルとNMTの訓練を同時に行うことでNMTに適した事前並び替えを行えると期待できる．今後，このような事前並び替えとNMTモデルを融合した手法に取り組む予定である．


\acknowledgment

本研究は，日本電信電話株式会社 コミュニケーション科学基礎研究所及びJSPS科研費\#17H06822の助成を受けたものです．本稿の評価実験を行うにあたり，ご協力いただいた星野 翔氏に深謝いたします．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bojar, Chatterjee, Federmann, Haddow, Huck, Hokamp,
  Koehn, Logacheva, Monz, Negri, Post, Scarton, Specia, \BBA\ Turchi}{Bojar
  et~al.}{2015}]{bojar-EtAl:2015:WMT}
Bojar, O., Chatterjee, R., Federmann, C., Haddow, B., Huck, M., Hokamp, C.,
  Koehn, P., Logacheva, V., Monz, C., Negri, M., Post, M., Scarton, C., Specia,
  L., \BBA\ Turchi, M. \BBOP 2015\BBCP.
\newblock \BBOQ Findings of the 2015 Workshop on Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation (WMT)}, \mbox{\BPGS\ 1--46}, Lisbon, Portugal.

\bibitem[\protect\BCAY{Botha, Pitler, Ma, Bakalov, Salcianu, Weiss, McDonald,
  \BBA\ Petrov}{Botha et~al.}{2017}]{botha-EtAl:2017:EMNLP2017}
Botha, J.~A., Pitler, E., Ma, J., Bakalov, A., Salcianu, A., Weiss, D.,
  McDonald, R., \BBA\ Petrov, S. \BBOP 2017\BBCP.
\newblock \BBOQ Natural Language Processing with Small Feed-Forward
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 2879--2885}, Copenhagen,
  Denmark.

\bibitem[\protect\BCAY{Cettolo, Niehues, St{\"{u}}ker, Bentivogli, Cattoni,
  \BBA\ Federico}{Cettolo et~al.}{2015}]{iwslt15}
Cettolo, M., Niehues, J., St{\"{u}}ker, S., Bentivogli, L., Cattoni, R., \BBA\
  Federico, M. \BBOP 2015\BBCP.
\newblock \BBOQ The IWSLT 2015 Evaluation Campaign.\BBCQ\
\newblock In {\Bem Proceedings of the International Workshop on Spoken Language
  Translation (IWSLT)}, \mbox{\BPGS\ 2--10}, Tokyo, Japan.

\bibitem[\protect\BCAY{Che, Spitkovsky, \BBA\ Liu}{Che
  et~al.}{2012}]{che-spitkovsky-liu:2012:ACL2012short}
Che, W., Spitkovsky, V., \BBA\ Liu, T. \BBOP 2012\BBCP.
\newblock \BBOQ A Comparison of Chinese Parsers for Stanford
  Dependencies.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 11--16}, Jeju Island, Korea.

\bibitem[\protect\BCAY{Chu, Nakazawa, Kawahara, \BBA\ Kurohashi}{Chu
  et~al.}{2016}]{chu-EtAl:2016:ALR12}
Chu, C., Nakazawa, T., Kawahara, D., \BBA\ Kurohashi, S. \BBOP 2016\BBCP.
\newblock \BBOQ SCTB: A Chinese Treebank in Scientific Domain.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Asian Language Resources
  (ALR)}, \mbox{\BPGS\ 59--67}, Osaka, Japan.

\bibitem[\protect\BCAY{Collins, Koehn, \BBA\ Kucerova}{Collins
  et~al.}{2005}]{CollinsKoehn2005}
Collins, M., Koehn, P., \BBA\ Kucerova, I. \BBOP 2005\BBCP.
\newblock \BBOQ Clause Restructuring for Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 531--540}.

\bibitem[\protect\BCAY{Crego \BBA\ Habash}{Crego \BBA\
  Habash}{2008}]{crego-habash:2008:WMT}
Crego, J.~M.\BBACOMMA\ \BBA\ Habash, N. \BBOP 2008\BBCP.
\newblock \BBOQ Using Shallow Syntax Information to Improve Word Alignment and
  Reordering for SMT.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 53--61}, Columbus, Ohio.

\bibitem[\protect\BCAY{Crego \BBA\ Mari{\~{n}}o}{Crego \BBA\
  Mari{\~{n}}o}{2006}]{Crego2006}
Crego, J.~M.\BBACOMMA\ \BBA\ Mari{\~{n}}o, J.~B. \BBOP 2006\BBCP.
\newblock \BBOQ Improving Statistical MT by Coupling Reordering and
  Decoding.\BBCQ\
\newblock {\Bem Machine Translation}, {\Bbf 20}  (3), \mbox{\BPGS\ 199--215}.

\bibitem[\protect\BCAY{de~Gispert, Iglesias, \BBA\ Byrne}{de~Gispert
  et~al.}{2015}]{degispert-iglesias-byrne:2015:NAACL-HLT}
de~Gispert, A., Iglesias, G., \BBA\ Byrne, B. \BBOP 2015\BBCP.
\newblock \BBOQ Fast and Accurate Preordering for SMT using Neural
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the North American Chapter
  of the Association for Computational Linguistics: Human Language Technologies
  (NAACL-HLT)}, \mbox{\BPGS\ 1012--1017}, Denver, Colorado.

\bibitem[\protect\BCAY{DeNero \BBA\ Uszkoreit}{DeNero \BBA\
  Uszkoreit}{2011}]{denero-uszkoreit:2011:EMNLP}
DeNero, J.\BBACOMMA\ \BBA\ Uszkoreit, J. \BBOP 2011\BBCP.
\newblock \BBOQ Inducing Sentence Structure from Parallel Corpora for
  Reordering.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 193--203}, Edinburgh, UK.

\bibitem[\protect\BCAY{Du \BBA\ Way}{Du \BBA\ Way}{2017}]{DuandWay:2017}
Du, J.\BBACOMMA\ \BBA\ Way, A. \BBOP 2017\BBCP.
\newblock \BBOQ Pre-Reordering for Neural Machine Translation: Helpful or
  Harmful?\BBCQ\
\newblock {\Bem The Prague Bulletin of Mathematical Linguistics}, {\Bbf 108},
  \mbox{\BPGS\ 171--182}.

\bibitem[\protect\BCAY{Genzel}{Genzel}{2010}]{genzel:2010:PAPERS}
Genzel, D. \BBOP 2010\BBCP.
\newblock \BBOQ Automatically Learning Source-side Reordering Rules for Large
  Scale Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference on Computational
  Linguistics (COLING)}, \mbox{\BPGS\ 376--384}, Beijing, China.

\bibitem[\protect\BCAY{Gojun \BBA\ Fraser}{Gojun \BBA\
  Fraser}{2012}]{gojunfraser2012}
Gojun, A.\BBACOMMA\ \BBA\ Fraser, A. \BBOP 2012\BBCP.
\newblock \BBOQ Determining the Placement of German Verbs in English-to-German
  SMT.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the European Chapter of the
  Association for Computational Linguistics (EACL)}, \mbox{\BPGS\ 726--735},
  Avignon, France.

\bibitem[\protect\BCAY{Goller \BBA\ Kuchler}{Goller \BBA\
  Kuchler}{1996}]{GollerandKuchler}
Goller, C.\BBACOMMA\ \BBA\ Kuchler, A. \BBOP 1996\BBCP.
\newblock \BBOQ Learning Task-dependent Distributed Representations by
  Backpropagation through Structure.\BBCQ\
\newblock In {\Bem Proceedings of the IEEE International Conference on Neural
  Networks, 1996}, \lowercase{\BVOL}~1, \mbox{\BPGS\ 347--352}.

\bibitem[\protect\BCAY{Goto, Utiyama, Sumita, Tamura, \BBA\ Kurohashi}{Goto
  et~al.}{2013}]{P13-1016}
Goto, I., Utiyama, M., Sumita, E., Tamura, A., \BBA\ Kurohashi, S. \BBOP
  2013\BBCP.
\newblock \BBOQ Distortion Model Considering Rich Context for Statistical
  Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 155--165}, Sofia, Bulgaria.

\bibitem[\protect\BCAY{Hayashi, Sudoh, Tsukada, Suzuki, \BBA\ Nagata}{Hayashi
  et~al.}{2013}]{hayashi-EtAl:2013:EMNLP}
Hayashi, K., Sudoh, K., Tsukada, H., Suzuki, J., \BBA\ Nagata, M. \BBOP
  2013\BBCP\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1382--1386}, Seattle, USA.

\bibitem[\protect\BCAY{Hoshino, Miyao, Sudoh, Hayashi, \BBA\ Nagata}{Hoshino
  et~al.}{2015}]{hoshino-EtAl:2015:ACL-IJCNLP}
Hoshino, S., Miyao, Y., Sudoh, K., Hayashi, K., \BBA\ Nagata, M. \BBOP
  2015\BBCP.
\newblock \BBOQ Discriminative Preordering Meets Kendall's $\tau$
  Maximization.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics and International Joint Conference on Natural
  Language Processing (ACL-IJCNLP)}, \mbox{\BPGS\ 139--144}, Beijing, China.

\bibitem[\protect\BCAY{Isozaki, Sudoh, Tsukada, \BBA\ Duh}{Isozaki
  et~al.}{2010}]{isozaki10hfe}
Isozaki, H., Sudoh, K., Tsukada, H., \BBA\ Duh, K. \BBOP 2010\BBCP.
\newblock \BBOQ Head Finalization: A Simple Reordering Rule for SOV
  Languages.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Statistical Machine
  Translation and MetricsMATR}, \mbox{\BPGS\ 244--251}, Uppsala, Sweden.

\bibitem[\protect\BCAY{Jehl, de~Gispert, Hopkins, \BBA\ Byrne}{Jehl
  et~al.}{2014}]{E14-1026}
Jehl, L., de~Gispert, A., Hopkins, M., \BBA\ Byrne, W. \BBOP 2014\BBCP.
\newblock \BBOQ Source-side Preordering for Translation using Logistic
  Regression and Depth-first Branch-and-Bound Search.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the European Chapter of the
  Association for Computational Linguistics (EACL)}, \mbox{\BPGS\ 239--248},
  Gothenburg, Sweden.

\bibitem[\protect\BCAY{Joachims}{Joachims}{2002}]{joachims2002optimizing}
Joachims, T. \BBOP 2002\BBCP.
\newblock \BBOQ Optimizing Search Engines using Clickthrough Data.\BBCQ\
\newblock In {\Bem Proceedings of the ACM SIGKDD International Conference on
  Knowledge Discovery and Data Mining}, \mbox{\BPGS\ 133--142}, New York, USA.

\bibitem[\protect\BCAY{Kanouchi, Sudoh, \BBA\ Komachi}{Kanouchi
  et~al.}{2016}]{kanouchi-sudoh-komachi:2016:WAT2016}
Kanouchi, S., Sudoh, K., \BBA\ Komachi, M. \BBOP 2016\BBCP.
\newblock \BBOQ Neural Reordering Model Considering Phrase Translation and Word
  Alignment for Phrase-based Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Asian Translation (WAT)},
  \mbox{\BPGS\ 94--103}, Osaka, Japan.

\bibitem[\protect\BCAY{Kawara, Chu, \BBA\ Arase}{Kawara
  et~al.}{2018}]{P18-3004}
Kawara, Y., Chu, C., \BBA\ Arase, Y. \BBOP 2018\BBCP.
\newblock \BBOQ Recursive Neural Network Based Preordering for
  English-to-Japanese Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL), Student Research Workshop}, \mbox{\BPGS\
  21--27}, Melbourne, Australia.

\bibitem[\protect\BCAY{Kendall}{Kendall}{1938}]{kendall1938measure}
Kendall, M.~G. \BBOP 1938\BBCP.
\newblock \BBOQ A New Measure of Rank Correlation.\BBCQ\
\newblock {\Bem Biometrika}, {\Bbf 30}  (1/2), \mbox{\BPGS\ 81--93}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\
  Ba}{2015}]{DBLP:journals/corr/KingmaB14}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference for Learning
  Representations (ICLR)}, San Diego, USA.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn:2004:EMNLP}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 388--395}, Barcelona,
  Spain.

\bibitem[\protect\BCAY{Koehn, Och, \BBA\ Marcu}{Koehn
  et~al.}{2003}]{Koehn:2003:SPT:1073445.1073462}
Koehn, P., Och, F.~J., \BBA\ Marcu, D. \BBOP 2003\BBCP.
\newblock \BBOQ Statistical Phrase-based Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the North American Chapter
  of the Association for Computational Linguistics on Human Language Technology
  (NAACL-HLT)}, \mbox{\BPGS\ 48--54}, Edmonton, Canada.

\bibitem[\protect\BCAY{Lerner \BBA\ Petrov}{Lerner \BBA\
  Petrov}{2013}]{lerner-petrov:2013:EMNLP}
Lerner, U.\BBACOMMA\ \BBA\ Petrov, S. \BBOP 2013\BBCP.
\newblock \BBOQ Source-Side Classifier Preordering for Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 513--523}, Seattle, USA.

\bibitem[\protect\BCAY{Li, Li, Zhang, Li, Zhou, \BBA\ Guan}{Li
  et~al.}{2007}]{li-EtAl:2007:ACLMain2}
Li, C.-H., Li, M., Zhang, D., Li, M., Zhou, M., \BBA\ Guan, Y. \BBOP 2007\BBCP.
\newblock \BBOQ A Probabilistic Approach to Syntax-based Reordering for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association of
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 720--727}, Prague, Czech
  Republic.

\bibitem[\protect\BCAY{Luong, Pham, \BBA\ Manning}{Luong
  et~al.}{2015}]{D15-1166}
Luong, T., Pham, H., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Effective Approaches to Attention-based Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1412--1421}, Lisbon,
  Portugal.

\bibitem[\protect\BCAY{Miceli~Barone \BBA\ Attardi}{Miceli~Barone \BBA\
  Attardi}{2015}]{micelibarone-attardi:2015:ACL-IJCNLP}
Miceli~Barone, A.~V.\BBACOMMA\ \BBA\ Attardi, G. \BBOP 2015\BBCP.
\newblock \BBOQ Non-projective Dependency-based Pre-Reordering with Recurrent
  Neural Network for Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics and the International Joint Conference on Natural
  Language Processing (ACL-IJCNLP)}, \mbox{\BPGS\ 846--856}, Beijing, China.

\bibitem[\protect\BCAY{Miyao \BBA\ Tsujii}{Miyao \BBA\
  Tsujii}{2008}]{Miyao:2008:FFM:1350986.1350988}
Miyao, Y.\BBACOMMA\ \BBA\ Tsujii, J. \BBOP 2008\BBCP.
\newblock \BBOQ Feature Forest Models for Probabilistic Hpsg Parsing.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 34}  (1), \mbox{\BPGS\
  35--80}.

\bibitem[\protect\BCAY{Nakagawa}{Nakagawa}{2015}]{nakagawa2015}
Nakagawa, T. \BBOP 2015\BBCP.
\newblock \BBOQ Efficient Top-Down BTG Parsing for Machine Translation
  Preordering.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics and International Joint Conference on Natural
  Language Processing (ACL-IJCNLP)}, \mbox{\BPGS\ 208--218}, Beijing, China.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi,
  \BBA\ Isahara}{Nakazawa et~al.}{2016}]{NAKAZAWA16.621}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi,
  S., \BBA\ Isahara, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASPEC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference on Language
  Resources and Evaluation (LREC)}, \mbox{\BPGS\ 2204--2208}, Portoro{\v{z}},
  Slovenia.

\bibitem[\protect\BCAY{Neubig, Watanabe, \BBA\ Mori}{Neubig
  et~al.}{2012}]{neubig-watanabe-mori:2012:EMNLP-CoNLL}
Neubig, G., Watanabe, T., \BBA\ Mori, S. \BBOP 2012\BBCP.
\newblock \BBOQ Inducing a Discriminative Parser to Optimize Machine
  Translation Reordering.\BBCQ\
\newblock In {\Bem Proceedings of the Joint Conference on Empirical Methods in
  Natural Language Processing and Computational Natural Language Learning
  (EMNLP-CoNLL)}, \mbox{\BPGS\ 843--853}, Jeju Island, Korea.

\bibitem[\protect\BCAY{Och}{Och}{2003}]{och:2003:ACL}
Och, F.~J. \BBOP 2003\BBCP.
\newblock \BBOQ Minimum Error Rate Training in Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 160--167}, Sapporo, Japan.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-EtAl:2002:ACL}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: a Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 311--318}, Philadelphia, USA.

\bibitem[\protect\BCAY{Socher, Lin, Ng, \BBA\ Manning}{Socher
  et~al.}{2011}]{Socher:2011:PNS:3104482.3104499}
Socher, R., Lin, C. C.-Y., Ng, A.~Y., \BBA\ Manning, C.~D. \BBOP 2011\BBCP.
\newblock \BBOQ Parsing Natural Scenes and Natural Language with Recursive
  Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the on International Conference on Machine
  Learning (ICML)}, \mbox{\BPGS\ 129--136}, Bellevue, USA.

\bibitem[\protect\BCAY{Sudoh \BBA\ Nagata}{Sudoh \BBA\
  Nagata}{2016}]{sudoh-nagata:2016:WAT2016}
Sudoh, K.\BBACOMMA\ \BBA\ Nagata, M. \BBOP 2016\BBCP.
\newblock \BBOQ Chinese-to-Japanese Patent Machine Translation based on
  Syntactic Pre-ordering for WAT 2016.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Asian Translation (WAT)},
  \mbox{\BPGS\ 211--215}, Osaka, Japan.

\bibitem[\protect\BCAY{Tillmann}{Tillmann}{2004}]{Tillmann:2004:UOM:1613984.1614010}
Tillmann, C. \BBOP 2004\BBCP.
\newblock \BBOQ A Unigram Orientation Model for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Human Language Technology Conference of
  the North American Chapter of the Association for Computational Linguistics
  (HLT-NAACL)}, \mbox{\BPGS\ 101--104}, Boston, USA.

\bibitem[\protect\BCAY{Tromble \BBA\ Eisner}{Tromble \BBA\
  Eisner}{2009}]{tromble-eisner:2009:EMNLP}
Tromble, R.\BBACOMMA\ \BBA\ Eisner, J. \BBOP 2009\BBCP.
\newblock \BBOQ Learning Linear Ordering Problems for Better Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1007--1016}, Singapore.

\bibitem[\protect\BCAY{Utiyama \BBA\ Isahara}{Utiyama \BBA\
  Isahara}{2007}]{Utiyama07ajapanese-english}
Utiyama, M.\BBACOMMA\ \BBA\ Isahara, H. \BBOP 2007\BBCP.
\newblock \BBOQ A Japanese-English Patent Parallel Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the Machine Translation Summit XI},
  \mbox{\BPGS\ 475--482}, Copenhagen, Denmark.

\bibitem[\protect\BCAY{Visweswariah, Rajkumar, Gandhe, Ramanathan, \BBA\
  Navratil}{Visweswariah et~al.}{2011}]{visweswariah-EtAl:2011:EMNLP}
Visweswariah, K., Rajkumar, R., Gandhe, A., Ramanathan, A., \BBA\ Navratil, J.
  \BBOP 2011\BBCP.
\newblock \BBOQ A Word Reordering Model for Improved Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 486--496}, Edinburgh, UK.

\bibitem[\protect\BCAY{Wang, Collins, \BBA\ Koehn}{Wang
  et~al.}{2007}]{wang-collins-koehn:2007:EMNLP-CoNLL2007}
Wang, C., Collins, M., \BBA\ Koehn, P. \BBOP 2007\BBCP.
\newblock \BBOQ Chinese Syntactic Reordering for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Joint Conference on Empirical Methods in
  Natural Language Processing and Computational Natural Language Learning
  (EMNLP-CoNLL)}, \mbox{\BPGS\ 737--745}, Prague, Czech Republic.

\bibitem[\protect\BCAY{Wang, Tu, Xiong, \BBA\ Zhang}{Wang
  et~al.}{2017}]{D17-1149}
Wang, X., Tu, Z., Xiong, D., \BBA\ Zhang, M. \BBOP 2017\BBCP.
\newblock \BBOQ Translating Phrases in Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1421--1431}, Copenhagen,
  Denmark.

\bibitem[\protect\BCAY{Wu}{Wu}{1997}]{Wu:1997:SIT:972705.972707}
Wu, D. \BBOP 1997\BBCP.
\newblock \BBOQ Stochastic Inversion Transduction Grammars and Bilingual
  Parsing of Parallel Corpora.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 23}  (3), \mbox{\BPGS\
  377--403}.

\bibitem[\protect\BCAY{Xia \BBA\ McCord}{Xia \BBA\
  McCord}{2004}]{xia-mccord:2004:COLING}
Xia, F.\BBACOMMA\ \BBA\ McCord, M. \BBOP 2004\BBCP.
\newblock \BBOQ Improving a Statistical MT System with Automatically Learned
  Rewrite Patterns.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference on Computational
  Linguistics (COLING)}, \mbox{\BPGS\ 508--514}, Geneva, Switzerland.

\bibitem[\protect\BCAY{Xu, Kang, Ringgaard, \BBA\ Och}{Xu
  et~al.}{2009}]{xu-EtAl:2009:NAACLHLT09}
Xu, P., Kang, J., Ringgaard, M., \BBA\ Och, F. \BBOP 2009\BBCP.
\newblock \BBOQ Using a Dependency Parser to Improve SMT for
  Subject-Object-Verb Languages.\BBCQ\
\newblock In {\Bem Proceedings of Human Language Technologies: The Annual
  Conference of the North American Chapter of the Association for Computational
  Linguistics (HLT-NAACL)}, \mbox{\BPGS\ 245--253}, Boulder, Colorado.

\bibitem[\protect\BCAY{Yang, Li, Zhang, \BBA\ Yu}{Yang
  et~al.}{2012}]{yang-EtAl:2012:ACL2012}
Yang, N., Li, M., Zhang, D., \BBA\ Yu, N. \BBOP 2012\BBCP.
\newblock \BBOQ A Ranking-based Approach to Word Reordering for Statistical
  Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics (ACL)}, \mbox{\BPGS\ 912--920}, Jeju Island, Korea.

\bibitem[\protect\BCAY{Zhang, Zens, \BBA\ Ney}{Zhang
  et~al.}{2007}]{Zhang:2007:CRS:1626281.1626282}
Zhang, Y., Zens, R., \BBA\ Ney, H. \BBOP 2007\BBCP.
\newblock \BBOQ Chunk-level Reordering of Source Language Sentences with
  Automatically Learned Rules for Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Human Language Technologies: The Conference of the North
  American Chapter of the Association for Computational Linguistics
  (HLT-NAACL); Proceedings of the Main Conference}, \mbox{\BPGS\ 1--8},
  Rochester, USA.

\end{thebibliography}


\begin{biography}
\bioauthor{瓦　　祐希}{
2018年大阪大学大学院情報科学研究科博士前期課程修了．現在同大学院博士課程．機械翻訳の研究に従事．言語処理学会，ACL，各会員．
}

\bioauthor[:]{Chenhui Chu}{
2008年重慶大学ソフトウェア工学部卒業．2012年に京都大学大学院情報学研究科修士課程修了．2015年同大学院博士課程修了．博士（情報学）．日本学術振興会特別研究員DC2，国立研究開発法人科学技術振興機構研究員を経て，2017年より大阪大学データビリティフロンティア機構特任助教．機械翻訳，自然言語処理の研究に従事．言語処理学会，人工知能学会，ACL，各会員．
}

\bioauthor{荒瀬　由紀}{
2006年大阪大学工学部電子情報エネルギー工学科卒業． 2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，Microsoft Research Asiaに入社，自然言語処理に関する研究開発に従事． 2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．言い換え表現抽出，機械翻訳技術，対話システム研究に興味を持つ．
}


\end{biography}


\biodate




\end{document}
