    \documentclass[japanese]{jnlp_2.2}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}

\usepackage{multirow}

\Volume{26}
\Number{1}
\Month{March}
\Year{2019}

\received{2018}{8}{1}
\revised{2018}{11}{1}
\accepted{2018}{12}{12}

\setcounter{page}{207}

\jsubject{論文}
\jtitle{CKYに基づく畳み込みアテンション構造を用いた\\ ニューラル機械翻訳}
\jauthor{渡邊　大貴\affiref{Ehime} \and 田村　晃裕\affiref{Ehime} \and 二宮　　崇\affiref{Ehime} \and Teguh Bharata Adji\affiref{Gadjah}}
\jabstract{
本論文では，ニューラル機械翻訳 (NMT) の性能を改善するため，CKY アルゴリズムから着想を得た，畳み込みニューラルネットワーク (CNN) に基づく新しいアテンション構造を提案する．提案のアテンション構造は，CKY テーブルを模倣した CNN を使って，原言語文中の隣接する単語／句の全ての可能な組み合わせを表現する．提案のアテンション構造を組み込んだ NMT は，CKY テーブルの各セルに対応する CNN の隠れ状態に対するアテンションスコア（言い換えると，原言語文中の単語の組み合わせに対するアテンションスコア）に基づき目的言語の文を生成する．従来の文構造に基づく NMT は予め構文解析器で解析した文構造を活用するが，提案のアテンション構造を用いる NMT は，原言語文の構文解析を予め行うことなく，原言語の文に潜む構造に対するアライメントを考慮した翻訳を行うことができる．Asian Scientific Paper Excerpt Corpus (ASPEC) 英日翻訳タスクの評価実験により，提案のアテンション構造を用いることで，従来のアテンション構造付きのエンコーダデコーダモデルと比較して，1.43 ポイント BLEU スコアが上昇することを示す．さらに，FBIS コーパスにおける中英翻訳タスクにおいて，提案手法は，従来のアテンション構造付きのエンコーダデコーダモデルと同等かそれ以上の精度を達成できることを示す．

}
\jkeywords{ニューラル機械翻訳，CKYアルゴリズム，畳み込みニューラルネットワーク}

\etitle{Neural Machine Translation with CKY-based Convolutional Attention}
\eauthor{Taiki Watanabe\affiref{Ehime} \and Akihiro Tamura\affiref{Ehime} \and Takashi Ninomiya\affiref{Ehime} \and Teguh Bharata Adji\affiref{Gadjah}} 
\eabstract{
This paper proposes a new attention mechanism for neural machine translation (NMT) based on convolutional neural networks (CNNs), which is inspired by the CKY algorithm. The proposed attention represents every possible combination of source words (e.g., phrases and structures) through CNNs, which imitates the CKY table in the algorithm. NMT, incorporating the proposed attention, decodes a target sentence on the basis of the attention scores of the hidden states of CNNs. The proposed attention enables NMT to capture alignments from underlying structures of a source sentence without sentence parsing. The evaluations on the Asian Scientific Paper Excerpt Corpus (ASPEC) English-Japanese translation task show that the proposed attention gains 1.43 points in BLEU as compared to a conventional attention-based encoder decoder model.  Furthermore, the proposed attention is at least comparable to, or better than, a conventional attention-based encoder decoder model on the FBIS Chinese-English translation task.
}
\ekeywords{Neural Machine Translation, CKY Algorithm, Convolutional Neural Networks}

\headauthor{渡邊，田村，二宮，Adji}
\headtitle{CKYに基づく畳み込みアテンション構造を用いたニューラル機械翻訳}

\affilabel{Ehime}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Gadjah}{Department of Electrical Engineering and Information Technology}{Universitas Gadjah Mada}


\begin{document}
\maketitle


\section{はじめに}

近年，ニューラルネットワークに基づく機械翻訳（ニューラル機械翻訳；NMT）は，単純な構造で高い精度の翻訳を実現できることが知られており，注目を集めている．NMTの中でも，特に，エンコーダデコーダモデルと呼ばれる，エンコーダ用とデコーダ用の2種類のリカレントニューラルネットワーク (RNN) を用いる方式が盛んに研究されている\cite{sutskever2014sequence}．
エンコーダデコーダモデルは，まず，エンコーダ用のRNNにより原言語の文を固定長のベクトルに変換し，その後，デコーダ用のRNNにより変換されたベクトルから目的言語の文を生成する．通常，RNNには，Gated Recurrent Units (GRU) \cite{cho-EtAl:2014:EMNLP2014} や Long Short-Term Memory LSTM) \cite{hochreiter1997long,gers2000learning} が用いられる．
このエンコーダデコーダモデルは，アテンション構造を導入することで飛躍的な精度改善を実現した \cite{bahdanau2015,luong-pham-manning:2015:EMNLP}．
この拡張したエンコーダデコーダモデルをアテンションに基づくNMT (ANMT) と呼ぶ．
ANMTでは，デコーダは，デコード時にエンコーダの隠れ層の各状態を参照し，原言語文の中で注目すべき単語を絞り込みながら目的言語文を生成する．

NMTが出現するまで主流であった統計的機械翻訳など，機械翻訳の分野では，原言語の文，目的言語の文，またはその両方の文構造を活用することで性能改善が行われてきた \cite{lin2004path,DingP05-1067,QuirkP05-1034,LiuP06-1077,huang2006statistical}．
ANMTにおいても，その他の機械翻訳の枠組み同様，文の構造を利用することで性能改善が実現されている．
例えば，Eriguchiら \cite{eriguchi-hashimoto-tsuruoka:2016:P16-1}  は，NMTによる英日機械翻訳において原言語側の文構造が有用であることを示している．
従来の文構造に基づくNMTのほとんどは，事前に構文解析器により解析された文構造を活用する．そのため，構文解析器により解析誤りが生じた場合，その構造を利用する翻訳に悪影響を及ぼしかねない．また，必ずしも構文解析器で解析される構文情報が翻訳に最適とは限らない．

そこで本論文では，予め構文解析を行うことなく原言語の文の構造を活用することでNMTの性能を改善することを目指し，CKYアルゴリズム \cite{Kasami65,Younger67} を模倣したCNNに基づく畳み込みアテンション構造を提案する．
CKYアルゴリズムは，構文解析の有名なアルゴリズムの一つであり，文構造をボトムアップに解析する．CKYアルゴリズムでは，CKYテーブルを用いて，動的計画法により効率的に全ての可能な隣接する単語／句の組み合わせを考慮して文構造を表現している．
提案手法は，このCKYアルゴリズムを参考にし，CKYテーブルを模倣したCNNをアテンション構造に組み込むことで，原言語文中の全ての可能な隣接する単語／句の組み合わせに対するアテンションスコアを考慮した翻訳を可能とする．
具体的には，提案のアテンション構造は，CKYテーブルの計算手順と同様の順序でCNNを構築し，提案のアテンション構造を組み込んだANMTは，デコード時に，CKYテーブルの各セルに対応するCNNの隠れ層の各状態を参照することにより，注目すべき原言語の文の構造（隣接する単語／句の組み合わせ）を絞り込みながら目的言語の文を生成する．
したがって，提案のアテンション構造を組み込んだANMTは，事前に構文解析器による構文解析を行うことなく，目的言語の各単語を予測するために有用な原言語の構造を捉えることが可能である．
ASPECの英日翻訳タスク \cite{NAKAZAWA16.621} の評価実験において，提案のアテンション構造を用いることで
従来のANMTと比較して，1.43ポイントBLEUスコアが上昇することを示す．
また，FBISコーパスにおける中英翻訳タスクの評価実験において，提案手法は従来のANMTと同等もしくはそれ以上の精度を達成できることを示す．


\section{関連研究}

ANMTの性能を改善する方向性の一つとして，文の構造を活用するANMTが数多く提案されている．文構造に基づくANMTは，原言語の文構造を利用するANMT，目的言語の文構造を利用するANMT，原言語と目的言語の文構造を利用するANMTの3つに大別できる．

原言語の文構造を利用するANMTとして，Eriguchiら \cite{eriguchi-hashimoto-tsuruoka:2016:P16-1} は，事前に解析した原言語文の句構造をTree-LSTM \cite{TaiP15-1150} によりボトムアップにエンコードするANMTを提案している．
Yangら \cite{YangD17-1150}，そしてChenら \cite{ChenP17-1177} は，このEriguchiらのモデルを拡張し，原言語文の句構造をボトムアップにエンコードした後でトップダウンにエンコードする双方向のエンコーダを用いるANMTを提案している．
Sennrichら \cite{SennrichW16-2209} は，原言語の文の言語学的素性を埋め込み層でベクトル化し，原言語の単語の埋め込みベクトルと結合したベクトルをRNNエンコーダの入力とするANMTを提案している．様々な言語学的素性を用いているが，その中に，品詞タグや係り受け関係のタグといった文構造を表す素性を用いている．
Chenら \cite{ChenD17-1304} は，原言語の文の係り受け解析結果に基づき，親ノード，子ノード，兄弟ノードの情報をCNNで畳み込み，畳み込んだベクトルをANMTで用いる方法を提案している．
Bastingsら \cite{BastingsD17-1209} は，原言語文の係り受け構造をグラフ構造とみなし，Graph Convolutional Networksにより係り受け構造をエンコーディングするエンコーダを提案し，Bag-of-WordsエンコーダやCNNエンコーダ，双方向RNNエンコーダと組み合わせることで性能改善を行っている．
Liら \cite{LiP17-1064} は，原言語の文の句構造解析木を線形化して得られた構造ラベル系列と原言語文の単語系列の2つの系列をエンコーディングするエンコーダを複数提案している．

目的言語の文構造を利用するANMTとしては，Wuら \cite{WuP17-1065}，そしてEriguchiら \cite{EriguchiP17-2012} がShift-Reduce法の依存構造解析をデコーダに組み込み，目的言語文の単語系列とその依存構造を同時にデコードすることで目的言語側の文構造を活用するANMTを提案している．
Eriguchiら \cite{EriguchiP17-2012} は，構文解析モデルの一つであるRecurrent Neural Network Grammars \cite{DyerN16-1024} をNMTのデコーダに適用することで，目的言語文の構文構造を翻訳に利用している．
Aharoniら \cite{AharoniP17-2021} は目的言語側の文構造を翻訳で活用するために，目的言語文の句構造解析木を線形化した系列を出力するNMTを構築することを提案している．

また，Wuら \cite{Wu2018} は，原言語側と目的言語側の両方の依存構造を活用するdependency-to-dependencyニューラル機械翻訳モデルを提案している．

これらの文構造に基づく従来のANMTは，構文解析器により解析した文構造を活用する．したがって，構文解析器により解析誤りが生じた場合，その構造を利用する翻訳に悪影響を及ぼしかねない．また，必ずしも構文解析器で解析される構文情報が翻訳にとって最適とは限らない．そこで本研究では，予め構文解析を行うことなく原言語の文の構造を活用するANMTを提案する．

構文解析器による解析を必要としない文構造を活用するANMTとして，Hashimotoら 
\linebreak
\cite{hashimoto-tsuruoka:2017:EMNLP2017} のモデルがある．このモデルでは，原言語側の構文解析モデルと翻訳モデルを対訳コーパスから同時に学習し，翻訳タスクに適した構文解析モデルを学習することで翻訳精度を向上させている．このモデルは構文解析として係り受け解析を用いているが，本研究では，アテンション構造で目的言語の単語を予測する際に有効な単語のまとまりを捉えることに焦点をあて，句構造解析を前提としている．

また，エンコーダにCNNを用いたNMTとしては，Choら \cite{DBLP:conf/ssst/ChoMBB14}，そしてGehringら \cite{ConvEncGehring2017} の手法がある．Gehringらの手法では，2つのCNNをエンコーダとして使用する．一方のCNNは，デコード時にアテンションスコアを計算するための出力を生成するもので，原言語文の幅広い情報を扱う．一方，他方のCNNは，LSTMデコーダへ入力するベクトルを計算するためのもので，局所的な情報を扱う．この手法は構文構造に焦点をあてていないが，提案手法では原言語文の構文構造に着目する．
Choらの手法は，Gated Recursive Convolutional Neural Networkを用いて，原言語文をボトムアップにエンコードしている．彼らは，提案のエンコーダで文の構造を教師なしで捉えられると主張している．このモデルと本研究の提案手法との違いは，Choらの手法では，隣接する二つの下位セルを畳み込むことで上位セルを計算するのに対して，提案手法では，CKYアルゴリズムを模倣することで複数の下位セルのペアから上位セルを計算する点である．提案手法では上位セルを計算する際に複数のセルを考慮できるため，翻訳モデルの学習過程で原言語文の構造を捉えやすくなると考えられる．
また，提案手法はアテンション構造を有しているが，Choらの手法ではアテンション構造を有していない点も大きな違いである．定量的に比較してみると，Choらの手法はフレーズベース統計的機械翻訳Mosesより翻訳精度が低いことが報告されているが，我々のASPEC10万文対における実験では，本研究の提案手法はMosesより翻訳精度が高い（MosesのBLEUが18.69，提案手法のBLEUが26.99である）ことを確認している．同じデータセットによる直接の定量的な比較は行っていないが，これらの結果から，提案手法の方がChoらの手法より翻訳性能がよいと考えられる．


\section{アテンションに基づくニューラル機械翻訳(ANMT)}
\label{sect:baseline}

本節では，提案手法のベースラインとなる従来の標準的なANMT  \cite{luong-pham-manning:2015:EMNLP,bahdanau2015} について説明する．
ANMTは，原言語文を固定長のベクトルに変換するエンコーダ用のRNNと，変換した固定長ベクトルから目的言語文を生成するデコーダ用のRNNを用いて翻訳を行う，エンコーダデコーダモデル \cite{sutskever2014sequence,cho-EtAl:2014:EMNLP2014} にアテンション構造を導入したモデルである．
本研究では，2層の双方向LSTMをエンコーダ用RNNとして使用した．原言語文\({\bf x} = x_1,x_2,\cdots，x_{S}\)が入力として与えられたとき，エンコーダは，$i$番目の入力単語$x_i$を単語埋め込み層により$d$次元ベクトル$v_i$に変換する．その後，エンコーダは，$v_i$に対する隠れ状態$h_i$を次式の通り算出する\footnote{式(5)では，
消費メモリを削減するため，両方向の隠れ状態を結合ではなく可算して，次元数を少なくしている．}．
\begin{align}
\overrightarrow{h_{i}^{(1)}} & =LSTM^{(f,1)}_{enc}(v_{i},\overrightarrow{h_{i-1}^{(1)}}),\\
\overleftarrow{h_{i}^{(1)}} & =LSTM^{(b,1)}_{enc}(v_{i},\overleftarrow{h_{i+1}^{(1)}}),\\
\overrightarrow{h_{i}^{(2)}} & = LSTM^{(f,2)}_{enc}(\overrightarrow{h_{i}^{(1)}},\overrightarrow{h_{i-1}^{(2)}})+\overrightarrow{h_{i}^{(1)}},\\
\overleftarrow{h_{i}^{(2)}} & = LSTM^{(b,2)}_{enc}(\overleftarrow{h_{i}^{(1)}},\overleftarrow{h_{i+1}^{(2)}})+\overleftarrow{h_{i}^{(1)}},\\
h_i & = \overrightarrow{h_i^{(2)}}+\overleftarrow{h_i^{(2)}}.
\end{align}
ここで，$\rightarrow$と$\leftarrow$はそれぞれ順方向と逆方向を表し，
$LSTM^{(f,1)}_{enc},LSTM^{(b,1)}_{enc},LSTM^{(f,2)}_{enc},LSTM^{(b,2)}_{enc}$は，それぞれ第1層目の順方向，第1層目の逆方向，第2層目の順方向，第2層目の逆方向のLSTMエンコーダを表す．
また，$\overleftarrow{h_{i}^{(1)}}$，$\overrightarrow{h_{i}^{(1)}}$，$\overleftarrow{h_{i}^{(2)}}$，$\overrightarrow{h_{i}^{(2)}}$，$h_{i}$の次元は$d$である．また，第2層目のLSTMエンコーダには，Residual Connection  \cite{he2016deep}  を適用した．Residual Connectionとは，ショートカット接続を持つ構造で，パラメータの最適化を容易にするものである．

初期のエンコーダデコーダモデル \cite{sutskever2014sequence,cho-EtAl:2014:EMNLP2014} では，
デコーダは，原言語の文をエンコードした固定長のベクトル$h_{S}$を初期値として目的言語の文を生成する．
一方で，アテンション構造を導入したANMTでは，デコーダは，LSTMエンコーダの各隠れ層の状態$h_{i} (i=1,\cdots,S)$を参照しながら，目的言語の文を生成する．
アテンション構造としては，\textit{Additive Attention} \cite{bahdanau2015} や \textit{Dot-Product Attention} \cite{luong-pham-manning:2015:EMNLP} が主流である．
本研究では，アテンション構造として\textit{Dot-Product Attention}の一つである，\textit{Global Dot Attention} \cite{luong-pham-manning:2015:EMNLP} を用いる．また，デコーダ用のRNNとして2層のLSTMを使用する．以下ではデコーダの動作を説明する．

デコーダは，エンコーダによって与えられる原言語文の情報に基づき，目的言語文\({\bf y} = y_1,y_2,\cdots,y_T \)を出力する．
まず，第1層目のLSTMデコーダ ($LSTM^{(1)}_{dec}$) と第2層目のLSTMデコーダ ($LSTM^{(2)}_{dec}$) の初期状態を，それぞれ，第1層目，第2層目の逆方向のLSTMエンコーダの内部状態に初期化する．
その後，$j$番目のLSTMデコーダの第1層目，第2層目の隠れ層の状態$s_j^{(1)}$，$s_j^{(2)}$を，次式の通り，一つ前（$j-1$番目）のデコーダの情報（出力単語や隠れ層の状態など）に基づいて算出する．
\begin{align}
s_j^{(1)} & = LSTM^{(1)}_{dec}([w_{j-1};{\hat s_{j-1}}],s_{j-1}^{(1)}),\\
s_j^{(2)} & = LSTM^{(2)}_{dec}(s_j^{(1)},s_{j-1}^{(2)}).
\end{align}
ここで，$w_{j-1}$は$j-1$番目の出力単語である$y_{j-1}$の単語埋め込みベクトル，「;」はベクトルの結合，${\hat s_{j-1}}$は出力単語$y_{j-1}$の生成時に使用されたアテンションベクトルを表す\footnote{次の時刻のLSTMへの入力にアテンションベクトルを与える方式をinput feeding \cite{luong-pham-manning:2015:EMNLP} と呼ぶ．}．
なお，$w_{j-1}$と$\hat{s}_{j-1}$は$d$次元である．

その後，$j$番目のアテンションベクトル$\hat{s}_{j}$を，コンテキストベクトル$c_j$を使用して，次式の通り算出する．
\begin{equation}
{\hat s_{j}} = \mathrm{tanh}(W_c[s_{j}^{(2)};c_j]+b_c).
\end{equation}
ここで，$W_c\in R^{d\times 2d}$は重み行列，$b_c \in R^{d}$ はバイアス項，$\mathrm{tanh}$はハイパボリックタンジェント関数である．
コンテキストベクトル$c_j$は，エンコーダの全状態$h_{i} (i=1 \cdots S)$の加重平均であり，次式の通り算出されたものである．
\begin{equation}
c_j = \sum^{S}_{i=1} \alpha_j(i) h_i.
\end{equation}
ここで，アテンションスコアと呼ばれる重み$\alpha_j(i)$は，デコーダの状態$s^{(2)}_{j}$において，エンコーダの状態$h_i$に対する重要度を表し，次式の通り算出される．
\begin{equation}
\alpha_j(i) = \frac{\exp(h_i \cdot s_{j}^{(2)})}{\sum_{k=1}^{S}\exp(h_k \cdot s_{j}^{(2)})}.
\end{equation}
ここで，$\mathrm{\exp}$は指数関数を表す．

その後，$j$番目の出力単語$y_j$の確率分布は，アテンションベクトル${\hat s_{j}}$に基づき次式の通り求めることができる．
\begin{equation}
p(y_j | y_{<j},{\bf x}) = \mathrm{softmax}(W_s {\hat s_{j}}+b_s).
\end{equation}
ここで，$W_s \in R^{|V| \times d}$は重み行列，$b_s \in R^{|V|}$はバイアス項，$\mathrm{softmax}$はソフトマックス関数を表す．
また，$|V|$は目的言語の辞書のサイズを表す．

ANMTの目的関数は，次式で表される．
\begin{equation}
J(\theta) = -\sum_{(\bf x,\bf y)\in D} \log p(\bf y|\bf x).
\end{equation}
ここで，$D$はデータセット全体を表し，$\theta$は学習されるモデルパラメータである．

このように，出力単語は，アテンションスコアを重みとした荷重平均であるコンテキストベクトルにしたがって算出したアテンションベクトルに基づいて決定されるため，ANMTでは，エンコーダの各状態の中から注目すべき状態（原言語の文の中で注目すべき単語）をしぼりこみながら目的言語の文を生成することができる．


\section{提案モデル}
\label{sect:proposed}


\subsection{CKYアルゴリズム}

CKYアルゴリズムは，チョムスキー標準形の文脈自由文法により，ボトムアップに構文を解析する手法である．
チョムスキー標準形とは，$A,B,C$を非終端記号，$a$を終端記号としたとき，生成規則がすべて$A \rightarrow B C$または$A \rightarrow a$の形をしているものである．
CKYアルゴリズムでは，図\ref{fig:cky-table}に示すCKYテーブルをボトムアップに埋めていくことで構文解析を行う．CKYテーブルのセルにある括弧中の数字は入力文中の単語のインデックスであり，括弧により入力文中の部分文字列を表現している．例えば，$[0,3]$のセルには，1単語目$w_{1}$から3単語目$w_{3}$までの部分文字列に相当する非終端記号が格納される．各セルに非終端記号を格納する際は，部分文字列を2つにわけ，そのすべての組み合わせに対する生成規則を満たす非終端記号を追加する．例えば，$[0,3]$のセルを埋める場合，$[0,1]$と$[1,3]$の組み合わせ及び$[0,2]$と$[2,3]$の組み合わせを考慮する．
CKYテーブルの各セルをボトムアップに埋めていき，最上位のセル（図\ref{fig:cky-table}の場合，$[0,5]$のセル）が開始記号となれば，構文解析に成功する．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia8f1.eps}
\end{center}
\caption{CKYテーブル}
\label{fig:cky-table}
\end{figure}

\begin{table}[b]
\input{08algo01.tex}
\end{table}

CKYアルゴリズムの疑似コードを Algorithm 1 に示す．Algorithm 1 において，$R$は非終端記号の集合を表す．
Algorithm 1 の2行目と3行目では，CKYテーブルの第一層目の初期化を行う．
4行目で入力文中の単語数，5行目で句の開始位置，7行目で句の分割可能な位置について網羅的にforループで回すことで部分文字列の全組み合わせに対して処理を行う．
8行目から10行目では，着目している 2 つのセルに含まれる非終端記号を生成する生成規則が存在するとき，新たな句を候補として追加している．
このように，下位のセルからボトムアップに動的計画法で生成規則を考えていくことで，効率よく全ての隣接する単語／句の組み合わせを考慮した構文解析を可能としている．


\subsection{CKYに基づく畳み込みアテンション構造による機械翻訳}

図\ref{fig:overall}
に提案モデルの全体の構造を示す．
提案モデルのエンコーダ部では，通常のLSTMエンコーダ（\ref{sect:baseline}節参照）により原言語の文を単語列としてエンコードする．
加えて，CKYアルゴリズムのCKYテーブルにおける計算手順を模倣し，CNNを用いて，原言語文中の隣接する単語／句の組み合わせをエンコードする．
そしてデコーダ部では，LSTMエンコーダの各隠れ状態に対するアテンションスコアから算出したコンテキストベクトル$c_{j}$
に加えて，原言語文中の単語の組み合わせのエンコード結果に対するアテンションスコアから算出したコンテキストベクトル$c_{j}^{'}$
に基づき，アテンションベクトル
${\hat s_{j}}$を生成する．そして，注目すべき単語，注目すべき単語の組み合わせの情報を含んだアテンションベクトル${\hat s_{j}}$に基づき目的言語の単語を予測する．以下で，提案モデルの具体的な計算方法を説明する．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia8f2.eps}
\end{center}
\caption{CKYに基づく畳み込みアテンション構造の全体図}
\label{fig:overall}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia8f3.eps}
\end{center}
\caption{CKYに基づく畳み込みアテンション構造のDeduction Unit}
\label{fig:residualconnections}
\end{figure}

提案手法のアテンション構造では，CKYアルゴリズムにおける生成規則を図\ref{fig:residualconnections}に示すネットワーク構造によって模倣する．
具体的には，CKYアルゴリズムにおいて生成規則がCKYテーブルの2つのセルをボトムアップにまとめる動作を模倣して，図\ref{fig:residualconnections}のネットワーク構造により，CKYテーブルの2つのセル（具体的には$d$次元ベクトル）から，上位のセルの$d$次元ベクトルを算出する．
ここで，CKYテーブルの各セルの$d$次元ベクトルは，セルが表現する単語の組み合わせの状態を表すベクトルと捉えることができる．
このCKYアルゴリズムにおける生成規則に対応するネットワークをDeduction Unit (DU) と呼ぶ．
DUは，4種類の1D CNNを残差接続し，その後Layer Normalization \cite{Ba2016LayerN} により，ベクトルを正規化して出力する構造である\footnote{予備実験において1種類のCNNで構成した単純なDUでは性能が悪かったため，Heら\cite{he2016deep}を参考にし，DUを図\ref{fig:residualconnections}のように構築した．}．
図\ref{fig:residualconnections}では，各CNNのフィルタサイズと出力チャネル数を括弧内に記している．
具体的には，CNN1，CNN2，CNN3，CNN4のフィルタサイズは，それぞれ，$1$，$2$，$1$，$2$であり，チャネル数は，それぞれ，$\frac{d}{2}$，$\frac{d}{2}$，$d$，$d$である．
DUは入力として2つのベクトルを受け取る．CNN1では，DUに入力された2つのベクトルをフィルタサイズ1のCNNにより，チャネル数$\frac{d}{2}$に変換する．その後，フィルタサイズ2のCNN2により，2つのベクトルを1つのベクトルへ畳み込む．そして，畳み込まれたベクトルは，フィルタサイズ1のCNN3によりチャネル数$d$へと変換される．また，DUに入力された2つのベクトルはフィルタサイズ2のCNN4によって1つのベクトルに畳み込まれる
\footnote{通常，Residual Connectionは入力ベクトルをそのまま加算するが，提案手法では，入力が2つのベクトル，出力が1つのベクトルであるため，そのまま加算することができない．そこで図\ref{fig:residualconnections}においてCNN4を導入した．}
．その後，CNN3の出力ベクトルとCNN4の出力ベクトルを加算し，Layer Normalizationにより正規化した後に，DUの出力として1つのベクトルを出力する．なお，DUのそれぞれのCNNへの入力ベクトルには，Relu関数を適用している．

このDUを使うことで，CKYアルゴリズムの計算順序と同様の順序で下位セルの2つの状態を畳み込むことにより，CKYテーブルの各セルの状態を導出することができる．
ただし，上位セルの状態を導出する際，CKYアルゴリズムと同様，複数のDUから当該上位セルの状態となりうるベクトルが算出される．その際は，候補となったベクトルのうち，要素和が最大であるベクトルに設定する．
この全体のネットワークをCKY-CNNと呼ぶ．
ここで，CKY-CNNは，レイヤーの数は文長と同等となり，また，各レイヤーにおいてDUのパラメータは共有されることに注意されたい．
以降，$i$層目のCKY-CNNの$j$番目のセルの状態を$h^{(cky)}_{i,j}$と記述すると，CKY-CNNの具体的な動作は次の通りである．
まず，CKY-CNNの第1層目の状態(${\bf h^{(cky)}_{1}}=(h^{(cky)}_{1,1},...,h^{(cky)}_{1,S})$)を，LSTMエンコーダの状態(${\bf h}=(h_1,...,h_S)$)に設定する．
\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia8f4.eps}
\end{center}
\caption{CKY-CNNの例}
\label{fig:CKY}
\end{figure}

そして，2層目より上の層のCKY-CNNのセルの状態を次のように算出する．
\begin{equation}
h_{i,j}^{(cky)} = \max_{1 \le k \le i-1} DU(h_{k,j}^{(cky)}， h_{i-k,j+k}^{(cky)}).
\end{equation}
ここで，$\max$関数は入力されたそれぞれのベクトルに対してベクトルの要素和を計算し，その値が最大となるベクトルを返す関数である．
図\ref{fig:CKY}に，CKY-CNNにより，
セル ($h^{(cky)}_{4,1}$) を導出する畳み込みの例を示す．
この導出過程では，以下が実行される．
\begin{equation*}
h^{(cky)}_{4,1}=\max(DU(h^{(cky)}_{1,1},h^{(cky)}_{3,2}),DU(h^{(cky)}_{2,1},h^{(cky)}_{2,3}),DU(h^{(cky)}_{3,1},h^{(cky)}_{1,4})).
\end{equation*}
具体的には，3つのDUが，それぞれ，2つの
セル（$h^{(cky)}_{3,1}$と$h^{(cky)}_{1,4}$），2つの
セル（$h^{(cky)}_{2,1}$と$h^{(cky)}_{2,3}$），2つの
セル（$h^{(cky)}_{1,1}$と$h^{(cky)}_{3,2}$）の状態に基づきベクトルを生成する．その後，ベクトルの要素和が最も大きいベクトルをセル ($h^{(cky)}_{4,1}$) の状態に設定する．

CKYに基づく畳み込みアテンション構造を用いたNMTでは，LSTMエンコーダの隠れ層の状態に加えて，CKY-CNNの隠れ層の状態（CKYテーブルの各セルの状態）を参照しながら目的言語の文を生成する．
デコーダの状態$s^{(2)}_{j}$とCKY-CNNの隠れ層の状態$h^{(cky)}_{i,j}$とのアテンションスコアは\textit{Global Dot Attetnion} \cite{luong-pham-manning:2015:EMNLP}を用いて次式の通り計算する．
\begin{equation}
\alpha^{'}(i_1,i_2,j) = \frac{\exp(h_{i_1,i_2}^{(cky)}\cdot s_j^{(2)})}{\sum_{k=1}^{S}\sum_{l=1}^{S-k+1}\exp(h_{k,l}^{(cky)}\cdot s_j^{(2)})}. 
\end{equation}
ここで，$s_j^{(2)}$は第2層目のLSTMデコーダの隠れ層の状態である．そして，CKY-CNNのコンテキストベクトル$c_{j}^{'}$を次式の通り算出する．
\begin{equation}
c_{j}^{'} = \sum_{k=1}^{S}\sum_{l=1}^{S-k+1} \alpha^{'}(k,l,j)h_{k,l}^{(cky)}.
\end{equation}
その後，アテンションベクトル$\hat{s}_j$を，LSTMエンコーダのコンテキストベクトル($c_j$)とCKY-CNNのコンテキストベクトル($c_{j}^{'}$)に基づき次のように算出する．
\begin{equation}
{\hat s_j}=\mathrm{tanh}({\hat W}[s_j^{(2)};c_j;c_j^{'}]+{\hat b}). 
\end{equation}
ここで，${\hat W} \in R^{d \times 3d}$は重み行列，${\hat b} \in R^{d}$はバイアス項である．
また，LSTMエンコーダのコンテキストベクトル$c_j$は，式(9)の通り算出されたものであることを確認しておく．
$j$番目の目的言語の単語は，従来のANMTと同様に，アテンションベクトル$\hat{s_j}$を用いて次のように計算する．
\begin{equation}
p(y_j | y_{<j},{\bf x}) = \mathrm{softmax}(W_s {\hat s_{j}}+b_s). 
\end{equation}
ここで，$W_s \in R^{|V| \times d}$は重み行列，$b_s\in R^{|V|}$はバイアス項を表す．

提案手法の目的関数は，従来のANMTと同様，式(12)である．
また，提案モデルの時間計算量は$\mathcal{O}(S^{3}+S^{2}T)$，空間計算量は$\mathcal{O}(S^{2}T)$である．ここで，$S$は原言語文の文長，$T$は目的言語文の文長である．


\section{実験}

本節では，\ref{sect:proposed}節で提案したモデルの性能及び有効性を検証する．


\subsection{実験設定}

評価実験は，Asian Scientific Paper Excerpt Corpus (ASPEC)\footnote{http://orchid.kuee.kyoto-u.ac.jp/WAT/WAT2015/index.html}の英日翻訳タスク，新聞から作成されたFBISコーパスを用いた中英翻訳タスクにより行った．英文の単語分割はMoses Decoder，日本語文の単語分割はKytea  \cite{neubig2011pointwise}，中国語文の単語分割は
Stanford Chinese Segmenter\footnote{http://nlp.stanford.edu/software/segmenter.shtml}を使用した．また，各コーパスの文字は全て小文字に変換した．
実験に使用した対訳文の数を表\ref{table:datasize}に示す．学習データとして，ASPECでは100,000文対，FBISでは172,400文対の対訳文を用いた．
なお，ASPEC，FBISともに学習データとして単語の数が50単語以下の文を使用した．また，ASPEC，FBISともに学習データにおいて，出現数が2回未満の単語は特殊文字「UNK」に置き換えた．
FBISについては，開発データとしてNIST02の評価データを使用し，テストデータとしてNIST03，NIST04，NIST05の評価データを用いた．

\begin{table}[b]
\caption{実験データの対訳文対}
\label{table:datasize}
\input{08table01.tex}
\end{table}

単語埋め込みベクトルと隠れ層の各状態のベクトルの次元数は256とした．モデルの各パラメータの学習にはAdam \cite{kingsma2014adam} を使用し，Adamのパラメータの初期値は，$\alpha = 0.01$，$\beta_1 = 0.9$，$\beta_2 = 0.99$とした．学習率は，1エポック毎に開発データに対するパープレキシティを計算し，パープレキシティが以前のエポックと比較して増加した場合に半分にした．
勾配はEriguchiら \cite{eriguchi2016character} に倣い，
3.0でクリッピングした．また，過学習を防ぐために，Dropout \cite{srivastava2014dropout} とWeight Decay\footnote{Pytorch (https://pytorch.org/)で実装されているL2 penaltyを使用した．}
を用いた．Dropoutの比率は，LSTMでは0.2，CNNでは0.3とし，Weight Decayの係数は$10^{-6}$とした．
バッチサイズは50とした．なお，ハイパーパラメータは，開発データに対するBLEUスコアにより決定した．また，目的言語の文は出現確率に基づいた貪欲法により生成した．

\begin{table}[b]
\caption{実験結果 (BLEU($\%$))}
\label{tab:bleu}
\input{08table02.tex}
\end{table}
\begin{table}[b]
\caption{学習時間及びデコード時間（秒）}
\label{tab:time}
\input{08table03.tex}
\end{table}
\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia8f5.eps}
\end{center}
\caption{開発データにおけるBLEUの推移}
\label{fig:BLEUTransition}
\vspace{-1\Cvs}
\end{figure}


\subsection{実験結果}

提案のCKYに基づく畳み込みアテンションの有効性を検証するため，提案のアテンションを用いたNMT（\ref{sect:proposed}節）と従来のアテンションを用いたNMT（\ref{sect:baseline}節）を比較した．ベースラインの従来モデルと提案モデルの違いは，アテンション構造のみである．
表\ref{tab:bleu}に各モデルの翻訳精度を示す\footnote{デフォルト設定のMosesフレーズベース統計的機械翻訳 \cite{koehn2007moses} のASPECに対するBLEUは$18.69$であったことを参考のために報告しておく．}．翻訳精度の評価尺度はBLEU \cite{papineni2002bleu} を用いた．また参考のために，表\ref{tab:time}に，ASPECにおける，1エポックあたりの平均学習時間及び一文ずつデコードした際のテストデータのデコードにかかった時間を示す\footnote{CPUはIntel XeonE5-1650，GPUはNVIDIA GeForce TITAN Xを用いた．}
．図\ref{fig:BLEUTransition}には，ASPECにおける開発データに対するBLEUスコアの推移を示す．

翻訳精度の有意差検定は，有意差水準$5\%$でブートストラップによる検定手法 \cite{koehn2004statistical} により行った．表\ref{tab:bleu}の「*」は，提案モデルと
従来のANMTモデルの翻訳精度の差が統計的に有意であることを示す．

表\ref{tab:bleu}より，ASPEC，FBIS (NIST03)，FBIS (NIST04) では，提案モデルが
従来のANMTより統計的に有意に翻訳精度が良いことが分かる．また，FBIS (NIST05) では，提案モデルは
従来のANMTと同等の翻訳精度であることが分かる．これらの結果より，提案のアテンション構造はNMTの性能改善に寄与することが実験的に確認できる．


\section{考察}

\subsection{提案モデルの各要素の有効性検証}

本節では，提案モデルの各要素の有効性を検証するため，ASPEC 10万文対の英日翻訳タスクにおいて提案モデルと以下の3つのモデルを比較する．
1つ目は，提案モデルの式(16)においてLSTMエンコーダのコンテキストベクトル ($c_j$) を取り除いたモデル，すなわち，CKY-CNNのコンテキストベクトル ($c'_j$) のみを使用したモデル「提案モデル（$c_j^{'}$のみ）」である．
2つ目は，提案モデルのDU（図\ref{fig:residualconnections}）において，CNN4の代わりに二つの入力ベクトルの要素和を演算に使用するモデル「提案モデル（要素和）」である．
3つ目は，従来ANMTモデルのエンコーダLSTMを，提案モデルの計算時間と同等になるまで，再帰的に積み重ねたモデル「再帰的従来ANMTモデル」である．具体的には，エンコーダの2つのLSTMを6回再帰的に使用して原言語文をエンコードした．

実験結果を表\ref{tab:etc_exp}に示す．
「提案モデル（$c_j^{'}$のみ）」は「従来モデル」よりも翻訳精度が高いことが分かる．ただし，「提案モデル」よりは翻訳精度が低い．
このことから，CKY-CNNのコンテキストベクトルのみを用いた場合でも提案モデルはNMTの精度改善に寄与できるが，LSTMのコンテキストベクトルとCKY-CNNのコンテキストベクトルを同時に使用することで，NMTの翻訳精度がさらに改善されることが分かる．

\begin{table}[b]
\caption{提案モデルの各要素の有効性検証実験の結果(BLEU($\%$))}
\label{tab:etc_exp}
\input{08table04.tex}
\end{table}

「提案モデル」と「提案モデル（要素和）」を比較すると「提案モデル」の方が翻訳精度が高い．このことから，提案モデルのDUにおいて，CNN4を用いたresidual connectionが有効であったことが分かる．また，「提案モデル」は，層を深くした従来モデルである「再帰的従来ANMTモデル」の翻訳精度を上回っており，このことからも提案モデルの有用性が実験的に確認できる．


\subsection{大規模コーパスにおける有効性検証}

本節では，大規模コーパスにおいても提案手法の有効性が確認できるかを検証する．具体的には，ASPECの英日翻訳で1,346,946文対の学習データを使った場合の性能を評価する．本実験では，3節で説明した従来のANMTと提案モデルに加え，Eriguchiらのモデル \cite{eriguchi-hashimoto-tsuruoka:2016:P16-1} とGehringらのモデル \cite{ConvEncGehring2017} との比較も行う．Eriguchiらのモデルの翻訳精度は，彼女らの論文で報告されている次元数1,024のモデルの翻訳精度である．Gehringらのモデルの翻訳精度は，公開されているモデルをデフォルトの設定で実験データに適用した翻訳精度である．

本実験においては，単語埋め込みベクトルと隠れ層の各状態のベクトルの次元数は512とした．また，学習データにおいて出現回数が9回未満の単語を特殊文字「UNK」に置き換えた．LSTMのDropoutの比率は$0.2$，Weight Decayの係数は$10^{-8}$とし，目的言語文はビームサーチにより生成した．ビーム幅は5，10，15，20のうち，開発データに対するBLEUスコアが最も高いものを選択した．具体的には，従来のANMTモデルはビーム幅20，提案モデルはビーム幅15であった．その他の設定は，5.1節と同じである．

\begin{table}[b]
\caption{大規模コーパスにおける実験結果(BLEU($\%$))}
\label{tab:big_exp}
\input{08table05.tex}
\end{table}

表\ref{tab:big_exp}に実験結果を示す．
表\ref{tab:big_exp}より，提案モデルは従来のANMTモデルよりも翻訳精度が良いことが分かる．また，先行研究と比較しても翻訳精度が高い．
なお，提案モデルと従来のANMTモデルの翻訳精度の差及び提案モデルとGehringらのモデルの翻訳精度の差は有意差水準$5\%$で統計的に有意であった\footnote{Eriguchiらの翻訳精度は引用した値なので，有意差検定は行えなかった．}
．これらのことから大規模データに対しても提案モデルが有効であることが分かった．


\subsection{アテンションスコアの解析}

本研究では，予め構文解析を行うことなく原言語の文の構造をANMTで活用することが目的であった．そこで，目的言語の単語を予測する際に，提案のアテンション構造により，原言語の文の構造（複数の隣接する単語／句の組み合わせ）を活用できているかを考察する．

\begin{table}[p]
\caption{翻訳結果の例}
\label{tab:translation}
\input{08table06.tex}
\end{table}
\begin{figure}[p]
\begin{center}
\includegraphics{26-1ia8f6.eps}
\end{center}
\caption{アテンションスコアの例 1（左図：い（ついて），右図：し（した））}
\label{fig:attention-score1}
\end{figure}
\begin{figure}[p]
\begin{center}
\includegraphics{26-1ia8f7.eps}
\end{center}
\caption{アテンションスコアの例 2（左図：絶縁，右図：結晶）}
\label{fig:attention-score2}
\end{figure}

表\ref{tab:translation}に英日翻訳のテストデータ対する
従来のANMTおよび提案モデルの翻訳結果の実例を示し，図\ref{fig:attention-score1}と図\ref{fig:attention-score2}に表\ref{tab:translation}の翻訳結果を生成した際の提案モデルのアテンションスコアを示す．また，図\ref{fig:attention-base}に表\ref{tab:translation}の翻訳結果を生成した際の従来のANMTのアテンションスコアを示す．
図\ref{fig:attention-score1}の左図は「ついて」の「い」，右図は「した」の「し」を生成する際のアテンションスコア\footnote{Kyteaでの単語分割では，「ついて」は，「つ」，「い」，「て」の3単語，「した」は「し」と「た」に分割された．}であり，
図\ref{fig:attention-score2}の左図は「絶縁」，右図は「結晶」を生成する際のアテンションスコアである．
図\ref{fig:attention-score1}，図\ref{fig:attention-score2}，図8では，セルが濃い色であるほど（黒に近いほど），より高いアテンションスコアであることを表している．また，図6と図7においては，横軸は原言語の単語を示し，縦軸はCKY-CNNの深さを示す．
なお，CKY-CNNの第1層目のアテンションスコアは，LSTMの隠れ層のアテンションスコアと一致する．つまり，第1層目のアテンションスコアが，原言語の単語に対するアテンション，第2層目より上のアテンションスコアが構造（隣接する単語／句の組み合わせ）に対するアテンションを示す．
図\ref{fig:attention-score2}より，「絶縁」や「結晶」のような内容語のように単語単位のアライメントが明確に分かる単語に対しては，第1層目（LSTM層）のアテンションスコアが高くなっている．一方で，図\ref{fig:attention-score1}の「い」や「し」のような機能語のように単語単位のアライメントが明確にならない単語に対しては，高いアライメントスコアが2層目より上（CKY層）に位置していることが分かる．一方で，図\ref{fig:attention-base}の従来のANMTのアテンションスコアでは，「ため」と``technological''，「た」と``.（ピリオド）''のように対応関係にない単語に対してもアテンションスコアが高くなっている．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia8f8.eps}
\end{center}
\caption{従来のANMTのアテンションスコアの例}
\label{fig:attention-base}
\end{figure}

また，表\ref{tab:pos}に，提案モデルにおける，品詞ごとのアテンションスコアの配置について示す．これは，Kyteaが特定した品詞ごとに最も高いアテンションスコアの層を数え上げたものである．表\ref{tab:pos}より，名詞，形容詞，副詞といった単語単位のアライメントが明確に分かる単語に対しては，第1層目にアテンションが多く張られていることが分かる．一方で，語尾，助詞，助動詞といった単語単位のアライメントが明確になりにくい単語に対しては，第2層目以降にアテンションが張られる傾向があることが分かる．

\begin{table}[t]
\caption{品詞ごとのアテンションスコアの配置}
\label{tab:pos}
\input{08table07.tex}
\end{table}

以上より，従来のANMTのアテンション構造が単語レベルでのアライメントを見つけるのに対して，提案のアテンション構造は2層目以降を活用して構造的なアライメントを捉えていることが分かる．


\section{まとめ}

本論文では，NMTの性能を改善するため，CKYアルゴリズムを模倣したCNNに基づく新たなアテンション構造を提案した．提案のアテンション構造を用いることで，ASPECの英日翻訳タスクの評価では，
従来のANMTと比較して1.43ポイントBLEUスコアが上昇し，FBISにおける中英翻訳タスクでは，
従来のANMTと比較して同等かそれ以上の翻訳精度を達成できることを実験的に確認した．
また，提案のアテンション構造は
従来のANMTのアテンション構造では捉えることができない隣接する単語／句の組み合わせに対するアライメント（構造的なアライメント）を捉えることができることを実例により確認した．

提案のアテンション構造は，CKYテーブルのすべてのセルの隠れ状態を保持する必要があるため，従来手法と比べて多くのメモリを使用する．今後は，メモリ消費の問題について提案手法を改善し，より少ないメモリ消費で動作するモデルに改善したい．また，提案手法では，上位セルの状態を導出する際，複数の候補から1つのみを選択するが．今後は，候補に対して重み付けを行うなどして複数の状態を考慮できるモデルに改良したい．


\acknowledgment
本論文は国際会議 The 8th International Joint Conference on Natural Language Processing で発表した論文\cite{myI17-2001} に基づいて日本語で書き直し，説明や評価を追加したものである．

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られ
たものである．
また，本研究の一部はJSPS科研費25280084及び18K18110の助成を受けたものである．
ここに謝意を表する．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Aharoni \BBA\ Goldberg}{Aharoni \BBA\
  Goldberg}{2017}]{AharoniP17-2021}
Aharoni, R.\BBACOMMA\ \BBA\ Goldberg, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Towards String-To-Tree Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  132--140}.

\bibitem[\protect\BCAY{Ba, Kiros, \BBA\ Hinton}{Ba et~al.}{2016}]{Ba2016LayerN}
Ba, J., Kiros, R., \BBA\ Hinton, G.~E. \BBOP 2016\BBCP.
\newblock \BBOQ Layer Normalization.\BBCQ\
\newblock {\Bem CoRR}, {\Bbf abs/1607.06450}.

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2015}]{bahdanau2015}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd International Conference on Learning
  Representations.}

\bibitem[\protect\BCAY{Bastings, Titov, Aziz, Marcheggiani, \BBA\
  Simaan}{Bastings et~al.}{2017}]{BastingsD17-1209}
Bastings, J., Titov, I., Aziz, W., Marcheggiani, D., \BBA\ Simaan, K. \BBOP
  2017\BBCP.
\newblock \BBOQ Graph Convolutional Encoders for Syntax-aware Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1957--1967}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Chen, Huang, Chiang, \BBA\ Chen}{Chen
  et~al.}{2017a}]{ChenP17-1177}
Chen, H., Huang, S., Chiang, D., \BBA\ Chen, J. \BBOP 2017a\BBCP.
\newblock \BBOQ Improved Neural Machine Translation with a Syntax-Aware Encoder
  and Decoder.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  1936--1945}.

\bibitem[\protect\BCAY{Chen, Wang, Utiyama, Liu, Tamura, Sumita, \BBA\
  Zhao}{Chen et~al.}{2017b}]{ChenD17-1304}
Chen, K., Wang, R., Utiyama, M., Liu, L., Tamura, A., Sumita, E., \BBA\ Zhao,
  T. \BBOP 2017b\BBCP.
\newblock \BBOQ Neural Machine Translation with Source Dependency
  Representation.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2846--2852}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Bahdanau, \BBA\ Bengio}{Cho
  et~al.}{2014a}]{DBLP:conf/ssst/ChoMBB14}
Cho, K., van Merrienboer, B., Bahdanau, D., \BBA\ Bengio, Y. \BBOP 2014a\BBCP.
\newblock \BBOQ On the Properties of Neural Machine Translation:
  Encoder-Decoder Approaches.\BBCQ\
\newblock In {\Bem Proceedings of 8th Workshop on Syntax, Semantics and
  Structure in Statistical Translation}, \mbox{\BPGS\ 103--111}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares,
  Schwenk, \BBA\ Bengio}{Cho et~al.}{2014b}]{cho-EtAl:2014:EMNLP2014}
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F.,
  Schwenk, H., \BBA\ Bengio, Y. \BBOP 2014b\BBCP.
\newblock \BBOQ Learning Phrase Representations using RNN Encoder--Decoder for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1724--1734}.

\bibitem[\protect\BCAY{Ding \BBA\ Palmer}{Ding \BBA\
  Palmer}{2005}]{DingP05-1067}
Ding, Y.\BBACOMMA\ \BBA\ Palmer, M. \BBOP 2005\BBCP.
\newblock \BBOQ Machine Translation Using Probabilistic Synchronous Dependency
  Insertion Grammars.\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 541--548}.

\bibitem[\protect\BCAY{Dyer, Kuncoro, Ballesteros, \BBA\ Smith}{Dyer
  et~al.}{2016}]{DyerN16-1024}
Dyer, C., Kuncoro, A., Ballesteros, M., \BBA\ Smith, N.~A. \BBOP 2016\BBCP.
\newblock \BBOQ Recurrent Neural Network Grammars.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 199--209}.

\bibitem[\protect\BCAY{Eriguchi, Hashimoto, \BBA\ Tsuruoka}{Eriguchi
  et~al.}{2016a}]{eriguchi2016character}
Eriguchi, A., Hashimoto, K., \BBA\ Tsuruoka, Y. \BBOP 2016a\BBCP.
\newblock \BBOQ Character-based Decoding in Tree-to-Sequence Attention-based
  Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Asian Translation},
  \mbox{\BPGS\ 175--183}.

\bibitem[\protect\BCAY{Eriguchi, Hashimoto, \BBA\ Tsuruoka}{Eriguchi
  et~al.}{2016b}]{eriguchi-hashimoto-tsuruoka:2016:P16-1}
Eriguchi, A., Hashimoto, K., \BBA\ Tsuruoka, Y. \BBOP 2016b\BBCP.
\newblock \BBOQ Tree-to-Sequence Attentional Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 823--833}.

\bibitem[\protect\BCAY{Eriguchi, Tsuruoka, \BBA\ Cho}{Eriguchi
  et~al.}{2017}]{EriguchiP17-2012}
Eriguchi, A., Tsuruoka, Y., \BBA\ Cho, K. \BBOP 2017\BBCP.
\newblock \BBOQ Learning to Parse and Translate Improves Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  72--78}.

\bibitem[\protect\BCAY{Gehring, Auli, Grangier, \BBA\ Dauphin}{Gehring
  et~al.}{2017}]{ConvEncGehring2017}
Gehring, J., Auli, M., Grangier, D., \BBA\ Dauphin, Y. \BBOP 2017\BBCP.
\newblock \BBOQ A Convolutional Encoder Model for Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  123--135}.

\bibitem[\protect\BCAY{Gers, Schmidhuber, \BBA\ Cummins}{Gers
  et~al.}{2000}]{gers2000learning}
Gers, F.~A., Schmidhuber, J., \BBA\ Cummins, F. \BBOP 2000\BBCP.
\newblock \BBOQ Learning to Forget: Continual Prediction with LSTM.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 12}  (10), \mbox{\BPGS\ 2451--2471}.

\bibitem[\protect\BCAY{Hashimoto \BBA\ Tsuruoka}{Hashimoto \BBA\
  Tsuruoka}{2017}]{hashimoto-tsuruoka:2017:EMNLP2017}
Hashimoto, K.\BBACOMMA\ \BBA\ Tsuruoka, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Machine Translation with Source-Side Latent Graph
  Parsing.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 125--135}.

\bibitem[\protect\BCAY{He, Zhang, Ren, \BBA\ Sun}{He et~al.}{2016}]{he2016deep}
He, K., Zhang, X., Ren, S., \BBA\ Sun, J. \BBOP 2016\BBCP.
\newblock \BBOQ Deep Residual Learning for Image Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the IEEE Conference on Computer Vision and
  Pattern Recognition}, \mbox{\BPGS\ 770--778}.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{hochreiter1997long}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Huang, Knight, \BBA\ Joshi}{Huang
  et~al.}{2006}]{huang2006statistical}
Huang, L., Knight, K., \BBA\ Joshi, A. \BBOP 2006\BBCP.
\newblock \BBOQ Statistical Syntax-directed Translation with Extended Domain of
  Locality.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference of the Association for
  Machine Translation in the Americas}, \mbox{\BPGS\ 66--73}.

\bibitem[\protect\BCAY{Kasami}{Kasami}{1965}]{Kasami65}
Kasami, T. \BBOP 1965\BBCP.
\newblock \BBOQ An Efficient Recognition and Syntax Algorithm for Context-free
  Languages.\BBCQ\
\newblock \BTR\ AFCRL-65-758, Air Force Cambridge Research Laboratory.

\bibitem[\protect\BCAY{Kingsma \BBA\ Ba}{Kingsma \BBA\
  Ba}{2014}]{kingsma2014adam}
Kingsma, D.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2014\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Conference on Learning
  Representations}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn2004statistical}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the 2004 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 388--395}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, et~al.}{Koehn et~al.}{2007}]{koehn2007moses}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., et~al. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics on Interactive Poster and Demonstration
  Sessions}, \mbox{\BPGS\ 177--180}.

\bibitem[\protect\BCAY{Li, Xiong, Tu, Zhu, Zhang, \BBA\ Zhou}{Li
  et~al.}{2017}]{LiP17-1064}
Li, J., Xiong, D., Tu, Z., Zhu, M., Zhang, M., \BBA\ Zhou, G. \BBOP 2017\BBCP.
\newblock \BBOQ Modeling Source Syntax for Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  688--697}.

\bibitem[\protect\BCAY{Lin}{Lin}{2004}]{lin2004path}
Lin, D. \BBOP 2004\BBCP.
\newblock \BBOQ A Path-based Transfer Model for Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 20th International Conference on
  Computational Linguistics}, \mbox{\BPG\ 625}.

\bibitem[\protect\BCAY{Liu, Liu, \BBA\ Lin}{Liu et~al.}{2006}]{LiuP06-1077}
Liu, Y., Liu, Q., \BBA\ Lin, S. \BBOP 2006\BBCP.
\newblock \BBOQ Tree-to-String Alignment Template for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 21st International Conference on
  Computational Linguistics and 44th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 609--616}.

\bibitem[\protect\BCAY{Luong, Pham, \BBA\ Manning}{Luong
  et~al.}{2015}]{luong-pham-manning:2015:EMNLP}
Luong, T., Pham, H., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Effective Approaches to Attention-based Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1412--1421}.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi,
  \BBA\ Isahara}{Nakazawa et~al.}{2016}]{NAKAZAWA16.621}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi,
  S., \BBA\ Isahara, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASPEC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 2204--2208}.

\bibitem[\protect\BCAY{Neubig, Nakata, \BBA\ Mori}{Neubig
  et~al.}{2011}]{neubig2011pointwise}
Neubig, G., Nakata, Y., \BBA\ Mori, S. \BBOP 2011\BBCP.
\newblock \BBOQ Pointwise Prediction for Robust, Adaptable Japanese
  Morphological Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 49th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 529--533}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni2002bleu}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Quirk, Menezes, \BBA\ Cherry}{Quirk
  et~al.}{2005}]{QuirkP05-1034}
Quirk, C., Menezes, A., \BBA\ Cherry, C. \BBOP 2005\BBCP.
\newblock \BBOQ Dependency Treelet Translation: Syntactically Informed Phrasal
  SMT.\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 271--279}.

\bibitem[\protect\BCAY{Sennrich \BBA\ Haddow}{Sennrich \BBA\
  Haddow}{2016}]{SennrichW16-2209}
Sennrich, R.\BBACOMMA\ \BBA\ Haddow, B. \BBOP 2016\BBCP.
\newblock \BBOQ Linguistic Input Features Improve Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation:
  Volume 1, Research Papers}, \mbox{\BPGS\ 83--91}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Srivastava, Hinton, Krizhevsky, Sutskever, \BBA\
  Salakhutdinov}{Srivastava et~al.}{2014}]{srivastava2014dropout}
Srivastava, N., Hinton, G.~E., Krizhevsky, A., Sutskever, I., \BBA\
  Salakhutdinov, R. \BBOP 2014\BBCP.
\newblock \BBOQ Dropout: A Simple Way to Prevent Neural Networks from
  Overfitting.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 15}  (1),
  \mbox{\BPGS\ 1929--1958}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{sutskever2014sequence}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Networks.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3104--3112}.

\bibitem[\protect\BCAY{Tai, Socher, \BBA\ Manning}{Tai
  et~al.}{2015}]{TaiP15-1150}
Tai, K.~S., Socher, R., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Improved Semantic Representations From Tree-Structured Long
  Short-Term Memory Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\
  1556--1566}.

\bibitem[\protect\BCAY{Watanabe, Tamura, \BBA\ Ninomiya}{Watanabe
  et~al.}{2017}]{myI17-2001}
Watanabe, T., Tamura, A., \BBA\ Ninomiya, T. \BBOP 2017\BBCP.
\newblock \BBOQ CKY-based Convolutional Attention for Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \mbox{\BPGS\ 1--6}.

\bibitem[\protect\BCAY{Wu, Zhang, Yang, Li, \BBA\ Zhou}{Wu
  et~al.}{2017}]{WuP17-1065}
Wu, S., Zhang, D., Yang, N., Li, M., \BBA\ Zhou, M. \BBOP 2017\BBCP.
\newblock \BBOQ Sequence-to-Dependency Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  698--707}.

\bibitem[\protect\BCAY{Wu, Zhang, Zhang, Yang, Li, \BBA\ Zhou}{Wu
  et~al.}{2018}]{Wu2018}
Wu, S., Zhang, D., Zhang, Z., Yang, N., Li, M., \BBA\ Zhou, M. \BBOP 2018\BBCP.
\newblock \BBOQ Dependency-to-Dependency Neural Machine Translation.\BBCQ\
\newblock {\Bem IEEE/ACM Transactions on Audio, Speech, and Language
  Processing}, {\Bbf 10.119/TASLP.2018.2855968}.

\bibitem[\protect\BCAY{Yang, Wong, Xiao, Chao, \BBA\ Zhu}{Yang
  et~al.}{2017}]{YangD17-1150}
Yang, B., Wong, D.~F., Xiao, T., Chao, L.~S., \BBA\ Zhu, J. \BBOP 2017\BBCP.
\newblock \BBOQ Towards Bidirectional Hierarchical Representations for
  Attention-based Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1432--1441}.

\bibitem[\protect\BCAY{Younger}{Younger}{1967}]{Younger67}
Younger, D.~H. \BBOP 1967\BBCP.
\newblock \BBOQ Recognition and Parsing of Context-free Languages in Time
  $n^3$.\BBCQ\
\newblock {\Bem Information and Control}, {\Bbf 2}  (10), \mbox{\BPGS\
  189--208}.

\end{thebibliography}


\begin{biography}
\bioauthor{渡邊　大貴}{
2017年愛媛大学工学部情報工学科卒業．2017年より同大学院理工学研究科修士課程に在学．情報処理学会学生会員．
}
\bioauthor{田村　晃裕}{
2005年東京工業大学工学部情報工学科卒業．2007年同大学院総合理工学研究科修士課程修了．2013年同大学院総合理工学研究科博士課程修了．日本電気株式会社，国立研究開発法人情報通信研究機構にて研究員として務めた後，2017年より愛媛大学大学院理工学研究科助教となり，現在に至る．工学博士．言語処理学会，情報処理学会，人工知能学会，ACL各会員．
}
\bioauthor{二宮　　崇}{
2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．東京大学博士（理学）．言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．
}
\bioauthor[:]{Teguh Bharata Adji}{
His bachelor degree was fulfilled at Universitas Gadjah Mada in 1995 and his first Master degree was received from the same university in 1998. He also finished master program from Doshisha University, Kyoto in 2001. His doctoral degree was then obtained in 2010 from Universiti Teknologi Petronas, Malaysia. He is now an associate professor of Universitas Gadjah Mada. His research interest and publications are in the fields of Natural Language Processing, Social Media Technology, Big Data, Data Security.
}

\end{biography}


\biodate



\end{document}
