    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx,xcolor}
\usepackage{amsmath}
\usepackage{array}
\usepackage{hangcaption_jnlp}

\usepackage{algorithm,algorithmic}
\usepackage{multirow} 
\makeatletter
      \newcommand\footnoteref[1]{\relax}
\makeatother
\newcommand{\asis}[1]{}



\Volume{24}
\Number{3}
\Month{June}
\Year{2017}

\received{2016}{11}{8}
\revised{2017}{2}{2}
\accepted{2017}{3}{2}

\setcounter{page}{463}

\jtitle{統語的一貫性と非冗長性を重視した機械翻訳のための\\
	能動学習手法}
\jauthor{三浦　明波\affiref{Author_1} \and Graham Neubig\affiref{Author_1} \affiref{Author_2} \and Michael Paul\affiref{Author_3} \and 中村　　哲\affiref{Author_1}}
\jabstract{
能動学習は機械学習において，逐次的に選択されたデータに対してのみ正解ラベルを付与してモデルの更新を繰り返すことで，少量のコストで効率的に学習を行う枠組みである．この枠組みを機械翻訳に適用することで，人手翻訳のコストを抑えつつ高精度な翻訳モデルを学習可能である．機械翻訳のための能動学習では，人手翻訳の対象となる文またはフレーズをどのように選択するかが学習効率に大きな影響を与える要因となる．既存研究による代表的な手法として，原言語コーパスの単語$n$-gram頻度に基づき $n$-gram カバレッジを向上させる手法の有効性が知られている．この手法は一方で，フレーズの最大長が制限されることにより，句範疇の断片のみが提示されて，人手翻訳が困難になる場合がある．また，能動学習の過程で選択されるフレーズには，共通の部分単語列が繰り返し出現するため，単語数あたりの精度向上率を損なう問題も考えられる．本研究では原言語コーパスの句構造解析結果を用いて句範疇を保存しつつ，包含関係にある極大長のフレーズのみを人手翻訳の候補とするフレーズ選択手法を提案する．本研究の提案手法の有効性を調査するため，機械翻訳による擬似対訳を用いたシミュレーション実験および専門の翻訳者による人手翻訳と主観評価を用いた実験を実施した．その結果，提案手法によって従来よりも少ない単語数の翻訳で高い翻訳精度を達成できることや，人手翻訳時の対訳の品質向上に有効であることが示された．
}
\jkeywords{統計的機械翻訳，能動学習，人手翻訳，対訳コーパス，構文解析，句構造解析}

\etitle{Selecting Syntactic, Non-redundant Segments \\ in Active Learning for Machine Translation}
\eauthor{Akiva Miura\affiref{Author_1} \and Graham Neubig\affiref{Author_1} \affiref{Author_2} \and Michael Paul\affiref{Author_3} \and Satoshi Nakamura\affiref{Author_1}}
\eabstract{
Active learning is a framework that makes it possible to efficiently train statistical models by selecting informative examples from a pool of unlabeled data. Previous work has found this framework effective for machine translation (MT), making it possible to train better translation models with less effort, particularly when annotators translate short phrases instead of full sentences. However, previous methods for phrase-based active learning in MT fail to consider whether the selected units are coherent and easy for human translators to translate, and also have problems with selecting redundant phrases with similar content. In this paper, we tackle these problems by proposing two new methods for selecting more syntactically coherent and less redundant segments in active learning for MT. Experiments using both simulation and extensive manual translation by professional translators find the proposed method effective, achieving both greater gain of BLEU score for the same number of translated words, and allowing translators to be more confident in their translations.
}
\ekeywords{Statistical Machine Translation, Active Learning, Manual Translation, Parallel Corpus, Syntactic Parsing, Phrase Strucuture Analysis}

\headauthor{三浦，Neubig，Paul, 中村}
\headtitle{統語的一貫性と非冗長性を重視した機械翻訳のための能動学習手法}

\affilabel{Author_1}{奈良先端科学技術大学院大学情報科学研究科}{Graduate School of Information Science, Nara Institute of Science and Technology}
\affilabel{Author_2}{カーネギーメロン大学言語技術研究所}{Language Technologies Institute, Carnegie Mellon University}
\affilabel{Author_3}{株式会社ATR-Trek}{ATR-Trek Co. Ltd.}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:intro}

統計的機械翻訳(Statistical Machine Translation: SMT \cite{brown93smt})で高い翻訳精度\footnote{SMTシステムの性能を評価する場合，評価用原言語コーパスの翻訳結果が目標となる正解訳にどの程度近いかを示す自動評価尺度を翻訳精度の指標とすることが多く，本稿では最も代表的な自動評価尺度と考えられるBLEUスコア\cite{papineni02}を用いて評価する．}を達成するには，学習に用いる対訳コーパスの質と量が不可欠である．
特に，質の高い対訳データを得るためには，専門家による人手翻訳が必要となるが，時間と予算の面で高いコストを要するため，翻訳対象は厳選しなければならない．
このように，正解データを得るための人手作業を抑えつつ高い精度を達成する手法として，能動学習(Active Learning)が知られている．
SMTにおいても，能動学習を用いることで人手翻訳のコストを抑えつつ高精度な翻訳モデルを学習可能である\cite{eck05,turchi08,haffari09naacl,haffari09acl,ananthakrishnan10,bloodgood10,gonzalezrubio12,green14}．

SMTや，その他の自然言語処理タスクにおける多くの能動学習手法は，膨大な文書データの中からどの\textbf{文}をアノテータに示すか，という点に注目している．
これらの手法は一般的に，幾つかの基準に照らし合わせて，SMTシステムに有益な情報を多く含んでいると考えられる文に優先順位を割り当てる．
単言語データに高頻度で出現し，既存の対訳データには出現しないような\textbf{フレーズ}\footnote{本稿では，フレーズとは特定の文中に出現する任意の長さの部分単語列を表すものとし，文全体や単語もフレーズの一種として扱う．また，後述する句構造文法における句とは区別して扱うこととする．}を多く含む文を選択する手法\cite{eck05}，現在のSMTシステムにおいて信頼度の低いフレーズを多く含む文を選択する手法\cite{haffari09naacl}，あるいは翻訳結果から推定されるSMTシステムの品質が低くなるような文を選択する手法\cite{ananthakrishnan10}などが代表的である．
これらの手法で選択される文は，機械学習を行う上で有益な情報を含んでいると考えられるが，その反面，既存システムに既にカバーされているフレーズも多く含んでいる可能性が高く，余分な翻訳コストを要する欠点がある．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia7f1.eps}
\end{center}
\caption{フレーズ選択手法の例，および従来手法と提案手法の比較}
\label{fig:select-methods}
\end{figure}

このように文全体を選択することで過剰なコストを要する問題に対処するため，自然言語処理タスクにおいては短いフレーズからなる\textbf{文の部分的アノテーション}を行うための手法も提案されている\cite{settles08,tomanek09,bloodgood10,sperber14}．
特にSMTにおいては，文の選択手法では翻訳済みフレーズを冗長に含んでしまう問題に対処するため，原言語コーパスの単語 $n$-gram 頻度に基づき，対訳コーパスにカバーされていない原言語コーパス中で最高頻度の $n$-gram 自体を翻訳対象のフレーズとして選択する手法が提案されている\cite{bloodgood10}．
この手法では，選択されたフレーズ全体が必ず翻訳モデルの\textbf{$n$-gram カバレッジ}\footnote{\label{note:coverage}入力されるデータに対して，その構成要素がどの程度モデルに含まれているかという指標をカバレッジ（被覆率）と呼ぶ．本稿では，原言語コーパス中の $n$-gram が翻訳モデル中に含まれる割合に着目する．} 向上に寄与し，余分な単語を選択しないため，文選択手法よりも少ない単語数の人手翻訳で翻訳精度を向上させやすく，費用対効果に優れている．
しかし，この手法には2つの問題点が挙げられる．
先ず，図\ref{fig:select-methods} (a)に示すように，$n$-gram 頻度に基づくフレーズの選択手法では複数のフレーズ間で共有部分が多いため冗長な翻訳作業が発生し，単語あたりの精度向上率を損なう問題がある（\textbf{フレーズ間の重複問題}）．
また，最大フレーズ長が $n = 4$ などに制限されるため，``one of the preceding'' のように句範疇の一部がたびたび不完全な形で翻訳者に提示されて人手翻訳が困難になる問題もある（\textbf{句範疇の断片化問題}）．

本研究では，前述の2つの問題に対処するために2種類の手法を提案し，部分アノテーション型の\textbf{能動学習効率}\footnote{人手翻訳に要した一定のコストに対する翻訳精度の上昇値を本稿における学習効率とし，作業時間あたりの精度向上と必要予算あたりの精度向上に注目する．}と翻訳結果に対する\textbf{自信度}の向上を目指す（\ref{sec:proposed}節）．
フレーズ間の重複問題に対しては，図\ref{fig:select-methods} (b)に示すように包含関係を持つフレーズを統合して，より少ないフレーズでカバレッジを保つことで学習効率の向上が可能と考えられる（\textbf{極大フレーズ選択手法}，\ref{sec:maxsubst-freq}節）．
重複を取り除き，なるべく長いフレーズを抽出する基準として，本研究では\textbf{極大部分文字列}\cite{yamamoto01,okanohara09}の定義を単語列に適用し，極大長\footnoteref{note:maximality}となるフレーズの頻度を素性に用いる．
句範疇の断片化問題に対しては，図\ref{fig:select-methods} (c)に示すように，原言語コーパスの句構造解析を行い，部分木をなすようなフレーズを\textbf{統語的に整ったフレーズ}とみなして選択することで，人手翻訳が容易になると考えられる（\textbf{部分構文木選択手法}，\ref{sec:struct-freq}節）．
また，これら2つの手法を組み合わせ，フレーズの極大性と構文木を同時に考慮する手法についても提案する（\ref{sec:struct-freq}節）．

本研究で提案するフレーズ選択手法による能動学習効率への影響を調査するため，先ず英仏翻訳および英日翻訳において逐次的にフレーズ対の追加・モデル更新・評価を行うシミュレーション実験（\ref{sec:simulation}節）を実施し，その結果，2つの提案手法を組み合わせることで従来より少ない追加単語数でカバレッジの向上や翻訳精度の向上を達成することができた．
次に，部分構文木選択手法が人手翻訳に与える影響を調査するため，専門の翻訳者に翻訳作業と主観評価を依頼し，述べ120時間におよぶ作業時間で収集された対訳データを用いて実験と分析を行った結果（\ref{sec:manual-trans}節），同様に高い能動学習効率が示された．
また，翻訳者は構文木に基づくフレーズ選択手法において，より長い翻訳時間を要するが，
    より高い自信度の翻訳結果が得られるという傾向も得られた\footnote{本稿の内容は (三浦, Neubig, Paul, 中村 2015, 2016) および\cite{miura16naacl}で報告されている．}．\nocite{miura15nl12,miura16nlp}


\section{機械翻訳のための能動学習}
\label{sec:activemt}

本節では，機械翻訳のための能動学習手法について述べる．
翻訳対象の候補となるフレーズを含む原言語コーパスから，逐次的に新しい原言語フレーズを選択し翻訳，学習用データとして対訳コーパスに加える手順をまとめるとAlgorithm 1 のように一般化できる．

1行目から4行目でデータの定義，初期化を行う．
$SrcPool$ は原言語コーパスの各行を要素とする集合である．
$Translated$ は翻訳済みの原言語フレーズと目的言語フレーズの対を要素とする集合であり，初期状態は空でもよいが，既に対訳データが与えられている場合には，$Translated$ を設定することで効率的に追加フレーズの選択を行うことができる．
$Oracle$ は任意の入力フレーズに対して正解訳を与えることができるオラクルであり，人手翻訳を模したモデルである．

\begin{algorithm}[t]
\caption{機械翻訳のための能動学習手法}
\begin{algorithmic}[1]
\STATE \textbf{Init:}
\STATE ~~ $SrcPool \leftarrow $ 翻訳候補の原言語コーパス
\STATE ~~ $Translated \leftarrow $ 翻訳済みの対訳コーパス
\STATE ~~ $Oracle \leftarrow $ 入力フレーズの正解訳を与えるオラクル
\STATE \textbf{Loop Until 停止条件:}
\STATE ~~ $TM \leftarrow TrainTranslationModel(Translated)$
\STATE ~~ $NewSrc \leftarrow SelectNextPhrase(SrcPool, Translated, TM)$
\STATE ~~ $NewTrg \leftarrow GetTranslation(Oracle, NewSrc)$
\STATE ~~ $Translated \leftarrow Translated ~ \bigcup ~ \{ \left< NewSrc,NewTrg \right> \}$
\end{algorithmic}
\end{algorithm}

5行目から9行目で翻訳モデルの逐次的な学習を行う．
5行目の停止条件には，任意の終了タイミングを設定できるが，実際の利用場面では一定の翻訳精度に達成した時点や，予算の許容する単語数を翻訳し終えた時点などで能動学習を打ち切ることになるだろう．
6行目では，その時点で保持している対訳コーパス $Translated$ を用いて翻訳モデルの学習を行う．また，実験的評価においては，翻訳モデルの学習直後に翻訳精度の評価を行う．
7行目では $SrcPool$，$Translated$，$TM$ を判断材料として，次に翻訳対象となる原言語フレーズを選択する．
ここでフレーズ選択時に基準となる要素として，学習済みモデルにおける各フレーズ対の信頼度，コーパス中に出現する各フレーズの代表性，翻訳候補のフレーズから正解訳を得るためのコストなどが考えられる．

次節からは，先述のアルゴリズム7行目で述べたフレーズ選択基準に用いられる具体的な手法として，既存のフレーズ選択手法（\ref{sec:baseline}節）および本研究の提案手法（\ref{sec:proposed}節）について述べる．


\section{単語 $n$-gram 頻度に基づく文・フレーズ選択手法}
\label{sec:baseline}

本節では，従来手法である単語 $n$-gram 頻度に基づく文選択手法とフレーズ選択手法について紹介する．


\subsection{単語 $n$-gram 頻度に基づく文選択手法}
\label{sec:sent-by-4gram-freq}

単語 $n$-gram 頻度に基づく文選択手法では，原言語コーパスに含まれる単語数が $n$ 以下の全フレーズのうち，翻訳済みの原言語データに出現せず，かつ頻度が最大となるようなものを含む文を選択する．
逐次的に文を追加していき，翻訳済みのデータが原言語コーパスの全 $n$-gram フレーズをカバーした時点で能動学習を停止する．
この手法によって最頻出の $n$-gram フレーズを効率的にカバー可能であり，翻訳コストを抑えつつ高い精度を達成できる．
Bloodgood らは，$n = 4$ の $n$-gram 頻度に基づく文選択手法を用いた能動学習のシミュレーション実験によって，原言語データ全てを翻訳する場合に比べて，80\% 未満の文数で同等のBLEUスコア\cite{papineni02}を達成できたと報告している\cite{bloodgood10}．

しかし，1節で述べたように，この手法は文全体を選択するため，翻訳済みのデータに既にカバーされているフレーズも多く含んでおり，重複部分の単語数だけ余分な翻訳コストがかかると考えられる．
そのため，文全体ではなく高頻出のフレーズのみを選択する手法を\ref{sec:4gram-freq}節から紹介する．


\subsection{単語 $n$-gram 頻度に基づくフレーズ選択手法}
\label{sec:4gram-freq}

単語 $n$-gram 頻度に基づくフレーズ選択手法では，\ref{sec:sent-by-4gram-freq}節の文選択手法とは異なり，原言語コーパス中で翻訳済みデータにカバーされていない単語数 $n$ 以下のフレーズそのものを頻度順に選択する．
この手法では，文全体の選択を行うよりも少ない単語数の追加で$n$-gram カバレッジを高めることができるため，翻訳コストの低減によって高い能動学習効率が期待できる．
Bloodgood らは，ベースとなる対訳データを元に，追加の原言語データ中の高頻度の未カバー $n$-gram フレーズを順次選択し，アウトソーシングサイトを用いた人手翻訳実験により，少ない追加単語数と短い翻訳時間でベースシステムよりも大幅にBLEUスコアの向上を確認できたと報告している\cite{bloodgood10}．

ただし，このフレーズ選択手法では，1節で述べたようにフレーズ長が $n = 4$ などに制限されるため，選択されるフレーズどうしの重複が多い問題や，句範疇の断片が選択される問題があり，また長いフレーズ対応を学習できないことも機械翻訳を行う上で不利である．
$n = 5$ などの，より長いフレーズ長を設定することは根本的な解決にならないばかりか，さらに多くのフレーズ間の重複が発生して逆効果となり得る．


\section{極大フレーズ選択手法と部分構文木選択手法}
\label{sec:proposed}

本節では，提案手法である極大フレーズ選択手法と，部分構文木選択手法，また，それらの組み合わせ手法について説明する．


\subsection{極大フレーズ選択手法}
\label{sec:maxsubst-freq}

本節では，単語 $n$-gram 頻度に基づくフレーズ選択手法でフレーズ長の制限によって発生する，フレーズ間の重複問題を解消するために，\textit{極大部分文字列} \cite{yamamoto01,okanohara09} の定義を利用したフレーズ選択手法を提案する．
極大部分文字列は効率的に文書分類器を学習するために提案された素性であり，形式的には\textbf{「その部分文字列を常に包含するような，より長い部分文字列が存在しない」}という性質を持った部分文字列として定義される．
この極大部分文字列の定義は，文字列を任意の要素列に読み替えて，極大部分要素列とすることができる．

極大部分要素列は下記のような半順序関係の定義を用いて示すことができる．
\begin{equation}
s_1 \preceq s_2 \Leftrightarrow \exists \alpha, \beta:~ s_2 = \alpha s_1 \beta \wedge occ(s_1) = occ(s_2)
\label{eqn:maxsubst}
\end{equation}
ここで $s_1,~ s_2,~ \alpha,~ \beta$ は長さ 0 以上の要素列であり，$occ(\cdot)$ は文書中の要素列の出現回数である．
例えば，
\begin{align*}
& p_1 = \mbox{``one of the preceding''},            & occ(p_1) = 200,000 \\
& p_2 = \mbox{``one of the preceding claims''},     & occ(p_2) = 200,000 \\
& p_3 = \mbox{``any one of the preceding claims''}, & occ(p_3) = 190,000
\end{align*}
のようなフレーズが原言語コーパス中に出現している場合，$p_2 = \alpha p_1 \beta$，$\alpha = $ ``''，$\beta = $ ``claims'' が成り立ち，すなわち $p_1$ は $p_2$ の部分単語列であり，同様に $p_2$ は $p_3$ の部分単語列である．
$p_1$ は $p_2$ の部分単語列であり，コーパス中の出現頻度について $occ(p_1) = occ(p_2) = 200,000$ が成り立つため，式 (\ref{eqn:maxsubst}) により $p_1 \preceq p_2$ が成り立つ．
一方，$p_2$ は $p_3$ の部分単語列であるが，$occ(p_2) = 200,000 \neq 190,000 = occ(p_3)$ であるため，$p_2 \preceq p_3$ とはならない．
式 (\ref{eqn:maxsubst}) で定義される半順序 $\preceq$ を用いて，単語列 $p$ について $p \preceq q$ となるような $q$ が $p$ 自体を除いて存在しない場合に，$p$ は\textbf{極大性}\footnote{\label{note:maximality}極大性 (maximality) とは，代数学の用語であり，半順序関係 $\preceq$ と集合 $S$ とその元 $x \in S$ について，$x \preceq y$ となるような $y \in S, y \neq x$が存在しない場合に，$x$ は $S$ の極大元であると言う．}を有し，本稿では\textbf{極大フレーズ}と呼ぶこととする．
先述の例では，$p_1 \preceq p_2$ であるため $p_1$ は極大フレーズではなく，$p_2 \preceq q$ となるような $q$ は $p_2$ 自体を除いて存在しないため $p_2$ は極大フレーズである．

原言語コーパス中のすべての極大フレーズは拡張接尾辞配列\cite{kasai01}を用いて原言語コーパスの単語数 $N$ に対して線形時間 $O(N)$ で効率的に列挙可能であるが，出現頻度を同時に得るためには二分探索のためにそれぞれ $O(log N)$ 回の文字列比較が必要なため，合計 $(N log N$) 回の文字列比較が必要となる\cite{okanohara09}．
列挙されうる極大フレーズの数は高々 $N-1$ 個であるが，頻度で降順に列挙するためには $O(N log N)$ のソートアルゴリズムを用いることができる．
ただし，本提案手法では，極大フレーズが改行文字を含む場合は分割し，また，出現回数が2以上のものを列挙するようにしている．
これは，原言語コーパス中のほとんどの文を含めた膨大な部分単語列が出現頻度1の極大フレーズとして選択されることを防止するためである．

極大フレーズのみを人手翻訳の対象とし，翻訳済みデータに出現していない最高頻度の極大フレーズを順次選択する手法を\textbf{極大フレーズ選択手法}として提案する．
本提案手法には2つの利点があると考えられる．
1つ目の利点は，互いに重複するような複数のフレーズを1つの極大フレーズにまとめ上げて翻訳対象とすることで，1度の人手翻訳で複数の高頻度フレーズを同時にカバーすることが可能となり，翻訳コスト減少による能動学習効率の向上が見込めることである．
2つ目の利点は，既存手法でフレーズ長が4単語などの固定長に制限される問題を解消できることである．

ただし，先述の例で述べたが，$p_2$ は $p_3$ の一部であり，二者の出現頻度も近いが一致はしておらず，そのため二者とも極大フレーズとなる．
実際の用途を考慮すると，このように出現頻度が完全に一致していなくてもほとんどの場合に重複して出現するフレーズは統合することが望ましいが，すべての極大フレーズをそのまま翻訳候補とする実装では重複を取り除けない場合がある．
そこで，式 (\ref{eqn:maxsubst}) の制約をパラメータ $\lambda$ で緩和して，より一般化した半順序関係を下記のように定義する．
\begin{equation}
s_1 \overset{*}{\preceq} s_2 \Leftrightarrow \exists \alpha, \beta:~ s_2 = \alpha s_1 \beta \wedge \lambda \cdot occ(s_1) < occ(s_2)
\label{eqn:semi-maxsubst}
\end{equation}

ここで，$\lambda$ は 0 から 1 の間の実数値を取る．
この半順序 $\overset{*}{\preceq}$ を用いた場合にも極大性を定義可能であり，通常の極大フレーズ（以下，\textbf{標準極大フレーズ}とする）と区別するため\textbf{$\lambda$-極大フレーズ}と呼ぶことにし，このような特徴を持つフレーズを列挙し，未カバーフレーズを頻度順に追加する手法を\textbf{$\lambda$-極大フレーズ選択手法}として併せて提案する．

$\lambda$-極大フレーズ選択手法のパラメータ $\lambda$ を 1 より小さく設定することで，2つの重複するフレーズの一致条件を取り除き，近似する出現頻度を許容するようになる．
特殊な場合として $\lambda = 1 - \epsilon$のときには標準極大フレーズ選択手法と同一であり（$\epsilon$ は正の極小値），$\lambda = 0$ のときには部分的アノテーションを行わない，文の乱択手法となる．
両者の利点を両立できる可能性を考慮して，本研究では特に中間の値となる $\lambda=0.5$ を用いた際の影響を他の手法と比較に用いている．

$\lambda<1$ における$\lambda$-極大フレーズは，常に標準極大フレーズの条件を満たすため，原言語コーパス中の$\lambda$-極大フレーズの候補は，すべての標準極大フレーズの中から探せばよい．
標準極大フレーズは $O(N)$ 時間で列挙可能であることは先に述べた通りであるが，これは接尾辞配列に対応する接尾辞木の内部ノードをたどりながら列挙する．
この時に，極大フレーズ $p$ に対応するノードから祖先ノードをたどっていき，対応する祖先ノードのフレーズ $p_1$ が $\lambda \cdot occ(p_1) < occ(p)$ である場合，$p_1$ は$\lambda$-極大フレーズの条件を満たさないため除外できる．
接尾辞木のすべての内部ノードについて，このような処理を行うことで，除外されなかったフレーズは$\lambda$-極大であり，高々 $N-1$ 個の内部ノードに対し，$O(log N)$ 回の文字列比較で出現頻度比較を行い，根ノードから帰りがけ順で処理を行えば $O(N log N)$ 回の文字列比較で$\lambda$-極大フレーズを列挙できる．
また，標準極大フレーズと同様に，$\lambda$-極大フレーズとその出現頻度は，$O(N log N)$ 時間で頻度順に列挙可能である．


\subsection{部分構文木選択手法}
\label{sec:struct-freq}

本節では\ref{sec:maxsubst-freq}節で述べた提案手法とは別に，原言語コーパスの句構造解析結果に基くフレーズ選択手法を提案する．
本手法では，図\ref{fig:struct-freq} に示すように，翻訳候補となる原言語コーパスの全文を句構造解析器で処理し，得られた構文木の全部分木をたどりながらフレーズを数え上げ，その後にフレーズを頻度順に選択する．
これにより，木をまたがるようなフレーズ選択は行われないため，句範疇が分断されるような問題は発生せず，選択されるフレーズは構文的にまとまった意味を持つと考えられる．
本研究では選択されるフレーズが能動学習効率に与える影響の調査を目的とするため，他の手法と比較しやすいように構文木をフレーズ抽出のみに用いており，そのため異なる構造の部分木であっても単語列が一致している場合には同一のものとしてカウントする．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia7f2.eps}
\end{center}
\caption{\small 構文木に基づく手法のフレーズカウント条件}
\label{fig:struct-freq}
\end{figure}

本手法で選択された翻訳候補のフレーズは，統語情報を用いない他の手法と比べて，人手翻訳を行う際に有用で，同じ追加単語数でも質の高い正解データが得られるものと期待できる．

$n$-gram 頻度や極大フレーズの選択手法では，表層的な単語列を数え上げるため，``two methods are proposed'' というフレーズがあると，その一部である ``are proposed'' も頻度に加えるが，構文木に基づく場合，図\ref{fig:struct-freq} (b) に示すように ``are proposed and discussed'' の一部である ``are proposed'' は部分木をまたがるために頻度に加えない．
このため，構文木に基づくフレーズ選択手法では，フレーズの頻度が他の手法による表層的な数え上げよりも小さくなる傾向があり，結果として2単語以上からなるフレーズを選択する優先順位が低くなりやすい．

この手法では，全部分木のフレーズを数え上げるため，単語 $n$-gram頻度に基づくフレーズ選択手法と同様に，フレーズの重複により追加単語数あたりの能動学習効率に悪影響を及ぼす可能性がある．
従って，\ref{sec:maxsubst-freq}節で提案した$\lambda$-極大フレーズと併用することで，重複を取り除き，選択するフレーズを絞り込む手法も同時に提案する（\textbf{$\lambda$-極大部分構文木選択手法}）．


\section{シミュレーション実験}
\label{sec:simulation}


\subsection{実験設定}
\label{sec:setup}

\ref{sec:proposed}節で提案したフレーズ選択手法が，機械学習のための能動学習にどのような影響を与えるかを調査するため，本研究では先ず，逐次的にフレーズの対訳を追加して翻訳モデルを更新するシミュレーション実験を実施し，各ステップにおける翻訳精度の比較評価を行った．
本実験では，高精度な句構造解析器を利用可能な英語を原言語とし，目的言語にはフランス語と日本語を選択した．
対訳コーパスが全く存在しない状態から能動学習を用いることも可能であるが，より現実的な利用方法を考慮し，一般分野の対訳コーパスが存在している状態に，専門分野の追加コーパスからフレーズを選択し，翻訳モデルの高精度化を目指す．
英仏翻訳には，WMT2014\footnote{http://statmt.org/wmt14/}の翻訳タスクで用いられた欧州議会議事録のEuroparlコーパス\footnote{http://www.statmt.org/europarl/} \cite{koehn05europarl}をベースとし，医療翻訳タスクで用いられたデータのうちEMEA\footnote{http://opus.lingfil.uu.se/EMEA.php} \cite{tiedemann09}，PatTR\footnote{http://www.cl.uni-heidelberg.de/statnlpgroup/pattr/} \cite{waeschle12}，Wikipediaタイトルを合わせて追加コーパスとした．
英日翻訳には，日常的な英語表現を広くカバーする英辞郎例文データ\footnote{http://eijiro.jp}をベースの対訳コーパスとし，科学論文の概要を元に抽出されたASPEC\footnote{http://lotus.kuee.kyoto-u.ac.jp/ASPEC/} \cite{nakazawa16lrec}を追加の対訳コーパスとして用いた．
前処理として，日本語コーパスの単語分割には KyTea\cite{neubig11-kytea} を用いており，句構造解析と単語アラインメント推定の精度を確保するため，学習用対訳コーパスのうち，単語数が 60 を超える文の対訳は取り除いた．
前処理後の対訳データの内訳を表\ref{tab:dataset}にまとめる．

本実験では，逐次的なデータの追加とモデルの再学習を行うものの，各ステップで1フレーズずつ追加するのでは数十万フレーズ以上ある翻訳候補すべての影響を現実的な時間で評価できないと判断したため，ステップ毎の追加フレーズ数は次式に従い可変とした\footnote{例として，追加された累積フレーズ数は能動学習開始から 0, 1, 2, …, 9, 10, 12, 14, …, 20, 23, … と変化する．}．
\begin{equation}
\mbox{\#additional\_phrases} = {\left\lfloor \frac{\mbox{\#accmulated\_additional\_phrases}}{10} \right\rfloor} + 1
\label{eqn:step}
\end{equation}

\begin{table}[t]
\caption{対訳コーパスのデータ内訳（有効数字3桁）}
\label{tab:dataset}
\input{07table01.txt}
\end{table}

翻訳の枠組みには，フレーズベース機械翻訳\cite{koehn03pbmt}を用い，Mosesツールキット\footnote{http://www.statmt.org/moses}\cite{koehn07moses}を利用して翻訳モデルの学習やデコードを行った．
ただし，少量の対訳を追加して単語アラインメントの再学習およびフレーズテーブルの再構築を行うには計算コストが非常に大きい．
そのため，単語アラインメントにはGIZA++\cite{och03alignment}を逐次学習に対応させたinc-giza-pp\footnote{https://github.com/akivajp/inc-giza-pp/}を用いており，翻訳モデルの学習にはMosesのMMSAPT(Memory-mapped Dynamic Suffix Array Phrase Tables \cite{germann14dynamic})機能を利用して，フレーズ抽出を行わずに接尾辞配列による動的なフレーズテーブルの構築を行った．
言語モデルの学習にはKenLM \cite{heafield11}を用いて，ベースコーパスと追加コーパスの全学習用データから $n = 5$の $n$-gram 言語モデルを学習した．
デコード時のパラメータ調整には MERT \cite{och03mert} を用いたが，フレーズ追加の度に最適化を行うのは時間的に現実的でないため，ベースコーパス全文で学習した翻訳モデルに対して，追加コーパス用の開発データセットで自動評価尺度のBLEUスコア\cite{papineni02}が最大となるよう学習を行い，その後はパラメータを固定し能動学習を行った．
能動学習に用いるフレーズ選択手法には従来手法と提案手法を含め，以下のように8つのタスクを設定した．

\begin{description}
\item[文の乱択 (sent-rand):]\mbox{}\\
追加コーパスの順序をシャッフルし，順次選択
\item[フレーズの乱択 (4gram-rand):]\mbox{}\\
ベースコーパス中に含まれない追加コーパス中の単語数4以下のフレーズを列挙後にシャッフルし，順次選択
\item[4-gram頻度に基づく文選択 (sent-by-4gram-freq):]\mbox{}\\
翻訳済みデータに含まれず，単語数4以下で最高頻度のフレーズを含む文を順次選択（ベースライン，\ref{sec:sent-by-4gram-freq}節）
\item[4-gram頻度に基づくフレーズ選択 (4gram-freq):]\mbox{}\\
翻訳済みデータに含まれず，単語数4以下で最高頻度のフレーズを順次選択（ベースライン，\ref{sec:4gram-freq}節）
\item[標準極大フレーズ選択手法 (maxsubst-freq):]\mbox{}\\
翻訳済みデータに含まれず，追加コーパス中で最高頻度の標準極大フレーズを順次選択（提案手法，\ref{sec:maxsubst-freq}節）
\item[$\lambda$-極大フレーズ選択手法 (reduced-maxsubst-freq):]\mbox{}\\
翻訳済みデータに含まれず，追加コーパス中で最高頻度の$\lambda$-極大フレーズ ($\lambda=0.5$) を順次選択（提案手法，\ref{sec:maxsubst-freq}節）
\item[部分構文木選択手法 (struct-freq):]\mbox{}\\
追加コーパスの句構造解析結果を元に，部分木を成すようなフレーズの中から翻訳済みデータに含まれず最高頻度のものを順次追加（提案手法，\ref{sec:struct-freq}節）
\item[$\lambda$-極大部分構文木選択手法 (reduced-struct-freq):]\mbox{}\\
追加コーパスの句構造解析結果を元に，部分木を成すような$\lambda$-極大フレーズの中から翻訳済みデータに含まれない最高頻度のものを順次追加（提案手法，\ref{sec:maxsubst-freq}節，\ref{sec:struct-freq}節）
\end{description}

それぞれの手法で選択されたフレーズの正解訳を得るために，文の選択に対しては対応する対訳文をそのまま選択，フレーズの選択に対してはベースコーパスと追加コーパスの全文を用いて学習した翻訳モデルをオラクルとして，翻訳結果を対訳フレーズとした．
構文木に基づく手法では，句構造解析を行うためにCkylark\footnote{https://github.com/odashi/Ckylark} \cite{oda15ckylark} を使用した\footnote{本実験では専門分野のコーパスに対して句構造解析を行ったため，科学用語などの多くは句構造解析モデル中に含まれていないが，Ckylark は単語の並びから未知語に対しても何らかの品詞を推定できるため，本研究では未知語による解析の失敗などは特に考慮していない．}．
maxsubst-freq や reduced-maxsubst-freq では出現頻度1のものを取り除くことを\ref{sec:maxsubst-freq}節で述べたが，文を含まないフレーズの出現頻度を扱う他の全ての手法においても条件を揃えるために，出現頻度1のフレーズは除外した\footnote{予備実験により，頻度1のフレーズを含めた場合と取り除いた場合のフレーズ数を比較したが，頻度1の異なるフレーズは頻度2以上のフレーズの等倍以上，maxsubst-freqなどでは10倍以上列挙された．これら頻度1のフレーズは計算資源を圧迫し，カバレッジへの影響も非常に小さいため除外して実験を行うこととした．}．


\subsection{実験結果}
\label{sec:results}

\textbf{能動学習効率の比較：}シミュレーション実験により得られた結果から，追加単語なし，1万単語追加直後，10万単語追加直後，100万単語追加直後，全フレーズ追加時点における各手法のBLEUスコアの推移を表\ref{tab:bleu-scores}に示す\footnote{英日翻訳におけるベースシステムのBLEUスコアが10を下回る低い値から開始しているが，専門分野の対訳が極端に不足しているためである．先行研究 \cite{haffari09naacl,bloodgood10,ananthakrishnan10,ananthakrishnan10emnlp}においても，対訳不足の状態から能動学習によって分野適応する際に共通してBLEUスコアを用いているため，本研究でも同様の評価を行った．}．
全フレーズ追加時点でのスコアは，各手法で選択されうるフレーズの全対訳を用いて学習した翻訳精度であるため，各手法の性能限界と考えられるが，追加される単語数が大きく異なるため能動学習効率という観点では単純比較ができない．

\begin{table}[b]
\hangcaption{各手法におけるBLEUスコアの推移（100万単語追加直後までの各時点において下線は乱択手法とベースライン手法の中でスコア最大であることを示し，このスコアを上回る提案手法のスコアをボールド体で示す．また，全手法でスコア最大のものには短剣符 $\dagger$ を付記した．）}
\label{tab:bleu-scores}
\input{07table02.txt}
\end{table}

この表から，2つの乱択手法と2つのベースライン手法と比較した場合，10万単語追加直後までは安定して 4gram-freq での精度の伸びが良く，文全体ではなく高頻度のフレーズのみを選択することによる利点を確認できる．
ただし，英仏翻訳における100万単語追加時点では，4gram-freq のスコアが sent-by-4gram-freq を下回っており，また，両言語対における全フレーズ追加時点では 4gram-freq のスコアが sent-by-4gram-freq や sent-rand を下回っていることから，一定量以上の単語数を追加する場合には 4gram-freq では文選択手法より能動学習効率が低下し，性能限界も高くないことが分かる．
これは，\ref{sec:4gram-freq}節でも述べたように，4gram-freq では選択されるフレーズの最大長が4単語までに制限されており，より長いフレーズの対応を学習できないことが翻訳する上で不利であるためと考えられる．

次に，提案手法とベースライン手法との比較を行う．
提案手法の中では，reduced-maxsubst-freq は maxsubst-freq よりほぼ常に高スコアであり，reduced-struct-freq は struct-freq よりほぼ常に高スコアであったため，$\lambda$-極大性を利用して長いフレーズを優先することで，結果的に少ない単語数でカバレッジが向上したと考えられる．
このため，$\lambda$-極大性を利用する2つの提案手法と2つのベースライン手法との，より詳細な比較を行いたい．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia7f3.eps}
\end{center}
\hangcaption{追加単語数あたりのBLEUスコア（左上：10万単語まで追加の英仏翻訳，右上：100万単語まで追加の英仏翻訳，左下：10万単語まで追加の英日翻訳，右下：100万単語まで追加の英日翻訳）}
\label{fig:simulation}
\end{figure}

図\ref{fig:simulation}には，それぞれの言語対で10万単語まで追加した場合と100万単語まで追加した場合の追加単語数と翻訳精度の変化を示す．
また，ベースコーパスと追加コーパスの全対訳データを用いて学習・評価したスコアをオラクルスコアとして，右側の100万単語追加までのグラフに併せて示す．

reduced-maxsubst-freq は，英日翻訳ではベースライン手法よりも安定して高いスコアであったが，英仏翻訳では100万単語追加時点まで 4gram-freq とほぼ同程度のスコアとなった．
ただし，両言語対において全フレーズ追加時点でのスコアは 4gram-freq や 4gram-rand を大きく上回っているため性能限界は高く，提案手法では先述のような最大フレーズ長制限の問題が発生しないことが大きな原因と考えられる．
また，英仏翻訳においてreduced-maxsubst-freq と 4gram-freq で大きな差が見られなかった原因として，両手法で選択された高頻度フレーズを見たところ，最高頻度順に ``according to claim'' （1,502,455回），``claim 1'' （1,133,243回），``characterized in that'' （858,404回）などと共通のフレーズが選択されており，\ref{sec:intro}節で述べたような，フレーズ間の重複はあまり発生しておらず，句範疇の断片化の方が目立っていた．
複数の高頻度な 4-gram フレーズが共通の部分単語列を多く有するという状態は，特に高頻度の $n > 4$ 単語からなる長い未カバーフレーズが出現する場合であり，本実験で用いた医療文書コーパス中の高頻度の長いフレーズは，専門的な表現をあまり含んでいないために一般分野の大規模コーパス中に既に含まれていたことが原因と考えられる．
一方，英日翻訳では，4gram-freq で選択された高頻度フレーズは ``results suggest that'' （6,352回），``these results suggest'' （5,115回），``these results suggest that'' （4,791回）などのように多くの重複が見られ，reduced-maxsubst-freq では，こういったフレーズを1つにまとめられたことが大きいと考えられる．
特に，英日翻訳で用いた一般分野のコーパスは訳40万文と比較的小規模であり，日常表現をまとめたものであるため長いフレーズはあまりカバーされていなかったことの影響もあるだろう．

reduced-struct-freq は，両言語対においてほぼ安定して最高スコアのフレーズ選択手法であった．
英日翻訳における10万単語追加時点のみ，reduced-maxsubst-freq が最大スコアとなっているが僅差であり，学習曲線の振れ幅も大きいため誤差の範囲であろう\footnote{ブートストラップ・リサンプリング法\cite{koehn04bootstrap}で統計的有意差を検定したところ，$p < 0.1$の有意さも見られなかった}．
特に英仏翻訳シミュレーション結果では，最初からreduced-struct-freq や struct-freq での精度の伸びが良く，他の手法よりも精度が大きく上回り，100万単語追加時点でも差はほとんど縮まらなかった．
一方で，英日翻訳の追加単語数が少ないうちは reduced-maxsubst-freq や 4gram-freq とあまり大きな差は見られなかったが，約4万単語追加時点から他の手法よりも精度が高くなっており，約50万単語追加時点からはフレーズ選択手法の精度がほぼ横這いとなった．

\textbf{選択されたフレーズ長の傾向：} 手法毎に翻訳対象のフレーズ選択基準が異なるため，フレーズ長制限の有無や重複の削減方法の違いによって，翻訳対象を選び尽くした場合のフレーズ数等に大きな差が出ることになる．
フレーズ頻度に基づくそれぞれの手法によって選択されるフレーズの傾向を調べるため，翻訳候補を全て追加し終えた時点および約1万単語のみ追加した時点でのフレーズ数，単語数，平均フレーズ長を表\ref{tab:selected-data}にまとめる．
全翻訳対象を翻訳し終えた時点でカバレッジが収束するため，翻訳対象の単語数が少ないほどカバレッジの収束が速く，翻訳精度が向上しやすいと考えられる．
一方，一度に追加するフレーズが長いほど，同時に複数の $n$-gram をカバーできるため，平均フレーズ長が大きいほど 4-gram カバレッジ等を向上させる上で有利と考えられる．
提案手法によって選択されたフレーズの平均フレーズ長が英日翻訳で 3.03〜3.58 単語，英仏翻訳で 5.30〜6.68 単語と大きく差が開いているが，これは原言語側のベースコーパスと追加コーパスの組み合わせのみに依存しており，目的言語には当然依存しない．
また，表\ref{tab:selected-data}のフレーズ頻度に基づく手法において，全フレーズ追加時の平均フレーズ長に比べ，1万単語追加時の平均フレーズ長が短いことを確認できる．
短いフレーズほど高頻度となりやすく優先的に選択されるため当然であるが，構文木に基づく手法では1万単語追加時点の平均フレーズ長が極端に小さくなっており，長いフレーズの頻度が大幅に下がりやすい傾向が見られる．

\begin{table}[t]
\caption{手法ごとに選択されるフレーズ内訳（有効数字3桁）}
\label{tab:selected-data}
\input{07table03.txt}
\end{table}

\textbf{カバレッジの影響：}また，各手法によって，翻訳済みのデータが実際に評価データをどの程度カバーしているかを調査する．
各手法でフレーズを1つずつ選択していき，追加単語数が1万，10万，100万にそれぞれ達する時点での評価データの1-gramカバレッジおよび4-gramカバレッジを表\ref{tab:coverage}にまとめる．
この結果から，reduced-struct-freqではどの場合でも最も1-gramカバレッジが向上していることが分かり，効率的に未知語がカバーされることになる．
struct-freq や，reduced-struct-freq において，他の手法よりも高い 1-gram カバレッジを得られた理由としては，\ref{sec:struct-freq}節で述べたように木構造に基づくフレーズ選択手法では，表層的な単語列の出現回数ではなく特定の部分木の句範疇をなすフレーズとして出現頻度を数え上げるため，2単語以上からなるフレーズの頻度は大きく低下し，優先的に高頻度の未カバー 1-gram を選択したことの影響が大きいと考えられる．
一方で，4-gramカバレッジに関しては，3単語以下のフレーズを追加しても全く影響が出ないため，長いフレーズを追加する方が有利であることは明らかであり，sent-by-4gram-freqで最も効率的に向上が見られる．
英仏翻訳では，1万単語追加時点で 4-gram カバレッジの上4桁に変化が見られなかった．
このように，フレーズ選択時に長いフレーズを選ぶか，短いフレーズを選ぶかは，カバレッジの影響を考える際にトレードオフの関係が生じるが，$\lambda$-極大性に基いて重複を取り除くことによって，1-gramカバレッジと4-gramカバレッジを両立して向上させられることが確認できた．

\begin{table}[b]
\hangcaption{各フレーズ選択手法がカバレッジに与える影響（小数点第三位を四捨五入），ボールド体は一定の単語数追加時点でのカバレッジ最大値を示す}
\label{tab:coverage}
\input{07table04.txt}
\end{table}
\begin{table}[b]
\caption{4gram-freq で重複して選択されるフレーズの提案手法による削減量}
\label{tab:reduced-words}
\input{07table05.txt}
\end{table}

\textbf{削減された単語数：}\ref{sec:4gram-freq}節では，4gram-freq の問題として，選択されるフレーズ間で重複して出現する共通の部分単語列が多いことを挙げ，この問題に対処するために\ref{sec:maxsubst-freq}節で$\lambda$-極大フレーズ選択手法を提案した．
表\ref{tab:reduced-words}に，4gram-freq で1万単語追加直後，10万単語追加直後，100万単語追加直後の各時点で選択されたフレーズが，maxsubst-freq や reduced-maxsubst-freq でより長いフレーズに統合されて削減された単語数と割合をまとめる．
表から，英仏翻訳においても英日翻訳においても，maxsubst-freq では1\%から4\%程の少量の単語数しか削減できていないが，これは\ref{sec:maxsubst-freq}節で述べたように，標準極大フレーズでは包含関係にあるフレーズの出現頻度が完全一致するという厳しい制約があるため，多くのフレーズが極大フレーズとなったことに起因する．
一方，両言語対において，reduced-maxsubst-freq では24.70\%以上，最大で50.79\%の単語が削減された．
この結果からも，フレーズの出現頻度の一致条件を緩めることで，包含されたフレーズを効果的により多く削減することができると言えるだろう．


\section{人手翻訳実験}
\label{sec:manual-trans}


\subsection{実験設定}
\label{sec:manual-setting}

前節のシミュレーション実験で得られた結果が，現実の人手翻訳による能動学習を行う際にも有効と言えるかどうかを調査するため，外部委託機関を通じて翻訳作業を依頼し，それによって得られた結果を用いて従来手法との比較評価を行った．
特に，翻訳に要した実作業時間や，得られる対訳の自信度評価も能動学習の効果を比較する上で重要である．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia7f4.eps}
\end{center}
\caption{人手翻訳ユーザーインターフェイスのイメージ}
\label{fig:manual-trans}
\end{figure}

人手翻訳の依頼を行うため，図\ref{fig:manual-trans}に示すような作業用ユーザーインターフェイスを持つWebページを作成した．
翻訳対象のフレーズのみ提示されても翻訳が困難であったり多くの時間が必要となる可能性があるため，Bloodgoodらの実験手法\cite{bloodgood10}に従い，翻訳候補のフレーズを含むような文を表示して文脈を明らかにした上で，ハイライトされたフレーズのみを翻訳するよう依頼した．
フレーズを含む文は複数存在し得るが，本実験では単純に最も短い文を選択して表示した．
各フレーズの翻訳後には，翻訳者がその翻訳結果にどの程度確証を持てるかという主観的な自信度を3段階で評価するよう併せて依頼した．
翻訳時の自信度評価は表\ref{tab:guideline}に掲載した翻訳作業ガイドラインを基準とし，翻訳が困難で自信度評価が1の場合のみ，翻訳のスキップを許容した．
また，翻訳候補が表示されてから対訳が送信されるまでの時間の記録も行った．

\begin{table}[t]
\caption{\small 翻訳作業ガイドライン}
\label{tab:guideline}
\input{07table06.txt}
\end{table}

比較評価に用いたフレーズ選択手法には，ベースラインとして従来手法の$n = 4$における単語 $n$-gram 頻度に基づく文選択手法 (sent-by-4gram-freq)および単語 $n$-gram 頻度に基づくフレーズ選択手法 (4gram-freq)の2つを，提案手法として，前節のシミュレーション実験で最も高い能動学習効率を示した$\lambda$-極大部分構文木選択手法 (reduced-struct-freq)を用いて比較評価を行った．
翻訳作業を行ったのは専門の翻訳者3名であり，それぞれの手法で1万単語以上のフレーズに対する翻訳が得られるよう発注を行った．
翻訳者毎の能力や評価の偏りによる影響を小さくするため，毎回異なる手法からフレーズを選択して新しい翻訳対象の表示を行った．

実験に用いたデータやツールは，英日翻訳のシミュレーション実験で用いたものと同一である（\ref{sec:simulation}節）．
しかし，人手翻訳によって収集した対訳データは，ベースシステムの学習に用いた対訳データと比較して非常に小規模であり，追加されたフレーズ対が与える影響が非常に小さくなってしまう可能性があるため，フレーズ対を追加する度に，ベースシステムの対訳データと収集した追加データで個別に 5-gram 言語モデルを学習し，開発用データセットにおけるパープレキシティが最小となるようSRILM \cite{stolcke02}を用いて二者を線形補間で合成して用いた\footnote{言語モデル $L$ における文 $e$ の生起確率を $P_{L}(e)$ とすると，2つの言語モデル $L_1$, $L_2$ を線形補間で合成したモデル $L_{1+2}$ の生起確率は $P_{L_{1+2}}(e) = \alpha P_{L_1}(e) + (1 - \alpha) P_{L_2}(e)$ となる．$\alpha$ は 0 から 1 の間を取る補完係数であり，開発用データ $E_{dev}$ に対して，$PPL(E_{dev}) = exp \left( \frac {\sum_{e \in E_{dev}} - log P_{L_{1+2}}(e)} {|E_{dev}|} \right)$ が最小となるように調整される．}．


\subsection{実験結果}
\label{sec:manual-result}

\textbf{能動学習効率：}図\ref{fig:manual-transition}のグラフは，本実験で収集した対訳データを用いて翻訳モデルを学習した際の翻訳精度の推移を表している．
翻訳者が翻訳をスキップしたフレーズに関しては，追加単語数には含めず，累計作業時間には含めているが，実際にスキップされたフレーズ数は極少数であったため，この影響は小さい．
左のグラフから，reduced-struct-freq で，従来手法よりも急激に翻訳精度が向上している様子が分かる．
クラウドソーシングのような形で翻訳作業を委託する際には，文章量，特に単語数に応じた予算が必要となることから\cite{bloodgood10}，こういった状況では提案手法で高い費用対効果を発揮できることになる．
一方，右のグラフから，作業時間あたりの能動学習効率は，4gram-freq を上回ることはなかった．
これは，前節でテーブル \ref{tab:coverage} をもとに議論したように，部分構文木選択手法では，未カバーの 1-gram，即ち未知語を優先的にカバーする傾向があるため，本実験タスクでは科学分野の専門用語が多く，翻訳に多くの時間を要したものと考えられるため，後の議論で詳細な分析を行う．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia7f5.eps}
\end{center}
\hangcaption{各手法における追加単語数あたりのBLEUスコア推移（左）と累計作業時間あたりのBLEUスコア推移（右）}
\label{fig:manual-transition}
\end{figure}

\textbf{作業時間と自信度評価：}表\ref{tab:workload}に，各手法で1万単語をすべて翻訳し終えるのに要した時間と，3段階で主観評価を行った自信度評価の統計値をまとめる．
表\ref{tab:phrases}は，各手法で選択されたフレーズ数の内訳である．
提案手法では，合計作業時間が他の手法の倍近い値になっているが，提案手法では先述のように専門用語を重点的に選択する傾向が確認されており，表\ref{tab:phrases}からは，4gram-freq と比較していて4倍近い数の未知語が選択され，全体的なフレーズ数も多いことが大きな要因であろう．
一方で，選択されたフレーズの翻訳作業に対する自信度評価は提案手法が最大で，全体の約79\%のフレーズ翻訳作業で最大評価の3が選択されており，質の高い対訳を得られたと考えられる．
この結果は，句構造を保つようなフレーズが選択されることで，構文的に対応の取れた翻訳を行えた点が大きく影響していると考えられる．

\begin{table}[b]
\caption{合計実作業時間と自信度評価の統計}
\label{tab:workload}
\input{07table07.txt}
\end{table}
\begin{table}[b]
\caption{各手法で選択されたフレーズ数の内訳}
\label{tab:phrases}
\input{07table08.txt}
\end{table}
\begin{table}[b]
\caption{各手法におけるフレーズの翻訳に要した平均時間}
\label{tab:duration}
\input{07table09.txt}
\end{table}

表\ref{tab:duration}には，各手法で選択されたフレーズの翻訳に要した平均時間の傾向を示す．
手法の内外で翻訳候補のフレーズ長に大きく差があり，単純な比較を行うことができないため，フレーズ長に応じて個別に平均作業時間を求めて比較を行うことにした．
この表から，1単語の翻訳作業に要した平均時間は，2〜4 単語からなるフレーズの翻訳よりも長くなるという現象が見られるが，未カバーの単語はほとんどが専門用語であるため，辞書やオンライン検索で慎重に意味を調べる必要性を考えれば納得できる．
また，これらは1フレーズの翻訳に要した平均時間であるため，1単語の翻訳に要する時間コストとして換算した場合，1単語フレーズの翻訳時間は2単語フレーズの単語翻訳時間の倍以上であり，専門用語の翻訳に要するコストがいかに大きいかが分かる．

各手法におけるフレーズ長ごとの平均自信度評価を表 \ref{tab:confidence}に示す．
この表から，提案手法では1単語の翻訳時の平均自信度はベースライン手法よりも低くなっているのが分かるが，ベースライン手法では1単語のみ選択されることが少なく，提案手法では多くの専門用語が選択されたことが原因と考えられる．
一方で，従来手法ではフレーズ長が長くなるほど劇的に自信度が下がる傾向が見られるが，提案手法においては長いフレーズに対しても安定して高い自信度が得られており，構文的に整ったフレーズを選択する手法の有効性が如実に現れている．
専門用語の対訳を得るには時間がかかるが，調べれば対応する訳語を得られる可能性も高いため，対訳の自信度が高くなる傾向も見られた．

\begin{table}[b]
\caption{各手法におけるフレーズ長ごとの平均自信度評価}
\label{tab:confidence}
\input{07table10.txt}
\end{table}
\begin{table}[b]
\caption{保証値以上の自信度を持つフレーズ対のみを学習に用いた場合の翻訳精度}
\label{tab:confidence-filter}
\input{07table11.txt}
\end{table}

\textbf{自信度帯による翻訳精度：}各手法によって得られたフレーズ対をすべて学習に用いた場合の翻訳精度を表\ref{tab:confidence-filter}に示す．
また，それぞれのフレーズ対に自信度評価が記録されているため，最低保証値を定めて全フレーズ対のうち自信度が2以上や3のフレーズ対のみを学習に用いた翻訳モデルの評価も行った．
その結果，どの手法においても自信度1の対訳を除去して2以上のフレーズ対のみを用いた場合の方が，全フレーズ対を用いる場合よりも翻訳精度の向上が見られた．
一方，自信度3の対訳のみを用いる場合は精度がかえって減少したが，これは大幅に対訳データを削ってしまうことによる悪影響であろう．
追加データ無しのベースシステムではBLEUスコアが約 9.37\% であったが，提案手法によって収集した1万単語分の追加データのうち自信度2以上のものを用いて翻訳モデルを学習することで，BLEUスコアは約 10.72\% となり，約 1.35 ポイントの翻訳精度向上を達成することができた．


\section{まとめ}
\label{seq:conclusion}

本研究では，機械翻訳のための能動学習における，新しいフレーズ選択手法として，フレーズの極大性を導入し，それをパラメータ $\lambda$ で一般化して頻度順に追加する $\lambda$-極大フレーズ選択手法と，句構造解析結果から部分木のみを頻度順に選択する部分構文木選択手法，およびそれらの組み合わせである$\lambda$-極大部分構文木選択手法を提案した．
提案手法の有効性を調査するため，先ず，人手翻訳によるアノテーション作業を擬似的にSMTで行うシミュレーション実験を実施したところ，冗長に選択されるフレーズを$\lambda$-極大性に基づいて削減することで，従来より少ない追加単語数で精度向上を達成することができた．
また，$\lambda$-極大部分構文木選択手法が実際の人手翻訳に与える影響を調査するため，人手翻訳実験を実施したところ，翻訳精度と翻訳者の自信度評価のどちらにおいても従来手法より高い結果が得られた．

しかし，今回用いた手法では専門用語が重点的に選択されるため，従来のフレーズ選択手法よりも長い翻訳時間を要することも示された．
そのため，翻訳時間を短縮しつつ，有効にモデルを高度化させられるような能動学習手法を考案することが今後の課題である．
具体的には，未知語の獲得手法\cite{daume11domain}や，時間効率を最適化するフレーズ選択手法\cite{sperber14}が改善の手がかりとなり得る．
また，フレーズ中の部分フレーズを ``one of the preceding X'' のように変数でテンプレート化する手法\cite{chiang07hiero}を用いて能動学習に利用する手法の検討も興味深いと考えている．


\acknowledgment

本研究は，（株）ATR-Trekの助成を受け実施されたものです．
また，（株）バオバブには人手翻訳実験のための翻訳作業を支援して頂きました．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Ananthakrishnan, Prasad, Stallard, \BBA\
  Natarajan}{Ananthakrishnan et~al.}{2010a}]{ananthakrishnan10}
Ananthakrishnan, S., Prasad, R., Stallard, D., \BBA\ Natarajan, P. \BBOP
  2010a\BBCP.
\newblock \BBOQ A Semi-Supervised Batch-Mode Active Learning Strategy for
  Improved Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of CoNLL}, \mbox{\BPGS\ 126--134}.

\bibitem[\protect\BCAY{Ananthakrishnan, Prasad, Stallard, \BBA\
  Natarajan}{Ananthakrishnan et~al.}{2010b}]{ananthakrishnan10emnlp}
Ananthakrishnan, S., Prasad, R., Stallard, D., \BBA\ Natarajan, P. \BBOP
  2010b\BBCP.
\newblock \BBOQ Discriminative Sample Selection for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP}, \mbox{\BPGS\ 626--635}.

\bibitem[\protect\BCAY{Bloodgood \BBA\ Callison-Burch}{Bloodgood \BBA\
  Callison-Burch}{2010}]{bloodgood10}
Bloodgood, M.\BBACOMMA\ \BBA\ Callison-Burch, C. \BBOP 2010\BBCP.
\newblock \BBOQ Bucking the Trend: Large-Scale Cost-Focused Active Learning for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 854--864}.

\bibitem[\protect\BCAY{Brown, Pietra, Pietra, \BBA\ Mercer}{Brown
  et~al.}{1993}]{brown93smt}
Brown, P.~F., Pietra, V.~J., Pietra, S. A.~D., \BBA\ Mercer, R.~L. \BBOP
  1993\BBCP.
\newblock \BBOQ The Mathematics of Statistical Machine Translation: Parameter
  Estimation.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 19}, \mbox{\BPGS\ 263--312}.

\bibitem[\protect\BCAY{Chiang}{Chiang}{2007}]{chiang07hiero}
Chiang, D. \BBOP 2007\BBCP.
\newblock \BBOQ Hierarchical Phrase-Based Translation.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 33}  (2), \mbox{\BPGS\
  201--228}.

\bibitem[\protect\BCAY{Daum{\'{e}}~III \BBA\ Jagarlamudi}{Daum{\'{e}}~III \BBA\
  Jagarlamudi}{2011}]{daume11domain}
Daum{\'{e}}~III, H.\BBACOMMA\ \BBA\ Jagarlamudi, J. \BBOP 2011\BBCP.
\newblock \BBOQ Domain Adaptation for Machine Translation by Mining Unseen
  Words.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 407--412}.

\bibitem[\protect\BCAY{Eck, Vogel, \BBA\ Waibel}{Eck et~al.}{2005}]{eck05}
Eck, M., Vogel, S., \BBA\ Waibel, A. \BBOP 2005\BBCP.
\newblock \BBOQ Low Cost Portability for Statistical Machine Translation based
  in N-gram Frequency and TF-IDF.\BBCQ\
\newblock In {\Bem Proceedings of IWSLT}, \mbox{\BPGS\ 61--67}.

\bibitem[\protect\BCAY{Germann}{Germann}{2014}]{germann14dynamic}
Germann, U. \BBOP 2014\BBCP.
\newblock \BBOQ Dynamic Phrase Tables for Machine Translation in an Interactive
  Post-editing Scenario.\BBCQ\
\newblock In {\Bem Proceedings of AMTA 2014 Workshop on Interactive and
  Adaptive Machine Translation}, \mbox{\BPGS\ 20--31}.

\bibitem[\protect\BCAY{Gonz{\'{a}}lez-Rubio, Ortiz-Mart{\'{i}}nez, \BBA\
  Casacuberta}{Gonz{\'{a}}lez-Rubio et~al.}{2012}]{gonzalezrubio12}
Gonz{\'{a}}lez-Rubio, J., Ortiz-Mart{\'{i}}nez, D., \BBA\ Casacuberta, F. \BBOP
  2012\BBCP.
\newblock \BBOQ Active Learning for Interactive Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of EACL}, \mbox{\BPGS\ 245--254}.

\bibitem[\protect\BCAY{Green, Wang, Chuang, Heer, Schuster, \BBA\
  Manning}{Green et~al.}{2014}]{green14}
Green, S., Wang, S.~I., Chuang, J., Heer, J., Schuster, S., \BBA\ Manning,
  C.~D. \BBOP 2014\BBCP.
\newblock \BBOQ Human Effort and Machine Learnability in Computer Aided
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP}, \mbox{\BPGS\ 1225--1236}.

\bibitem[\protect\BCAY{Haffari, Roy, \BBA\ Sarkar}{Haffari
  et~al.}{2009}]{haffari09naacl}
Haffari, G., Roy, M., \BBA\ Sarkar, A. \BBOP 2009\BBCP.
\newblock \BBOQ Active Learning for Statistical Phrase-based Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of NAACL}, \mbox{\BPGS\ 415--423}.

\bibitem[\protect\BCAY{Haffari \BBA\ Sarkar}{Haffari \BBA\
  Sarkar}{2009}]{haffari09acl}
Haffari, G.\BBACOMMA\ \BBA\ Sarkar, A. \BBOP 2009\BBCP.
\newblock \BBOQ Active Learning for Multilingual Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 181--189}.

\bibitem[\protect\BCAY{Heafield}{Heafield}{2011}]{heafield11}
Heafield, K. \BBOP 2011\BBCP.
\newblock \BBOQ KenLM: Faster and Smaller Language Model Queries.\BBCQ\
\newblock In {\Bem Proceedings of WMT}, \mbox{\BPGS\ 187--197}.

\bibitem[\protect\BCAY{Kasai, Lee, Arimura, Arikawa, \BBA\ Park}{Kasai
  et~al.}{2001}]{kasai01}
Kasai, T., Lee, G., Arimura, H., Arikawa, S., \BBA\ Park, K. \BBOP 2001\BBCP.
\newblock \BBOQ Linear-Time Longest-Common-Prefix Computation in Suffix Arrays
  and Its Applications.\BBCQ\
\newblock In {\Bem Proceedings of CPM}, \mbox{\BPGS\ 181--192}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn04bootstrap}
Koehn, P. \BBOP 2004\BBCP.
\newblock \BBOQ Statistical Significance Tests for Machine Translation
  Evaluation.\BBCQ\
\newblock In Lin, D.\BBACOMMA\ \BBA\ Wu, D.\BEDS, {\Bem Proceedings of EMNLP},
  \mbox{\BPGS\ 388--395}.

\bibitem[\protect\BCAY{Koehn}{Koehn}{2005}]{koehn05europarl}
Koehn, P. \BBOP 2005\BBCP.
\newblock \BBOQ Europarl: A Parallel Corpus for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem MT Summit}, \lowercase{\BVOL}~5, \mbox{\BPGS\ 79--86}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{koehn07moses}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 177--180}.

\bibitem[\protect\BCAY{Koehn, Och, \BBA\ Marcu}{Koehn
  et~al.}{2003}]{koehn03pbmt}
Koehn, P., Och, F.~J., \BBA\ Marcu, D. \BBOP 2003\BBCP.
\newblock \BBOQ Statistical Phrase-Based Translation.\BBCQ\
\newblock In {\Bem Proceedings of NAACL}, \mbox{\BPGS\ 48--54}.

\bibitem[\protect\BCAY{三浦\JBA {Graham Neubig}\JBA {Michael Paul}\JBA
  中村}{三浦 \Jetal }{2015}]{miura15nl12}
三浦明波\JBA {Graham Neubig}\JBA {Michael Paul}\JBA 中村哲 \BBOP 2015\BBCP.
\newblock 構文木と句の極大性に基づく機械翻訳のための能動学習.\
\newblock \Jem{情報処理学会 第224回自然言語処理研究会 (SIG-NL)}, 19\JNUM,
  \mbox{\BPGS\ 1--7}.

\bibitem[\protect\BCAY{三浦\JBA {Graham Neubig}\JBA {Michael Paul}\JBA
  中村}{三浦 \Jetal }{2016}]{miura16nlp}
三浦明波\JBA {Graham Neubig}\JBA {Michael Paul}\JBA 中村哲 \BBOP 2016\BBCP.
\newblock 構文情報に基づく機械翻訳のための能動学習手法と人手翻訳による評価.\
\newblock \Jem{言語処理学会第22回年次大会 (NLP2016)}, \mbox{\BPGS\ 605--608}.

\bibitem[\protect\BCAY{Miura, Neubig, Paul, \BBA\ Nakamura}{Miura
  et~al.}{2016}]{miura16naacl}
Miura, A., Neubig, G., Paul, M., \BBA\ Nakamura, S. \BBOP 2016\BBCP.
\newblock \BBOQ Selecting Syntactic, Non-redundant Segments in Active Learning
  for Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of NAACL}, \mbox{\BPGS\ 20--29}.

\bibitem[\protect\BCAY{Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi,
  \BBA\ Isahara}{Nakazawa et~al.}{2016}]{nakazawa16lrec}
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi,
  S., \BBA\ Isahara, H. \BBOP 2016\BBCP.
\newblock \BBOQ ASPEC: Asian Scientific Paper Excerpt Corpus.\BBCQ\
\newblock In {\Bem Proceedings of LREC}, \mbox{\BPGS\ 2204--2208}.

\bibitem[\protect\BCAY{Neubig, Nakata, \BBA\ Mori}{Neubig
  et~al.}{2011}]{neubig11-kytea}
Neubig, G., Nakata, Y., \BBA\ Mori, S. \BBOP 2011\BBCP.
\newblock \BBOQ Pointwise Prediction for Robust, Adaptable Japanese
  Morphological Analysis.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 529--533}.

\bibitem[\protect\BCAY{Och}{Och}{2003}]{och03mert}
Och, F.~J. \BBOP 2003\BBCP.
\newblock \BBOQ Minimum Error Rate Training in Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 160--167}.

\bibitem[\protect\BCAY{Och \BBA\ Ney}{Och \BBA\ Ney}{2003}]{och03alignment}
Och, F.~J.\BBACOMMA\ \BBA\ Ney, H. \BBOP 2003\BBCP.
\newblock \BBOQ A Systematic Comparison of Various Statistical Alignment
  Models.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 29}  (1), \mbox{\BPGS\
  19--51}.

\bibitem[\protect\BCAY{Oda, Neubig, Sakti, Toda, \BBA\ Nakamura}{Oda
  et~al.}{2015}]{oda15ckylark}
Oda, Y., Neubig, G., Sakti, S., Toda, T., \BBA\ Nakamura, S. \BBOP 2015\BBCP.
\newblock \BBOQ Ckylark: A More Robust PCFG-LA Parser.\BBCQ\
\newblock In {\Bem Proceedings of NAACL}, \mbox{\BPGS\ 41--45}.

\bibitem[\protect\BCAY{Okanohara \BBA\ Tsujii}{Okanohara \BBA\
  Tsujii}{2009}]{okanohara09}
Okanohara, D.\BBACOMMA\ \BBA\ Tsujii, J. \BBOP 2009\BBCP.
\newblock \BBOQ Text Categorization with All Substring Features.\BBCQ\
\newblock In {\Bem Proceedings of SDM}, \mbox{\BPGS\ 838--846}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni02}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Settles \BBA\ Craven}{Settles \BBA\
  Craven}{2008}]{settles08}
Settles, B.\BBACOMMA\ \BBA\ Craven, M. \BBOP 2008\BBCP.
\newblock \BBOQ An Analysis of Active Learning Strategies for Sequence Labeling
  Tasks.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP}, \mbox{\BPGS\ 1070--1079}.

\bibitem[\protect\BCAY{Sperber, Simantzik, Neubig, Nakamura, \BBA\
  Waibel}{Sperber et~al.}{2014}]{sperber14}
Sperber, M., Simantzik, M., Neubig, G., Nakamura, S., \BBA\ Waibel, A. \BBOP
  2014\BBCP.
\newblock \BBOQ Segmentation for Efficient Supervised Language Annotation with
  an Explicit Cost-Utility Tradeoff.\BBCQ\
\newblock {\Bem TACL}, {\Bbf 2}, \mbox{\BPGS\ 169--180}.

\bibitem[\protect\BCAY{Stolcke}{Stolcke}{2002}]{stolcke02}
Stolcke, A. \BBOP 2002\BBCP.
\newblock \BBOQ SRILM---An Extensible Language Modeling Toolkit.\BBCQ\
\newblock In {\Bem Proceedings of ICSLP}, \mbox{\BPGS\ 901--904}.

\bibitem[\protect\BCAY{Tiedemann}{Tiedemann}{2009}]{tiedemann09}
Tiedemann, J. \BBOP 2009\BBCP.
\newblock \BBOQ News from OPUS-A Collection of Multilingual Parallel Corpora
  with Tools and Interfaces.\BBCQ\
\newblock In {\Bem Proceedings of RANLP}, \lowercase{\BVOL}~5, \mbox{\BPGS\
  237--248}.

\bibitem[\protect\BCAY{Tomanek \BBA\ Hahn}{Tomanek \BBA\
  Hahn}{2009}]{tomanek09}
Tomanek, K.\BBACOMMA\ \BBA\ Hahn, U. \BBOP 2009\BBCP.
\newblock \BBOQ Semi-Supervised Active Learning for Sequence Labeling.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 1039--1047}.

\bibitem[\protect\BCAY{Turchi, De~Bie, \BBA\ Cristianini}{Turchi
  et~al.}{2008}]{turchi08}
Turchi, M., De~Bie, T., \BBA\ Cristianini, N. \BBOP 2008\BBCP.
\newblock \BBOQ Learning Performance of a Machine Translation System: A
  Statistical and Computational Analysis.\BBCQ\
\newblock In {\Bem Proceedings of WMT}, \mbox{\BPGS\ 35--43}.

\bibitem[\protect\BCAY{W{\"{a}}schle \BBA\ Riezler}{W{\"{a}}schle \BBA\
  Riezler}{2012}]{waeschle12}
W{\"{a}}schle, K.\BBACOMMA\ \BBA\ Riezler, S. \BBOP 2012\BBCP.
\newblock \BBOQ Analyzing Parallelism and Domain Similarities in the MAREC
  Patent Corpus.\BBCQ\
\newblock {\Bem Multidisciplinary Information Retrieval}, \mbox{\BPGS\ 12--27}.

\bibitem[\protect\BCAY{Yamamoto \BBA\ Church}{Yamamoto \BBA\
  Church}{2001}]{yamamoto01}
Yamamoto, M.\BBACOMMA\ \BBA\ Church, K.~W. \BBOP 2001\BBCP.
\newblock \BBOQ Using Suffix Arrays to Compute Term Frequency and Document
  Frequency for All Substrings in a Corpus.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 27}  (1), \mbox{\BPGS\
  1--30}.

\end{thebibliography}


\begin{biography}
\bioauthor{三浦　明波}{
2013年イスラエル国テクニオン・イスラエル工科大学コンピュータ・サイエンス専攻卒業．
2016年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
現在，同大学院博士後期課程在学．
機械翻訳，自然言語処理に関する研究に従事．
情報処理学会，言語処理学会，ACL 各会員．
}
\bioauthor[:]{Graham Neubig}{
2005年米国イリノイ大学アーバナ・シャンペーン校工学部コンピュータ・サイエンス専攻卒業．
2010年京都大学大学院情報学研究科修士課程修了．
2012年同大学院博士後期課程修了．
2012〜2016年奈良先端科学技術大学院大学助教．
現在，カーネギーメロン大学言語技術研究所助教，奈良先端科学技術大学院大学客員准教授．
機械翻訳，自然言語処理に関する研究に従事．
}
\bioauthor[:]{Michael Paul}{
1988年ドイツサーランド大学コンピュータ・サイエンス専攻卒業．2006年神戸大学工学博士．
1995年 ATR音声翻訳通信研究所研究員，2000年 ATR音声言語コミュニケーション研究所主任研究員，
2006年（独）情報通信研究機構研究センター主任研究員．2013年株式会社ATR-Trek．
音声翻訳，自然言語処理に関する研究・ビジネスソリューション開発に従事．
第58回前島密賞受賞，アジア太平洋機械翻訳協会(AAMT)長尾賞受賞．
}
\bioauthor{中村　　哲}{
1981年京都工芸繊維大学工芸学部電子工学科卒業．京都大学工学博士．シャープ株式会社．
奈良先端科学技術大学院大学助教授，2000年ATR音声言語コミュニケーション研究所室長，所長，
2006年（独）情報通信研究機構研究センター長，けいはんな研究所長などを経て，
現在，奈良先端科学技術大学院大学教授．
ATRフェロー．カールスルーエ大学客員教授．
音声翻訳，音声対話，自然言語処理の研究に従事．
情報処理学会喜安記念業績賞，総務大臣表彰， 文部科学大臣表彰，Antonio Zampoli賞受賞．
ISCA 理事，IEEE SLTC 委員，IEEEフェロー．
}


\end{biography}


\biodate



\end{document}
