\documentclass[japanese]{jnlp_3.8B}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage[scale=1]{otf}

\newcommand{\sen}{\protect\UTF{5733}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{1}
\Month{March}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{9}{30}
\revised{2024}{11}{6}
\accepted{2024}{11}{21}


\setcounter{page}{114}


%%%% タイトル部分 %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{文内コンテキストを利用した分割統治ニューラル機械翻訳}
\jauthor{石川　隆太\affiref{naist}\affiref{recruit} \and 加納　保昌\affiref{naist}\affiref{tleez} \and 須藤　克仁\affiref{narawu}\affiref{naist} \and 中村　　哲\affiref{cuhksz}\affiref{naist}}
\jabstract{
ニューラル機械翻訳 (NMT) は柔軟な訳語選択と流暢な訳出により品質の高い翻訳が得られることが多いが，長い入力文に対しては翻訳の品質が低下することがある．この課題に対し，長文を短いセグメントに分割して翻訳し，並べ替えて繋げる分割統治的手法が提案されているものの，NMTでの性能向上は限定的であった．そこで本研究では，文内コンテキストを利用することで長文の翻訳を改善する新しい分割統治的NMTの手法を提案する．提案手法では，(1) 構文解析によって同定された節を結ぶ等位接続詞の前後で分割し，(2) 分割された各節を，その文内コンテキストを利用できるように調整された節単位翻訳用モデルを用いて翻訳し，(3) 翻訳された節を別のsequence-to-sequenceモデルを使用して結合し，文全体の翻訳結果を得る．事前訓練された多言語BARTモデルを使用しASPECを対象にした英日翻訳の実験において，特に41単語以上の長い入力文に対して，提案手法によりベースラインの多言語BARTによるNMTを上回る翻訳精度が得られた．
\renewcommand{\thefootnote}{\alph{footnote}}
\footnotetext[1]{奈良先端科学技術大学院大学, Nara Instituite of Science and Technology}
\footnotetext[2]{奈良女子大学, Nara Women's University}
\footnotetext[3]{香港中文大学（深\UTF{5733}）, The Chinese University of Hong Kong, Shenzhen}
\footnotetext[4]{現所属：株式会社リクルート, Present affiliation: Recruit Co., Ltd.}
\footnotetext[5]{現所属：株式会社Tleez, Present affiliation: Tleez Co., Ltd.}
\renewcommand{\thefootnote}{\arabic{footnote}}
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の内容の一部は，石川・加納・須藤・中村「文内コンテキストを利用した分割統治ニューラル機械翻訳」言語処理学会第30回年次大会発表論文集 pp. 2342--2347 に基づく．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{ニューラル機械翻訳，分割統治，長文翻訳}

\etitle{Divide-and-Conquer Neural Machine Translation Using Intra-Sentence Context}
\eauthor{Ryuta Ishikawa\affiref{naist} \and Yasumasa Kano\affiref{naist} \and Katsuhito Sudoh\affiref{narawu}\affiref{naist} \and Satoshi Nakamura\affiref{cuhksz}\affiref{naist}} 
\eabstract{%
Although neural machine translation (NMT) usually produces high-quality translation through flexible word choice and fluency, its quality can decrease for long input sentences.
A divide-and-conquer approach to this problem exists that splits a long input sentence into shorter segments and merges their translations, resulting in limited improvement in NMT.
In this study, we propose a novel divide-and-conquer method for NMT that improves the translation of long sentences in an intra-sentence context.
The proposed method (1) splits a sentence around coordinating conjunctions, connecting clauses labeled S by syntactic parsing, (2) translates these clauses using a clause-level translation model that utilizes an intra-sentence context, and (3) merges clause-level translations using another sequence-to-sequence model to obtain a sentence-level translation.
In our English-to-Japanese translation experiments on ASPEC using a pre-trained multilingual BART model, the proposed method outperformed a baseline multilingual BART-based NMT for input sentences with over 40 words.
}
\ekeywords{Neural Machine Translation, Divide-and-conquer, Long Sentence Translation}

\headauthor{石川，加納，須藤，中村}
\headtitle{文内コンテキストを利用した分割統治ニューラル機械翻訳}



%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{naist}{奈良先端科学技術大学院大学}{Nara Instituite of Science and Technology}
\affilabel{narawu}{奈良女子大学}{Nara Women's University}
\affilabel{cuhksz}{香港中文大学（深\UTF{5733}）}{The Chinese University of Hong Kong, Shenzhen}
\affilabel{recruit}{現所属：株式会社リクルート}{Present affiliation: Recruit Co., Ltd.}
\affilabel{tleez}{現所属：株式会社Tleez}{Present affiliation: Tleez Co., Ltd.}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}\label{sec:introduction}

ニューラル機械翻訳 (Neural Machine Translation, NMT) は従来の統計的機械翻訳 (Statistical Machine Translation, SMT)を短期間で凌駕し，現在の機械翻訳技術の主流となった．
SMTでは，句単位の翻訳仮説を組み合わせながら複数の独立したモデルを統合して探索を行っていてしばしば流暢性に難があったのに対し，
NMTは単一の大規模ニューラルネットワークを用いて，入出力の文内コンテキストを柔軟に参照しながら入力文を出力文に直接変換することで，自然で流暢な翻訳を実現している．
一方で，NMTにも様々な課題があることが議論されており\cite{koehn-knowles-2017-six}，
その1 つとして長文の入力に対する訳抜けや誤訳が発生が挙げられている．
注意機構\cite{bahdanau2016neural,luong-etal-2015-effective}はその軽減に一定の役割を果たしたが，非常に長い文や複雑な構造を持つ文に対しては十分でなく，
NMTのためのモデルの主流であるTransformer \cite{attention}でもこの問題は十分に解決できていないことが報告されている\cite{neishi-yoshinaga-2019-relation}．

長文の翻訳精度低下の課題に対して，統計的機械翻訳では，長文を統語構造上の節に分割して翻訳し，並べ替えて結合する分割統治的手法が提案されている\cite{sudoh-etal-2010-divide}．
また，\citeA{kano2022improving}はNMTにおける長文のための分割統治的手法を提案している．\citeA{kano2022improving}の手法による翻訳プロセスは大きく (1) 節単位の翻訳と (2) 節単位の翻訳結果の連結と書き換えの2 つに分かれており，各プロセスはそれぞれ別のseq2seqモデルで実施される．
しかしその性能向上は限定的であり，その理由として (1) 節分割の方法，(2) 節分割後の節の翻訳精度の2 つの課題が挙げられている．
 (1) は，\citeA{sudoh-etal-2010-divide}によるプレースホルダを使った階層的な分割ではなくフラットな構造のまま分割を行ったことで埋め込み従属節を含む節が分断されてしまうことに起因している．
また (2) は，(1) による節の分断に加え，NMTの利点である文内コンテキストの参照が節単位の翻訳で活用できないことが理由に挙げられる．

本研究では，この2 つの課題に注目し，英日翻訳における長文の翻訳精度の向上を試みる．
具体的には，以下の2 つを提案する．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
 \item 等位接続詞の前後に限定した節分割
 \item 文内コンテキストを参照可能な節単位翻訳
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
これらにより，以下の効果が期待できる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
 \item 埋め込み従属節による節の分断を避け，節としてほぼ完全な状態での翻訳
 \item 各節を翻訳する際に，同一文内の他の節の情報を参照できることによる節翻訳の精度向上
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法は，多言語BARTモデル\cite{mbart}を利用しASPECを対象にした英日機械翻訳実験において，41単語以上の長い入力文に対してベースラインを上回るBLEUを達成した．
また，提案手法が適用された文のみに限れば，より短い入力文に対してもベースラインを上回る翻訳精度が得られることが確認された．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}\label{sec:relatedwork}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{ニューラル機械翻訳における長文翻訳の課題}\label{subsec:related_longsentmt}
Long Short-Term Memory (LSTM) を利用した sequence-to-sequence の初期のモデル\cite{LSTM} は，RNNの回帰構造により文脈情報を一方向で蓄積するため，テキスト内の長期的な依存関係を捉えるのに限界があり，文が長くなるにつれて情報の保持が難しくなり翻訳精度が低下する\cite{bahdanau2016neural}．
\citeA{LSTMattention}や\citeA{bahdanau2016neural}はRNNに注意機構を導入することで，局所的な入力の情報を柔軟に参照可能にし，注意機構が機械翻訳の性能向上に効果的であることを示した．
さらに，\citeA{attention}は自己注意機構の導入によりこうしたRNNの制約を排し，入力・出力それぞれの柔軟な活用を可能にした．
しかしながら，長い入力文に対しては訳抜けが起こりやすく，実用上の大きな問題になっている．


また，NMTの実装においてはしばしば長文が学習コーパスから除外されることがある上，長文の対訳は対訳コーパス中では一般に量が少ないことから，学習で活用されづらい，また評価においても長文に対する性能が考慮されづらい面があったとも言える．
本研究では，論文等の技術文書において頻出する長文の翻訳を主眼に，翻訳精度低下の問題の解消を図るものである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{分割統治的手法による長文の機械翻訳}\label{subsec:related_dividemt}

統計的機械翻訳において，\citeA{sudoh-etal-2010-divide}は長文を統語解析の結果に基づいて節単位に分割し，各節を個別に翻訳した上で埋め込み節のプレースホルダに基づき目的言語の語順に再構成する手法を提案している．
この方法により，複雑な節単位の順序入れ替えを，プレースホルダの並べ替えに置き換え簡略化し，長文の翻訳精度を向上させた．


\citeA{Pouget}らは，入力文を前から順に分割する単純な分割統治型機械翻訳のための入力文の自動分割手法を提案した．
この手法は原言語から目的言語への順方向の翻訳スコアとその逆方向の翻訳スコアを利用してセグメント対の対訳確信度を計算して適切なセグメント分割を求め，そこから入力文の自動分割モデルを学習するものである．
英仏翻訳タスクでの実験において，特に長文に対する翻訳品質と未知語に対する頑健性の改善があることが確認されている．
この自動分割手法は句に基づく統計的機械翻訳における句と同様に統語構造上の要素の境界とは無関係に分割され，また前から順に分割・翻訳・連結を行うためセグメントの順序の入れ替えが不可能であるため，語順の違いの大きい言語対には適さない．

この手法に対応するために，\citeA{kano2022improving}は\citeA{sudoh-etal-2010-divide}の手法を参考にした，ニューラル機械翻訳 (NMT) における分割統治的手法を提案した．
\citeA{kano2022improving}は，分割されたセグメントの翻訳を行うNMTモデルとは別に，セグメント単位の翻訳結果を文に再構成するNMTモデルを導入する手法を提案している．
再構成のためのNMTではセグメント単位の翻訳結果を適宜並べ替えて自然に連結するための書き換えが行われる．
これにより，\citeA{sudoh-etal-2010-divide}が統計的機械翻訳で提案した分割統治的手法をNMTの手法として実現している．
しかしながら通常のNMTからの制度改善は限定的で，その原因として節単位の翻訳の精度が低いことが挙げられており，本研究ではその解決を図る．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{分割統治型ニューラル機械翻訳}\label{subsec:Devide-and-Conquer-method-overview}

本セクションでは提案手法のベースとなる分割統治型NMTについて説明する．


\citeA{kano2022improving}の手法は図\ref{fig:kanomethod}に示す4つのステップで構成されている\footnote{本論文中の統語要素に関する定義は\citeA{kano2022improving}と同様にPenn Treebankの統語要素タグセットに基づくものとする．}．
まず，Step1で入力文を構文解析し，節（ラベルが\texttt{S}または\texttt{SBAR}である統語要素）を同定する．
続くStep2では，各節の境界でセグメントに分割する．
節が入れ子構造になっている場合もすべての節境界で分割を行うため，図中の例では I think / it is good / . のように実際の節よりも短い単位への分割が行われる．
その後Step3で，各セグメントは文単位の対訳コーパスで学習された翻訳モデル (Trained Model 1) を用いて翻訳され，
最後のStep4で，セグメント単位の翻訳結果の統合と書き換えを行う翻訳モデル (Trained Model 2) を用いて，最終的な訳出を生成する．
Step4での入力は原言語側の各セグメントとその翻訳結果を特殊トークン ``$@@@$'' と ``$|||$'' を用いて結合したものになっている．
これは，英日翻訳では\citeA{Pouget}のような単純なセグメント翻訳の連結ではなく語順の調整を行うこと，また文内文脈をこの時点で参照できるようにすることで訳語選択の調整を行うことを企図したものである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia5f1.eps}
\end{center}
 \caption{Kano (2022) の分割統治型ニューラル機械翻訳の手法の概略}
 \label{fig:kanomethod}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{提案手法}
前節で説明した\citeA{kano2022improving}の手法は，セグメント単位の翻訳精度が不十分で，最終的に得られる文単位の翻訳精度の目立った向上が得られなかった．
その主な要因として以下の3つが考えられる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
\item すべての節の境界で文を分割すると，文内の「I think」やピリオドのみでセグメントが構成されるような，過剰な分割が生じる．
\item 原言語の各セグメントを通常の\textbf{文レベルの}NMTモデルで翻訳する際，学習時と推論時の翻訳単位の不一致が生じ，過剰訳や訳抜けをもたらしやすい．
\item 原言語の各セグメントを独立して翻訳すると，\textbf{文内のコンテキストが利用できない}ため，一貫性のない不適切な訳語選択が生じやすい．
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
そこで本研究では，これらの問題を解決する新しい分割統治型NMT手法を提案する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.1
\subsection{等位接続詞を基準とした節単位の分割}\label{subsec:clause_segmentation}
本研究では，分割後のセグメントを統語上の節と合致させることで文として翻訳することができるよう，セグメントの過剰分割を抑制する．
具体的には，統語上の節 (\texttt{S}) を連結する等位接続詞 (\texttt{CC})に着目し，その前後でのみ分割を行う．
したがって，関係詞節や副詞節のように入れ子構造となっている節は分割されなくなる．

このセグメント分割のルールの詳細を以下の2つの文を例として示す．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
 \item \textsf{I like football and baseball.}
 \item \textsf{She wants to travel the world, but her job keeps her busy, and her savings are not enough for the trip.} 
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
これらを構文解析をした結果が以下である（\texttt{S} と \texttt{CC}（等位接続詞）以外の記号は簡単のため一部省略されている）．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
 \item (\texttt{S} (\texttt{S} \textsf{I like} (\texttt{NP} (\texttt{NN} football) (\texttt{CC} and) (\texttt{NN} baseball)).))
 \item (\texttt{S} (\texttt{S} \textsf{She wants to travel the world}), (\texttt{CC} \textsf{but}) (\texttt{S} \textsf{her job keeps her busy}), (\texttt{CC} \textsf{and}) (\texttt{S} \textsf{her savings are not enough for the trip}).)
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


文 (1) には，2つの名詞 (\texttt{NN}) を接続する \textsf{and} が含まれているが，これは上記のセグメント分割の条件を満たしていない．
ここで分割を行うとすると，得られるセグメントは \textsf{I like football} と \textsf{baseball.} であり，前者は節と見なすことができるものの，後者は名詞と句点のみで構成されるセグメントであり，過剰分割であると考える．


文 (2) には，3つの節を接続する \textsf{but} と \textsf{and} が含まれている．
これらの接続詞の前後で分割を行うと，以下の通り3つの節と2つの接続詞の列が得られる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{itemize}
 \item \noindent (\texttt{S} \textsf{She wants to travel the world,})\
 \item \noindent (\texttt{CC} \textsf{but})\
 \item \noindent (\texttt{S} \textsf{her job keeps her busy,})\
 \item \noindent (\texttt{CC} \textsf{and})\
 \item \noindent (\texttt{S} \textsf{her savings are not enough for the trip.})\
\end{itemize}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
分割された節は，図\ref{fig:kanomethod} のStep3と同様に，NMTモデルを使用して翻訳することができる．
そうすると等位接続詞は翻訳されずに残ることになるため，続くStep4で節単位の翻訳結果を統合するための二段階目の翻訳を行う際に入力される．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2
\subsection{節単位の対訳対応付け}\label{subsec:clause_context_pairs}
\ref{subsec:clause_segmentation}の節単位の分割戦略に基づけば，文レベルのNMTを使用してセグメントを翻訳する際の翻訳単位の不整合の問題を軽減することが期待されるが，文の途中で分割を行う故に約物や文頭の大文字小文字の違いといった差異は残っている．
その差異を解消するためには，本手法で実際に翻訳される翻訳単位での対訳データを用いて学習される，上述のように分割された節単位の入力に対応したNMTモデルを利用することが望ましい．
そこで本研究では，節単位の入力に対応したNMTモデルの学習に利用する節単位の対訳対応付けのために，Prefix Alignment \cite{kano-etal-2022-simultaneous}で用いられた対訳接頭辞文字列組の抽出方法を参考に，
\ref{subsec:clause_segmentation}の方法で分割した各原言語（英語）の節と目的言語（日本語）のセグメントとの間の対応付けを行う手法を提案する．
この手法は以下の5つのステップから構成されており，処理の例を図\ref{fig:alignment_flow}に示す．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[pt]
\begin{center}
\includegraphics{32-1ia5f2.eps}
\end{center}
 \hangcaption{提案手法による英日の対訳文ペアから，分割された英語節と対応する日本語節のアライメントを得る処理の概要}
 \label{fig:alignment_flow}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{description}
\item[Step1] 多言語BARTのトークナイザーを使用して，日本語文をトークン化する．そして，英語の節との対応付け候補として，日本語の最後のトークンから最初のトークンに向かって1つずつトークンを連結した接尾辞文字列の集合を作成する．
\item[Step2] \ref{subsec:clause_segmentation}の方法に基づいて英文を節と等位接続詞に分割し，各節を文単位の英日NMTモデルを利用して翻訳したものを，擬似的な節単位の日本語訳とする．
\item[Step3] この擬似的な日本語訳を，文末のものから順にStep1で作成した対応付け候補と付き合わせる．その基準にはBERTscoreのF1スコアを用い，最も高いF1スコアを対応付け候補を英語側の節と対応する日本語訳とする．
\item[Step4] Step3で得られた対応付け候補の文字列を元の日本語文から削除する．
\item[Step5] 英語側で対応付けされていない節が残り1つになっていれば，それを残りの日本語文字列と対応付けて処理を終了する．2つ以上の英語の節が残っている場合は，残った日本語文字列を新しい日本語文として，Step1に戻る．
\end{description}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:alignment_flow}の例では，
最初に二番目の英語節 ``copies are stored there.'' に対する対応付けを求め，残りの英語節 ``In some cases...'' と残りの日本語文字列が対応付けられるものとする．
Step4においてすべての英語の節の対応付けが得られる前に日本語の文字列が尽きた場合は，対応付けが失敗したものとみなし，当該対訳文全部を節対応付けから除外するものとする．
この手法を使用することで，\citeA{kano2022improving}のような機械翻訳による擬似的な節単位対訳ではなく，元の対訳文に基づいた質の高い節単位対訳が得られることが期待できる．
なお，この節対応付けは Prefix Alignment と同様に文頭から行うことも可能だが，予備実験において節対応付けの性能が低かったため文末から行うこととした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.3
\subsection{文内コンテキストを利用した節単位翻訳}\label{subsec:sentence_context_pairs}

ここまでに示した方法により得られた節単位の英日対訳に基づき，節単位の翻訳の際に同じ文の残りの箇所を文内コンテキストとして参照する仕組みを導入する．
図\ref{fig:proposed_method}にこの節単位の翻訳の概要を示す．
図に示すように，節単位の翻訳はタグ \verb|<<< >>>| で囲われた箇所を訳出するように学習用の対訳データを構築し，節翻訳モデルはそれを用いて学習する．
これにより，節翻訳モデルはタグで囲われた箇所のみを\emph{その他の箇所を文内コンテキストとして参照しながら}翻訳することを学習することが期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia5f3.eps}
\end{center}
 \caption{提案手法による翻訳処理の概要}
 \label{fig:proposed_method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




表\ref{tab:data_format}に，図\ref{fig:alignment_flow}で得られる対応付けに基づく節単位対訳データの例を示す．
上で述べた英語の各節の対訳関係を学習させるため，\ref{subsec:clause_context_pairs}で得られた節の対応付けに基づき，英語側の節をタグ \verb|<<< >>>| で囲い，その節に対応する日本語の部分文字列を対訳として与える．
ここで，一般に文は複数の節に分割されるため，翻訳対象となる（タグが付与される）節は文中の任意の位置に存在し得るが，次節で述べるデータ拡張との整合のため，タグが付与される節は英語側の先頭もしくは末尾に配置するものとする．
そのため，文が3 つ以上の節に分割され，先頭および末尾以外にある節にタグ付けを行う場合には，その節に先行する文字列を削除する（図\ref{fig:data_format}）．
これは学習時，推論時の双方で適用される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[t]
\input{05table01.tex}
\caption{提案手法における節単位対訳データの例}
\label{tab:data_format}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia5f4.eps}
\end{center}
 \hangcaption{英語側が3 つの節で構成されていた場合の節単位対訳データの形式．翻訳対象となる節が先頭および末尾以外の場合は，その節に先行する文字列を削除する．}
 \label{fig:data_format}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.4
\subsection{モデルの学習}
提案手法では\citeA{kano2022improving}と同様に節翻訳モデルと節翻訳統合モデルの2 つのモデルが必要となるため，それぞれ以下のように学習を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.4.1
\subsubsection{節翻訳モデルの学習}\label{subsubsec:clause_model}

節翻訳モデルは，\ref{subsec:sentence_context_pairs}で述べた文内コンテキストの参照に対応するための学習を行う必要がある．
しかしながら，等位接続詞で節が連結されている事例は対訳コーパス全体の数割に過ぎず，学習事例の不足が懸念される．
そのため，文脈情報が保持されている文単位対訳データを用い，図\ref{fig:data_augment}に示すような形式で前後の文の情報をコンテキストとして参照可能な対訳データとして利用するデータ拡張を行う．
これは文脈依存型機械翻訳において 2-to-1 と呼ばれるアプローチ\cite{tiedemann-scherrer-2017-neural}と類似するが，提案法では先行文，後続文のどちらを翻訳するかをタグを用いて表現したものである．
なお，同様に3文以上を組み合わせて中間の節を翻訳させる事例を得ることもできるが，3つ以上の節が等位接続詞で連結される文が少数に限られること，またデータ拡張の組み合わせ数が膨大になることから，本研究では2文の組み合わせのみを用いることとした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F5
\begin{figure}[b]
\begin{center}
\includegraphics{32-1ia5f5.eps}
\end{center}
 \hangcaption{文脈情報が保持されている文単位対訳データを用いた，文内コンテキスト依存節翻訳モデル学習のためのデータ拡張の模式図．}
 \label{fig:data_augment}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


節翻訳モデルの学習はまずこのデータ拡張によって生成された先行文または後続文をコンテキストとして参照可能な文単位対訳データを用いて行い，
続いて前述の文内コンテキストを参照可能な節単位対訳データを用いて追加学習する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.4.2
\subsubsection{節翻訳統合モデルの学習}
節翻訳統合モデルは，節翻訳の結果と，節翻訳において除外された等位接続詞を連結したものを入力とし，文単位の翻訳を出力するものである．
その学習のためには対訳コーパスの原言語（英語）側をこの入力形式に変換したものが必要になるため，\ref{subsec:clause_segmentation}の方法で節に分割した英文の各節を文単位のベースライン英日NMTに翻訳したものを元の英文の順序通りに等位接続詞を含めて連結したものを入力側とし，それを対訳コーパスの目的言語（日本語）文に翻訳するように学習したものを節翻訳統合モデルとする．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{実験}
提案方法の有効性を検証するため，以下の英日翻訳実験を行った．
提案手法は長文の翻訳に焦点を当てたものであるため，その観点での検証を重視する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1
\subsection{実験設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.1
\subsubsection{データセット}
英日翻訳において比較的構造が複雑で長い文が多く，また\ref{subsubsec:clause_model}で述べたデータ拡張のための文脈情報が取得可能なデータセットとして，科学論文の要旨からなる対訳コーパスであるASPEC \cite{NAKAZAWA16.621}を用いた．
ASPECは学習データが300万文対，開発データが1,790文対，テストデータが1,812文対から構成されており，
学習データは \texttt{train1.txt}，\texttt{train2.txt}，\texttt{train3.txt}に，それぞれ100万文ずつ分割されている．
この学習データは対訳文対応付けの信頼度スコアに基づいてソートされているため，\texttt{train2.txt}，\texttt{train3.txt}等後方のデータにはノイズの多い対訳文が含まれており，学習に悪影響を及ぼすとされている\cite{morishita-etal-2017-ntt}．
そのため今回の実験では先頭の\texttt{train1.txt}のみを学習データに利用した．
なお，予備実験では\texttt{train2.txt}の追加利用はBLEUの向上に寄与しなかった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.2
\subsubsection{実装}
対訳データ量が限られていることもあり，本実験では事前学習済みの多言語系列変換モデルである多言語BARTを利用し，実装には\texttt{fairseq} \cite{fairseq}を用いた．
ベースラインのNMTモデルは多言語BARTを\texttt{train1.txt}を用いてファインチューニングしたものである．
節翻訳モデルは，\ref{subsec:sentence_context_pairs}によりデータ拡張された文間コンテキストを有する対訳データと，\ref{subsec:clause_context_pairs}による文内コンテキストを有する節単位対訳データを用いてファインチューニングした．
ASPECの学習データには文書IDと文IDが付与されているため，その情報をもとに文章内で連続する2文を用いて\ref{subsubsec:clause_model}のデータ拡張により約20万対のデータが得られた．
ファインチューニングのハイパーパラメータ設定は，概ね英語-ルーマニア語の多言語BARTファインチューニングのデフォルト設定に従った\footnote{\url{https://github.com/facebookresearch/fairseq/blob/main/examples/mbart/README.md}}．
ただし，データ拡張により長文の占める割合が増加することを鑑み，ミニバッチ学習における1回の勾配計算に利用する対訳文を多くすることが良い影響を与える可能性を考慮するため，\texttt{fairseq}において勾配計算に利用する事例数を調整するupdate frequencyを2（デフォルト）とその5倍の10の2パターンでファインチューニングし，開発データでより良いBLEUスコアを達成した設定を選択した．

また，節同定のための統語解析には Stanza\footnote{\url{https://github.com/stanfordnlp/stanza}} の constituency 解析を用いた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.3
\subsubsection{評価}
評価指標にはBLEU \cite{papineni-etal-2002-bleu}，BLEURT \cite{sellam-etal-2020-bleurt}，COMET \cite{rei-etal-2022-comet}を用いた．
BLEUは単語n-gramの表層的一致に基づく評価指標であるのに対し，BLEURTとCOMETは文埋め込みに基づく回帰モデルを用いた文意の合致を評価することを志向した評価指標である．
BLEUの計算には\texttt{sacrebleu} \cite{sacrebleu}を用い，その際の日本語トークナイザには\texttt{ja-mecab} \cite{mecab}を用いた．
文の長さが翻訳に影響を調査するため，テストセットを入力側英文の単語数に基づき1--20，21--40，41--60，61以上の4つの長さベースのサブセットに分割した評価も行った．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.4
\subsubsection{比較手法}

本実験では，提案手法とベースラインに加え，提案手法における節翻訳統合モデルの効果を検証するために，節翻訳結果を節翻訳統合モデルに通さず単純に連結した（以下，単純連結）しただけの手法も比較に加えた．
なお，提案手法は，等位接続詞により節が連結されている場合にのみ適用されるため，その他の場合はベースラインの翻訳モデルを利用することになる．
表\ref{table:testset}に，テストセット全体および提案手法が適用される文における，各サブセット毎の文数を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[b]
\input{05table02.tex}
 \caption{単語長ごとのテストデータの文数}
 \label{table:testset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{05table03.tex}
 \caption{入力単語数ごとのBLEU（テストセット全体）}
 \label{tab:1812bleu}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2
\subsection{結果}

表\ref{tab:1812bleu}に示されたテストセット全体に対するBLEUの結果を示す．
提案手法が適用された文は全テストデータ1,812文のうち約14\%の259文に留まっていることもあり，テストセット全体ではベースラインをBLEUで0.1ポイント上回るに留まったが，単語数41--60，61以上の範囲では，それぞれ0.7ポイント，1.3ポイント改善が見られた．

節翻訳結果の単純連結による方法も単語数41--60，61以上の範囲ではベースラインを上回っているが，提案手法には及ばず，提案手法の節翻訳統合モデルの効果が確認できたと言える．
節統合モデルの具体的な効果としては，節翻訳時に稀に発生する単語の繰り返しや文脈に沿わない単語の訳出などのエラーが修正されるケースが見られた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[b]
\input{05table04.tex}
 \caption{入力単語数ごとのBLEU（提案手法が適応された文のみ）}
 \label{tab:259bleu}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}[b]
\input{05table05.tex}
 \caption{入力単語数ごとのBLEURT（提案手法が適応された文のみ）}
 \label{tab:259bleurt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[b]
\input{05table06.tex}
 \caption{入力単語数ごとのCOMET（提案手法が適応された文のみ）}
 \label{tab:259comet}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



続いて，表\ref{tab:259bleu}--\ref{tab:259comet}に提案手法が適用された文のみを対象にしたBLEU，BLEURT，COMETの結果をそれぞれ示す．
BLEUに関しては，単語数1--20を除くすべての範囲で提案手法がベースラインを上回るBLEUを示し，特に単語数41--60，61以上のときにそれぞれ2.4ポイント，1.1ポイントの向上を達成した．
単純連結による手法は単語数61以上の範囲で提案手法を上回っているが，評価対象文数が2文と少なく，その中でのBrevity Penalty\footnote{BLEUにおいて翻訳文が参照訳に対して短い場合にスコアを小さくするために用いられるペナルティ項．}の影響が大きいことが原因で，実験全体での影響は小さいと考えられる．
一方，単語数1--20の文においては単純連結による手法が最も高いBLEUを示した一方で，提案手法は単純連結やベースラインに劣る結果となった．
実際の翻訳結果を見ると，単純連結と提案手法で大きな翻訳結果の違いはないものの，参照訳との長さ比が提案手法では 0.963 であったのに対し単純連結では 0.991 であり，Brevity Penaltyの影響の大きさが伺える．
提案手法では節統合の際に訳文中の繰り返し要素を修正するような効果が得られるため，これにより訳出長が短くなったと考えられる．
ただし，このBLEUの差はBLEURTやCOMETの結果も勘案すると翻訳品質における大きな差を示すものではないと考えられる．
BLEURTについても全体としてBLEUに類似した傾向が見られ，提案手法がベースラインを上回ることが確認された．
単語数61以上のサブセットにおけるベースラインとの大きなスコア差の要因は不明であるが，BLEURTでは訳語の変化で大きなスコアの変化が起こることがあり，その影響が考えられる．
COMETスコアの比較では，BLEU，BLEURTに見られる同様の傾向が認められるものの，提案手法とベースライン間のスコアの差はやや小さくなっている．
これは翻訳の品質がある程度高い（BLEUで40を大きく上回る）ことでCOMETの意味的評価ではあまり大きな差に結びつかなかったことが考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.3
\subsection{分析}

提案手法によるBLEUスコアの改善が特に見られた単語数41--60，61以上の範囲における改善の要因の1 つとして，節単位の分割により翻訳モデルにとって扱いやすい単位に変換されたことが考えられる．
図\ref{fig:sent_count_by_word_count_bin}，\ref{fig:cumulative_percentage}は，それぞれ学習データにおける単語数の範囲（5刻み）ごとの文数とその累積割合を示しており，単語数10--30の範囲に学習データが集中していることがわかる．
これにより，単語数10--30の範囲が翻訳モデルにとって扱いやすい文長であることが示唆される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F6
\begin{figure}[b]
{\vskip -15pt}
\begin{center}
\includegraphics{32-1ia5f6.eps}
\end{center}
 \caption{ASPECコーパスの単語数ビンごとの文数}
 \label{fig:sent_count_by_word_count_bin}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F7
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia5f7.eps}
\end{center}
 \caption{ASPECコーパスの単語数のビンごとの文数の累積割合}
 \label{fig:cumulative_percentage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



また，表\ref{tab:test_data_dist}は，テストデータにおける単語長の範囲ごとの節と文の平均単語数を示しており，単語数41--60，61以上の範囲の節が単語数10--30の範囲に収まっていることが確認できる．
これは，翻訳モデルが扱いやすい単位に文を分割して処理することで，より効率的に入力文の情報を処理し，結果として翻訳精度を向上させることに繋がったことを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[t]
\input{05table07.tex}
 \caption{テストデータの節と文の平均単語数}
 \label{tab:test_data_dist}
{\vskip -10pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[b]
{\vskip -10pt}
\input{05table08.tex}
 \caption{文内コンテキスト利用の有無によるBLEUの比較（分割が行われた文のみ）}
 \label{tab:259context}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.4
\subsection{アブレーションテスト}
提案手法における節翻訳時の文内コンテキスト利用の有効性を確認するため，文内コンテキスト情報を活用する場合（提案手法による結果）と活用しない場合の比較実験を実施した．
BLEU，BLEURT，COMETによる評価結果を表\ref{tab:259context}--\ref{tab:259context_comet}にそれぞれ示す．
表より，節翻訳時に文内コンテキストを活用しない場合，文内コンテキストを利用する場合と比較して，BLEU，BLEURT，COMETの全スコアが低下することが確認された．
これは，提案手法による節翻訳時に節の前後の文内コンテキスト情報を利用することで，分割により失われがちなコンテキスト情報の損失を抑え，節翻訳の品質を向上させることが可能であることを示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table}[t]
\input{05table09.tex}
 \caption{文内コンテキスト利用の有無によるBLEUの比較（分割が行われた文のみ）}
 \label{tab:259context_bleurt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10
\begin{table}[t]
\input{05table10.tex}
 \caption{文内コンテキスト利用の有無によるBLEUの比較（分割が行われた文のみ）}
 \label{tab:259context_comet}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{おわりに}
本論文では，長文の翻訳品質の向上を目指し，節単位での文分割による分割統治的なNMTにおいて，節単位の対訳データを活用した，文内コンテキストを参照できる形で翻訳を行う節翻訳モデルの学習方法を提案した．
実験により，提案手法は単語数41以上の長文の翻訳において特に有効であり，ベースラインと比較してBLEUスコアを向上させること，また文内コンテキストの活用が有効であることが確認された．

今後の課題として，提案手法の適用範囲を広げることによる全体としての翻訳品質のさらなる向上が挙げられる．
そのため，等位接続詞以外での新しい節分割パターンの追加を検討し，接続詞を持たない長文にも対応できるように提案手法を拡張することを目指す．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部はJSPS科研費 23K21697 と 21H05054 の助成を受けたものです．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
 \bibliography{05refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{石川　隆太}{%
2024年奈良先端科学技術大学院大学博士前期課程修了．同年株式会社リクルート入社，現在に至る．
在学中機械翻訳の研究に従事．言語処理学会会員．
}
\bioauthor{加納　保昌}{%
2022年奈良先端科学技術大学院大学博士前期課程修了．2024年同博士後期課程修了．博士（工学）．
2021年より株式会社Tleez代表取締役．
在学中機械翻訳，同時翻訳の研究に従事．言語処理学会会員．
}
\bioauthor{須藤　克仁}{%
2000年京都大学工学部卒業，2002年京都大学大学院情報学研究科修士課程修了，同年日本電信電話株式会社入社．
2015年京都大学大学院情報学研究科博士後期課程修了．博士（情報学）．
2017年奈良先端科学技術大学院大学准教授，2024年より奈良女子大学教授．
機械翻訳を中心とする自然言語処理，音声言語処理の研究に従事．
言語処理学会，情報処理学会，日本音響学会，人工知能学会，ACL，ISCA会員．
}
\bioauthor{中村　　哲}{%
1981年京都工芸繊維大学工芸学部電子工学科卒業．京都大学博士（工学）．
シャープ株式会社を経て1994年奈良先端科学技術大学院大学助教授，
1996年米国Rutgers大学客員教授（文科省在学研究員），
2000年ATR音声言語コミュニケーション研究所室長，2005年同所長，
2006年情報通信研究機構音声コミュニケーション研究グループリーダ，
2010年研究センター長，けいはんな研究所長，2011年奈良先端科学技術大学院大学教授．2024年3月定年退職．
2024年4月香港中文大学（深\UTF{5733}）教授．
音声翻訳，音声対話などの音声言語情報処理，自然言語処理の研究に従事．
AAMT長尾賞，日本音響学会技術開発賞，情報処理学会喜安記念業績賞，総務大臣表彰，文部科学大臣表彰，Antonio Zampoli賞，
ドコモモバイルサイエンス賞，IBM Faculty Award，Google AI Focused Research Award等授賞．
ISCA理事，IEEE SLTC委員を歴任．
ATRフェロー，情報処理学会フェロー，IEEEフェロー，ISCAフェロー．
}

\end{biography}

\biodate %%%% 受付日の出力（編集部で設定します）

\end{document}





