\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{1}
\Month{March}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{348}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Simultaneous Interpretation Corpus Construction by Large Language Models in Distant Language Pair}
\jauthor{坂井　優介\affiref{Author_1}}


\etitle{Simultaneous Interpretation Corpus Construction by Large Language Models in Distant Language Pair}
\eauthor{Yusuke Sakai\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{坂井}
\headtitle{Simultaneous Interpretation Corpus Construction by LLMs}



%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

本稿では，EMNLP 2024に採択された``Simultaneous Interpretation Corpus Construction by Large Language Models in Distant Language Pair'' \cite{sakai-etal-2024-simultaneous}（以下，原論文）について主に解説する．また，原論文のアイデアを多言語へ拡張した``Simul-MuST-C: Simultaneous Multilingual Speech Translation Corpus Using Large Language Model'' \cite{makinae-etal-2024-simul}が同じくEMNLP 2024に採択されているので，原論文に興味あれば，是非こちらも一読いただきたい．
本稿では原論文の紹介をした後，研究のはじまりからEMNLP 2024での発表に至るまでの様子について述べる．
実は前号でも解説記事 \cite{sakai-kaisaetsu2024}を執筆したが，他の方々の記事を拝見し，もっとラフで良いことを知った．せっかくだし思うがまま自由に書いてみようと思う．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{原論文の紹介：背景とモチベーション}
2024年は最も通訳者が注目を浴びた年ではないだろうか．野球のヒーローインタビューを思い出してほしい．
メジャーリーグで大谷翔平がホームランを打ち，試合後にヒーローインタビューされる．
殆どの場合，通訳者が帯同し，インタビュワーが英語で質問した内容を通訳者が日本語で選手に伝える．
選手はインタビュワーから向けられたマイクで観衆へ向けて日本語で返答し，そのあと通訳者へマイクが向けられ，通訳者が選手の言葉を英語で観衆へ伝える．
この一連の流れを繰り返すことで，インタビューが成立する．しかし通訳者が通訳している間，選手やインタビュワーには待ち時間が生じる．
そのため，英語話者のヒーローインタビューと比べて倍の時間が掛かってしまう．
もちろん大谷翔平くらい有名人の言葉なら，何語で喋っていたとしても生の音声を聞くことに価値があるから，観衆はその待ち時間さえも楽しむだろう．
また一問一答形式のインタビューのように短い応答が続く場面では，このような待ち時間はあまり問題にならないかもしれない．

しかし会議やプレゼンでは，誰が話しているかより，会話の内容が大事なので，時間内で十分な議論ができるよう，このような待ち時間を発生させたくない．
また演説などのスピーチでは演説者は待ってくれないので，通訳者は\textbf{発話を聞きながら，通訳できるタイミングでどんどん訳出をする}ことが求められる．
海外ニュースなどの字幕もそうだろう．ワンテンポ遅れて字幕が表示されたら，画面の内容とテキストの内容がズレるため，十分に内容を理解できない可能性がある．
このようなリアルタイム性が求められ，入力と出力を同時に行う通訳のことを\textbf{同時通訳}と呼ぶ\footnote{本稿の締め切りが2024年の年末に設定されていたので，1年の締めくくりとして，どうしても大谷翔平の通訳者の話を入れたくて，少々遠回りな説明をした．また，通訳と同時通訳の違いが曖昧なまま語られることがしばしばあるため，丁寧に説明した．本稿では人間による翻訳のことを通訳，機械による翻訳を機械翻訳と区別している．}．

これら通訳を機械に置き換えることを考えると，機械翻訳モデルは入力が終了してから訳出を行うため，通訳は機械翻訳で代替できるかもしれない．また学習用データも豊富なため，モデルの構築も難しくない．
一方，同時通訳の場合，全ての入力を受け取る前に訳出を開始するため，特別な機械同時翻訳モデルを構築する必要があり，翻訳品質 (Quality) を保ちながら，訳出までの時間 (Latency) を最小化することが求められる．
例えば一般的な機械翻訳において``We ate pizza in the laboratory yesterday.''の対訳は「昨日，私たちは研究室でピザを食べました．」である\footnote{DeepLとGPT-4oでこのような訳文になることを確認している．}．このようなデータで学習したモデルは，推論時に似た事例が入力されたとき，``ate''を「食べました」と自然に訳出するには``pizza in the laboratory yesterday''の箇所が入力されるのを待つ必要がある．
しかし例えば，英語側の語順と同期するよう言い換えると「私達はピザを食べました，研究室で，昨日．」となり，先頭からどんどん訳出することで低Latencyな訳出が可能となる．

従来では機械翻訳モデルをベースとして，アーキテクチャやデコーディング方法の改良により，強制的に発話と訳出を同期させたが，学習データに着目したとき，同時機械翻訳モデルは機械翻訳モデル用学習データを流用している場合が殆どだった．そのため学習データが上記の例のように同期していない影響で学習データに起因するLatencyが生じていた．
そのため機械同時通訳モデル構築には適切な学習データの使用が効果的だが，このようなデータの構築は一筋縄ではいかない．

もう一度，ヒーローインタビューを思い出してほしい．大谷翔平が発した日本語と通訳された英語を比べると，不要な表現を除かれたり，要約されたり，背景知識を補うための文言の付与など，違いがあるだろう．このような違いは同時通訳で顕著に現れる．さらに同時通訳は通訳者へ負荷がかかるため，訳抜けなどの翻訳ミスが頻発する．それに加え，省略や要約に関する同時通訳テクニックが複合的に用いられるため，発話と訳出結果が乖離する．また通訳者の技量による部分も大きいため，同時通訳結果の書き起こしなどを学習データの使用は適切ではない．従って同時機械翻訳モデル構築の目的のためにこれら技法を単純化し，モデリングしやすいデータを作成する必要がある．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{原論文の紹介：提案手法について}

原論文では英日翻訳を対象に，生成型大規模言語モデル (LLM) を用いて，機械翻訳モデル用学習データから同時機械翻訳モデル用学習データを構築した．
学習データの作成にあたって，Chunk-Wise Monotonic Translation (CWMT) \cite{okamura-2023}という同時通訳テクニックを参考にした．
CWMTは訳出可能な単位（チャンク）まで発話を聞いたら，訳出を行うことを繰り返すことでLatencyを最小限にするテクニックである．
福田ら \cite{weko_232877_1}はCWMTに従って，人手で同時機械翻訳用データの試作を行った．
本研究では福田らが作成したCWMTに関するアノテータへの指示文を参考にし，
図\ref{fig:prompt}のPrompt Template内に記載されているように，1. 文をチャンクに区切り，2. チャンクごとに翻訳し，3. それらを自然な文になるよう連結させる，という一連の工程をLLMが同時に行えるようプロンプトを設計した．また出力結果を構造化データであるJSON形式で出力し，出力結果をパースすることで，各工程での処理結果をまとめて取得できるので，各工程の精度を検証することができる．また構造化データとして出力させることで，LLMの指示追従能力が向上し，より高品質な同時機械翻訳モデル用学習データを作成できることが実験的にわかったため，このような出力形式を採用した．
%
詳細な説明や実験，考察などに関しては原論文を参照していただきたいが，本手法によって作成されたデータで同時機械翻訳モデルを構築した結果，どのようなシナリオにおいてもQualityを保ちながらLatencyの改善を確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[b]
\begin{center}
\includegraphics{32-1ia33f1}
\end{center}
    \hangcaption{LLMを用いて同時機械翻訳モデル用学習データを構築するために原論文で使用したプロンプト．プロンプト内にCWMTに基づいた指示内容を記載している．Prompt Template中の\{sentence\}の箇所に対象となる文を代入し，プロンプトをLLMに入力することで同時機械翻訳モデルの学習に適したデータを生成する．CWMTに基づいた3つの手順をそれぞれ図中でハイライトしており，JSON形式で出力された結果をパースすることで，それぞれの工程に対応した出力結果を同時に得ることができる．（Sakai et al., の Figure 2より改変）}
    \label{fig:prompt}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{研究着手から採択，発表まで}

本研究はとてもタイトなスケジュールで進んだと記憶している．
Slackの履歴を辿ると2023年11月下旬にこの研究に関する最初の議論が行われた．
ちょうどその頃，私はLLMの活用について考えていた．特にLLMを用いたデータセット作成について関心があり，その一つとして同時機械翻訳用データセットの作成を行うに至った．
当初はルールベースで同時機械翻訳用の擬似訓練データ作成を行う従来研究 \cite{he-etal-2015-syntax}を参考に，LLMを用いて同様の取り組みを行えば，より柔軟性高く，高品質な学習データが作成できるのではないかと考えていた．
しかし当時の私は最新の同時機械翻訳に対する知識がなかった．
そこで，ちょうど同分野の研究に取り組んでいた蒔苗さん（共同第一著者）が次年度から博士学生として，研究室のメンバーに加わることになっていたため，共同で研究を行うことにした．
早速プロジェクトが立ち上がった数日後に蒔苗さんに同時機械翻訳や同時通訳に関する知識を教えてもらい，そこから2週間ほどで従来研究 \cite{he-etal-2015-syntax}を真似たデータセット作成用スクリプトが完成．しかしそこから2ヶ月間研究はストップした．
データセットを作成したとしても同時機械翻訳モデルの学習や推論を行うためのノウハウがないことや，従来研究から同時機械翻訳技術が発達していて，モデルやデータセットの選定が適切かわからなかったことが主な要因である．またなによりこの研究に当てる時間がなかった．
当時は12月のARRと2月のARRにそれぞれ別な研究を投稿しており，特に2月のARRに投稿した研究 \cite{sakai-etal-2024-mcsqa}を完成させるために，模索段階の本研究は一時中断となった．

次に研究が進んだのが2月中旬．データセットのことは一旦忘れて，とりあえず同時機械翻訳モデルを動かすための基盤を整備することにした．
試行錯誤しつつ3月下旬には，データさえ手に入れば，全ての実験が完了する環境が整った．
また同時期に神戸で行われた第259回自然言語処理研究発表会（NL研）を聴講した．
ちょうどその場で，福田らが同時機械翻訳用データ作成へ向けた研究発表 \cite{weko_232877_1}をしており，CWMTによる同時機械翻訳用データ作成が有効であるなどの情報を知った．また試作段階で少量だが，CWMTに基づいて人手でアノテーションされたデータが一般公開されていた．
そのため同様の手順をLLMで試すことで，人手によるデータ作成との比較が可能となり，LLMによるデータ生成の有効性を強力に示せることに気づいた．

早速3月下旬の1週間でCWMTに基づくデータ生成を行うためのプロンプトを設計．
当時のLLMは指示追従能力が低かったため，なかなか思い通りの出力にならない．
仕方がないので1,000回以上試行錯誤を繰り返して，CWMTに基づいたデータ作成が可能なプロンプトを作成した．
%
設計したプロンプトを用いて同時機械翻訳モデルの学習に十分な量のデータを作成し，3月末に全てのデータが完成．
そこから2週間で実験と論文執筆を投稿直前まで並列で行い，無事4月のARRへ投稿完了．
かなり急いで投稿したので，粗いところが多く，Rebuttalを頑張ることになった．当初のスコアは確か2.8とかだったと思う．
そこからRebbuttalで説明や改善ポイントを示すことで，3.4あたりまで上昇し，良いメタレビューをもらうことができ，無事にEMNLPに採択された．

また原論文を提出後，今度は本研究を多言語へ発展させるために，CWMTの代わりにSalami Technique \cite{camayd2011cognitive}という同時通訳手法を採用した後続研究が，蒔苗さん中心で行われた．
こちらの研究は6月のARRに投稿し，とても良い評価をいただき，無事EMNLPに採択された．
どちらの研究でも，蒔苗さんの知見や分析力・洞察力を活かした素晴らしい活躍により，無事短期間で完遂することができた．改めて，感謝申し上げます．


原論文はポスター発表だった．立ち寄ってくれた人に説明し，質問に答えているとあっという間に時間が過ぎた．
持ち時間が長く，聴衆の反応がわかり，ディスカッションができるので，私はポスター発表が好きだ．
余談だが，最近どのようなポスターを作ればより多くの人が立ち寄ってくれるのか考えている．
EMNLPで発表される研究は凝ったデザインだったり主題がわかりやすいなど参考になるポスターが多い．そのため発表スタイルなどを学ぶという観点からも有意義な学会だった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{おわりに}

原論文を執筆していた頃は，とにかく必死だったことを覚えている．
ちょうど博士3年になった時期で，博士課程の修了要件を満たすための残り本数がぼんやりと頭の中にあった．
研究が始まった当初はまだ要件を何も満たしていなかったので，とにかく論文を出すことに必死だった．
だけど慌てているという感覚はなく，2024年は研究に集中する年と決めて，とにかく手を動かすことに専念した．
ちょうどあらゆる自然言語処理の研究において，LLMが欠かせない存在となった時期であり，
地道な改良を積み重ねていくような研究から，どのようにLLMを活用するかに軸が移りつつあった．
裏を返せばLLMを用いた実験環境が用意できれば，あとは自然言語処理の諸問題に対してLLMを用いたアプローチを考えればよいわけなので，
チャンスだと思い，LLMを使った大規模実験ができる環境を真っ先に整えた．
また研究室の環境にも恵まれた．大規模研究室なのでそれぞれの分野に詳しい人がいる．彼らに分野の常識や肌感覚を尋ねることで，LLMを活用できそうな分野を探っていった．
うまくいかなかった研究も多い．原論文に費やした時間は2ヶ月程度だったかもしれないが，その間にいくつか別な研究テーマを試して頓挫したり，原論文も試行錯誤の繰り返しの末，完成した．
しかしその過程で気づいたことなどを発展させて，次の研究のきっかけにしているので，むしろ良い知見を貯めることができたとポジティブにとらえている．
とにかく考えるよりも，実際に手を動かしてやってみれば何かしらの発見があると思う．

本稿の締め切りは2024年の年末．今年を振り返るとデータセットの構築だったり，LLMの評価や応用に関する研究が多かった印象がある．来年は何が流行るのだろうか．
LLMやマルチモーダル研究の発展，またライブラリなどの充実によって，他分野から自然言語処理分野へ参入しやすくなった．
しかしその影響で研究のスパンがとても早くなったと感じる．
当時の私と同じように必死な人が世界中にたくさんいて，死に物狂いで研究するから，どんどん競争が激しくなる．
最近は，最新の研究ばかり追っていても仕方がないので，少し昔の論文からアイデアを得ようとしている．
原論文は約10年前の論文から着想を得ているが，昔の論文にはLLM時代でもヒントになるような内容が多く，実は根本的なところはなにも変わっていないのだと感じる．
ただ最新を追うだけでは，このような気付きは得られないし，本来生き残るためにはこのような知識が必要なのかもしれない．
まだまだ駆け出しだけれども，これからも面白いと思える研究をどんどんしていきたいので，次にどのような流行が来ても，その時流に乗れるような基礎体力をつけていきたいと考えている．




%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{33refs}




%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{坂井　優介}{%
2024年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．同年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\end{biography}


\end{document}





