\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%% 以下の設定は，編集部で修正します．
\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1316}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{ACL2025学会参加報告：博士課程における研究成果の集大成}
\jauthor{坂井　優介\affiref{Author_1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 英語タイトル・英語著者名
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{Toward the Final Piece of My Doctoral Thesis}
\eauthor{Yusuke Sakai\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{坂井}
\headtitle{ACL2025学会参加報告：博士課程における研究成果の集大成}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
本稿では，ACL 2025に採択された``Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability'' \cite{sakai-etal-2025-revisiting}（以下，原論文）について解説する．
はじめに，原論文の解説をしたあと，着想に至った経緯や，論文執筆から採択までの流れ，最後にACL 2025での発表の様子について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の解説}
\label{sec:overview}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{背景と動機}
CommonGen \cite{lin-etal-2020-commongen}をご存知だろうか．
図~\ref{fig:template-example}のように，CommonGenは与えられたいくつかの単語（単語セット）をすべて使用して，常識的な文を作成するタスクである．
大規模言語モデル(Large Language Model; LLM)に単語セットを入力し，LLMが生成した文と人手で作成した正解例を比較することで評価を行う．
評価方法は主にBLEU \cite{papineni-etal-2002-bleu}など表層一致に基づく自動評価指標を用いて，モデルの出力と正解例を比較する．また，単語セットをすべて含んだ生成が可能だった割合(Coverage)も重要な評価尺度となる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig 1
\begin{figure}[t]
  \begin{center}
  \includegraphics{32-4ia34f01.eps}
  \end{center}
  \hangcaption{CommonGen~\protect\cite{lin-etal-2020-commongen}と原論文で提案したOrdered CommonGen~\protect\cite{sakai-etal-2025-revisiting}の比較．両方とも単語セット内の4つの単語をプロンプトに組み込み，それらを用いた文を作成するようLLMに促す．単語がすべて生成文内に含まれることが重要となり，Composed Sentenceの1文目は3単語しか含まれないため，不適となる．Ordered CommonGenでは，プロンプト内に``in the specified order''という文言を付与することで，プロンプト内の単語を順序どおりに使用した作文を行う必要がある．そのため，Composed Sentenceの2文目はCommonGenでは順序不問なため適合した出力である一方，順序通りに出現していないため，Ordered CommonGenでは不適となる．したがって3文目のみ条件と合致した文となり，文生成能力と指示追従能力の両側面の評価が可能となる．図は原論文のFigure 2より引用．}
  \label{fig:template-example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方，CommonGenの定義する``常識的な文''は，人間が作成した正解例との表層的な類似度の近さに依存しているため，文法的・意味的な容認性は考慮されない．そのため，例えば「太郎は学校に行く」の正解例に対して，表層表現が近い「太郎へ学校に行く」と「太郎が学校へ行く」を比べると，前者のほうが正解例と近いため，より常識的な文と評価されてしまう．
また，そもそも無限通りの生成が可能な問題設定に対して，正解例との比較のみによって常識的な文の評価を行うことは不可能であり，LLMが常識的な文を生成したとしても，それらを適切に評価できずに見過ごされてしまう．
最近になって，LLMによる評価手法を取り入れることで，生成文の``良さ''を測る試みが行われているが\footnote{\url{https://github.com/allenai/CommonGen-Eval}}，そもそも評価用LLMが常識的かつ文法的・意味的に容認可能な文を識別できるのかという議論も発生するわけで，以前よりマシになったとはいえ，依然として課題が残る．
そのため，CommonGenでは常識的な文を生成する目的より，制約付き生成タスクとしての側面が強くなり，従来の機械翻訳や要約，画像キャプショニングタスクなどと同様，より正解例に近い出力をしたモデルが有利となる欠点を許容した．

もう1つ重大な問題がある．CommonGenは画像キャプショニングタスクなど，既存データセットを元に作成されている．
そのためLLMの学習データにそれら既存データセットが直接的・間接的 \cite{sakai2024}に含まれると，モデルは正解例を学習してしまう．その結果，CommonGenで評価する際，LLMは文を構成せず，既知の表現を繰り返すだけで高い結果を得られることになる．
そのため，CommonGenタスクではLLMが本来有している汎化的な文構成能力を十分に捉えることができず，未知の表現に対する文生成能力を測ることが困難となる．
さらに与える単語セットの出現順などは考慮しないため，LLM自身が得意な単語の並び順への変更を許容する．
このような並び替えを能力として捉えている研究 \cite{zhang-etal-2023-learning-predict}もあれば，学習データ内の単語セットの並び順と正解例の単語の使用順の一致が重要 \cite{zhao-etal-2022-revisiting}など，様々な解釈や分析が行われている．一方，これらの先行研究もLLMが単に学習データ内の既知の表現や類似表現を繰り返しているだけという立場に立てば，LLMは記憶を呼び出すために単語順を変更したり，順序が同じであれば類似表現を再現しやすいといった角度からも考察できる．実際，本研究を始めるに当たっての予備実験では，単語の並び順を入れ替えて入力しても，特定の並び順のみが出現したり，極端な場合は全く同じ出力しかしなかった．

そもそもCommonGenが提案されたのがLLMが流行する前であり，当初は言語モデルの構造や学習データの影響を探るなど，言語モデル研究の発展段階における野心的なタスクだった．
学習データも当初は透明性があり，かつデータも限られていたため，上述した学習データに関する問題もそこまで重大ではなかった．
しかしLLM時代になって事情が変わりつつある．学習データが多様かつ非公開なモデルが主流となり，またファインチューニングから文脈内学習へと流行が移った．
その結果，既存LLMがどれだけタスクに関する知識を有しているかという知識の側面をより考慮した，LLMの汎化的能力と知識の作用を切り分けた評価の必要性がより高まった．
実際，CommonGenはCoverageの観点ではすでに高性能なLLMではほとんど達成可能となっており，タスクとして役割が徐々に完了しつつあった．
このような背景を踏まえ，そもそも正解例を使用せずに評価することはできないか，知識の影響を考慮した現代風のLLM評価タスクとして再定義することはできないか，といった疑問が本研究の発端となった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{タスク定義と評価結果}

本研究は主にLLMの指示追従能力に焦点を当てた．
LLMはユーザの様々な入力に対して，その指示に従った処理を行うことが求められる．
一方，あらゆる指示にLLMは完璧に従うわけではないため，それらを評価・改善する方法が研究されている．
図~\ref{fig:template-example}に示すように，本研究ではOrdered CommonGenとして，CommonGenを指示追従能力の観点からも考察する方法を提案し，CommonGenとOrdered CommonGenの評価結果を対比させることで，LLMの記憶作用と文構成能力を指示追従能力の点から分析した．評価方法はとても単純で，CommonGenでの評価に``in the specified order''という文言を付与することで，順序どおりの生成を促す．これを単語セットのすべての組み合わせ（$4!=24$通り）に対して試行し，順序通りの生成が可能か，また生成結果がどの程度多様なのかといった観点から評価する．

このとき，生成文法に従えば，任意の順序で生成可能である．例えば（食べる，遊ぶ，猫，犬）のような単語が与えたれた時，「私は友達と昼食を食べてから遊んだあと，猫と犬が待っている家に帰った．」と作文できるし，（食べる，猫，遊ぶ，犬）では「私は昼食を食べた後，猫と遊び，犬の散歩に出かけた．」と作文できる．直感的な解釈として，名詞と動詞に着目した時，名詞‐名詞，名詞‐動詞，動詞‐名詞，動詞‐動詞の4パターンに注目すれば，複合語や受動態などを駆使すれば，すべての組み合わせが理論的には成り立つ．実際に作文するとき，穴埋めのように補完する単語を考えればいいので，人間にとってそこまで難しくはない．また裏技的・短絡的な解法として，「私は``食べる遊ぶ猫犬''というお菓子を買った．」のように造語の作成も可能だし，「私は食べる，遊ぶ，猫，犬という単語が好きです．」のように表現することもでき，任意の単語セットに対応可能である．しかし生成結果は単調になるため，意味を考慮した生成を行うには創造力が試される．以上より，生成結果についてCoverageと多様性の両方を計測することで，どれだけモデルが指示に従い，かつ創造的な文生成が可能かの2軸で評価した．

詳細な評価結果や評価方法については原論文を参照して頂きたい．原論文ではCoverageと多様性について合計7種類の評価尺度と，独立した言語モデルによってPerplexityで生成文の自然さを補助的に測る．
このとき，数値の絶対値評価ではなく，Ordered CommonGenとCommonGenの差分に着目することで，指示追従の制約の有無で，それぞれの指標がどのように変化したかを議論の軸とした．
%
また本研究では，研究の発端となった1つ目の懸念点である，正解例を一切使用していない．
生成結果がどの程度指示に従っているか・多様かのみ評価しており，特定の指示の有無による変化量を測定することで，正解例を作成しなくても十分な評価が可能となった．
さらに任意の単語を用いたり単語数を増減させれば，いくらでも問題作成が可能となり，十分量の試行が可能となる．
以上より2つ目の従来の懸念であった知識の影響を考慮した純粋な文構成能力を計測することが可能になり，結果として，持続可能な評価フレームワークを作成できたと言える．

評価結果の簡単な結論として，LLMはプロンプトの意図を理解しており，指示に従いながら文生成しようと努力する傾向があるが，LLM自身の文生成能力の限界から完璧な生成をすることができない．
また，Ordered CommonGenでは単語セットの順序を入れ替えることにより，多様性指標が向上したため，LLMは短絡的な生成ではなく，創造的な生成を行おうとしていることがわかった．
一方で，一部モデルではいくら順序を入れ替えても，全く同じ文しか生成しないなど，知識の影響を強く受けて，文構成能力より知識の発現が優先される現象を観測できた．
また，意図的に短絡的回答を行うよう文脈内学習させると，高性能なLLMでは多様性が減少するものの，短絡的回答の雛形を特定するには至らず，依然として創造的文生成を行おうとする傾向が見られた．
その他にも詳細な分析と考察・知見の提供をしているので，興味を持たれた方は是非原論文を読んで頂きたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想に至った経緯：研究着手から採択，発表，受賞まで}

原論文の構成は，\ref{sec:overview}節で述べたように，問題提起から評価結果，応用先と，順序立てて書かれているが，実際の発想は真逆で，応用先での課題から原論文のアイデアにたどり着いた．
私は本研究の直前に，同時機械翻訳用学習データの自動生成を行っていた \cite{sakai-etal-2024-simultaneous}．このときの様子は以前の解説記事 \cite{sakai2025simul}で詳述しているので是非読んで頂きたい．図~\ref{fig:prompt}のようにLLMを用いて，学習データを作成する過程で「文を意味の塊（チャンク）ごとに区切り」，「チャンクの順序を守りながら翻訳」し，最後に「チャンクを自然なつなぎ言葉を用いて連結させる」という3ステップからなる一連の作業を行った．しかしこのとき，3ステップ目のチャンク連結時にうまく順序通りに連結されず，どのようにプロンプトを工夫しても，チャンクの順序が入れ替わってしまう現象に遭遇した．
% 
このとき，もし私が査読者なら，プロンプトにどの程度従った生成を行えたか気になるため，プロンプトに従った割合やどの程度従うのかについても調査しなければならないと考えた．しかし当初は限られた時間内で遂行する必要があったため，Rebuttalで対応すれば良いと考え，とりあえず完成を急ぎ，この点については「LLMは完璧に指示に従うわけではないが，傾向として従えば十分である」と記載として提出した．その後，この課題について検証しようと思ったが，そもそもフレーズ単位の処理であるため，単語単位のように機械的に計測することが容易ではなく，区切りなどもLLM自身に任せていたため，この目的のために実験するには，関連する要素が多く，純粋な能力のみを測ることが難しかった．
そこで，この問題をもっと単純化した評価方法がないか考えた．その結果，指定した順序でチャンクを結合できない問題を単語単位の話に置き換えることで，本研究の骨子が出来上がった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig 2
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-4ia34f02.eps}
    \end{center}
    \hangcaption{同時機械翻訳用学習データの自動生成する研究の概要~\protect\cite{sakai-etal-2024-simultaneous}．入力した文を「文を意味の塊（チャンク）ごとに区切り」，「チャンクの順序を守りながら翻訳」し，「チャンクを自然なつなぎ言葉を用いて連結させる」という工程を単一プロンプト内で行うことで，同時機械翻訳モデルの学習に適したデータを生成する．それぞれの工程は図中でハイライトしており，JSON形式で出力された結果をパースすることで，それぞれに対応した出力結果を同時に得ることができる．このとき，Step2とStep3でチャンクの順序の変動が頻発し，パイプライン形式で1つずつ実行しても同様の問題が発生したことから，指定した順序で完璧にチャンク結合不可能なことが判明．この現象が原論文のアイデアへと繋がった．解説記事~\protect\cite{sakai2025simul}の図1より引用であり，原図は~\protect\cite{sakai-etal-2024-simultaneous}のFigure 2から改変されている．}
    \label{fig:prompt}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

同時機械翻訳の研究は2024年4月のARRに提出した．その後すぐに私はRebuttalに備えるため，原論文の研究の初期案に取りかかった．
データ整形や実験の土台整備を数日で終え，そこから初期実験を開始した．結局Rebuttalで懸念していた点についてやんわりと指摘されたが，重大ではなかったため，言葉で説明するだけでよく，事なきを得た．
その後，本研究は独立した研究として本格的に取り掛かった．実験をどこまでやればよいか，どのような評価を行えばよいかなどの議論は一旦後回しで，一番時間のかかる文生成をとりあえず行った．単語セットの数を4つに決め打ちしたのも随分後になってから，研究室の計算機資源の使用量を節約するためである．結局データ数も単語セットは200事例程度と少量となったが，すべての組み合わせを考慮したり，プロンプトも複数用意するとなると，1つのモデルで数万文生成する必要がある．データサイズについては，拡張性だったり最終的な事例数などについてアピールし，この点を素直にLimitationでも認めたため，査読などでは特に問題とならずに済んだ．

必要なモデル数についてはよくわからなかった．ここを絞り込む方法が未だにわかっておらず，結局well-known LLMsくらいしか書けなかったし，実験数が膨れ上がる要因にもなった．どのLLMで検証するべきかについては本研究に限らない問題である．実際，大量のLLMで実験をする論文もあれば，たかだか1,2個のLLMの結果のみを用いて結論付けている論文もあるわけで，一番査読でも指摘されやすい／しやすいポイントでもある．先行研究で使用されていただったり，人気のLLMだからといった理由は本質的ではなく，このような根拠に基づく選定はあくまでケーススタディでしかないし，なぜ妥当なのかという議論は棚上げされたままだ．多種多様なLLMの代表点として実験に使用すべきモデルの議論も今後取り組みたい課題とした．

評価尺度は観察に基づき増えていったと記憶している．当初はCoverage以外なにも決まっていなかった．CommonGenを用いた多様な生成を試みる先行研究 \cite{zhang-etal-2024-improving-diversity}を参考にしたり，順序を変更しても同じ出力をするなどの観測結果から，評価指標を決めていった．一番困ったのが，生成された文の妥当性や自然さに関する部分である．何をもって妥当な生成結果と判断するかが難しい．Perplexityが低くても，単に評価用言語モデルがそのような文構成を学習していないだけの可能性も十分ある．そのため，せめて文法的な誤りが含まれていないか確認するため，文法誤り訂正の評価尺度を使用できないかなど考えた．その影響で本研究を一旦中断し，文法誤り評価尺度の研究 \cite{sakai-etal-2025-impara}に取り組んでいた時期もあった．結局この問題は根深いことに気づき，Perplexityの増減のみを議論対象とした．

タイムラインとして，実験が本格化したのが5月下旬．当初は8月のARRに提出する予定だったが，実験設定を固めるのに苦労し，またこの頃から共著論文が増え始めたこと，9月の卒業へ向けた博論執筆などが重なり，延期することになった．その後，10月のARRでは評価に関する問題に直面して延期，そして12月のARRにようやく提出することができた．当初この論文の評価スコアは低く，レビュワーの平均が2.67・メタレビュー3だった．低い理由として提出分野が合っていないと判断し，エリアをGenerationからGeneralizationへ変更して2025年2月のARRへ再提出した．その結果，わずかな修正のみだったが，平均3.5・メタレビュー4の評価をもらい，その後ACL 2025へ採択された．

発表形式は口頭発表とパネルディスカッションだった．パネルディスカッションは本会議で試験導入されたものらしく，通知を受け取ったときは戸惑った．発表全体の内25件が対象とのことだった．発表の2,3日前に事前質問が送られきたので，それに対する回答を作成して挑んだ．私のみ非英語圏からの参加者だったため，翻訳ツールなどを使用したり，回答書を見て話そうと思ったが，それではとても追いつかなかったので，終盤は手元のパソコンを見ずにアドリブで応答した．非英語話者だからと開き直るには，英語力が足りなさすぎることを実感したので，自分が真摯に向き合わないといけない問題と改めて実感した．一方，内容については先程挙げたように実験に必要なモデルの選定基準の議論など，とても有意義だった．

本研究はありがたいことに，Outstanding Paper Awardを受賞することができた．
事前連絡などはないため，閉会式での賞発表のタイミングで名前を読み上げられて初めて受賞を知った．
賞選考プロセスの基準\footnote{\url{https://acl-org.github.io/conference-handbook/award/}}によると，以前にも3回程候補だったらしいが，いずれも受賞に至らなかったため，密かに狙っていた．
しかし2025年2月のARRから基準が変わったため，本論文が候補に上がっているか不明だった．当初の評価スコアは高くなかったが，
コメント内容やExcitementなどの補助スコアがとても良かったため，候補に推薦していただけたと考えている．
また最終稿をとても丁寧に加筆・修正したことも，良かったのかもしれない．
原論文は後輩・学生の執筆の見本となるように書いたため，原論文がよい評価を頂けたことはとても嬉しかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究は，私の博士課程における研究成果の集大成である．LLMの事前学習時の知識の影響を考慮した評価方法 \cite{sakai-etal-2024-pre,sakai2024}を発展させ，多肢選択型常識推論タスク \cite{sakai-etal-2024-mcsqa}を生成タスクへと応用させることで，正解例を必要としない持続可能な評価が可能になり，分析過程においても多様なプロンプト表現を用いた評価手法 \cite{sakai-etal-2024-toward}を適用することで，指示追従能力の詳細な調査が可能となった．このような私の先行研究での知見をすべて活用することによって本研究は誕生した．
そして，原論文での評価結果の知見を，同時機械翻訳用学習データ自動作成手法 \cite{sakai-etal-2024-simultaneous,makinae-etal-2024-simul}へ活用する応用先まで示すことができた．なにより，この一連の研究過程を通じて，自分自身の論文執筆能力や研究遂行能力が著しく向上し，その結果，本研究をより魅力的にすることができたのは，大きな成長の証である．
私は早期卒業で半年早く博士を取得したため，本研究を博士論文 \cite{sakai2024llmeval}に含めることができなかったが，ようやく最後のピースとして本研究が収まった．
一瞬だけでも，自分が目指した方向の最先端が見え，それに触れることができ，自分自身で区切りをつけ，完結できたのは，とても爽快である．達成感で溢れている．
また本研究によって，今までの研究課題に対して自分なりの解を示すことができた一方，新たな課題も見えてきた．本研究を一旦の終着点と新しくて大きな研究課題への開始点として位置づけて，また新たな最先端に触れてみたい．



%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{34refs}



%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{坂井　優介}{%
2022年奈良先端科学技術大学院大学博士前期課程修了．
2024年同博士後期課程修了．博士（工学）．
現在，奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}
\end{biography}


\end{document}


