\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%\usepackage{xcolor}
%%%%%\newcommand\todo[1]{\textcolor[rgb]{1.000,0.388,0.278}{#1}}
\newcommand{\xxicl}{X$^\text{2}$-ICL}

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{1326}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Exploring Explanations Improves the Robustness of In-Context Learning}
\jauthor{本多　右京\affiref{Author_1}}

\etitle{Exploring Explanations Improves the Robustness of In-Context Learning}
\eauthor{Ukyo Honda\affiref{Author_1}} 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{本多}
\headtitle{Exploring Explanations Improves the Robustness of In-Context Learning}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{株式会社サイバーエージェント}{CyberAgent, Inc.}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
本稿では，ACL 2025に採択された論文``Exploring Explanations Improves the Robustness of In-Context Learning'' \cite{honda-oka-2025-exploring}について解説する．
研究の詳細については論文に譲ることにし，ここでは概要と，研究の背景や発想の経緯を重点的に述べていこうと思う．
本研究は，文脈内学習 (in-context learning; ICL) における分布シフトへの頑健性を目的とした研究である．
提案手法を一言で言うならば，様々な根拠を広く考えてから判断させることで，文脈内の実例とは異なる分布から得られたデータに対しても頑健に予測できるようにする手法，ということになる．
概要を図\ref{fig:overview}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia35f01.eps}
\end{center}
    \hangcaption{文脈内学習 (ICL) と，先行研究のX-ICL，提案手法の\xxicl{}の概要図．含意関係認識タスクを例としており，\textsc{Ent}は含意，\textsc{Neut}は中立，\textsc{Cont}は矛盾のラベルを指す．推論中に実際に出力される根拠は実線で，そうでないものは点線で表している．典型的な文脈内学習ではラベルだけを出力し，X-ICLは単一の根拠とそれに基づいたラベルを出力する．\xxicl{}では，まずすべてのラベルについてそれらが正解となり得る根拠を出力し，その後最も妥当な根拠によって支持されるラベルを選択する．}
    \label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{文脈内学習における分布シフトへの頑健性}
ところで，文脈内学習における分布シフトとはなにか？
文脈内学習では，大規模言語モデル (large language model; LLM) に入出力例をいくつか例示し，それに続いて入力されたテスト事例に対して同様の推論を行わせる．
パラメータの更新を伴う学習が不要であることから手軽に試すことができ，LLMで特定のタスクを処理する際に広く活用されてきた．
例示した入出力とはまったく異なるタスクを解かせようとしてもうまくいかないので，目的のタスクに合わせて実例は慎重に選ぶ必要があるが，文脈内学習では少数の例示でも高い性能を示すことがあり，明らかに異なるタスクや事例に対してはそれらに応じて実例を用意することで柔軟に対応することができる．
厄介なのは，一見類似の事例に見えても，例示したものとは性質が異なるテスト事例が与えられる場合である．
このような場合に文脈内学習の性能が下がることは，これまでしばしば報告されてきた．
代表的には，モデルの挙動に対して人手で敵対的に作成されたテスト事例や，入出力例中では存在する表層的な特徴量とラベルとの強い相関（擬似相関やショートカットと呼ばれる）を変動させたテスト事例における予測性能の低下が知られている \cite{he-etal-2024-using,yuan-etal-2024-llms}．
これらの性質の変動を例示データが従う分布からのシフトとしてまとめて考えて，文脈内学習における分布シフトの問題が研究されてきた．

このような分布シフトの存在で困るのは，いま対処したい事例に対してどのように例示を行えばいいのかがわからなくなってしまうことである．
例えばショートカットに関しては，ベンチマークデータ作成時には存在が知られておらず，その後の詳細なデータ分析によって徐々に明らかになっていった経緯がある．
データの一見してわからない偏りをすべて把握して，それらに応じてテスト事例に適した実例を選択することは，現実的に難しい．
頑健性の研究では，学習データ中の表層的な特徴では正しく予測できなくなる敵対的なテスト事例で評価を行い，そのような極端なケースにおいても頑健に予測できるモデルを模索することで，実用上の分布シフトにも対応可能なモデルを目指してきた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{根拠の説明と頑健性}
本研究がスタート地点としたのは，正解ラベルの根拠を例示に加えることで文脈内学習の頑健性を向上させる，X-ICLという手法である \cite{he-etal-2024-using}．
モデル内部で暗黙に根拠を考えてラベルだけを出力するのではなく，明示的な根拠の説明とともにラベルを出力するよう例示すれば，分布シフト下でも頑健に予測できたと報告しており，スコアも顕著に改善していた．
また，他の手法が分布シフトに関する事前情報を要求するのに対して，この手法ではごく少量の，シードとなる根拠のアノテーションしか必要としない．
シードをもとに自動生成で実例に対して根拠を補完するので，実例が増えてもスケールする．
実用的に有望なアプローチに思えた．

成果に感心しながら，思い出していたのは博士課程1年目の悪戦苦闘だった．
当時は研究テーマに迷っていて，その候補のひとつがモデルの解釈性だった．
特に，解釈できることで何かモデルの性能改善につなげられないかを探していた．
主なアイディアは，解釈した結果が人間が妥当と考える挙動になっているモデルであれば汎化しやすいのではないか，ということだった．
モデルから見れば学習データの入力とラベルをつなぐ仮説は大量にあるが，多くは学習データ以外では成り立たない．
ショートカット依存はこのわかりやすい例である．
そこで，推論の過程を可視化し，これが人間と整合的になるように学習することで，ショートカットなどを避けて頑健な予測を達成する．
解釈性の活用としていい方向だと思ったが，当時の先行研究で提案されていた説明生成の同時学習や，アテンションなどへの介入では，分布シフト下での性能改善は限定的だった \cite{camburu2018esnli}．
根拠を説明させても，根拠と関係なく答えを述べる現象も観測されていた．
当時はBERTの登場前後で事前学習モデルが今ほど高性能ではなかったからか，単に難しい別タスクが付け加わるだけになってしまい，いくつか考案して試してみた手法はことごとくうまくいかず，半年ほどを費やしても明確な成果に至ることはなかった．
それ以降，関連研究を積極的に調べることがなかったので，X-ICLの報告は新鮮だった．
根拠の説明がここまで頑健性向上に役立つようになったのなら，より高度な根拠の説明も有効になっているかもしれないと，数年越しに試してみたいことが浮かんできた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{提案手法：広範な根拠の考慮と頑健性}
冒頭で述べたように，本研究では，様々な根拠を広く考えてから判断することで頑健な予測を促進する．
直感的には，あり得る根拠を広く考えることにより，実例中では可能性が低くても分布シフト下では成り立つ根拠を考慮する余地を残す．
先行研究がICL with explanationを略してX-ICLと名付けていたので，提案手法はICL with exploration of explanationで\xxicl{}と呼ぶことにした．
このアイディアの背景を説明するために，話をまた少し遡る．
本研究の一年ほど前に，ショートカットに対して頑健な予測を達成する研究に取り組んでいた \cite{honda-etal-2024-eliminate}．
この手法では，まず，ラベルと相関する互いに異なる潜在特徴量を，混合エキスパートモデルの各エキスパートモデルによって捉えるよう学習する．
このように異なる特徴量での予測を並立した状態で，推論時には，どの特徴量でラベルとの相関が変動するのかわからないという不確実性のもとでリスクを最小化する選択肢を，決定理論に基づいて選択する．
面白い成果だったが，特殊な混合エキスパートモデルの学習が必要であるため手軽ではなく，学習するにはパラメータサイズが大きすぎたりそもそもパラメータにアクセスできなかったりするLLMには，そのまま適用することが難しかった．
しかし，様々な潜在特徴量を考慮に入れるというアイディアは文脈内学習でも実現できそうな気がしていた．
モデルが出力する根拠をモデルが依拠する潜在特徴量だと考えたとき，異なる根拠を出力させて統合できれば，文脈内学習でも同じことができそうだと考えた．

問題は，どうやって異なる根拠を考慮させるかだった．
あり得る根拠は膨大で，根拠をランダムにサンプルするのでは，表層のバリエーションだけが異なる意味的に同じ根拠ばかり拾ってしまう可能性があり，広く根拠を考慮できない．
そこで我々が採用したのは，異なる答えに至る根拠は内容的にも異なる根拠であろう，というアイディアだった．
このような広範な根拠の補完は人手ではコストがかかってしまうが，X-ICLの自動補完であれば簡単に実現できる．
X-ICLでは，各実例に対して，入力と正解ラベルを条件としてそのラベルが答えとなる根拠をLLMに補完させる．
これを拡張して，条件とするラベルを入れ替えていけば，すべてのラベルについて，それが答えとなり得る根拠を補完することができる．
これらの統合にも上記論文での手法を適用したかったが，クローズドなモデルではそのために必要な出力分布へのアクセスが難しく，決定理論の基準を使おうとすると手法の適用範囲を狭めてしまう．
そこで，根拠を列挙した上で，LLMに最も妥当と考えられるラベルを選択させることで根拠を統合することにした．
共著者の岡達志さんと議論するなかで，X-ICLを潜在変数モデルとして考えたときの自然な拡張としての位置づけが見えてきて，論文の方向性が定まっていった．

実験の詳細は論文を参照していただきたいが，自然言語理解の分布シフトデータに対して，通常の文脈内学習やX-ICL以上に高い性能を示す結果となった．
特にX-ICLに対して改善があったのは，入力中に明示的な言及がないが，そこから推論できるような事実を基にして判断する必要がある事例においてだった．
X-ICLでは明示的な言及の不足を理由として短絡的に予測するところを，提案手法では，各ラベルが正解である根拠を入力から見つけ出すよう強いるため，このような推論が出力に含まれることが多かった．
複数の出力をサンプリングして多数決をとるself-consistency \cite{wang2023selfconsistency}も試したが，表層的に異なるが同じラベルに至る根拠が得られることが大半で，X-ICLに対して頑健性の改善はほぼ見られなかった．
また，広範な根拠の実例を示さずに，``Let's think step by step''の指示で長い根拠を出力させた場合でも，同様にX-ICLに対する改善はほぼなく，体系的に異なる根拠を例示することの有効性が示される結果となっていた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{おわりに}
LLMの発展に伴って，現実の様々なタスクにおいてLLMを活用する場面が増えていくと考えられる．
その際，最も手軽な手法である文脈内学習の活躍の場はさらに広がるだろう．
提案手法がこの状況で実用的に用いられることを期待したいが，ラベルが固定のタスクにしか適用できない点や，入出力のコストが増えてしまう点など，幅広い適用のためにはまだ課題が残る．
今後も文脈内学習について改善を重ねていきたい．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{35refs}


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{本多 右京}{%
2016年慶應義塾大学法学部法律学科卒業．
2019年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2023年奈良先端科学技術大学院大学先端科学技術研究科博士後期課程修了．
博士（工学）．
2022年よりサイバーエージェントAI Lab研究員．
}

\end{biography}


\end{document}


