\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{989}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Token-based Decision Criteria Are Suboptimal\\ in In-context Learning}
\jauthor{趙　　羽風\affiref{Author_1} \and 井之上直也\affiref{Author_1}\affiref{Author_2}}

\etitle{Token-based Decision Criteria Are Suboptimal\\ in In-context Learning}
\eauthor{Hakaze Cho\affiref{Author_1} \and Naoya Inoue\affiref{Author_2}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{趙，井之上}
\headtitle{Token-based Decision Criteria Are Suboptimal in In-context Learning}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{北陸先端科学技術大学院大学}{Japan Advanced Institute of Science and Technology}
\affilabel{Author_2}{理化学研究所}{RIKEN}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

本学会記事では，NAACL 2025 Main Conferenceに採択されたロングペーパー「Token-based Decision Criteria Are Suboptimal in In-context Learning」\cite{cho-etal-2025-token}の主な内容を解説し，本論文のその後の展開，及び将来の展望について述べる．

\textbf{I}n-\textbf{c}ontext \textbf{L}earning (ICL) とは，大規模言語モデル (LLM) において，図\ref{fig:fig1} (A) のように入出力のデモンストレーションとクエリからなる構造化された入力を用いて，クエリに対する予測を行わせる手法である．
しかしながら，ICLにはいくつかの予測に関する問題が存在し，その中でも特によく知られているのが「予測バイアス問題」，すなわち，ICLの予測が特定のラベルに偏る傾向があるというものである．例えば，先行研究では，何も情報のないクエリを与えているにもかかわらず，その予測ラベルには偏りが出ることが示されている．このようなバイアスにより，例えば，本来ラベルAであるべき事例がラベルBとして出力されてしまうことがある．これは，ラベルBの出力確率が「本質的に」高いためである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia36f01.eps}
\end{center}
    \hangcaption{本論文の枠組み．(A) 基本的なICL入力構造．入力は，特定のフォーマットに従った複数のデモンストレーションと1つのクエリから構成される．(B) LMがこれらの入力を処理する際，最終隠れ状態においてクエリのラベルに対応するクラスタを生成するが，これらのクラスタ構造はデコード方向 ($E_+^U-E_-^U$) と整合せず，デコード結果に混乱をもたらす．すなわち，図中に示されるように，高次元空間からこの方向に投影されたデータ点は，大きな logit のオーバーラップを持ってしまう．この問題は，単に判定境界を較正するだけでは解決できない．(C) そこで我々は，Hidden Calibration を提案する．この手法では，クラスタ間の最大分離方向を新たなデコード方向として再定義することにより，(D) クラスタを正確に分離し，高い分類精度を実現している．}
    \label{fig:fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


この問題に対する一つの有効な解決策として，いくつかの先行研究では，ラベルAとラベルBの判定境界を様々な方法で「較正 (calibrate)」する方法が提案されている．すなわち，ラベルBの出力確率が「本質的に」高いのであれば，ラベルBの出力確率がある一定の閾値を超えた場合に限ってラベルBと予測すればよい，という考え方である．

しかし，このような出力確率の補正に基づく較正は，あくまで表面的な対症療法に過ぎない．我々の先行研究\cite{cho-etal-2025-understanding}によれば，出力の問題は主にLM Head（モデルの最終層の隠れ状態を出力にデコードする部分）に起因していることが多い．そして，こうした出力のバイアスの根本原因は，最終層の隠れ状態に表れる意味的な分布と，LM Headのunembeddingsの意味的な分布とが適切に整合 (align) していないことにある．

直感的な説明として，LLMがある種の抽象的な「考え」を持っており，これが最終層の隠れ状態に表現され，LM Headにおけるトークンのunembeddingsへの射影を通じて「考え」が言語化される様子を想像してほしい．このとき，「考え」の意味分布とunembeddingsの意味分布が整合していないと，本来ラベルAに属する「考え」が，ラベルBのunembeddingへの射影にも強く表れてしまい，ラベルAの出力確率にうまく反映されない可能性がある，ということである．そして，このような意味分布の不整合は，出力確率を補正してラベル間の判定境界を較正するだけでは，根本的に解決できない問題なのである．

そこで原論文では，より本質的な原因を探り，根本的な解決策を提示することを目指した.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{論文の概要}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{出力確率の補正に基づく較正手法の問題点}

まず，前述のような問題が実際に存在することを確かめるために，次の原理に基づいて分析を行った．具体的には，図\ref{fig:fig1} (B) のように，モデルの最終層の隠れ状態にエンコードされているLLMの「考え」を，最終層の隠れ状態のクラスタリング的な挙動として定式化した．すなわち，モデルの最終層の隠れ状態空間において，ラベルに属するクエリが異なるクラスタに分離している場合，モデルの内部状態は適切な分類になっていると考えられる．そして，このようなクラスタ構造が LM Head の予測ロジットにおいてどの程度正しく捉えられているかを定量化すれば，「考え」が最終的な出力にどれほど正確に反映されているかの判断基準とすることができる．この直感を可視化したのが図\ref{fig:fig1} (B)（原論文の図2）である．

実験の結果，最終層の隠れ状態におけるクラスタ構造が，出力トークンのunembeddingに射影される過程で，明らかに弱まっていることを観察した．この結果は，LM Head が最終層の隠れ状態にエンコードされた情報を正確に捉えることが難しい，という我々の推論を裏付けるものである．このことは，「考え」のデコード過程におけるバイアスを引き起こし，異なる事例間の可分性を損なう本質的な原因となる．これは，単に出力確率を補正するだけでは原理的に解決できない問題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{提案手法：Hidden Calibration}

この分析結果に基づき，我々はこの問題を是正するための直感的な手法を提案した．すなわち，デコードの際，LM Head を用いるのではなく，最終層の隠れ状態上のクラスタ構造に平行な方向に従ってデコードを行うというものである．具体的には，図\ref{fig:fig1} (C)（原論文の図3）に示されているように，最終層の隠れ状態を入力として線形分類器を訓練し，それによって分類タスクを実行する．この手法は，先行研究のように表面的に出力確率を調整するのではなく，出力バイアスの根本原因であるデコードの問題そのものに対処するため，根本的な解決が期待できる．隠れ状態に基づく較正という意味で，我々はこの手法を Hidden Calibration と名付けた．

評価実験の結果，図\ref{fig:fig1} (D)（原論文の図4）に示されているように，先行研究における確率の較正や出力確率全体に基づく分類と比べて，LM Head を排除した提案手法は明確な性能向上を示した．さらに，本手法は，ICL の予測バイアスの一部であるプロンプトのテンプレートの多様性，デモンストレーションの順序，デモンストレーションのラベルバイアスといった予測の不安定化要因 \cite{zhao2021calibrate}に対して頑健であることを確認した（図\ref{fig:sense}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia36f02.eps}
\end{center}
    \hangcaption{Llama 3-8Bおよび \texttt{Rotten\_Tomatoes} における（\textbf{左}）プロンプトテンプレート，（\textbf{中央}）デモンストレーションのラベル分布，（\textbf{右}）デモンストレーションの順序に対する感度分析.}
    \label{fig:sense}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{その後の展開：ICLの内部機序の解明へ}

原論文において調査・活用した隠れ状態のクラスタリング挙動は大変興味深く，これに大きな着想を得て，ICLの内部機序を詳しく解明する二つの研究プロジェクトを立ち上げた．

一つは，我々が ICLR 2025 にて発表した研究 \cite{cho2025revisiting}である．この研究では，LMがどのようにしてデモンストレーション中のクラスタ情報を利用し，クエリの出力を導いているのかを明らかにした．具体的には，LMはまず，デモンストレーション中にクラスタ構造としてエンコードされた情報と，そのラベルトークンを統合し，結合表現を形成する．そして，クエリのクラスタ情報を用いて，最も類似した結合表現を検索し，それを最終的な出力として用いる，という推論回路の存在を経験的に示した．この研究でも，浅い層において隠れ状態が文の意味に基づきクラスタリングされる傾向があることを確認しており，今回の分析結果と一貫した結果が得られた．発見した推論回路は，あたかもモデル内部に隠された Hidden Calibration が働いているかのようであり，大変興味深い．

さらに，我々は NeurIPS 2025 に投稿された研究 \cite{yang2025unifying}でこの点を掘り下げた．具体的には，浅い層における意味クラスタが，「妥当な」\footnote{ここでの ``妥当'' とは in-domain なものを指し，LLM にとって何が ``妥当な'' タスクであるかを探ること自体も，極めて興味深い研究課題である.}分類タスクに必要な情報を既に内包していることを確認した．しかし，これは必ずしも望ましい結果ではない．なぜなら，モデルがこの情報を任意の ``あり得る'' タスクの出力へとデコードしてしまい，我々が関心を持つ ``特定のタスク'' に対する出力とは限らないからである．これは，浅い層におけるクラスタが出力空間と誤って整合している (misaligned) ことを意味する．この問題に対し，以降の層においては，各層の attention がフィルターのように働き，デモンストレーションにしてされたタスクと無関係な情報を隠れ状態から段階的に除去していく．この過程によって，意味的に曖昧な初期クラスタリングが，特定のタスクに対してより整合した表現へと変換されていく．具体的には，これらのクラスタの最大分離方向が徐々にラベルのデコード方向へと回転され，それによって本来出力されるべきラベルのデコード確率が最大化されていくという挙動として現れる.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{将来の展望：原理解明から制御へ}

以上の一連の研究により，ICLの内部機序の解釈は大きく進展したが，この後，我々はどこに向かうのだろうか．ICLを含むLLMの様々な能力の基本原理を解明する研究は Mechanistic Interpretability と呼ばれ，国際的にも大変活発に進められており，日進月歩で知見が蓄積されている．これは，LLMに対する「物理学」とも呼ぶべき基礎理論の構築が進みつつあるといえるだろう．歴史を振り返れば，こうした基礎理論の蓄積の先には，これらの知見を応用して有用な技術を作る学問が常に誕生している．我々も，これまでに得た知見を活用し，ICL，さらにはLLMの制御理論を確立し，理論的根拠に基づいて有害な出力を抑制したり，目的に関連する特定のモデルパラメタを調整して効率的な学習を実現することができる未来が来るだろうか．実は，我々は既にその Proof of Concept となる実験的検証を実施しており \cite{cho2025mechanistic}，その実現の可能性を今まさに切り拓きつつある．今後のさらなる進展に期待されたい．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{36refs}


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{趙　　羽風}{1999年北京生まれ，北京理工大学にて2021年に化学の学士号を，2023年にソフトウェア工学の修士号を取得し，現在は北陸先端科学技術大学院大学コンピューティング科学研究領域の博士後期課程に在籍中である．研究テーマは主に深層学習モデルの内部挙動の数学的・表現学習的解析およびその性能向上であり，ICLRやNAACLといったトップ国際会議に論文が採択されるなどし，2023年以降20本以上の研究成果を発信している.
}
\bioauthor{井之上直也}{
2008 年武蔵大学経済学部経済学科卒業．2010 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2013 年東北大学大学院情報科学研究科博士後期課程修了．株式会社デンソー基礎研究所研究員， 東北大学大学院情報科学研究科助教，Stony
Brook University Postdoctoral Associate を経験後，2022 年 4 月より北陸先端科学技術大学院大学准教授に着任，現在に至る．理化学研究所客員研究員．博士（情報科学）．自然言語処理（特に知識，推論，説明可能性，解釈可能性）の研究に従事．
言語処理学会，情報処理学会，人工知能学会，ACL 各会員．
}

\end{biography}


\end{document}


