\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\DeclareMathOperator*{\argmax}{arg\,max}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{1331}


%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{``Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding'' の解説}
\jauthor{上垣外英剛\affiref{Author_1}}


\etitle{``Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding'' Explained}
\eauthor{Hidetaka Kamigaito\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{上垣外}
\headtitle{``Diversity Explains Inference Scaling Laws'' の解説}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域}{Nara Institute of Science and Technology, Division of Information Science}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

本記事では著者がACL 2025にて発表した表題の研究\cite{kamigaito-etal-2025-diversity}について解説する．著者は現在に至るまで自然言語生成の研究，とりわけテキスト自動要約\cite{Kamigaito2021,kwon-etal-2021-considering}\footnote{こちらに関しては著者の以前の学会記事\cite{kamigaito2022article}を参照していただきたい．}やその背後にある構造解析の研究\cite{kamigaito-etal-2017-supervised}に取り組んで来たが，その後は自然言語生成の補助を念頭に，知識グラフ (KG) に関する研究も行っている\cite{kamigaito-hayashi-2021-unified,pmlr-v162-kamigaito22a}．昨今では，大規模言語モデル (LLM) の進展を受け，画像と言語の融合分野を含めつつ再度，自然言語生成へと研究の軸足を移している段階にある．表題の研究については，そのような状況下，著者が分野を横断して重要と考える自然言語生成モデルの推論を俯瞰的に捉え，何が重要であるかを理論的側面から明らかにすることを目的に取り組んだ結果である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{研究の背景}

現在，LLMの進展に伴い，多様な自然言語処理分野がLLMを基盤として成立するようになってきている．一方，一般的なLLMは従来の自然言語生成分野で使用される，貪欲法やビーム探索といった左から右への一方向の生成に基づく復号に基づくため，復号時の探索空間には制限があり，必ずしも最適解に到達するとは限らない．

この問題を解決する一つの方法として，LLMの復号化では複数の出力候補を用意し，それらを並び替える手法（リランキング）が利用されている．代表的な例としては質問応答において Chain-of-thought (CoT) と併用されることが多い Self-consistency (SC) \cite{wang2023selfconsistency}が挙げられる．SCでは乱択により出力されたCoTの結果を複数出力し，多数決により出力決定を行う．なお，SCは最小ベイズリスク (MBR) 復号\cite{GOEL2000115}の一種であることが知られており\cite{suzgun-etal-2023-follow}，MBR復号を行った場合，SCでは困難なテキスト生成を扱うことも可能である．

この他にも候補の並び替えに基づくLLMの復号法には様々なものが存在しており，それらのタスク解決性能は並び替え対象の候補数が増加することで改善されるものの，対数的に収束することが知られており，Inference Scaling Lawと呼ばれている\cite{wu2024scaling}．

本研究ではMBR復号に焦点を当て，上記復号法の背後に存在する理論的特徴に焦点を当て，何がLLM等の推論性能を改善するために必要かを明らかにしている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{MBR復号}

MBR復号 \cite{eikema-aziz-2020-map} は，出力候補集合 $\mathcal{H}$ 中の仮説 $h$ の品質を，入力系列 $x$ に対してモデルの予測確率 $P(y|x)$ に基づいてサンプリングされた擬似参照集合 $\mathcal{Y}$ 中の擬似参照 $y$ を用いて推定する手法である．タスク特有の評価指標を効用関数 $f_{\mathbf{\theta}}(h, y)$とし，仮説 $h$ と参照 $y$ の類似度を測る場合，MBR復号は次のように最適な仮説 $\hat{h}_{mbr}$ を選択する：
%%%%%1
\begin{equation}
   \!\!\hat{h}_{mbr} \!= \underset{h \in \mathcal{H}}{\operatorname{argmax}} \frac{1}{|\mathcal{Y}|}\!\sum_{y \sim P(y|x)} \! f_{\mathbf{\theta}}(h,y)\approx\underset{h \in \mathcal{H}}{\operatorname{argmax}}\sum_{y}f_{\mathbf{\theta}}(h,y)P(y|x)\label{eq:mbr}
\end{equation}
%%%%%
なお $\mathbf{\theta}$ は効用関数 $f_{\mathbf{\theta}}(h, y)$ に用いられる評価指標のパラメータを表す．

一方で，効用関数 $f_{\mathbf{\theta}}(h, y)$ を用いる代わりに，人間による推定品質 \cite{naskar-etal-2023-quality} を $\hat{f}_{\hat{\mathbf{\theta}}}(h)$ と仮定することもできる．この場合，人間が理想的とみなす復号は次で表される：
%%%%%2
\begin{equation}
   \hat{h}_{human} = \underset{h \in \mathcal{H}}{\operatorname{argmax}} \hat{f}_{\hat{\mathbf{\theta}}}(h).
   \label{eq:human}
\end{equation}
%%%%%

表題の研究では，上記のMBR復号によって推定された品質と，人間によって推定された品質との差異を分析し，MBR復号の理解を深めることを目的としている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{MBR復号における多様性}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.1
\subsection{評価の不一致}

人間による推定品質 $\hat{f}_{\hat{\mathbf{\theta}}}(h)$ と，MBR 復号による推定品質 $\frac{1}{|\mathcal{Y}|}\sum_{y \in \mathcal{Y}}f_{\mathbf{\theta}}(h,y)$ の差異を測定するために，まず $|\mathcal{H}|$ 次元のベクトル $\textbf{u}^{j}$ を定義する．これは，第 $j$ 擬似参照に基づいて各仮説の推定品質を表すものである．また，全ての $\textbf{u}^{j}$ の平均ベクトル $\bar{\textbf{u}}$ を次のように定義する:
%%%%%3
\begin{equation}
   \!\!\textbf{u}^{j} \!= (u^{j}_{1}, \cdots, u^{j}_{|\mathcal{H}|}), u^{j}_{i} \!=\! f_{\mathbf{\theta}}(h_i,y_j), \bar{\textbf{u}} \!=\! \frac{1}{|\mathcal{Y}|}\sum_{j=1}^{|\mathcal{Y}|}\mathbf{u}^{j}.
   \label{eq:vec:mbr}
\end{equation}
%%%%%
同様に，人間が推定した各仮説の品質を表す $|\mathcal{H}|$ 次元ベクトル $\hat{\textbf{u}}$ を次のように定義する:
%%%%%4
\begin{equation}
   \hat{\textbf{u}} = (\hat{u}_{1}, \cdots, \hat{u}_{|\mathcal{H}|}),\quad \hat{u}_{i} = \hat{f}_{\hat{\mathbf{\theta}}}(h_i).
   \label{eq:vec:human}
\end{equation}
%%%%%
ここで，式 (\ref{eq:vec:mbr}) および (\ref{eq:vec:human}) を用いることで，式 (\ref{eq:mbr}) に示した MBR デコーディングおよび式 (\ref{eq:human}) に示した理想的なデコーディングを次のように再定式化できる:
%%%%%5
\begin{equation}
   (\ref{eq:mbr}) \equiv \hat{h}_{mbr} = \argmax_{h_{i} \in \mathcal{H}}\bar{u}_{i},\:(\ref{eq:human}) \equiv \hat{h}_{human} = \argmax_{h_{i} \in \mathcal{H}}\hat{u}_{i}.
   \label{eq:reform:dec}
\end{equation}
%%%%%
したがって，式 (\ref{eq:reform:dec}) に基づき，MBR復号によって推定された品質と人間による品質推定の不一致は，$\bar{\textbf{u}}$ と $\hat{\textbf{u}}$ の比較によって解析可能となる．
本研究では，この不一致を推定するために，$\bar{\textbf{u}}$ が $\hat{\textbf{u}}$ をどの程度正確に予測しているかを平均二乗誤差 (Mean Squared Error; MSE) によって測定する．具体的には，次のように定義する:
%%%%%6
\begin{equation}
    \mathit{MSE}(\hat{\textbf{u}}, \bar{\textbf{u}}) = \frac{1}{|\mathcal{H}|}\sum_{i=1}^{|\mathcal{H}|}(\hat{u}_{i} - \bar{u}_{i})^2.\label{eq:mse}   
\end{equation}
%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2
\subsection{バイアス-多様性分解}
前節の式 (\ref{eq:mse}) で定義した品質推定の不一致は次のように分解される\cite{NIPS1994_b8c37e33}:
%%%%%7
\begin{equation}
    \mathit{MSE}(\hat{\textbf{u}}, \bar{\textbf{u}}) = \underbrace{\frac{1}{|\mathcal{H}|}\sum_{i=1}^{|\mathcal{H}|}\frac{1}{|\mathcal{Y}|}\sum_{j=1}^{|\mathcal{Y}|}(\hat{u}_{i} - f_{\mathbf{\theta}}(h_i,y_j))^2}_{\text{バイアス}} - \underbrace{\frac{1}{|\mathcal{H}|}\sum_{i=1}^{|\mathcal{H}|}\frac{1}{|\mathcal{Y}|}\sum_{j=1}^{|\mathcal{Y}|}(\bar{u}_{i} - f_{\mathbf{\theta}}(h_i,y_j))^2}_{\text{多様性}}.
    \label{eq:bias-diversity} 
\end{equation}
%%%%%
式 (\ref{eq:bias-diversity}) において，2つの項はそれぞれバイアスと多様性を表している．よく知られた単一推定器を対象とするバイアス‐分散分解 \cite{geman1992neural}とは異なり，第2項は負の値を取るため，分散ではなく多様性と呼ばれる \cite{10.5555/3648699.3649058}．
\emph{バイアス}は，仮説に対する評価関数による品質推定が人間の推定にどれだけ近いかを示す．一方，\emph{多様性}は，評価関数による各仮説の品質推定が互いにどの程度異なるかを示す．この分解は，品質推定誤差 $\mathit{MSE}(\hat{\textbf{u}}, \bar{\textbf{u}})$ を改善するために，\emph{バイアス}を減らしつつ\emph{多様性}を高めることの重要性を強調している．

ただしバイアスと多様性には，バイアスが0に近づくと多様性も0に近づくという性質があるため，バイアスを改善しながら多様性も同時に改善することは困難である．このことから，MBR復号はバイアスが高い，すなわち人手評価との乖離が大きな際に，多様性を用いて最終的な予測性能を改善する働きをする手法であることが分かる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.3
\subsection{情報理論的観点からの分析}

我々はさらに情報理論的観点からの分解も行い，MBR復号やその他の手法において，サンプル数と性能向上に収穫逓減の関係が存在することを示している．これはサンプル数増加による性能向上の効果が徐々に薄れていく，すなわちサンプル数に対して対数的な性能の向上を示唆するInference Scaling Lawを理論的側面から説明したものであると考えられる．詳細については我々の論文\cite{kamigaito-etal-2025-diversity}を参照していただきたい．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{36refs}


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{上垣外英剛}{%
2017年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了．博士（工学）．同年NTTコミュニケーション科学基礎研究所入所．2018年より東京工業大学科学技術創成研究院未来産業技術研究所助教．2022年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}


\end{biography}


\end{document}


