\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{multirow}
%\usepackage{siunitx}
%\usepackage{bm}
\usepackage{booktabs}
%\usepackage{subcaption}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{2}
\Month{June}
\Year{2025}

\received{2024}{11}{27}
\accepted{2025}{1}{17}

\setcounter{page}{480}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{大規模言語モデルにおける評価バイアスの尤度に基づく緩和}
\jauthor{大井　聖也\affiref{Author_1} \and 金子　正弘\affiref{Author_2} \affiref{Author_1} \and 小池　隆斗\affiref{Author_1} \and Mengsay Loem\affiref{Author_1} \and 岡崎　直観\affiref{Author_1}}
\jabstract{%
	大規模言語モデル (Large Language Model; LLM) は言語生成タスクの評価器として用いられている．
ところが，ある文章の意味を変えずに語順や構造を変更した文章を作ると，LLMが計算する尤度が大きく変化することがある．
そのため，LLM評価器 (LLM-as-a-Judge) には，尤度が低い文章を不当に低く，尤度が高い文章を不当に高く評価する\textbf{尤度バイアス}が存在する可能性がある．
本研究では，尤度バイアスがLLM評価器の性能を低下させることを明らかにし，Few-shotによるバイアス緩和手法を提案する．
実験では，複数のLLMがdata-to-textタスクと文法誤り訂正タスクで尤度バイアスを持つ可能性を示した．
また，バイアスの強い事例を特定しFew-shot事例として用いることで，バイアスの緩和に成功した．
さらに，尤度バイアスの緩和によってLLM評価器の評価性能（人手評価との順位相関係数）が向上することを確認し，提案手法の有効性を示した．\renewcommand{\thefootnote}{\fnsymbol{footnote}}
\footnote[0]{本研究はACL 2024 Findings に採択された研究 \cite{ohi-etal-2024-likelihood}を再構成・翻訳したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{大規模言語モデル，評価，バイアス，尤度}

\etitle{Likelihood-based Mitigation of Evaluation Bias in Large Language Models}
\eauthor{Masanari Ohi\affiref{Author_1} \and Masahiro Kaneko\affiref{Author_2} \affiref{Author_1} \and Ryuto Koike\affiref{Author_1} \and Mengsay Loem\affiref{Author_1} \and  \\
Naoaki Okazaki\affiref{Author_1}} 
\eabstract{%
	Large Language Models (LLMs) are widely used to evaluate natural language generation tasks as automated metrics．
However, the likelihood, a measure of LLM's plausibility for a sentence, can vary due to superficial differences in sentences, such as word order and sentence structure．
It is therefore possible that there might be a \textbf{likelihood bias} if LLMs are used for evaluation: they might overrate sentences with higher likelihoods while underrating those with lower likelihoods．
In this paper, we investigate the presence and impact of likelihood bias in LLM-based evaluators．
We also propose a method to mitigate the likelihood bias．
Our method utilizes highly biased instances as few-shot examples for in-context learning．
Our experiments in evaluating the data-to-text and grammatical error correction tasks reveal that several LLMs we test display a likelihood bias．
Furthermore, our proposed method successfully mitigates this bias, also improving evaluation performance (in terms of correlation of models with human scores) significantly．
}
\ekeywords{Large Language Model, Evaluation, Bias, Likelihood}

\headauthor{大井，金子，小池，Loem，岡崎}
\headtitle{大規模言語モデルにおける評価バイアスの尤度に基づく緩和}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東京科学大学}{Institute of Science Tokyo}
\affilabel{Author_2}{MBZUAI}{Mohamed Bin Zayed University of Artificial Intelligence}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

LLMは優れた言語理解能力と文章生成能力を示し，最近は文生成タスクの自動評価手法（LLM評価器; LLM-as-a-Judge \cite{NEURIPS2023_91f18a12}）としても活用されている \cite{liu2023geval,fu2023gptscore,kocmi-federmann-2023-large,chiang-lee-2023-large}．
例えば，評価対象の文章の尤度をLLMに計算させ，評価スコアとして使用する方法 \cite{fu2023gptscore,yuan2021bartscore}や，LLMに文章の評価スコアを直接出力させる方法 \cite{liu2023geval,kocmi-federmann-2023-large}が提案されている．
BLEU \cite{papineni-etal-2002-bleu} や ROUGE \cite{lin-2004-rouge} などの従来の自動評価手法と比べ，LLMによる自動評価は多くのタスクで人間の評価とより高い相関を示すことが報告されている．
LLMの学習は膨大な事前学習データ \cite{NEURIPS2020_1457c0d6,openai2023gpt4}と指示学習データ \cite{wei2022finetuned,NEURIPS2022_b1efde53}の尤度最大化であり，文章生成も尤度に基づいている．
ゆえに，尤度を直接的に評価スコアとする方法だけではなく，評価スコアを生成させる方法においても，評価対象の文章の尤度が評価結果に影響を与えると考えられる．

ところが，LLMが計算する尤度は文章の流暢性や文法性，事実性などの良し悪しを捉えているとは限らない．
例えば，ある文章の語順や構造を変更して言い換えると，LLMの尤度が変動することが報告されている \cite{kuribayashi-etal-2020-language}．
この場合，文章の意味に関する評価を行う際に，尤度の変動がLLMの評価結果に悪影響を及ぼしうる．
言い換えると，LLMの尤度と文章の良し悪しのずれが，さまざまな評価項目で評価バイアスを引き起こしている可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 1

\begin{figure}[t]
    \begin{center}
    \includegraphics{32-2ia3f01.eps}
\end{center}
    \hangcaption{尤度バイアスの例．人間の採点であれば同じスコアをつけられるべき出力のうち，尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す．}
    \label{fig:bias_image}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究では，LLMが文章の評価スコアを出力する際，尤度の低い文章を（人間の評価よりも）不当に低く評価し，尤度の高い文章を不当に高く評価するという評価バイアスの存在を仮定し，これを\textbf{尤度バイアス}と呼ぶ．
尤度バイアスの例を図~\ref{fig:bias_image}に示す．
この図ではデータから文を生成するタスク(data-to-text)をdata coverage（データの情報を出力がカバーしているか）という評価項目に基づいて採点する際に，人間の採点であれば同スコアになる出力のうち，尤度の低い出力（上側）が尤度の高い出力（下側）よりもLLMによって不当に低く評価されていることを表す．
この問題に対処するため，我々は尤度バイアスを (1) 定量的に測定し，(2) 緩和する手法を提案する．
本研究はLLM評価器における評価時のバイアスを緩和する初めての試みである．
まず，LLMの尤度と，LLMと人手評価のスコアの差の相関に着目し，尤度バイアスの定量的な測定を行う．
次に，訓練データから尤度バイアスの強い事例（タスクの入出力のペア）を特定し，それらの事例に人手評価スコアを付与し，Few-shot事例としてLLM評価器に与えることで，評価時の尤度バイアスを緩和する．

尤度バイアスの大きさは評価に用いる評価項目によって変化することが予想される．
例えば，data coverageのような出力の尤度と関係が浅いと考えられる項目に対しては，尤度バイアスはより大きくなる可能性がある．
逆に，fluency （出力か流暢かどうか） のような出力の尤度と関係が深いと考えられる項目に対しては，尤度バイアスは小さくなる可能性がある．
このような評価項目と尤度バイアスの関係を検証するために，本研究ではdata-to-textと文法誤り訂正 (Grammatical Error Correction; GEC) の2つのタスクを使用する．
これらのタスクを選んだ理由は，他タスクにおける既存の評価データセット \cite{freitag-etal-2021-experts,guan-etal-2021-openmeva,kamalloo-etal-2023-evaluating}と異なり，この2タスクにおける評価データセット \cite{castro-ferreira-etal-2020-2020,yoshimura-etal-2020-reference}はfluency, grammar, data coverageのような複数の評価項目における人間が付与した評価結果を含んでいるからである．

実験の結果，GPT-3.5\footnote{\url{https://platform.openai.com/docs/models#gpt-3-5-turbo}}とLlama2 13B \cite{touvron2023llama}の2つのLLMがdata-to-textとGECの2つのタスクにおいて尤度バイアスを持つ可能性を示した．
さらに，バイアス緩和手法によりほとんどのモデル・タスクにおいてLLMの尤度バイアスが緩和され，評価性能（人手評価スコアとの順位相関係数）も向上することが分かった．
Data-to-textにおいては有意なバイアスの緩和と評価性能の向上が確認され，GECにおいてはその傾向が確認された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{提案手法} \label{sec:method}
先行研究 \cite{liu2023geval,chiang-lee-2023-large} に倣い，本研究ではLLMに文章の評価を指示するプロンプトを与え，評価スコアを計算する．
また，\citeA{liu2023geval}に倣い，LLMに評価スコアを直接出力させるのではなく，評価スコアの候補値（例：$\{1, \ldots, 5\}$）を予測させ，その尤度からスコアの期待値を計算し，最終的な評価スコアとする（これを$\text{Score}_{\text{m}}$と書く）．
先行研究では，タスクの説明・評価項目・評価対象文章の3つでプロンプトを構成していたが，我々はこれに加えてFew-shot事例をモデルに与えることで出力を安定化させ，より正確に尤度バイアスを測定・緩和することを目指す．
具体的には，$\theta$をモデルのパラメータ，$Q(i \mid t, F, I; \theta)$をモデルがスコア$i$を出力する確率とすると，$\text{Score}_{\text{m}}$は以下のように計算される\footnote{$\text{Score}_{\text{m}}$を計算するために用いた実際のプロンプトは付録 \ref{sec:app_eval} に記載する．}．
\begin{equation}
    \text{Score}_{\text{m}} (t ; \theta) = \frac{\sum_{i = 1}^{n} i \times Q(i \mid t, F, I ; \theta)} {\sum_{j = 1}^{n} Q(j \mid t, F, I ; \theta)}
\end{equation}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{尤度バイアスの測定}\label{sec:method_measure}
本研究では，\textbf{人間の評価と比較してLLMが尤度の低い文章を不当に低く評価し，尤度の高い文章を不当に高く評価する}という評価のバイアスを\textbf{尤度バイアス}と呼ぶ．
まず，その定量的な測定方法を提案する．
$t_{i}$を入力文章，$t_{o}$を出力文章とし，これらをまとめて評価対象の事例$t = (t_i, t_o)$と書く．$d$をタスクの説明，$\theta$をモデルのパラメータ，$P$をモデルによる尤度とすると，LLMの尤度による指標 LS (likelihood score) は次式で計算される．
\begin{equation}
    \text{LS}(t) = \log P(t_{o} \mid t_{i}, d ; \theta) \label{eq:LS}
\end{equation}

次に，LLMがどれだけ不当な評価をしているかを表す指標 US (unfairness score) として，LLMによる評価スコア ($\text{Score}_{\text{m}}$) と人手評価スコア ($\text{Score}_{\text{h}}$) の差を次式で計算する\footnote{LLMと人手によるスコアの値域が異なる場合を考慮し，$\text{Score}_{\text{m}}$と$\text{Score}_{\text{h}}$は値域が同じになるように正規化する．}．
\begin{equation}
    \text{US}(t) = \text{Score}_{\text{m}}(t ; \theta) - \text{Score}_{\text{h}}(t) \label{eq:US}
\end{equation}
LLMによる評価スコア$\text{Score}_{\text{m}}$を計算するときは，訓練データからランダムに選んだ8つのFew-shot事例をプロンプトに含める．


LS，USを用いてLLMの持つ尤度バイアスの強さを示す指標である\textbf{BiasScore}を計算する．
BiasScoreは，事例の集合であるデータセット$D = \{t^{(1)}, t^{(2)}, \ldots, t^{(n)} \}$全体におけるLSとUSのスピアマンの順位相関係数 $\rho$ として計算する．
\begin{gather}
    \text{LS}_{\text{D}} = \lbrack \text{LS}(t^{(1)}), \text{LS}(t^{(2)}), \ldots, \text{LS}(t^{(n)}) \rbrack \\
    \text{US}_{\text{D}} = \lbrack \text{US}(t^{(1)}), \text{US}(t^{(2)}), \ldots, \text{US}(t^{(n)}) \rbrack \\
    \text{BiasScore} = \rho (\text{LS}_{\text{D}}, \text{US}_{\text{D}}) \label{eq:BS}
\end{gather}
BiasScoreは[$-1$, 1]の範囲を取り，1は最も強いバイアスを表し，0はバイアスがないことを表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{尤度バイアスの緩和}\label{sec:method_mitigate}
図 \ref{fig:bias_graph}に複数の仮想の評価器による尤度バイアスを可視化した散布図を示す．
横軸はLS（式 \ref{eq:LS}），縦軸はUS（式 \ref{eq:US}），点は評価事例を表す．
点の回帰直線はLSとUSの相関，つまりBiasScoreを擬似的に示すと解釈できる．
また，各図は次のように解釈される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 2
\begin{figure}[b]
     \begin{center}
    \includegraphics{32-2ia3f02.eps}
\end{center}
    \hangcaption{仮想の評価器における尤度バイアスを可視化した図．Aはバイアスがある，Bはバイアスがなく高性能，Cはバイアスがなく低性能な評価器を表す．}
    \label{fig:bias_graph}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{itemize}
    \item Aの散布図は尤度バイアスを持つ評価器を表す．
    評価器は尤度の高い事例に不当に高いスコアを与えており（右上部分），尤度の低い事例に不当に低いスコアを与えている（左下部分）．
    バイアスの緩和前のLLM評価器はこの状態であると想定する．
    \item Bの散布図は尤度バイアスを持たない評価器を表す．USが0に近く，LLMによる評価と人間による評価に乖離がないため，評価性能は高いと考えられる．
    \item Cの散布図も尤度バイアスを持たない評価器を表すが，USの値がランダムに分布しており，LLMによる評価と人間による評価に乖離があるため，評価性能は低いと考えられる．
\end{itemize}
提案手法による尤度バイアスの緩和では，バイアスのある状況 (A) から，評価性能が高くバイアスのない状況 (B) に変化させることを目指す．
その際，評価性能が低くバイアスのない状況 (C) にならないように，バイアスが強い事例（Aの図の右上・左下）を特定し，その評価を集中的に是正する．
そのため，事例$t$のバイアスの強さを示す指標として，RSを導入する．
\begin{equation}
    \text{RS}(t) = |\text{LS}^*(t) + \text{US}^*(t)|
\end{equation}
ここで，$\text{LS}^*$と$\text{US}^*$はそれぞれ，データセット$D$に対して平均値が$0$，値域が$[-1, 1]$になるように$\text{LS}$と$\text{US}$を正規化したものである．
RS($t$)は事例$t$が図 \ref{fig:bias_graph}のAにおいて右上か左下に近づくほど大きな値を取る．
訓練データから$\text{RS}(t)$が大きな事例，つまりバイアスの強い事例を抽出し，人手評価のスコアを付与したうえでFew-shot事例として用いることで，評価における尤度バイアスを緩和する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{実験結果}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{使用したタスク・データ} \label{sec:dataset}
実験では，data-to-textとGECの2つのタスクにおける尤度バイアスの測定・緩和を行う．
Data-to-textタスクでは，WebNLG+ \cite{castro-ferreira-etal-2020-2020} をデータセットとして用いた．
2846個の英語の各事例に対して，text structure, relevance, fluency, correctness, data coverageの5つの評価項目に関する人手評価スコア $\text{Score}_{\text{h}}$ が付与されている．
GECでは，TMU-GFM-Dataset \cite{yoshimura-etal-2020-reference} をデータセットとして用いた．
4221個の英語の各事例に対して，grammar, fluencyの2つの評価項目に関して人手評価スコア$\text{Score}_{\text{h}}$が付与されている\footnote{データセットやその評価項目の説明を付録 \ref{sec:app_dataset}に示す．GECのデータセットでは3つ目の評価項目としてmeaningが存在するが，データセットを作成した研究 \cite{yoshimura-etal-2020-reference}でmeaningにおける結果が全体の評価にほとんど寄与しないことが示されているため，本実験からは除外した．}．

これらのデータはそれぞれ，4:1の割合で訓練・評価データに分割した．
訓練データはFew-shot推論に用いる事例を選ぶためのデータプールとして用いた．訓練データから選ばれた事例を用いてFew-shot推論を行い，評価データにおける尤度バイアスや評価性能を測定した．
また，タスク全体での傾向を調べるために，すべての評価項目のマイクロ平均を新たな評価項目totalとして導入した\footnote{Totalにおける値は他の評価項目のマイクロ平均であるため，表~\ref{tab:result}の同じ列の値の平均（マクロ平均）とは異なることに注意が必要である．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{使用したLLM}
実験には，OpenAI社がAPIとして提供するGPT-3.5\footnote{\texttt{gpt-3.5-turbo-instruct}をAPI呼び出しに用いた．}と，オンプレミスで動作するLlama2 13B\footnote{\url{https://huggingface.co/meta-llama/Llama-2-13b-hf}} (L-13B) \cite{touvron2023llama}をLLMとして用いた．
ただし，GPT-3.5では生成された文の尤度を計算できないため，代わりにLlama2 13Bで尤度を計算する．
まず，これらのLLMの評価器としての性能を確かめるために，人手とLLMによる評価スコアのスピアマンの順位相関係数を計算した．
結果を表~\ref{tab:result}の「評価性能」の「緩和前」列にそれぞれ示す．
全体的な傾向として，data-to-textではGPT-3.5がLlama2 13Bよりも高い性能を示し，GECではどちらのモデルも同程度の性能を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{尤度バイアスの測定} \label{sec:measure}
\ref{sec:method_measure}節で述べた手法を用い，data-to-textとGECの評価データにおける尤度バイアスを測定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{Data-to-textでの結果}
表~\ref{tab:result}の「BiasScore」・「緩和前」列における「D2T」行の数値はほとんどのモデル・評価項目で0.20を超える結果を示している．
BiasScoreは相関係数であり，0.20は弱相関を表すため，この結果は尤度バイアスの存在を示唆していると言える．
評価項目totalにおいてはGPT-3.5 (0.38)がLlama2 13B (0.17)よりも大きなBiasScoreを示しており，他の評価項目においても同じ傾向が観察される．
また，評価項目relevanceがどちらのモデルにおいても全ての評価項目の中で最も大きな値を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 1

\begin{table}[b]
\input{03table01.tex}%


\hangcaption{Data-to-textでの尤度バイアス緩和前後のBiasScoreと評価性能．緩和後の値における太字はバイアスの緩和が狙い通りに作用したことを，*~はバイアス緩和前後での並べ替え検定による有意な差 ($p < 0.05$)を，\dag は有意な傾向の差 ($p < 0.06$)を表す．}
\label{tab:result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{GECでの結果}
表~\ref{tab:result}の「BiasScore」・「緩和前」列における「GEC」行の数値はすべてのモデル・評価項目で0.20を超える結果になっており，data-to-textと同様に尤度バイアスの存在を示唆している．
また，評価項目totalにおいても同様にGPT-3.5 (0.43)がLlama2 13B (0.21) よりも大きなBiasScoreを示しており，他の評価項目についても同じ傾向が観察される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{評価項目ごとの尤度バイアスの比較}
Data-to-textの評価項目ごとの尤度バイアス（表~\ref{tab:result}の「BiasScore」・「緩和前」列，「D2T」行）に着目すると，どちらのモデルにおいてもfluencyとtext structureが比較的小さなBiasScoreを示している．
これらの項目は，入力によるタスク固有の制約は考慮せず，生成された文章に内在する自然さや文構造のような特性のみに基づいて評価する．
そして，どちらのモデルにおいてもrelevanceとdata coverageは，BiasScoreが小さい内在的評価の項目とは対照的に大きなBiasScoreを示している．
これらの項目は，生成された文章に対して外在する入力との関連性や情報の有無などのタスク固有の制約を用いて評価する．
これらのことから，内在的評価の項目は，外在的評価の項目よりも小さい尤度バイアスを持つといえる．
出力の尤もらしさは内在的な特性に強く依存することを鑑みると，文章の尤度と内在的評価による文章の優劣には正の相関があると予想される．
よって，内在的評価においては，LLM評価器が尤度に影響を受けていることが，過小または過大評価のように必ずしも悪い結果につながらないと考えられる．
一方で，評価に寄与する特性が異なるため，外在的評価では尤度からの影響がLLM評価器に悪影響を及ぼしていると考えられる．

次に，GECの結果とdata-to-textにおけるcorrectnessの結果を以上に議論に含めなかった理由について述べる．
まず，GECの評価項目であるfluencyとgrammarはどちらも内在的評価の項目であるため，議論に含めなかった．
また，data-to-textにおけるcorrectnessは表~\ref{tab:result}において中間程度のBiasScoreを示しており，特定の評価項目が高い／低いバイアスを持つ理由を考察するという目的に合致しないため，議論に含めなかった．
しかしながら，correctnessにおけるバイアスについて，外在的／内在的な評価項目に関する枠組みを用いて説明することができる．
Correctnessは出力が入力を正しく説明しているかを評価する項目であるため，外在的な評価項目の特徴を持つ．同時に，出力が合理的にデータを説明しているかを評価する項目であるため，内在的な評価項目の特徴を持つ．
従って，correctnessは外在的と内在的の中間の評価項目と捉えることができ，そのために中間程度のバイアスを持つのだと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{尤度バイアスの緩和} \label{sec:mitigate}
尤度バイアス緩和のため，\ref{sec:method_mitigate}節で説明した手法を用いて訓練データからバイアスを持つ事例を8つ取得し，Few-shot事例として用いた．
なお，\ref{sec:method_measure}節で述べた通り，尤度バイアスの測定の際には訓練データから8つの事例をランダムに抽出しFew-shot事例として用いているため，バイアスの測定時と緩和時の違いはFew-shot事例の選び方のみである．
表~\ref{tab:result}の「緩和後」列にバイアス緩和後のBiasScoreと評価性能を示す．太字はバイアスの緩和が狙い通りに作用した（BiasScoreの絶対値が減少した・評価性能が向上した）ことを表す．
また，$R=100000, \alpha=0.05$として並べ替え検定を行い，バイアス緩和前後で有意な差($p < 0.05$)が確認されたものを*，有意な傾向の差($p < 0.06$)が確認されたものを\dag で表した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{Data-to-textでの結果}
表~\ref{tab:result}の「BiasScore」と「評価性能」の「緩和後」列，「D2T」行における数値から，提案手法によってほとんどのモデル・評価項目でBiasScoreの絶対値が減少し，同時に評価性能が向上したことがわかる．
GPT-3.5ではtext structure ($-0.13$), relevance ($-0.12$), data coverage ($-0.08$)において，Llama2 13Bではtext structure ($-0.15$), fluency ($-0.20$), correctness ($-0.20$)においてBiasScoreの絶対値が有意に減少している．
同時に，GPT-3.5ではfluency (+0.14), total (+0.10)において評価性能が有意に向上している．
また，GPT-3.5でtext structure (+0.07), data coverage (+0.10)において， Llama2 13Bでfluency (+0.19)において評価性能の向上に有意な傾向が確認された．
したがって，モデル・タスク全体を通して尤度バイアスの緩和が狙い通り成功し，それによって評価性能が向上していることが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{GECでの結果}
表~\ref{tab:result}の「BiasScore」と「評価性能」の「緩和後」列，「GEC」行における数値から，提案手法によってほとんどのモデル・評価項目でBiasScoreの絶対値が減少し，同時に評価性能が向上したことがわかる．
有意な傾向のバイアス緩和が確認されたのはGPT-3.5のgrammar ($-0.09$)のみだったが，少なくとも提案手法がバイアスの緩和を促進し，評価性能を向上させる影響を与えたと考える．

以上の結果から，尤度バイアスを緩和する提案手法がdata-to-textとGECにおけるLLM評価器の尤度バイアスを緩和し，同時に評価性能を向上させることに成功したと考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{尤度バイアスの可視化・ケーススタディ}
図~\ref{fig3}a，\ref{fig3}bはそれぞれdata-to-textタスクのfluencyにおける尤度バイアスの緩和を可視化している．
提案したバイアス緩和手法によって，BiasScoreが0に（0.200から0.002に）近づいており，理想的なバイアス緩和を可視化した図~\ref{fig:bias_graph} (B) のように，散布図の各点が$\text{US}=0$の線に近づいていることがわかる．
この結果は尤度バイアスが我々の手法によって狙い通り緩和されたことを示唆している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 3
\begin{figure}[b]
    \begin{center}
    \includegraphics{32-2ia3f03.eps}
\end{center}

%%% \label{fig:before_mitigation}
%%% \label{fig:after_mitigation}

\caption{Data-to-text, fluencyにおけるLlama2-13Bのバイアス緩和の可視化}
\label{fig3}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，バイアスが実際に緩和された事例の例を以下に示す．

\begin{itemize}
    \item 入力（抜粋）：(MotorSport\_Vision, city, Fawkham)
    \item 出力：The Motor sport of Vision is in Fawkham．
    \item 出力の尤度の大きさ：テストデータの568事例の中で541番目の大きさ
    \item 人手評価スコア ($\text{Score}_{\text{h}}$) : 85 / 100 
    \item バイアス緩和前のLLMによる評価スコア ($\text{Score}_{\text{m}}$) : 2.46 / 5
    \item バイアス緩和後のLLMによる評価スコア ($\text{Score}_{\text{m}}$) : 4.32 / 5
\end{itemize}
人手評価スコア ($\text{Score}_{\text{h}}$)は85 / 100であり，これは``Motor''と``sport''の間のスペースが理由で減点が行われたからだと考えられる．
しかし，バイアス緩和前のLLMによる評価スコアは2.46 / 5であり，人手評価スコアと合致しない結果になっている．
出力の尤度が小さいことを考慮すると，このLLMによる過小評価は尤度バイアスの影響を受けていることが推察される．
バイアス緩和の結果，LLMによる評価スコアは4.32に増大して人手評価スコアに近づいた．
この結果は我々のバイアス緩和手法がバイアスを緩和することで，LLMによるスコアを人手評価スコアを近づけた例を示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{LLM評価器}
近年では，LLMは文生成タスクの自動評価手法 （LLM評価器；LLM-as-a-Judge \cite{NEURIPS2023_91f18a12}） としても活用されている．
\citeA{kocmi-federmann-2023-large}は9つのGPT系列モデルを翻訳タスクの評価器として使用し，GPT-3.5, GPT-4が十分な評価性能を持つことを示した．
また，\citeA{chiang-lee-2023-large}はオープンエンド物語生成と敵対的攻撃\footnote{分類モデルが誤分類するような入力文を生成するタスク．}タスクの評価結果は複数のLLM評価器で一貫することを示した．また，LLM評価器による評価結果は異なるプロンプトとサンプリング戦略に対して頑強であることを示した．
\citeA{NEURIPS2023_91f18a12}はGPT-4を用いてLLMの会話能力を測定するベンチマークとしてMT-benchを提案した．
さらに，\citeA{liu2023geval}はGPT-4をベースにしたLLM評価器に思考の連鎖 (chain-of-thoughts; CoT) \cite{wei2023chainofthought}・作成が容易なプロンプトの形式・評価スコアの出力確率を用いた採点手法を組み合わせた評価フレームワークG-EVALを提案し，G-EVALが複数の評価項目において，安定かつ高い評価性能を持つことを示した．
このように，LLM評価器は翻訳 \cite{kocmi-federmann-2023-large}，要約 \cite{liu2023geval}，物語生成 \cite{chiang-lee-2023-large}，複数ターン対話 \cite{NEURIPS2023_91f18a12}などの様々なタスクで用いられているが，本研究では複数項目での評価と尤度バイアスの関係について調査するために，複数項目の人手評価データセットが存在するdata-to-textとGECの2タスクを採用する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{LLM評価器における評価バイアス}
\citeA{NEURIPS2023_91f18a12}はLLM評価器が自身の出力を高く評価する傾向を自己増幅バイアス (self-enhancement bias) と定義し，小規模な実験によってその存在を示唆した．\citeA{liu2023geval}による小規模な実験結果も自己増幅バイアスの存在を示唆している．
また，\citeA{NEURIPS2023_91f18a12}はLLM評価器が同じ意味を持つ文の中で長い文を高く評価する傾向も持つことを発見し，冗長バイアス(verbosity bias)と定義した．\citeA{saito2023verbosity}は冗長バイアスを測定する手法を提案し，GPT-4，GPT-3.5が実際にバイアスを持つことを確認した．
これらの評価バイアスとは異なるバイアスとして，我々はLLM評価器が尤度の低い文章を不当に低く評価し，尤度の高い文章を不当に高くする傾向を尤度バイアスとして定義する．
本研究はLLM評価器における評価時のバイアスを緩和する初めての試みである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{研究の限界}
本研究にはいくつかの限界が存在する．
まず，本研究で採用した尤度バイアスの緩和手法は，Few-shot推論を用いるため，Zero-shot推論と比較してLLMに入力するトークン数が増加する．その結果，要約タスクや対話タスクなど，入出力が長くなる可能性のあるタスクへの適用が困難となる．この制約により，SummEval \cite{zhang2023summit}（要約タスク）やTopicalChat \cite{gopalakrishnan2023topicalchatknowledgegroundedopendomainconversations}（対話タスク）など，複数の評価項目における人手評価スコアを提供するデータセットを本研究では採用できなかった．

さらに，トークン数の増加は，LLMの推論速度の低下を招くだけでなく，APIを使用する場合にはコストの増大にもつながる．
これらの課題を解決する方法の一つとして，Few-shot推論の代わりにモデルの微調整(fine-tuning)を行うことが考えられ，今後の研究課題となる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{おわりに}
本研究ではLLMが尤度の低い文章を不当に低く，尤度の高い文章を不当に高く評価する傾向を尤度バイアスとして定義し，定量化する方法を提案した．
また，我々はバイアスの強い事例を特定し，Few-shot事例として用いることで尤度バイアスを緩和する方法を提案した．
実験の結果，data-to-text，GECの2つのタスクにおいて複数のLLMが尤度バイアスを持つ可能性を示した．さらに，尤度バイアスを緩和し評価性能を向上することに成功した．
今後は，既存研究で定義された他の評価バイアスと尤度バイアスの関係性について調査したい．
例えば，LLM評価器が自身の出力した文を高く評価する自己増幅バイアス \cite{NEURIPS2023_91f18a12}は尤度の高い文を高く評価するという尤度バイアスの特徴を用いて説明ができると考えれられる．また，GPT-3.5，Llama2 13B以外のモデルにおける尤度バイアスを調べることで，モデルのパラメータ数や指示チューニングと尤度バイアスの関係性を明らかにしたい．さらに，研究の限界でも述べたように，モデルの微調整を用いたバイアスの緩和に取り組みたい．

%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究成果は，国立研究開発法人情報通信研究機構(NICT)の委託研究(22501)により得られたものです．
論文執筆にあたっては，ケンブリッジ大学のSimone Teufel先生から助言をいただきました．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%

\bibliographystyle{jnlpbbl_1.7}
\bibliography{03refs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{LLM評価器の詳細}
\label{sec:app_eval}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{尤度の計算方法}

式~\ref{eq:LS}にある通り，我々はタスク説明$d$と入力文章$t_{i}$をモデルに入力した状態における出力文章$t_{o}$の尤度を計算する．
この手法を用いることで，$\log{P(t_{o} ; \theta)}$で計算する尤度よりも，タスクの特徴と入力文章を考慮した尤度を得ることができる．
タスク説明$d$として用いた文章は以下の通りである．

\begin{itemize}
    \item data-to-text: \textit{Please generate a description of the following xml data．}
    \item GEC: \textit{Please modify the following English text to make it grammatically correct．}
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{プロンプトの例}
我々は\citeA{liu2023geval}の用いたプロンプトを参考に，各タスク・評価項目に応じてプロンプトを作成した．
以下にプロンプトの例を示す．

\textbf{Data-to-textタスクのCorrectnessにおける評価}
\begin{quote}
    You will be given an xml data and an English sentence that represents xml data．
    Your task is to rate the sentence that represents xml data on one metric．
    Please make sure you read and understand these instructions carefully． Please keep this document open while reviewing, and refer to it as needed．
    Evaluation Criteria:
    Correctness: (1--5) - does the text describe predicates with correct objects and does it introduce the subject correctly? 1 is the lowest score, 5 is the highest．
\end{quote}

\textbf{GECタスクのFluencyにおける評価}
\begin{quote}
    You will be given an English sentence that may have grammatical errors and a sentence that is the corrected version of the sentence．
    Your task is to rate the corrected sentence on one metric．
    Please make sure you read and understand these instructions carefully． Please keep this document open while reviewing, and refer to it as needed．
    Evaluation Criteria:
    Fluency: (0--4) -  How natural the sentence sounds for native speakers; 4: Extremely natural, 3: Somewhat natural, 2: Somewhat unnatural, and 1: Extremely unnatural, and 0: Other．
\end{quote}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{データセット}
\label{sec:app_dataset}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{data-to-text}
我々はdata-to-textのデータセットとして， WebNLG+ \cite{castro-ferreira-etal-2020-2020}から人手評価スコアを持つ事例を抽出して用いた．合計の事例数は2846である．
我々はデータセットのライセンス (CC BY-NC-SA 4.0) に則ってデータを用いた．
データセットには以下の5つの評価項目における0から100までの101段階の人手評価スコアが付与されている．

\begin{itemize}
    \item text structure: 出力が文法的・構造的に正しいか
    \item relevance: 出力が入力の情報に基づいているか
    \item fluency: 出力が流暢かどうか
    \item correctness: 出力が入力を正しいか・出力が合理的にデータを説明しているか
    \item data coverage: 出力が入力の情報を全て含んでいるか
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\paragraph{GEC}
我々はGECのデータセットとして，TMU-GFM-Dataset \cite{yoshimura-etal-2020-reference}を用いた．合計の事例数は4221である．
我々はデータセットのライセンス (CC BY 4.0) に則ってデータを用いた．
データセットには以下の5つの評価項目における0--4までの5段階の人手評価スコアが付与されている．

\begin{itemize}
    \item grammar: 出力が文法的に正しいか
    \item fluency: 出力が流暢かどうか
    \item meaning: 出力が入力と同じ意味を持っているか
\end{itemize}

なお，本文の脚注で述べた通り，データセットを作成した研究 \cite{yoshimura-etal-2020-reference}でmeaningにおける結果が全体の評価にほとんど寄与しないことが示されているため，本実験からmeaningを除外した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{ハイパーパラメータ}
実験の再現性を担保するために，できる限りGPT-3.5の出力が決定的になるようにAPI呼び出しの際のサンプリングパラメータを設定した．
具体的には，temperatureを0，top\_pを0に設定した．

また，Few-shot事例の事例数には8を用いた．これは入力トークン長の制限に抵触しない範囲で可能な限り大きな値を設定した．


%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大井　聖也}{%
2024年東京工業大学情報理工学院情報工学系卒業．同年4月より東京科学大学（旧東京工業大学）情報理工学院情報工学系知能情報コース修士課程に在学中．
}
\bioauthor{金子　正弘}{%
2016年北見工業大学工学部情報システム工学科卒業．同年，首都大学東京（現東京都立大学）システムデザイン研究科博士前期課程に進学．2018年博士前期課程修了．同年，首都大学東京システムデザイン研究科博士後期課程に進学．2019年より日本学術振興会特別研究員 (DC2) を経て，2021年博士後期課程修了．博士（情報科学）．東京工業大学情報理工学院研究員を経て，2023年よりMBZUAI研究員．
}
\bioauthor{小池　隆斗}{%
2021年慶應義塾大学理工学部情報工学科卒業．同年4月より同大学大学院理工学研究科修士課程に進学．2023年修士課程修了． 同年4月より東京工業大学情報理工学院博士後期課程に進学． 現在に至る．
}
\bioauthor{Mengsay Loem}{%
2022年東京工業大学情報理工学院情報工学系卒業．同年4月より情報理工学院情報工学系知能情報コース修士課程に進学．2024年修士課程修了． 同年4月より研究員としてSansan株式会社に所属． 現在に至る．
}
\bioauthor{岡崎　直観}{%
2007年東京大学大学院情報理工学系研究科博士課程修了．東京大学大学院情報理工学系研究科・特任研究員，東北大学大学院情報科学研究科准教授を経て，2017年8月より東京工業大学情報理工学院教授．言語処理学会，人工知能学会，情報処理学会，ACL 各会員．
}

\end{biography}


\biodate

\end{document}



