\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{hangcaption_jnlp}
\usepackage{booktabs}
%%%%\newcommand{\money}[0]{\includegraphics{31-3ia23t1.pdf}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{3}
\Month{September}
\Year{2024}



\setcounter{page}{1389}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Less is More for Long Document Summary \\
	Evaluation by LLMs}
\jauthor{磯　　　颯\affiref{Author_1}}
\etitle{Title (English)}
\eauthor{Name1\affiref{Author_1}} 

\headauthor{磯}
\headtitle{Less is More for Long Document Summary Evaluation by LLMs}

\affilabel{Author_1}{Megagon Labs}{}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{はじめに}

Large Language Models (LLMs)の出現により，自然言語処理における多くの課題に対して，指示テキストを用いたゼロショット学習によるアプローチが可能となってきた．しかし，このアプローチは完全な解決策ではなく，LLMsの実応用に際しては依然として多くの課題が存在する．

Megagon Labsでは，これまでLLMの実応用における評価を中心に研究を進めてきた．例えば，指示テキストの曖昧性が出力に及ぼす影響\cite{zhang-etal-2024-xatu-fine,niwa2024ambignlg}や，質問応答タスクにおける検索エラーとLLMの内部知識との関係\cite{maekawa-etal-2024-retrieval}などを検討してきた．

本稿では，EACL 2024に採択された論文 ``Less is More for Long Document Summary Evaluation by LLMs''\cite{wu-etal-2024-less}\footnote{\url{https://aclanthology.org/2024.eacl-short.29/}}に基づき，LLMを用いた長文テキストの要約評価をより効率的かつ高品質に行う手法を，その研究背景とともに紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia23f1.pdf}
\end{center}
\hangcaption{LLMによる長文サマリー評価タスクの概要．LLMによる長文サマリーの評価はコストが高いだけでなく，人間の評価と限定的な一致を示す．提案手法「Extract-then-Evaluate」は，評価のために重要な文を事前に抽出することで，評価コストを削減するだけでなく，人間の評価との一致度も向上させる．}
\label{fig:fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究背景}

モデルが生成したテキストの自動評価は，そのモデルの品質を迅速に評価する上で極めて重要である．従来，機械翻訳や自動要約モデルの出力評価を自動化するために，BLEUやROUGEといった評価指標が提案された．これらの指標は，人手評価との相関が低く，実装によって値が大きく異なることが知られていたにもかかわらず，テキスト品質評価のデファクトスタンダードとして長く使用されてきた．

LLMの登場により，一見して高品質なテキストがLLMによって生成されるようになった．しかし，これらのテキストが従来の自動評価指標では低い評価を示すという問題が顕在化した．この結果，従来の評価指標はほぼ使用されなくなり，より適切な評価手法の必要性についてコミュニティの合意が形成されつつある．

では，BLEUやROUGEに代わる自動評価指標として何を用いるべきか．近年注目を集めているのが，LLM-as-a-judgeと呼ばれる手法である．これは，LLMを出力テキストの品質評価にも利用するもので，人手評価と高い相関を示すことが報告されている\cite{liu2023geval}．例えば，クラウドソーシングのタスク説明文のようなプロンプトを作成し，LLMにテキストの品質を1から5のスケールで評価させる方法がある．一見単純な方法だが，少なくともBLEUやROUGEと比較すれば，人手評価との高い相関を示している．

しかし，LLM-as-a-judgeにも課題がある．最大の問題は評価にかかるコストである．一般に，LLMを用いた評価では，フロンティアモデルがより人手評価との高い相関を示すとされている．しかし，フロンティアモデルは通常，巨大なパラメータ数を持ち，その利用には高額のAPI料金が必要となる．

さらに，近年のLLMはより長いコンテキスト長の入力を扱えるようになったことで，文書レベルのテキスト処理が主流になりつつある．これにより，APIコストは文書長に比例して増大する．加えて，長文を入力とした場合，重要な情報が文書の中央部にある場合，LLMがそれを見落とす「Lost-in-the-middle」現象が報告されている\cite{liu-etal-2024-lost,murdock1962serial}．つまり，フロンティアモデルを用いて長文に基づく出力評価を行うと，高コストであるだけでなく，その評価の信頼性も低下する可能性がある．

このような背景から，より効率的かつ高品質な評価手法の開発を目指した．具体的には，長文から重要な情報を抽出し，それに基づいてLLMによる評価を行うアプローチを検討した（図 1）．
当初は，パレートの法則に従い，全文を使用する設定と比較して約20\% のコストで80\% 程度の性能が得られると想定していた．この仮説は，入力テキストの20\% 程度を適切に抽出することで，評価に必要な情報の大部分をカバーできるのではないかという考えに基づいていた．しかし，実際の分析結果は我々の予想を上回るものであった．より低コストでありながら，全文を用いた場合よりも高い人手評価との相関が得られることが明らかになった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:method}

提案手法は非常にシンプルである．まず，長文のソースドキュメント$x$から重要な文を抽出し，事前定義された長さ$N$に達するまでそれらを結合して短いドキュメント$x'$を作成する．次に，抽出したドキュメント$x'$と生成された要約$\hat{y}$に基づいて，LLMsを用いてその要約の質を評価する．

本研究では，重要な文の抽出に以下の4つの方法を用いて比較検討を行った．

\begin{itemize}
    \item \textbf{LEAD} - ソースドキュメントの先頭から$N$トークンを抽出．
    \item \textbf{ROUGE} - 生成要約$\hat{y}$とのROUGEスコアのRecallを最大化する文を抽出．
    \item \textbf{BERTScore} - BERTScoreのRecallを基準に文を抽出．
    \item \textbf{NLI} - 生成要約$\hat{y}$と関連の高い文を抽出．
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\resizebox{\textwidth}{!}{%
\begin{tabular}{lrrcrrcccccccrrcrrc}
\toprule
& \multicolumn{6}{c}{Consistency} & \multicolumn{6}{c}{Relevance} & \multicolumn{6}{c}{Faithfulness}\\
Methods & \multicolumn{3}{c}{arXiv} & \multicolumn{3}{c}{GovReport} & \multicolumn{3}{c}{arXiv} & \multicolumn{3}{c}{GovReport} & \multicolumn{3}{c}{PubMed} & \multicolumn{3}{c}{SQuALITY} \\
\cmidrule(lr){2-4} \cmidrule(lr){5-7} \cmidrule(lr){8-10} \cmidrule(lr){11-13} \cmidrule(lr){14-16} \cmidrule(lr){17-19} 
 & \multicolumn{1}{c}{$r$} & \multicolumn{1}{c}{$\rho$} & \$ & \multicolumn{1}{c}{$r$} & \multicolumn{1}{c}{$\rho$} & \$ & $r$ & $\rho$ & \$ & $r$ & $\rho$ & \$ & \multicolumn{1}{c}{$r$} & \multicolumn{1}{c}{$\rho$} & \$ & \multicolumn{1}{c}{$r$} & \multicolumn{1}{c}{$\rho$} & \$ \\\midrule
\multicolumn{19}{c}{Reference-based metrics}\\
\midrule
ROUGE-1 & $-0.08$ & $-0.13$ & --- & $-0.12$ & $-0.11$ & --- & 0.29 & 0.25 & --- & 0.53 & 0.52 & --- & 0.32 & 0.30 & --- & $-0.33$ & $-0.13$ & --- \\
BERTScore & $-0.09$ & $-0.10$ & --- & 0.00 & $-0.04$ & --- & 0.22 & 0.18 & --- & 0.38 & 0.38 & --- & 0.49 & 0.49 & --- & $-0.12$ & 0.02 & --- \\
BARTScore & 0.32 & 0.36 & --- & 0.51 & 0.48 & --- & 0.00 & 0.03 & --- & 0.18 & 0.24 & --- & 0.49 & 0.47 & --- & $-0.06$ & $-0.17$ & ---\\
\midrule
\multicolumn{19}{c}{Reference-free metrics}\\
\midrule
FactCC & 0.22 & 0.19 & --- & 0.28 & 0.27 & --- & 0.13 & 0.13 & --- & 0.05 & 0.04 & ---  & $-0.09$ & -0.14 & --- & 0.13 & 0.14 & ---  \\
SummaC & 0.32 & 0.32 & --- & 0.39 & 0.38 & --- & 0.09 & 0.08 & --- & 0.05 & 0.04 & --- & 0.51 & 0.55 & --- & 0.18 & 0.24 & ---\\
\midrule
\multicolumn{19}{c}{Reference-free metrics with LLM (ours)}\\
\midrule
Full document & 0.61 & 0.46 & \$0.15 & 0.33 & 0.34 & \$0.10 & 0.58 & 0.52 & \$0.15 & 0.12 & 0.11 & \$0.10 & 0.64 & 0.70 & \$0.11 & 0.51 & 0.38 & \$0.14 \\
Best extraction & 0.71 & 0.50 & \$0.05 & 0.62 & 0.60 & \$0.09 & 0.63 & 0.58 & \$0.07 & 0.36 & 0.40 & \$0.07 & 0.76 & 0.80 & \$0.07 & 0.85 & 0.81 & \$0.04\\
Pareto efficient & 0.71 & 0.50 & \$0.05 & 0.60 & 0.61 & \$0.05 & 0.55 & 0.48 & \$0.04 & 0.37 & 0.37 & \$0.05 & 0.75 & 0.75 & \$0.05 & 0.85 & 0.81 & \$0.04\\
\bottomrule
\end{tabular}
}%
\hangcaption{Pearson相関係数 ($r$)とSpearman相関係数 ($\rho$) および人間評価との相関の結果．提案手法は評価コストを削減しつつ，人間評価との高い相関を示している．}
\label{tab:main_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}
表\ref{tab:main_result}に実験結果を示す．本稿では紙面の都合上，以下の3つの設定における結果を記載する．詳細な実験結果については，原論文のAppendixを参照されたい．

\begin{itemize}
    \item Full document: 元文書からの抽出を行わない設定（ベースライン）．
    \item Best extraction: 全ての文抽出手法と文書長の設定のうち，最も高い人手結果との相関を示したもの．
    \item Pareto efficient: 全ての文抽出手法のうち，最長文書長を1024に設定した上で最も高い人手評価との相関を示したもの．
\end{itemize}

まず，LLMを用いた評価は，長文要約の評価においても，ほぼ全ての既存指標と比較してより高い人手評価との相関を示した (Full document)．一方で，入力文書が長文であるため，1インスタンスの評価につき\$0.10～\$0.20のコストがかかることが判明した．

次に，提案手法の結果を見ると，Best extractionにおいて，ベースラインとなるFull documentよりも常に高い人手評価との相関を示しただけでなく，入力文を削減したことで評価コストも大幅に削減された．さらに，入力文長に制約を加えた場合でも，多くの場合でベースラインの結果を上回り，約1/3程度の評価コストでより良い評価結果が得られることが実験的に明らかとなった (Pareto efficient)．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia23f2.pdf}
\end{center}
\hangcaption{文書の長さとピアソン相関の関係．1000～2000トークンで最も高い相関を示す．科学分野では，重要な情報は通常，文書の冒頭（すなわち，Introduction）に集中しているため，LEAD法は比較的良いパフォーマンスを示す．しかし，一般分野では，重要な情報が文書全体に分散しているため，LEAD法のパフォーマンスは他の方法と比べて著しく劣る．}
\label{fig:pearson}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

より詳細な分析として，図\ref{fig:pearson}に各文抽出手法における抽出長と人手評価との相関関係を示す．全てのデータセットにおいて，約1000～2000トークン程度の文書長に文抽出を行うことで，最も高い人手評価との相関が得られている．つまり，実験を行った当時のフロンティアモデルにおいて，それ以上の長さの文書を元に評価を行っても，「Lost-in-the-middle」現象により評価の品質が劣化してしまうことが明らかになった．

また，データセットごとに結果を観察すると，arXivやPubMedといった科学技術論文を対象としたデータにおいては，文の先頭からNトークン抽出するLEAD法が比較的良い結果を示している．一方で，より一般的なドメインのデータにおいては，LEAD法による文抽出の性能が著しく劣化した．

この結果は，科学技術論文では，Introductionに重要な情報の多くが含まれているのに対し，より一般的なドメインでは，重要な情報がより広範囲に分布しているためと考えられる．そのため，LEAD法では一般的なドメインにおいて本当に重要な情報を抽出することができなかったと推測される．

一方で，ROUGEを元にした文抽出は，ドメインや評価指標によらず高い人手評価との相関を示していることも分かった．この結果は，ROUGEベースの抽出手法が広範囲のタスクやデータセットに対してロバストな文抽出手法であることを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，LLMを用いた長文テキストの要約評価を効率的かつ高品質に行う手法について，その研究背景と実験結果を紹介した．提案手法は，重要な文を抽出して短い文書を作成し，それに基づいてLLMによる評価を行うというシンプルなものであるにも関わらず，評価コストを大幅に削減しつつ，人手評価との相関を向上させることが明らかとなった．


本研究の再現性と発展を促進するため，提案手法のソースコードを公開している．\footnote{\url{https://github.com/megagonlabs/llm-longeval}}他の研究者や実務者が容易により低コストかつ高品質な自動評価を行えるようになれば幸いである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{23refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{磯　　　颯}{%
2021年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．現在，Megagon Labs, Senior Research Scientist．
}

\end{biography}




\end{document}




