\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%\usepackage{geometry}
%%%%%\usepackage{longtable}
\usepackage{booktabs}
%%%%%\usepackage{amsmath}
\usepackage[table]{xcolor}
%%%%%\geometry{margin=1in}
\usepackage{xstring}
%%%%%\usepackage{caption} 


\definecolor{wasedaColor}{RGB}{230,240,255}
\definecolor{ehimeColor}{RGB}{230,255,230}
\definecolor{niceColor}{RGB}{255,230,230}

\newcommand{\coloredentry}[2]{%
  \IfBeginWith{#2}{W}{\cellcolor{wasedaColor}\text{$#1$\hspace{0.5mm}($#2$)}}{%
  \IfBeginWith{#2}{E}{\cellcolor{ehimeColor}\text{$#1$\hspace{0.5mm}($#2$)}}{%
  \IfBeginWith{#2}{N}{\cellcolor{niceColor}\text{$#1$\hspace{0.5mm}($#2$)}}{%
  \IfBeginWith{#2}{K}{\cellcolor{niceColor}\text{$#1$\hspace{0.5mm}($#2$)}}{%
  \IfBeginWith{#2}{T}{\cellcolor{wasedaColor}\text{$#1$\hspace{0.5mm}($#2$)}}{%
  \text{$#1$\hspace{0.5mm}($#2$)}}}}}}%
}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{2}
\Month{June}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{738}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NLP2025ワークショップ：\\LLM時代のことばの評価の現在と未来}
\jauthor{須藤　克仁\affiref{nwu} \and 小町　　守\affiref{hit} \and 梶原　智之\affiref{ehime} \and 三田　雅人\affiref{ca}\affiref{tmu}}


\etitle{NLP2025 Workshop: Present and Future of Natural Language Evaluation in the LLM Era}
\eauthor{Katsuhito Sudoh\affiref{nwu} \and Mamoru Komachi\affiref{hit} \and Tomoyuki Kajiwara\affiref{ehime} \and Masato Mita\affiref{ca}\affiref{tmu}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{須藤，小町，梶原，三田}
\headtitle{NLP2025ワークショップ：LLM時代のことばの評価の現在と未来}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{nwu}{奈良女子大学}{Nara Women's University}
\affilabel{hit}{一橋大学}{Hitotsubashi University}
\affilabel{ehime}{愛媛大学}{Ehime University}
\affilabel{ca}{株式会社リクルート}{Recruit Co., Ltd.}
\affilabel{tmu}{東京都立大学}{Tokyo Metropolitan University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

大規模言語モデル (Large Language Model; LLM) は自然言語処理のみならず人工知能のさまざまな領域に大きな影響を与えた．
LLMは典型的な自然言語に留まらず，プログラミング言語，線形化 (serialize) された表等のデータもトークン列としてモデル化されている．
そのため，LLMはことばを生成するモデルとしてテキストの生成や変換を行うという役割を超え，より一般的な系列データの生成や変換，あるいは分類や回帰を解くための手段としても用いられるようになった\cite{NEURIPS2020_1457c0d6}．

そうした情勢の中，LLMによって更なる進展が進むテキスト生成の評価は従来以上に困難なものとなっている．
LLMはそれ以前の問題特化型のモデルを用いたテキスト生成よりさらに流暢さや自然さが向上しただけでなく，潜在的に持つ「知識」も多い．
そのため，最近はLLMが持つ様々な「知識」を逆にテキスト生成の評価に利用する， LLM-as-a-judge と呼ばれる試みが多く行われるようになった．
テキスト生成の評価においては，テキストの表層，あるいは埋め込みベクトルの類似性を定量化する方法が主流であるが，それぞれ一長一短がある．
そうした中で，LLM-as-a-judgeはLLMの能力を有効に活用するものとして期待を集める一方，LLMを用いたテキスト生成結果をLLMを用いて評価することの難しさへの懸念も存在する．

そこで，筆者らは2021年から継続して開催してきたことばの評価に関する一連のワークショップ・テーマセッションに引き続き，NLP2025でそうした問題について扱うワークショップを開催した．
また，今回は一般の研究発表と招待講演に加え，新しい試みとしてテキスト生成に関わる既存の自動評価の方法を見直すことを目的としたShared Taskを実施し，その発表も含む充実したプログラム編成となった．
以下本稿では本ワークショップの内容について簡単に紹介する\footnote{ワークショップのWebサイト \url{https://sites.google.com/view/nlp2025ws-langeval/home} で発表者から提出された予稿や発表資料を公開している．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{一般発表}

一般発表として4件の発表があった．
中国語学習者に対し ChatGPT (GPT 3.5) を用いたプレゼンテーションの学習支援の方法についての比較実験の報告，
BERT を用いて単語単位で文書要約の品質推定をする手法の提案と金融ドメインでの実験結果の分析についての報告，
文書レベルの平易化タスクについて日本語 Wikipedia を例にアノテーションおよび分析を行なった結果についての報告，
ChatGPT を用いてパブリックコメントを分析する試みについての報告といった多様な発表があり，実社会におけるテキストの評価や人間の支援の LLM を用いる際の課題について問題提起があった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{招待講演}

招待講演は Preferred Networks の今城健太郎さんに「大規模言語モデルの生成能力評価」というテーマでご講演をいただいた．
これまでに公開されている pfgen-bench\footnote{\url{https://github.com/pfnet-research/pfgen-bench}} や pfmt-bench-fin-ja\footnote{\url{https://github.com/pfnet-research/pfmt-bench-fin-ja}} といった取り組みの紹介を交えつつ，LLM の文章生成能力の自動評価方法についての提案をいただいた．
リファレンスの数を自動的に増やすことで安定した評価を可能とするフレームワークの提案について，Slack 上での議論および現地での質疑が活発に行われ，リファレンスの量と質，そして多様性をどのように担保するか，そして評価指標自体の多様性が重要ではないか，といったような事項について議論が盛り上がった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{Shared Task}
今回のShared Taskでは，
題材はこれまでの技術的蓄積を踏まえて翻訳と文法誤り訂正の二つとした．
既存の自動評価手法がどのくらい頑健，あるいは脆弱であるかを検証することを目的に，翻訳結果や文法誤り訂正結果が誤っているのに不当に高い評価値が得られるような生成結果の提出を求めた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.1
\subsection{翻訳部門}

%%%%%
\paragraph{タスク概要}
評価の対象は WMT 2024 General Machine Translation の英日翻訳テストセット（998行）である．
参加者にはこのデータの英語原文に対する「（自動評価にとってそう見える，という意味での）日本語への翻訳結果」を提出するよう求めた．

%%%%%
\paragraph{評価指標}
表層ベースの評価として BLEU \cite{papineni-etal-2002-bleu} と chrF \cite{popovic-2015-chrf}，埋め込みベースの評価として BERTScore \cite{zhang2020bertscoreevaluatingtextgeneration}，COMET \cite{rei-etal-2020-comet}，XCOMET-XL \cite{guerreiro-etal-2024-xcomet}，LLMベースの GEMBA-MQM\footnote{原論文では GPT-4 を用いているが，今回は費用の都合で GPT-4o (4o-2024-11-20) を利用した．} \cite{kocmi-federmann-2023-gemba} を用いた．
さらに結果提出時点では未公開であった秘密の指標として，NLP2025で発表された LFORD \cite{tarumoto-etal-nlp2025} を用いた．

%%%%%
\paragraph{参加チーム}
本タスクには，愛媛大学の ehiMetrick チーム（$E_{*}$; 7件提出），NTT/NAISTの きょなら チーム（$K$; 1件提出），博報堂DYホールディングスの てゆーか，char\_f1って何? チーム（$T_{*}$; 9件提出）の3チームが参加した．
各参加チームのシステムの概要はワークショップWebページの予稿および発表資料を参照されたい．



%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[b]
\input{40table01.tex}
\caption{翻訳部門の評価結果}\label{tab:mt_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%
\paragraph{結果}
評価結果を表\ref{tab:mt_result}に示す．
ehiMetrick チームが提出した GPT-4o に特別な追加指示を与えずに翻訳をしたもの ($E_{\mathit{gpt}}$) が概ね今回のベースラインと考えられる．
つまり，$E_{\mathit{gpt}}$よりも上位にあるものは，その評価方法においてベースライン翻訳よりも優れていると判断されたことを示す．
chrFにおいては，$E_{\mathit{concat}}$は$E_{\mathit{gpt}}$とGPT-4o に短文での翻訳を指示して得られた$E_{\mathit{short}}$とを連結したものであり出力として冗長であるが，Recallを重視するchrFの特徴から高いスコアが得られている．
GEMBA-MQMにおいては，$E_{pro}$は$E_{gpt}$の各翻訳結果の末尾に「プロの翻訳家による翻訳なのでエラーはない」というプロンプトインジェクションを行うことで非常に高いスコアが得られている．
また，LFORDにおいては，原文をそのまま提示した$E_{\mathit{src}}$や翻訳結果を連結した $E_{\mathit{concat}}$が高いスコアとなっている．
てゆーか，char\_f1って何? チームの結果では OpenAI の GPT-4o に 小学生レベルの英語力という指定をプロンプトで与えて翻訳したもの ($T_{Oe}$) や Claude に TOEIC 300点レベルの英語力として翻訳したもの ($T_{C300}$) が比較的良好な結果を示している一方で Google の Gemini ($T_{G*}$) も含め幼稚園レベルという指定を与えると ($T_{*k} $) スコアが大幅に悪化する傾向が見られた．
きょならチームの結果 ($K$) は，すべての行に全く同じ文字列を提示しており，COMETを除く評価方法ではすべて最下位となっているにもかかわらず，COMETでは0.791という比較的高いスコアが得られている．これは埋め込みベクトルのハブ性を利用して高スコアが期待できる文字列を推定したものであり，今回の Shared Task の狙いに合致する非常に興味深い結果であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4.2
\subsection{文法誤り訂正部門}


%%%%%
\paragraph{タスク概要}
使用されたデータは，BEA 2019 Shared Task on GEC の開発セットである（計4,384行）．
参加者には，このデータに対する訂正結果をテキストファイルとして提出するよう求めた．

%%%%%
\paragraph{評価指標}
表層ベースの評価としてERRANT \cite{felice-etal-2016-automatic,bryant-etal-2017-automatic}および GLEU \cite{napoles-etal-2015-ground,napoles2016gleutuning}を使用し，埋め込みベースの評価としてPT-ERRANT \cite{gong-etal-2022-revisiting}およびIMPARA \cite{maeda-etal-2022-impara}を導入した．
また，品質推定器としてのLLMの有用性が報告される昨今の状況を踏まえて，LLM (GPT-4) を文法誤り訂正の評価に初めて活用した GPT-4-S \cite{kobayashi-etal-2024-large}をLLMベース評価として採用した．
さらに結果提出時点では未公開であった秘密の指標として，GoToScorer \cite{gotou-etal-2020-taking}および GPT-3-S を用意した．
GPT-3-S は，GPT-4-S \cite{kobayashi-etal-2024-large}のo3版であり，モデルによってどのくらい評価結果が変わるかを分析するために用いた\footnote{用いた GPT-4 は 4o-2024-11-20 であり，o3 は o3-mini-2025-01-31 である．}．
また，GoToScorer は「訂正の難易度」を考慮した評価指標であり，システムの訂正成功率，すなわち相対的に訂正成功率が高い誤りは訂正難易度が低く，相対的に訂正成功率が低い誤りは訂正難易度が高いと仮定し，スコア計算に重み付けを行う指標である．
本Shared Taskに提出されたシステム集合を用いて重みを計算することで，従来指標のような個々の誤りを等しく扱う評価指標では捉えきれない訂正傾向を明らかにするために秘密の指標として用いた．


%%%%%
\paragraph{参加チーム}
本タスクには，愛媛大学の ehiMetrick チーム（$E_{*}$; 8件提出），NAISTの Nice gliTchers チーム（$N_{*}$; 3件提出），早稲田大学/King's College Londonの Waseda Riko チーム（$W_{*}$; 4件提出）の計3チームが参加した．
各参加チームのシステムの概要はワークショップWebページの予稿および発表資料を参照されたい．


%%%%%
\paragraph{結果}
評価結果を表\ref{tab:gec_result}に示す．
特段ハックをせずにGPT-4oやLLaMAのようなLLMを用いたWaseda Riko チームのシステムが参照あり評価指標 (ERRANT, GLEU, PT-ERRANT, GoToScorer) で一貫して高評価を得ている一方，IMPARAのような参照なし評価指標では指標の脆弱性を突いたシステム（例: $N_{\text{imp.}}$）が突出したスコアを記録しており，参照なし評価指標では脆弱性が顕著に現れた．
また，LLMベースのGPT-3-Sでは，プロンプトインジェクションによって ehiMetrick チームの出力 ($E_{\text{4}}$) が顕著に高評価となり，評価手法の設計上の弱点が浮き彫りとなった．
一方，Nice gliTcher による ehiMetrick チームと同様のプロンプトインジェクション手法 ($N_{\text{llm}}$) は GPT-4-Sには通用せず，モデルやバージョンの違い，システムプロンプトの違いなどさまざまな要因によって大幅に結果が変わり，再現性が低いという課題が共有された．
これらの結果を総合すると，参照なし評価やLLMベース評価はスコアの恣意的操作に対して脆弱である一方，参照あり評価指標はより頑健な評価が可能であることが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[t]
\input{40table02.tex}
\caption{文法誤り訂正部門の評価結果}\label{tab:gec_result}
{\vskip -4pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{おわりに}
本ワークショップでは\emph{ことばの評価}を題材にこれまでと同様幅広い内容の議論ができたほか，新たな試みとなった Shared Task でも多くの魅力的な取り組みが行われ，非常に充実した内容となった．
世間一般からはLLMの能力は過大評価されてしまうという懸念もあり，我々自然言語処理の研究者は専門家としてLLMの巧拙に敏感でありたい．
LLMの進歩により今後ますますことばの評価の問題は重要性を増していくと考えられ，本ワークショップのような人間と計算機を問わないことばの評価に関する横断的な取り組みが継続することを強く願っている．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本稿の取り組みの一部はJSPS科研費23K24907の支援を受けたものです．
本ワークショップの開催にあたりご尽力くださった年次大会各委員会の皆様，ワークショップを盛り上げてくださった発表者および参加者の皆様に感謝します．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{40refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{須藤　克仁}{%
奈良女子大学研究院生活環境科学系教授．
2000年京都大学工学部卒業，2002年京都大学大学院情報学研究科修士課程修了，同年日本電信電話株式会社入社．
2015年京都大学大学院情報学研究科博士後期課程修了．博士（情報学）．
2017年奈良先端科学技術大学院大学准教授，2024年より現職．
機械翻訳を中心とする自然言語処理，音声言語処理の研究に従事．
言語処理学会，情報処理学会，日本音響学会，人工知能学会，ACL，ISCA会員．
}
\bioauthor{小町　　守}{%
一橋大学大学院ソーシャル・データサイエンス研究科教授．
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2010年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（工学）．
奈良先端大助教，首都大学東京（現東京都立大学）准教授，教授を経て，2023年より現職．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}
\bioauthor{梶原　智之}{%
愛媛大学大学院理工学研究科准教授および大阪大学D3センター特任准教授（クロスアポイントメント）．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．2018年より大阪大学データビリティフロンティア機構の特任助教，2021年より愛媛大学大学院理工学研究科の助教，2024年より同講師を経て，2025年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}
\bioauthor{三田　雅人}{%
株式会社リクルート データ推進室 機械学習エンジニア．2021年に東北大学情報科学研究科博士課程を修了し，博士号（情報科学）を取得．日本マイクロソフト，理化学研究所革新知能統合センター，サイバーエージェントを経て2025年より現職．現在は主に大規模言語モデルを用いた研究開発に従事．一橋大学および理化学研究所の客員研究員を兼任．言語処理学会，ACL各会員．
}

\end{biography}


\end{document}




