\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{color}
\usepackage{booktabs}
%%%%%\usepackage{colortbl}
%%%%%\usepackage{multirow}

%%%%%\newcommand{\pic}[1]{\texttt{\color{blue}Person(s)-in-charge:#1}}
%%%%%\definecolor{mygray}{rgb}{0.9, 0.9, 0.9}
\definecolor{gray}{RGB}{165, 165, 165}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{2}
\Month{June}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{746}


%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NLP2025 併設ワークショップ\\「大規模言語モデルのファインチューニング技術と評価」}
\jauthor{
大北　　剛\affiref{kyushu} \and 勝又　　智\affiref{retrieva} \and 鎌田　啓輔\affiref{wandb} \and 清丸　寛一\affiref{nii} \and 児玉　貴志\affiref{nii} \and \\ 鈴木　　潤\affiref{tohoku} \and 中山　功太\affiref{nii} \and Namgi Han\affiref{tokyo} \and 宮尾　祐介\affiref{tokyo}
}

\etitle{NLP2025 Workshop: Fine-Tuning and Evaluation for Large Language Models}
\eauthor{
Tsuyoshi Okita\affiref{kyushu} \and Satoru Katsumata\affiref{retrieva} \and Keisuke Kamata\affiref{wandb} \and Hirokazu Kiyomaru\affiref{nii} \and Takashi Kodama\affiref{nii} \and Jun Suzuki\affiref{tohoku} \and Kouta Nakayama\affiref{nii} \and Namgi Han\affiref{tokyo} \and Yusuke Miyao\affiref{tokyo}
}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{大北，勝又，鎌田，清丸，児玉，鈴木，中山，Han，宮尾}
\headtitle{大規模言語モデルのファインチューニング技術と評価}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{kyushu}{九州工業大学}{Kyushu Institute of Technology}
\affilabel{retrieva}{株式会社レトリバ}{Retrieva, Inc.}
\affilabel{wandb}{Weights \& Biases}{Weights \&Biases}
\affilabel{nii}{国立情報学研究所}{National Institute of Informatics}
\affilabel{tohoku}{東北大学}{Tohoku University}
\affilabel{tokyo}{東京大学}{The University of Tokyo}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
\renewcommand{\thefootnote}{}
\footnote[0]{本記事執筆に際し，全著者は同等に貢献しました．}
\renewcommand{\thefootnote}{\arabic{footnote}}
大規模言語モデル (Large Language Model; LLM) の開発において，ファインチューニングはLLMを人間の意図に合うように動作させるために必要不可欠なステップである．
一方，一言でファインチューニングといっても様々な方法が提案されており，どの方法が優れているか，または，ファインチューニング以外の方法により同等の効果が得られるか，といった疑問に対する明確な答えは得られていない．
そこで，多数の参加者による試行錯誤により上記疑問の答えを得ることを目的とし，言語処理学会第31回年次大会併設ワークショップとしてLLMのチューニングコンペティションを開催することとした\footnote{ワークショップホームページ：\url{https://llm-jp.github.io/tuning-competition/}}．

参加登録時点では31チームの登録があり，最終的には17チームがファインチューニング済みモデルを提出した．
ワークショップ当日は，コンペティション参加者による成果発表と，産業界およびアカデミアの研究者による招待講演3件を実施した．
ワークショップの参加者は，現地で100人以上，オンラインで100人程度であった．それぞれのセッションで活発な議論や意見交換が行われ，盛況のうちに終えることができた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{コンペティション}
LLMの数学能力と安全性に焦点を当て，数学タスクと安全性タスクの2タスクによるコンペティションとした．
開発期間は，2024年12月16日から2025年2月20日までの約2ヶ月間とした．

コンペティション参加者には，評価タスクの開発データとベースラインモデルを学習するためのデータとコードを提供した．
コンペティション参加者は，開発の成果物として，指定された入力データに対して推論を行い，定められたフォーマットの出力を返す Docker イメージを提出した．
オーガナイザーは提出された Docker イメージを用いてテストデータに対する性能評価を行った．

コンペティションの共通ルールは以下の通りである：
(1) llm-jp-3-13bおよびそのインストラクションチューニング済みモデルをベースモデルとして開発を行うこと，
(2) ネットワークから遮断された環境で動作すること，
(3) NVIDIA A100 40GiBを4枚搭載した環境でテストデータに対する推論が24時間以内に完了すること，
(4) 使用するデータおよびモデルの利用条件を遵守すること．
これらの制約に違反しない範囲においては，RAG，外部ツールの活用など，様々な技術的工夫を自由に行うことが可能である．

本コンペティションへの参加にあたり，希望のあった10チームに対して，データ活用社会創成プラットフォーム mdx の計算資源を提供した．各チームには NVIDIA A100 40GB 4枚を開発期間にあたる約2ヶ月間の間使用できるポイントを与え，その範囲で使用する計算資源の量と時間のバランスを自由に調整できるようにした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{数学タスク}
数学タスクでは，英語の数学データセット MATH \cite{hendrycks2021measuring} を日本語に翻訳したデータのもと，正解率を競った．
評価データは，MATH のテストデータ 5,000 件の中から 100 件を開発データ，200 件をテストデータとして無作為に抽出したものを日本の理系大学院の在学生・卒業生が人手で翻訳し構築した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{安全性タスク}

安全性タスクでは，安全性と有用性を両立した応答をするためのチューニングを実施し，さまざまな観点からその評価を行った．
安全性では，有害な回答を引き出すような質問（以降 \textbf{safety} と呼称）が与えられた場合に，LLMが安全な回答を返しているか評価する．
評価のため，safety では AnswerCarefully (v2.0) \cite{suzuki_nlp2025} を評価データとして用いた．
公式の分割を参考に，開発データ1,464件，テストデータ336件とした．

有用性では，一般的な LLM 利用を想定した質問（以降 \textbf{useful} と呼称），一見有害に見えるが，回答可能な質問（以降 \textbf{border} と呼称）が与えられた場合にLLMが有用な回答を返しているか評価する．
useful の評価のため，llm-jp-instructions\footnote{\url{https://huggingface.co/datasets/llm-jp/llm-jp-instructions}} から開発データ187件，テストデータ210件をサンプリングし使用した．border の評価のため， AnswerCarefully の各質問に対して「一見有害に見えるが，回答可能である」といった条件を満たすよう修正を行った評価データを使用した．
本データは開発データとして10件，テストデータとして65件を使用した．

本タスクでは，提出されたシステムの出力に対して LLM-as-a-Judgeを用いて評価を実施した．評価モデルには OpenAI の GPT-4o を使用している．
評価用プロンプトの設計により，\textbf{safety}では安全性，有用性，\textbf{useful}では流暢性，正確性，詳細性，関連性，\textbf{border} では「過剰な回答拒否がないか」に関して，1から5の5段階評価を実施した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{参加チーム}
数学タスクでは，既存の公開データを用いてベースモデルをチューニングする試みが見られた．
一方，商用LLMなどを用いて高度なインストラクションデータを合成し，チューニングを行うチームも存在した．
チューニングの手法に関しては，多様な方法が試され，複数の手法を用いるチームも存在した．
オーガナイザーからベースラインとして提供した教師ありチューニングはもちろん，Preference Optimizationを適用したチームが複数あった一方，学習コストの問題でLoRAだけを用いたチームも少なくなかった．

安全性タスクでは，数学タスクと比べて合成データを使用するチームが多かった．
これはチューニングに使えるデータセットが数学タスクより少ないことが理由と思われる．
また，チューニング手法に対しても教師ありチューニングと強化学習の比率が多くなっていた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.4
\subsection{結果}
評価結果を表\ref{tab:task-results}に示す．
提出されたDockerイメージが起動しなかった場合は再提出を依頼し，参考値として評価した．
以下に上位チームの手法を簡潔に述べる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[t]
\input{41table01.tex}
\hangcaption{数学タスク（左）・安全性タスク（右）の評価結果．灰色は締め切り後再提出などの理由から参考値となっている評価結果を示す．}
\label{tab:task-results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


数学タスクの1位はチーム d-itlab となった．
このチームは Qwen2.5-Math-7B-instruct を用いて解答の素案を生成してから，その素案を用いて llm-jp-3 13b から回答を生成させた．
2位のチーム YAMALEX，3位のチームエクサウィザーズはともに延べ百万問以上を用いた 教師ありファインチューニング (SFT) を行った．
ただ，YAMALEXはさらに Self-consistency を用いることで性能を大幅に改善させた．

安全性タスクの1位はチームエクサウィザーズとなった．
このチームは safety と border に対して，人手も含めながら DPO データを作成し，それぞれ構築した安全性モデルと有用性モデルをマージした．
2位のチーム tess は border と useful に対して，同じく人手も含めながら SFT と DPO データを作成してチューニングを行った．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{ワークショップ}

ワークショップ当日のスケジュールは表\ref{table:schedule}の通りである．
コンペティション参加チームは質疑応答を含め10分間の発表時間の中で手法の概要を報告した．
また，3名の招待講演を実施した．
SB Intuitionsの小林滉河氏には，LLMのファインチューニングに関する多様な知見を共有いただき，国立情報学研究所大規模言語モデル研究開発センターの関根聡氏には，LLMの安全性に関する取り組みや現状を紹介いただいた．
Preferred Networksの中鉢魁三郎氏には，事前学習済みLLMを実用化するために取り組まれた諸課題や工夫を解説いただいた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[t]
\input{41table02.tex}
\caption{ワークショップのスケジュール}
\label{table:schedule}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


当日は現地だけでなくSlack上でも質問を受け付けた結果，多数の質問をいただき，大盛況のワークショップとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{おわりに}
本ワークショップでは，数学タスクと安全性タスクをテーマとして，LLMのファインチューニング技術を競うコンペティションを開催した．
参加チームは，ファインチューニングに限らず，合成データ生成，Self-consistency など推論の工夫，外部ツールの利用など多様な技術を駆使し，ワークショップはその知見を失敗も含めて共有するよい場となった．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本ワークショップはNLP2025併設として開催されました．NLP2025運営に携わった方々に感謝申し上げます．
本ワークショップ並びにコンペティション成果の一部は，データ活用社会創成プラットフォーム mdxを利用して得られたものです．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\addtolength{\baselineskip}{-0.75pt}
\bibliography{41refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大北　　剛}{%
九州工業大学大学院情報工学研究院知能情報工学研究系准教授
}
\bioauthor{勝又　　智}{%
株式会社レトリバ研究員
}
\bioauthor{鎌田　啓輔}{%
Weights \& Biases AI Solution Engineer
}
\bioauthor{清丸　寛一}{%
国立情報学研究所大規模言語モデル研究開発センター特任助教
}
\bioauthor{児玉　貴志}{%
国立情報学研究所大規模言語モデル研究開発センター特任研究員
}
\bioauthor{鈴木　　潤}{%
東北大学言語AI研究センター長／教授
}
\bioauthor{中山　功太}{%
国立情報学研究所大規模言語モデル研究開発センター特任研究員
}
\bioauthor[:]{Namgi Han}{%
東京大学特任研究員
}
\bioauthor{宮尾　祐介}{%
東京大学教授
}

\end{biography}


\end{document}




