\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{1}
\Month{March}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{355}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Filtered Direct Preference Optimization}
\jauthor{森村　哲郎\affiref{Author_1}}


\etitle{Filtered Direct Preference Optimization}
\eauthor{Tetsuro Morimura\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{森村}
\headtitle{Filtered Direct Preference Optimization}



%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{株式会社サイバーエージェント}{CyberAgent}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
本稿では，EMNLP2024に採択された論文``Filtered Direct Preference Optimization'' \cite{fDPO} について解説し，研究に取り組んだ経緯についても触れたいと思います．

近年，大規模言語モデル (LLM) の進化が著しく，その影響は私たちの生活や仕事にまで広がっています．特に，GPT-3 \cite{GPT3} からChatGPT \cite{openai_chatgpt_2023}への進化は，研究者やエンジニアといった限られた層でのみ話題だったLLMが，一般ユーザーにも広く普及する転換点となりました．これを支える技術のひとつが，人間のフィードバックによる強化学習 (Reinforcement Learning from Human Feedback; RLHF) です\cite{InstructGPT}．

RLHFは，LLMを人間の価値観に沿わせ，より使いやすくするための技術であり，生成AIの発展において重要な役割を果たしています．こうした技術は一般に「LLMアライメント」と呼ばれ，人間にとって安全で信頼できるモデルの実現を目指します．

RLHFは強化学習を用いてモデルを調整します．私はこれまで主に強化学習の研究をしており，NLP分野の研究経験はほとんどありませんでした．しかし，RLHFやLLMアライメントは，強化学習が社会で真に役立っている数少ない成功例のひとつであり，そのインパクトの大きさから挑戦したいと強く感じました．

RLHFには多くの難しさが伴いますが，その困難さもまた研究意欲を掻き立てられる要因となりました．強化学習は明確な正解が与えられない問題を扱い，報酬を最大化する方策を探索する必要があります．これにはデータの自己生成と評価が伴い，他の機械学習手法に比べて計算コストが高く，学習が不安定になりやすいという課題があります．RLHFにおいても同様の課題があり，さらに，言語モデルの行動空間は強化学習が通常扱う問題に比べて非常に大規模であるため，より困難であると言えるかもしれません．加えて，報酬モデル (Reward Model) を用いるため，過最適化やその他の学習の難しさが指摘されています\cite{RMOveropt}．

RLの研究者として，これらの課題を少しでも解決し，この分野に貢献したいと考え，RLHFの研究に取り組みました．
またEMNLPでの発表を通じて，NLP分野の多様なアプローチや応用範囲への理解が深まり，今後もこの分野に関わり続けていきたいと考えています．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{LLMアライメントの背景と課題}
LLMアライメントの手法は，選好データセットを用いてLLMをファインチューニングするアプローチが代表的です．
選好データセットとは，各プロンプト$x$に対して人間（もしくはLLM）が2つの応答$y, y'$を作成し，アノテーターが$y$と$y'$のどちらが好ましいかをラベル付けしたデータです．好ましいと判断された応答を$y_{\rm c}$，そうでない応答を$y_{\rm r}$と記します．
ここで，下付き文字$\rm c$はchosen，$\rm r$はrejectedを表します．このデータセットを用いてLLMをファインチューニングすることで，LLMがより人間の意図や価値観に沿った出力を行うようになります．

LLMアライメントの代表的な手法として，先に紹介したRLHFに加えて，DPO (Direct Preference Optimization) \cite{DPO}があります．
どちらも，はじめにプロンプトと正解の応答のペアを用いて教師ありファインチューニング (Supervised Fine-Tuning; SFT) を行いますが，その後の処理に大きな違いがあります．SFT後のモデルをSFTモデルと呼びます．
%
\begin{itemize}
 \item \textbf{RLHF}: 選好データセットを用いて報酬モデルを学習し，その報酬モデルを使ってSFTモデルを強化学習で最適化する．
 \item \textbf{DPO}: 選好データセットを直接用いて，SFTモデルが望ましい応答を不適切な応答より高くスコアリングするように最適化する．
\end{itemize}
%
RLHFは広く用いられていますが，報酬モデルの学習が必要であり，計算コストが高く，また強化学習に起因する学習の不安定さが課題となります．
一方，DPOは報酬モデルを必要とせず，計算コストが低い点が特徴です．また，教師あり学習に基づく方法であるため，強化学習のように学習データを自己生成する必要がなく，固定化されたデータから学習できるため，扱いやすいとされています．


本研究のきっかけは，RLHFとDPOを手元で動かし，その特性を理解することでした\cite{Sakamoto2024}．
RLHFとDPOに関する先行研究の報告は限られており，具体的な挙動を把握するため，自ら検証を行いました．
LLMのサイズ，分布シフト，ラベルノイズなど，さまざまな条件下で両者を比較する実験を行いました．
RLHFはDPOと比べて計算コストが高く，ハイパーパラメーターの設定の影響を受けやすい傾向があり，確かに扱いにくさを感じましたが，LLMアライメントのパフォーマンスに大きな差はありませんでした．

ただし，学習データに質の低い応答が混在している場合，RLHFは影響を受けにくいのに対し，DPOは著しく性能が低下することを発見しました（図\ref{fig:rlhf_vs_dpo}）．
%
ここでいうデータの質とは，好ましい応答$y_{\rm c}$の質を指し，以下のデータセットを用いて検証しました．
%%%%%%%%%%%%%%%%%%%%
\begin{itemize}
 \item 高品質 (high)：各プロンプト$x$に対して16個の応答を生成し，最も良いものを好ましい応答$y_{\rm c}$に，残り15個からランダムに選択したものを好ましくない応答$y_{\rm r}$にする．
 \item 低品質 (low)：各$x$に対して2個の応答を生成し，良い方を$y_{\rm c}$，他方を$y_{\rm r}$にする．
 \item 混合品質 (mix)：highとlowを50/50で混ぜたデータセット．
\end{itemize}
%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[htbp]
\begin{center}
\includegraphics{32-1ia34f1.eps}
\end{center}
\hangcaption{AlpacaFarmデータセットを用いた160M PythiaモデルにおけるLLMアライメント手法の比較 (Morimura et al., 2024)．人間による評価コストを削減するため，選好データセットの作成およびモデル評価には，外部の報酬モデル ``OpenAssistant/reward-model-deberta-v3-large-v2''をgold rewardとして使用した．学習データに質の低い応答が混在している場合，DPOの性能は大きく劣化することが確認された．}
 \label{fig:rlhf_vs_dpo}
{\vskip -11pt}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{提案手法}

DPOは質の低い応答が混在するデータでは，性能が大きく劣化する課題があります．
この問題を解決するため，Filtered Direct Preference Optimization (fDPO) を提案しました．
fDPOはDPOに報酬モデルを導入し，選好データセットの好ましい応答$y_{\rm c}$とモデル生成の応答$y_{\rm LM}$を報酬モデルで評価し，比較します．
報酬が$y_{\rm LM}$の方が高ければ，$y_{\rm c}$を含むサンプル$(x,y_{\rm c}, y_{\rm r})$を削除し，低品質なデータが学習に悪影響を与えるのを防ぎます（図\ref{fig:fdpo}）．
報酬モデルは選好データセットから学習するほかに，外部の学習済みモデルを利用することも可能です．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
\begin{center}
\includegraphics{32-1ia34f2.eps}
\end{center}
 \caption{提案法 filtered DPO の概要．}
 \label{fig:fdpo}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



本手法では，$y_{\rm r}$（不適切な応答）の品質は考慮せず，$y_{\rm c}$（好ましい応答）の品質にのみ焦点を当てます．
これは，DPOの目的関数が$y_{\rm c}$の生成確率を大きくし，$y_{\rm r}$の生成確率を小さくすることで改善される仕組みに基づいています．
仮に$y_{\rm r}$に高品質な応答が含まれていたとしても，多くの言い換えが存在するため，モデルがそれを避ける影響は限定的であり，学習への悪影響は少ないと考えられます．
一方，低品質な$y_{\rm c}$が残ると，モデルがそれを好むように学習され，性能劣化につながります．
そのため，fDPOでは$y_{\rm c}$のフィルタリングを行い，DPOの課題を解消します．


実験結果を図\ref{fig:fdpo_res}に示します．
160Mおよび1.4BのPythiaモデルを用いてAlpacaFarmデータセット\cite{AlpacaFarm23}で検証を行いました．
DPOとは異なり，fDPOではモデルサイズによらず，質の低いデータの影響を抑え，安定した性能が確認されました．
なお，本稿では割愛しますが，Anthropic HHデータセットを用いた検証，GPT-4oによる評価，人間評価も実施しています．
詳細については原論文\cite{fDPO}をご参照ください．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia34f3.eps}
\end{center}
\hangcaption{AlpacaFarmデータセットを用いた実験結果 (Morimura et al., 2024)．評価スコア (gold reward) は，SFT初期モデルのgold rewardがゼロになるよう調整されており，異なるモデルサイズ（160Mおよび1.4B Pythiaモデル）においても，fDPOがDPOと比べて安定して高い性能を示しました．}
 \label{fig:fdpo_res}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{おわりに}
本研究では，DPOの性能が低品質な応答を含むデータで劣化する課題を明らかにし，
報酬モデルを用いて高品質な学習データを選別するfDPOを提案しました．
fDPOは，DPOの単純さを維持しつつ強化学習の不安定性を排除し，低品質データの影響を軽減する実用的なアプローチです．
複数のモデルとデータセットで，品質がばらつくデータでも安定したLLMアライメントが可能であることを示しました．
今後は，不適切な応答$y_{\rm r}$のフィルタリングや，サンプル削除にとどまらず応答の置換を行う手法など，さらなる拡張を検討します．





%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{34refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{森村　哲郎}{%
2008年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（工学）．同年よりIBM東京基礎研究所にてデータ解析や機械学習の研究に従事し，2021年よりサイバーエージェント AI Lab 研究員．強化学習やLLMアライメントに関する研究に従事．}
\end{biography}

\end{document}





