\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{subfig}
\usepackage{booktabs}
\usepackage{pifont}
\usepackage{xcolor}
\newcommand{\pifontcheckmark}{\text{\ding{52}}}
\newcommand{\pifontcrossmark}{\text{\ding{56}}}
\newcommand{\good}{\textcolor{teal}{\pifontcheckmark}}
\newcommand{\bad}{\textcolor{magenta}{\pifontcrossmark}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1001}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{強化学習とアルゴリズム探索による LLM の再帰的自己改善}
\jauthor{石橋　陽一\affiref{Author_1}}
\etitle{Algorithm Discovery for Recursive Self-Improvement through Reinforcement Learning}
\eauthor{Yoichi Ishibashi\affiref{Author_1}} 

\headauthor{石橋}
\headtitle{強化学習とアルゴリズム探索による LLM の再帰的自己改善}

\affilabel{Author_1}{NEC Corporation}{NEC Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{概要}

本記事では NAACL 2025 に採択された筆者らの論文 \cite{ishibashi2024large}について紹介します．
まず，この研究を始めるに至った経緯について述べ，筆者が昨年から所属する NEC データサイエンス研究所で取り組んでいる「自己改善 (Self-Improving)」という研究分野を簡単に解説し，そして「LLMが自分自身を改善するアルゴリズムを作る」という筆者らの研究について説明します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{この研究をはじめた経緯}

2023年，筆者は博士号を取得し，京都大学の下平・本多研究室でポスドクとして研究に従事していました．同年，ChatGPTの登場を契機として，LLMへの関心が一気に高まっており，筆者はLLMのどんな能力を強化すべきかを考えていました．
最終的に筆者はLLMのコーディング能力こそ最も重要だという考えるようになりました．なぜなら，人類がこれまで生み出してきた革新的な技術の多くはアルゴリズムであり（例：Transformer），LLMがその設計や実装を担えるようになれば，技術開発そのものを加速できると考えたからです．さらに，ライフサイエンスや機械工学とは異なり，アルゴリズムは実行環境さえあればテキスト生成（プログラミングコード）だけでプロトタイピングが可能なため，改善サイクルを圧倒的に高速に回すことができます（こうした関心から，当時は趣味の延長で，友人と一緒にコーディングエージェントを研究したりしていました \cite{DBLP:journals/corr/abs-2404-02183}）．
また，コーディングの自動化という技術は，単に人間のエンジニアや研究者が行ってきた作業を自動化するだけにとどまらず，人間では思いつかない独創的な技術を創出することを可能にすると思っています．
実際にAIが人間より独創的な発想をした例が存在します．
たとえば，DeepMindのAlphaGo \cite{DBLP:journals/nature/SilverHMGSDSAPL16}が2016年に囲碁のトップ棋士の一人であるイ・セドル九段と対局した際に打った37手目（「Move 37」）は，その象徴的な例です．この一手は，当時の囲碁界では常識外れとされていた手であり，人間のプロ棋士の誰もが良い手だと理解できませんでした．しかしその後，局面が進むにつれてその手の深い意味が明らかになり，結果的にAlphaGoが勝利を収めました．
筆者は，LLMにもこのような「Move 37」に相当する発想が可能になると考えています．LLMは人間よりも多くの知識を記憶することができますし，短時間に大量のアルゴリズムを作れるうえ24時間稼働できます．将来的には，人間の知識や経験では思いつけなかったアルゴリズムを，膨大な知識と柔軟な推論能力を活かして創出できるはずです．

ということを考えていた頃，1年間のポスドクを経て2024年にNECに入社しました．ここで筆者はLLMが自分自身を改善する「Self-Improving」に関する研究に取り組むことになりました．入社して2ヶ月ほど経った頃，6月の国際会議でメキシコ出張\footnote{詳しくは昨年の記事 \cite{ishibashi-nlp-2024}を御覧ください}がありました．自己改善のアイデアについていろいろと考えていた時期でもありました．帰路の機内で考えごとをしていたときに，ふと今回の研究のアイデアが浮かびました．先ほど述べたように，LLMによる技術開発の自動化に強い関心があったのですが，それは突き詰めると「LLMが自分自身を改善する技術」に行き着くのではないかと気づきました．LLMが得意とするコーディング能力を使って「自分をより良くするアルゴリズム」を自分自身で書かせることもできるかもしれない，と思いました．LLMがPythonで自己改善アルゴリズムを出力し自分にアルゴリズムを適用して改善する，そしてアルゴリズムの良し悪しを評価できれば，それをもとに今度はアルゴリズムを生成するLLMを改善していけるのではないか，これを繰り返してLLMとアルゴリズムがお互いに進化していく共進化のような再帰的自己改善のループが作れたら面白そうだな，と考えていたのが，本研究の出発点です．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

LLMの性能を高めるためのアルゴリズムは人手で設計されてきました．例えば，アーキテクチャ，注意機構，損失関数，モデルマージなど，様々なアプローチが研究者によって提案されています．
しかし，これらはいずれも人間が考案した固定的なアルゴリズムです．人間が思いつかないような斬新な改善方法が存在する可能性も否定できません．
本研究で提案した「Self-Improving」は，LLMがそういった「LLMを改善するアルゴリズム」を発見し，試し，更に優れた改善方法を作るように再帰的にアルゴリズムの学習を繰り返すフレームワークです．
著者らの論文では，実際に人間が考えたアルゴリズムを超えるアルゴリズムをいくつも発見できたことを示しました．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia38f01.eps}
\end{center}
\hangcaption{本研究のSelf-Improvingフレームワークの概念図 (Ishibashi et al. 2024)．アルゴリズム生成モデル (LLM) は，モデル改善アルゴリズムを実行可能なコードとして生成し，その効果を評価します (\good/\bad)．性能の高いアルゴリズムは正の例，性能の低いアルゴリズムは負の例として強化学習 (DPO) によりアルゴリズム生成モデルを訓練し，次の反復でより良いアルゴリズムを生成できるようにします．同時に，これらの改善アルゴリズムはシードモデルに適用され，改良された派生モデルを生み出します．これにより，アルゴリズム生成能力と対象モデルの双方が向上していきます．}
\label{fig:concept}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{LLMが発見したアルゴリズムでLLMを改善する}

筆者らが提案する Self-Improving フレームワークでは，次の 2 種類のLLMが存在します．
\begin{itemize}
\item 改善対象のモデル (Seed Model $M_0$)
\item アルゴリズム生成モデル ($\pi$) ．改善対象モデルの性能を向上させるアルゴリズムをプログラミングコードの形で生成する言語モデル．これは強力なコード生成モデルを使ってもいいですが，本研究の目的はLLMの自己改善なので$M_0$を使います．
\end{itemize}
Self-Improvingの技術的な特徴はこれら 2 つのLLMを同時に改善してくことにあります．
アルゴリズム生成モデル ($\pi$) が改善対象のLLM ($M_0$) を改善し，その結果を使ってアルゴリズム生成モデルを訓練します．そしてまたアルゴリズム生成モデルが改善対象のLLMを改善し…という具合に繰り返すと，両方が同時に改善していきます．
アルゴリズム生成モデルを訓練することで，「どんなアルゴリズムが上手くいくか」「どんなアルゴリズムが失敗するか」がLLMの内部に経験・知識として蓄積されていきます．こうすることで，それまで学習した良いアルゴリズムを組み合わせた新しいアルゴリズムを作ることができます．
具体的には，これは図\ref{fig:concept}のように非常にシンプルなサイクルで実現されます：
\begin{enumerate}
\item \textbf{アルゴリズム生成}：アルゴリズム生成モデル$\pi$がモデル改善アルゴリズムを複数生成
\item \textbf{アルゴリズム評価}：生成されたアルゴリズムを$M_0$に適用し，性能を評価
\item \textbf{アルゴリズム生成モデルの学習}：評価結果を使ってDPO \cite{DBLP:conf/nips/RafailovSMMEF23}で$\pi$を改善
\item \textbf{反復}：改善された$\pi$で次のサイクルを実行
\end{enumerate}
このような共進化のサイクルを何度か繰り返し，最終的に (1) 非常に高性能なLLMと (1) 強力なアルゴリズム生成モデル（とアルゴリズム）を同時に獲得できます．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アルゴリズム探索の重要性}

今年（2025年）5月にGoogle DeepMindがAlphaEvolve \cite{NovikovAlphaEvolveA}を発表したことは記憶に新しいと思います．AlphaEvolveはアルゴリズム探索エージェントです．大規模行列乗算の最適化でGeminiのカーネルを23\%高速化し，さらにGPU命令最適化アルゴリズムを発見してFlashAttentionカーネルを最大32.5\%高速化しました．これらの事例は，アルゴリズムの自動探索が実際に大きな価値を生み出すことを示しています．

重要な点として，AlphaEvolveとは異なり，我々の手法はアルゴリズム生成モデル自体を学習していく方式を初めて提案しています．この仕組みによって過去に学習したアルゴリズムから独創的なアルゴリズムを生成することができます，実際、著者らの手法では学習を繰り返すほど独創的で優れたアルゴリズムを多く発見できるようになりました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{設定}
Self-Improvingは様々なモデル改善アルゴリズムの発見に使えますが，実験ではモデルマージアルゴリズムの自動発見に使用しました．
モデルマージはベースモデル（初期モデル）に対し複数（実験では 3 つ）のファインチューニングモデルの重み混ぜて単一のモデルを作る手法です．既存のモデル統合手法としては，ベースモデルと各ファインチューニングモデルの差分（タスクベクトル）を計算し，それらを単純に加算・平均するTask Arithmeticが知られています．
すなわち，アルゴリズムは 3 つのモデルの重み（タスクベクトル）を入力に受け取り，それらを合成して 1 つのモデル重み（タスクベクトル）を返す関数です．この重みを初期モデルに足すことで初期モデルを改善します．
タスクは数学的推論で，ベンチマークデータセットにはGSM8kとMATHを使用しました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{結果1：人間設計アルゴリズムを超える性能}
LLMが発見したアルゴリズムを適用したモデルは人間が考えた既存のモデルマージアルゴリズムを超える・または匹敵する性能を達成しました（表\ref{tab:main_results}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\begin{center}
\begin{tabular}{lcc}
\toprule
Models               & GSM8k (\%) & MATH (\%) \\
\midrule
初期モデル ($M_0$)       & 70.1       & 0.5      \\
\midrule
\multicolumn{3}{c}{既存のマージアルゴリズム （人間設計）} \\
\midrule
Task Arithmetic \cite{DBLP:conf/iclr/IlharcoRWSHF23}    & 71.9       & \textbf{8.5}      \\
TIES Merge \cite{DBLP:conf/icml/Yu0Y0L24}  & 71.8      & 8.4      \\
Model Stock \cite{DBLP:conf/eccv/JangYH24}    & 39.5     & 6.1     \\
\midrule
\multicolumn{3}{c}{LLMが発見したマージアルゴリズム（上位3件）} \\
\midrule
1st  & \textbf{76.1}       & \textbf{8.5}   \\
2nd  & \textbf{76.1}       & 8.4   \\
3rd  & \textbf{76.0}       & 8.4  \\
\bottomrule
\end{tabular}
\end{center}
\hangcaption{GSM8kとMATHタスクにおける各手法の性能評価結果 (Ishibashi et al. 2024)．Self-Improvingで発見されたアルゴリズムは既存のマージアルゴリズムを上回る性能を示している．これらの結果は，LLMが人間が設計した手法を超える効果的な改善アルゴリズムを発見できることを実証している．}
\label{tab:main_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia38f02.eps}
\end{center}
\hangcaption{数学（GSM8kおよびMATH）タスクの開発セットに対して，生成されたアルゴリズムを適用したLLMの精度の分布 (Ishibashi et al. 2024)．初期の反復では低性能なアルゴリズムが多数を占めているが，学習が進むにつれて高性能なアルゴリズムの割合が顕著に増加している．}
\label{fig:combined_mean_scores_with_histogram}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{結果2：反復による品質向上}
アルゴリズム生成モデルを繰り返し訓練することで，生成されるアルゴリズムの品質が大幅に向上することが確認されました．図\ref{fig:combined_mean_scores_with_histogram}は各反復において生成されたアルゴリズムを初期モデルに適用した際の精度をヒストグラムにしています．これを見ると，良いアルゴリズムや悪いアルゴリズムが反復ごとに増えたか・減ったかがわかります．図を見るとわかる通り，初期には性能の低いアルゴリズムが多く生成されていたにもかかわらず，反復を重ねるごとにLLMの性能が向上し（つまり良いアルゴリズムが発見），さらには高性能なアルゴリズムの生成割合が増加しました．第3反復では，最も高精度なアルゴリズムが出現しており，これはアルゴリズム生成モデルの訓練が性能向上に実質的な寄与をもたらしていることを示しています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{主要な発見3：発見されたアルゴリズムの多様性}
LLMは人間では思いつかないような多様なアルゴリズムを発見しました．例えば，過去に学習した良かったアルゴリズム同士を組み合わせたような方法や，タスクベクトル間の類似度を考慮したコサイン類似度ベースの方法，タスクベクトルのノルムの大きさに応じてマージする方法などです．詳細は論文 \cite{ishibashi2024large}に書いていますので参照ください．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{終わりに}

NAACL2025はアメリカ・ニューメキシコ州アルバカーキ\footnote{アメリカでワースト 3 位に入るほど治安が悪いらしく，観光はほとんどしませんでした．}では自己改善の研究はあまりみかけませんでした．今後は増えていくものと思われます．


今回私達が提案したSelf-Improvingは，これまで研究者が行ってきたLLMの開発そのものを自動化する重要な一歩だと考えています．この研究の意義は単にモデルの性能向上にとどまりません．人間の想像力や知識の制約を超えて，LLM自身が新しい改善方法を発見できることを示したことで，次のAI研究開発の方向性を示唆しています．

このような研究の自動化は既に現実のものとなりつつあります．コーディング分野では，Claude CodeやOpenHandsなどの登場により，プログラミング作業の自動化が実現されています．今後はこの流れがさらに加速し，研究の自動化がどんどん進んでいくでしょう．AlphaGoの「Move 37」のように，人間では思いつかない革新的な技術をLLM自身が生み出す未来は，もはや遠くないかもしれません．

では研究の自動化が進む中で，研究者という職業は消えるでしょうか．研究者は研究以外に自動化が難しい業務が多くありますし，影響が少ない分野も多いです．他の様々な理由から筆者はしばらくは変わらないと思います．しかし一方で，筆者の個人的な考えですが，人間よりもAIが優れた研究をする未来は，おそらくほとんどの人が想像するよりも近い将来起きると思います．そうなったとき，研究者の業務には様々な変化が訪れることが予想されます．AIを監督するよりメタな仕事に就くことや，AIで自動化しにくい分野（ライフサイエンスなど）に研究対象が移っていくこと，AIを共同研究者のようにして共同で研究を進めることなど，多様な働き方が生まれるかもしれません．いずれにせよ，研究を人間が行う意義を見つめ直すことになるのだろうと思います．
そのような未来を見据えながらも，今後もLLMの自己改善の研究に挑戦し，研究開発の自動化という目標に向けて取り組んでいきます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本稿執筆の機会をくださった編集委員の皆様，共著者の矢野太郎氏と小山田昌史氏に感謝します．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{38refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石橋　陽一}{%
2018年 京都産業大学コンピュータ理工学部卒業．
2020年 奈良先端科学技術大学院大学 先端科学技術研究科 博士前期課程修了．
2023年 奈良先端科学技術大学院大学 先端科学技術研究科 博士後期課程修了．博士（工学）．
京都大学大学院情報学研究科 特定研究員を経て，
2024年 日本電気株式会社 (NEC) 入社．
ACL，言語処理学会 各会員．
}


\end{biography}






\end{document}



