\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks



\Volume{32}
\Number{1}
\Month{March}
\Year{2025}

%%%%\received{2005}{1}{2}
%%%%\revised{2006}{3}{4}
%%%%\rerevised{2006}{5}{6}
%%%%\accepted{2006}{7}{8}

\setcounter{page}{1}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
%%%%\maketitle

\begin{center}
\large{実験の評価と再現性}
\end{center}
\vspace{1\baselineskip}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで敢えて述べるまでもなく，自然言語処理を含む人工知能関連の研究分野において，機械学習による方法を用いるとなれば，ニューラルネットワークに基づく手法を採用するのが当たり前の時代となり，ニューラルネットワーク以外の機械学習手法を用いる研究は隅に追いやられる勢いである．特に，言語モデルが自然言語処理の中心的な存在となり，それらのモデルは大規模なニューラルネットワークによって構成されるため，自然言語処理の研究を行う際には，ニューラルネットワークを必ず使用するという状況になっているとも言える．

筆者が本格的に自然言語処理分野で研究を始めたのは2001年（約24年前）だが，当時のニューラルネットワークは機械学習法の選択肢として，様々な観点からその価値が疑問視されていた存在だった．当時はニューラルネットワークを高速に演算できるGPGPUのような計算装置を利用できる状況になく，また，学習に使えるデータ量も限られていたことから，その能力を発揮できていなかったことは広く認知されている．しかし，ニューラルネットワークが敬遠されていたのは，性能や計算コストといった観点だけではなく，初期値や学習アルゴリズムに依存して実験結果が大きく変わってしまうという性質も，その大きな要因の一つであったと考えられる．これは，2000年代に自然言語処理分野でよく用いられていた Support Vector Machine (SVM) や条件付き確率場といった線形モデルに基づく機械学習法では，学習の目的関数が凸関数であり，たとえ初期値が違っていても，場合によっては学習に用いるツールや実装を変えたとしても，計算誤差の要因を除くとほぼ等価な結果が得られるなど，実験結果の再現性が非常に優れていたことと対照的である．そのため，ニューラルネットワークに基づく手法は，実験結果の再現性の観点で明らかに劣っていると研究者の間で強く意識されていたことに起因する．

当時，線形モデルに基づく機械学習法を用いた論文では，論文に記載されている設定を用いれば，誰がいつ実行しても同じ結果を容易に得ることができた．つまり，当時は著者のコードなどがなくても，論文に記載されている実験の追試が比較的容易であり，万が一論文の結果に誤記などの誤りがあった場合でも，世界中の誰もが検証し，誤りを指摘できるという点で，科学論文として非常に優れた状態にあったと言える．しかし，ニューラルネットワークによる驚異的な性能が示された後は，実験の再現性をある程度犠牲にしてでも得られる性能を重視するという合理的な選択が，研究分野全体での研究の流れの中でなされ，現在に至っている．例えば現在では，著者が公開しているコードを使用しても，論文に記載されている性能を再現できない場合が散見されるようになっている．これは，必ずしもその論文の著者が悪意をもって再現できないコードを提供しているわけではなく，ライブラリのバージョンや使用するGPUの世代，あるいはGPUの並列処理によって生じる計算順序の違いによる誤差などが原因で，意図せず発生してしまうことも多い．普段はあまり意識されないことではあるが，第三者によって論文の実験結果やそこから導出される結論が検証できることが求められる科学論文の観点からすると，非常に厳しい状況に陥っているとも捉えることができる．

ここで一つ付け加えたいこととして，筆者が特に感じている懸念は，再現できないことそのものではなく，このように再現性を担保しにくい状況になったことによって，各論文の著者が「どうせ再現性は担保できず，他者が厳密に検証できない状況なのだから，論文に記載する実験の再現性を考えても無駄だ」といった考えを抱いてしまう可能性である．実際に，筆者はニューラルネットワーク全盛の時代になって以降，何度か初期値に依存しない学習法を考案し，論文を投稿してきた．その中で，一部の査読者から「なぜ再現性を担保することが必要なのか？」と問われ，実験の再現性の重要さが理解されていないことに驚きと悲しみを感じたことがあった．正直なところ，現在のニューラルネットワークに基づく手法では，人手でチューニングできるハイパーパラメータの数が多いため，自分たちに都合の良い結果を作り出すことが比較的容易にできてしまう場合が多い．また，そのような場合でも，公平な実験結果であるかどうかや，結論の正当性を判断できないことも多々ある．極論すると、言ったもの勝ちの世界になっているところもある．

このように，自然言語処理の研究では，以前よりも論文内の実験結果の再現や検証が相対的に困難な状況になってしまっている．しかし，再現性を担保するための意識や努力は，今後も継続していかなければならないと考えている．また，このような状況だからこそ，不当に提案手法などに有利な設定になっていないことを担保した上で実験を実施し，実験結果やその設定を正しく報告し，研究の限界 (Limitation) を明確に記述するといった，各研究者の倫理感が，これまで以上に強く求められる時代になっているのかもしれない．今後は，自然言語処理技術の進展による性能向上や機能拡張だけでなく，第三者が正しく検証できる環境を確保するための研究も進み，自然言語処理分野の論文が信頼性の観点からも科学論文としての価値を高められることを願っている．


\bigskip
\begin{flushright}
鈴木　潤（東北大学）
\end{flushright}


\end{document}





