\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{amsfonts}
%%%%\usepackage{bm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{3}
\Month{September}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1010}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{言語処理学会第 28 回年次大会ワークショップ \\「NLP における再現性」開催報告}
\jauthor{高瀬　　翔\affiref{Author_1}}
\etitle{Report on the 16th Symposiums of Young Researcher Association for NLP Studies}
\eauthor{Sho Takase\affiref{Author_1}} 

\headauthor{高瀬}
\headtitle{言語処理学会第28回年次大会ワークショップ「NLPにおける再現性」開催報告}

\affilabel{Author_1}{東京工業大学}{Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

本稿では2022年3月18日に言語処理学会第28回年次大会の併設ワークショップとして開催されました「NLPにおける再現性」について，オーガナイザの一人である高瀬が記します．
本記事ではワークショップの成り立ちや問題意識と当日の各セクションの概要を記そうと思います．
各発表の資料はワークショップのホームページ\footnote{\url{https://sites.google.com/view/reproducible-nlp-ws}}にまとめてありますので，個別の発表を詳しく知りたい場合はそちらを参照いただければ幸いです．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ワークショップの成り立ち}

ワークショップは雑談に端を発することが多いと聞いたことがある．
本ワークショップも最先端NLP勉強会\footnote{毎年8月から9月の間に開催されている，ACLやEMNLPなど自然言語処理分野やその周辺のトップ国際会議に採択された論文を紹介しあう勉強会．かつて東大に存在した辻井研内で開催されていた勉強会が起源であると聞いている．各年での発表論文やスライドについては次のホームページを参照されたい．\url{https://sites.google.com/view/snlp-jp/}}という集まりにおける，雑談用のSlackチャンネルへの投稿がきっかけとなっている．
本ワークショップの代表者である賀沢さんが「再現性」をテーマにしたワークショップがあったら面白いかどうか，また，ワークショップのオーガナイザとして協力が可能であるならば知らせて欲しい旨の投稿をしていた．
最先端NLP勉強会参加者のうち，自分を含めてこれに反応した3名がワークショップのオーガナイザとして加わり，言語処理学会年次大会の併設ワークショップとして企画を練っていくこととなった．


ワークショップ開催のきっかけとなる出来事が明確にあったわけではないが，ACL 2021に採択され，2021年の最先端NLP勉強会でも紹介された，機械翻訳における実験結果の再現に必要な情報や評価手法，論文間のスコアの比較について議論した論文\cite{marie-etal-2021-scientific}が理由の一つであることは確かであろう．
また，研究コミュニティ内での再現性への意識の高まりを感じていたことも要因となっている．
自分としては，ニューラルモデルという，モデルの初期値や学習過程にランダムネスが密接に関わり，同一のモデル・同一の訓練データを使ったとしても完全に同一の学習結果を得ることが難しい手法\cite{pmlr-v97-bouthillier19a}が自然言語処理分野においても主流になってきており，コミュニティとして，再現性とは何か，得られた実験結果とどう向き合うのかの議論が必要であるという意識があり，ワークショップのオーガナイザとして加わることとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ワークショップ当日の様子}

本ワークショップは発表を広く募ると共に，ACLでの実験や論文に関するワーキンググループに参加している方や，国際的なコンペティションに参加し，実験を再現することの難しさを肌で感じている方などに講演を行っていただいた．
本節ではそれぞれのセクションでの発表を概観する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{学会から見た再現性}

近年，実験をどのように設計し報告するか，再現に必要な事項は何かについての議論が活発に行われている\cite{dodge-etal-2019-show,rogers-etal-2021-just-think}．
これをふまえ，様々な学会において，論文で説明すべき事項を投稿時のチェックリストとして提示するようになってきた\footnote{例えばACL Rolling Reviewでは\url{https://aclrollingreview.org/responsibleNLPresearch/}．}．
本セクションではこれに関して，ACL Efficient NLP WGの取り組みとチェックリストで求められている事項に関する講演・議論が行われた．

ニューラルネットを用いたモデルの性能は学習に用いるデータやモデルを構成するパラメータの量に対数比例することが知られており \cite{gordon-etal-2021-data,NEURIPS2020_1457c0d6}，性能向上のために，BERTやGPTのような事前学習モデル \cite{devlin-etal-2019-bert,NEURIPS2020_1457c0d6}のパラメータ数は増加の一途をたどっている．
例えば，BERTの論文がarXivに発表されて以来，約1年半で事前学習モデルのパラメータ数は1000倍以上になっている．
パラメータ数やデータ数の増加は実験に必要な計算コストの増加を意味し，巨大な事前学習モデルの再現や網羅的な実験が難しくなってきている．

一方で，実験は論文の主張が誤りでないかを示せばよく，網羅的な実験は必ずしも必要ではない．
また，各論文で発表されているモデルもすべてを再現する必要はなく，著者が既に学習済みのモデルを所持しているのであれば，それを使えば良い場面も多い．
このような状況を受け，1. 論文内に主張を明確に記し，それは実験と対応しているかを確認すること，2. 再現実験を容易にするため，コードの公開やモデルの公開をコミュニティで評価するようにすること，3. 機械翻訳，統語構造解析のようなエリアと並列に，ACLのような国際会議において計算効率に関するエリアを設けること，の3つがACL Efficient NLP WGからの提言とのことであった．
各会議の投稿時のチェックリストはこれを反映したような内容となっており，論文の貢献点が明確に記述されているか，研究が前提としている仮設や適応可能な状況を示しているか，実験に用いたコードやハイパーパラメータ，データの詳細は記述したかが問われている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{再現性を保証するには？}

研究における知見を明確化し，再現するためには実験の設計を熟考し，実験結果の信頼性を高める必要がある．
これを目的とし，統計的仮説検定や認知・脳科学における実験設計の知見について講演が行われた．

本稿で既に再現という言葉を何度も使っているが，これが指す幅は広い．
例えば，同一のモデル・同一の訓練データを用いた場合に学習後のモデルが同一の値を出力できるかどうかという観点での再現や，出力の値は学習時の乱数シードなどで変化したとしても，ある特定のデータセットや状況においては，あるモデルは別のモデルよりも性能が良いというような，モデル間の相対的な性能差が成り立つかどうかという観点での再現がある．
後者を知見の再現と呼ぶ論文もある\cite{pmlr-v97-bouthillier19a}．
統計的仮説検定やより良い実験設計は，この後者の，知見の再現についてどのように信頼性を高めるかというものである，というのが筆者の認識である．
タスクやデータセットの性質に応じた検定手法や，パラメータ数を揃えた上での比較実験などはコミュニティ全体で意識するべき事項である．
しかしながら，自分の印象としては，検定手法を明らかにせずに有意であると報告している論文やパラメータ数，学習時間などに差があるにも関わらず不問にしている論文は多く，改善が必要であると強く感じている．
なお，統計的仮説検定については文脈解析―述語項構造・照応・談話構造の解析― \cite{sigtest}に詳しく書かれており，そちらも参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{現場から見た再現性}

最先端の研究に従事し，日々モデルの改良，実験に勤しむ方やそのような実験を支えるツールの開発に携わっている方，世界中から参加者を募る大規模コンペの設計，標準的なデータセットの作成に尽力した方々から実際に再現性をどのように意識しているか，またその難しさについての講演が行われた．


実験の再現性を担保することは肝要であるが，ニューラルネットは学習にランダムネスが密接に関わるため再現が難しいという話に加え，データ作成や評価においても再現の難しさがある．
例えばクローリングでウェブページを収集してデータセットを構築した場合，数年後も同一のウェブページが得られる保証はない．
また，BLEUやROUGEのような自動評価に加え，人手評価が求められる場面も多いが，どのような人が評価するかによって結果が変動してしまう．
任意のタスクやデータセット構築において，これをしておけば結果（あるいは知見）が常に完全に再現できるという仕様の策定は難しく，そのような中でどのように再現，あるいは知見の信頼性を高めるかが重要であると感じた．

また，本セクションでは事前に参加者から回答を募ったアンケート結果も開示された．
回答の中では実験の実装が公開されておらず再実験が難しい，仮に実装が公開されていてもライブラリの不整合やバグが混入していたという声が多く，実装の公開と（最低限の）ドキュメントの整理をコミュニティで奨励する仕組みが必要そうである\footnote{実験の再現性を高めるために実装の公開が重要であることは間違いないが，個人的な意見として，現状では実装を公開する際の短所を上回る程の利点があるとは断言しづらい．コード・ドキュメントの整理に時間を要することは言うまでもないが，ドキュメントを読みもせずに動かなかったというだけのissueが定期的にgithubに立てられ，返答をしたとしても応答がなく，解決したかは不明というような状況に何度も遭遇した場合，それでも実装を公開し続ける利点があると言えるだろうか．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本ワークショップを企画し，講演者や参加者との議論の中で，再現という言葉が指す現象には様々あることが改めて分かった．
自分自身の信条としては，論文で報告されている知見が再現可能かどうか，例えば，あるモデルが別のモデルよりも優れているという主張がある場合にはそれが乱数シードや実装に依存せず成立していることが重要であると考えている．
この再現性は論文の主張に対する信頼性と密接に関わっていると考えており，ACL Efficient NLP WGのように，再現性の担保（あるいは担保していると信頼できる情報の整理）をしようとする動きがあることはコミュニティの健全な発展のために明るい話題であると感じている．
本ワークショップおよび本稿が信頼性の高い論文を書く，あるいは読者として論文の信頼性を見抜く一助になれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本ワークショップの運営にご尽力くださった賀沢秀人氏，清野舜氏，伊藤拓海氏に感謝いたします．
また，ワークショップにてご講演いただいた講演者のみなさま，参加者のみなさまにも改めて感謝申し上げます．
本稿の執筆にあたり，清野舜氏，伊藤拓海氏，鈴木潤氏に有益な助言をいただきました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{25refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{高瀬　　翔}{%
2012年東北大学工学部卒業．
2014年東北大学大学院情報科学研究科博士前期課程修了．
2017年東北大学大学院情報科学研究科博士後期課程修了．
2020年4月より東京工業大学助教．
博士（情報科学）．
言語処理学会，ACL各会員．
}

\end{biography}



\end{document}



