\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{amsfonts}
\usepackage{bm}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{3}
\Month{September}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{918}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{実験を通して既存手法を整理する\\―系列変換タスクにおける摂動の効率の調査―}
\jauthor{高瀬　　翔\affiref{Author_1}}
\etitle{Exploring Advantages of Existing Methods through Various Experiments---The Quest of Efficient Perturbations on Sequence-to-Sequence Problems---}
\eauthor{Sho Takase\affiref{Author_1}} 

\headauthor{高瀬}
\headtitle{実験を通して既存手法を整理する}

\affilabel{Author_1}{東京工業大学}{Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

本稿では，NAACL2021に採択された論文``Rethinking Perturbations in Encoder-Decoders for Fast Training'' \cite{takase-kiyono-2021-rethinking}について，この研究がどのように始まり，論文化にたどりついたかを紹介したい．
振り返ってみれば，学習時間に対する効率に着目した論文であり，筆者が最近特に興味を持っている，パラメータ数や計算時間の効率化に関する研究 \cite{NEURIPS2020_275d7fb2,DBLP:journals/corr/abs-2104-06022}の一端となったが，最初からその目的地が見えていた訳ではなく，そこに至るまでの顛末を述べる．
論文の概要についても\ref{sec:overview}節でふれるが，主としては論文の成り立ちと採択までの経緯について述べるので，研究内容を詳しく知りたい方は，上記論文か，筆者による紹介動画\footnote{\url{https://www.youtube.com/watch?v=jleVcNSKylw}}，あるいは発表スライド\footnote{\url{https://www.slideshare.net/shotakase33/rethinking-perturbations-in-encoderdecoders-for-fast-training}}をご覧いただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究概要}
\label{sec:overview}

ニューラルネットワークを用いて入力文をベクトル表現にエンコードし，それに対応する文をデコードする，系列変換モデルは，機械翻訳や要約タスクにおいて，目覚ましい性能を達成している \cite{NIPS2017_3f5ee243}．
頑健な系列変換モデル構築のために，入力に対して摂動と呼ばれる微小な変化を加える手法が提案されている \cite{NIPS2015_5956,zhang-etal-2019-bridging,sato-etal-2019-effective}．
例えば，\citeA{NIPS2015_5956}はデコーダの出力確率分布を元にトークンをサンプリングし，これを摂動としてデコーダの入力に用いる，スケジュールドサンプリングという手法を提案した．
スケジュールドサンプリングは，これを発展させた論文 \cite{zhang-etal-2019-bridging}がACL 2019においてベストペーパーを獲得するなど\footnote{\url{https://acl2019.org/EN/winners-of-acl-2019-best-paper-awards.xhtml.html}}，強い注目を受けている．
また，モデルの出力を悪化させる敵対的摂動も盛んに研究されている \cite{sato-etal-2019-effective}．

これらの研究で提案された手法は，頑健なモデル構築を可能にすると謳われる一方，学習に多大な時間を要する．
例えば，敵対的摂動は勾配を元に計算するため，誤差逆伝播を行う必要があり，摂動を用いない系列変換モデルに対し，学習に2倍以上の時間がかかる．
このような状況を受け，我々は，これらの摂動が要する学習時間に見合う性能向上があるのだろうか，という疑問を持った．
これを調査するため，語彙の一様分布を元にした単語置換や，単語ドロップアウト \cite{NIPS2016_6241}のような，計算量の少ない摂動手法を含め，様々なタスクで比較実験を行った．
結果としては，計算量の少ない摂動手法でも敵対的摂動やスケジュールドサンプリングと同等以上の性能を達成可能であることが明らかとなった．
すなわち，頑健な系列変換モデルを構築する際に，計算量の少ない摂動が学習時間に対し効率の良い手法である，と言える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{断念した研究}

我々の研究は，系列変換モデルにおいて，入力にノイズを混入し，モデルの頑健性を高める手法に着目している．
しかしながら当初は，系列変換モデルの出力側に着目し研究を進めていた．
具体的には，正例と負例とのマージン最大化を行うニューラル言語モデル \cite{huang-etal-2018-large}の発展として，正解系列とモデルの出力しうる誤り系列とのマージンを最大化する系列変換モデルの構築を試みていた．

ニューラル言語モデルの学習では，文書中の単語列の出現確率，すなわち，各単語の同時確率を最大化する．
この同時確率は，ある文脈に対して，直後に出現する単語の条件付き確率を計算し，文書全体でこの条件付き確率の積を計算することで得る．
より具体的には，単語列$w_1, ..., w_t, ..., w_T$について，下記の式を計算する．
\begin{equation}
  p(w_{1:T}) = p(w_1)\prod_{t=1}^{T-1} p(w_{t+1} | w_{1:t}). \label{eq:def_lm}
\end{equation}

ニューラル言語モデルは上記の式によって，与えられた文の尤度を計算できる．
このため，機械翻訳や自動音声認識において，回答候補の中から確からしい文を選択する際に使用される場合がある．
しかしながら，上記の式を最大化するよう学習を行ったモデルは，ある文が別の文と比べて，より正解に近いかどうかを学習している訳ではないため，このような回答候補の中から確からしい文を選択する際には性能が奮わないこともある．
このような状況を受けて，\citeA{huang-etal-2018-large}は，正解の文と，回答候補に含まれうる誤り文との，マージンを最大化するような学習を行うニューラル言語モデルを提案した．


系列変換モデルは，式(\ref{eq:def_lm})の条件部分に入力文を挿入し，出力文の各単語に対する条件付き確率の積を計算する．
すなわち，系列変換モデルは入力文を条件とした条件付きのニューラル言語モデルとみなすことができる．
このため，\citeA{huang-etal-2018-large}の提案したマージン最大化を行うニューラル言語モデルは系列変換モデルへと素朴に拡張可能である．


ここで問題となるのが負例である．
\citeA{huang-etal-2018-large}は負例として翻訳器の出力を用いていたが，学習時の各事例に対し系列変換モデルで最尤の出力を毎回探索していては，膨大な時間を必要としてしまう．
そこで我々は，学習済みの系列変換モデルを用い，サンプリングなどを通じて様々な系列を事前に用意し，これを負例として用いた．
実験を開始して早々に，要約タスクにおいて性能向上が見られたが，翻訳タスクでの実験や，訓練データの規模を変えての実験など，様々な条件での振る舞いを調査した結果，誤差の範囲に収まる程度の変化であると結論するに至り，この方向性は断念することとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{方針転換}

マージン最大化を行うモデルの実験をしている最中に，ふと，入力側にノイズを入れる手法が気になった．
系列変換モデルでは，スケジュールドサンプリング \cite{NIPS2015_5956}や敵対的摂動 \cite{sato-etal-2019-effective}が効果的な手法として知られている．
一方で，これらの手法を，入力にノイズを組み込む手法と捉えれば，言語モデルで広く利用されている単語ドロップアウト \cite{NIPS2016_6241,takase-etal-2018-direct}や，一様分布・類似度を元にした単語の置換などは，実装も簡単で，素朴なベースラインと考えられるにも関わらず，系列変換モデルの論文で言及されることがほとんどないように思える\footnote{論文を書くにあたって調査したところ，\citeA{NIPS2015_5956}は実験において比較手法として，一様分布からのサンプリングを行い単語置換を行う手法と比較しているが，以降の，系列変換モデルに対するスケジュールドサンプリングや敵対的摂動の論文では言及が見られなかった．}．
取るに足らない性能向上なので無視されているのだろうか，それとも，言及がないまま忘れ去られたのだろうか．
もし後者であれば，単語ドロップアウトや単語置換は計算量が少なく，訓練データが大規模の場合などに利点があるかもしれない．
このように考え，これらの手法を系列変換モデルに組み込み，広く利用されている，WMTの英-独データセットで実験を行った．
得られた結果から，単語ドロップアウトや単語置換はどうやら性能を向上させるようである，ということが分かったため，敵対的摂動や，スケジュールドサンプリングと，様々なタスク，様々な実験設定で比較を行い，論文としてまとめるに至った．

なお，論文の共著者である清野舜氏は国際的な機械翻訳のコンペティションであるWMTにおいて，2020年に1位に輝いたチームの一員であり \cite{kiyono-etal-2020-tohoku}，文法誤り訂正でも極めて良いスコアを達成している \cite{kiyono:2020:ieee}．
また，筆者も生成型要約タスクでトップスコアを達成している \cite{NEURIPS2020_275d7fb2}．
これらの知見を活かして比較実験を行っており，実際的な実験設定で得られた知見がまとめられた論文になっていると自負している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{荒れる査読}

さて，この論文をNAACLに投稿したところ，査読者の評価が割れた．
自然言語処理分野のトップ会議では，各論文に査読者が3人割り当てられ，5点を満点として評点する．
査読者が採択すべきと推薦する，すなわち，4以上の値を付与する査読者が多くない場合には採択が難しい状況となるが\footnote{例えば2019年のEMNLPでは査読者の評点の平均値が3.5の論文でも，半数以上が不採択となっている．}，本論文の評点は，2，3，4という芳しくない状況であった\footnote{4をつけて推薦している査読者がいることから，査読者間で議論が行われることは期待されたので，全査読者が3をつけているよりは大いに良かったが，平均値が3なので，不採択となるのが順当な判定である．}．


査読内容をよく見てみると，評点3の査読者は，論文の結論部分をほとんどそのまま写して査読としており，これは倫理違反であろう\footnote{論文中の当該部分と査読について，文字ベースのBLEUスコアを計算したところ，89.0という値が出た．論文をそのまま抜き出していることは定量的指標からも明らかであろうということで，プログラム委員に違反報告を行ったが，追加の査読者が割り当てられることもなく，査読内容が変わることもなかった．}．
残る2人については，新規手法がなく，実験結果も自明であるとして2をつけている査読者と，論文から得られる知見はコミュニティの助けになるとして4をつけている査読者であった．


査読に対するレスポンス\footnote{査読者の誤解や疑問に応えるために，査読に返信が可能となっている．新規の結果を提示したり，査読者の判断に疑義を唱えてはならないとなっているが，実際のところ，そのようなレスポンスもよく見る．}では，新規手法の提案が目的ではなく，学習時間に対する効率という従来軽視されていた点に着目し，実験を通して新たな知見を得ることが目的である旨を，論文の当該記述を参照しつつ回答した．
このレスポンス後に，評点2をつけた査読者は査読を書き換えており，摂動の学習時間効率に着目して議論を行った論文はないことを認めつつ，それでも著者には同意しかねる，とにかく新規性はないと結論していた\footnote{この査読者が，という訳ではないが，数年間査読を行ってきた経験からすると，著者が真摯に疑問に回答し，誤解を解こうと尽力していて，かつ，他の査読者からも誤解を諌められている場合でも，最初に下した結論に固執する査読者がしばしば見られる．}．
このように逆風が吹いている状況で採択されたことは，大変ありがたく，論文の知見を評価し，新規手法がないことは問題とは思えないと提言してくださった査読者，内容を評価し，十分真摯にレスポンスした点を評価してくださったメタ査読者，および，プログラム委員には感謝しかない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究における「新規性」とは？}

本論文は，既存の研究で提案されていた手法を，学習時間の効率に関する比較を通じて整理した論文であり，何かしら新規の手法を提案した論文ではない．
少なくとも近年では，このような，従来手法の性質や効果を，実験を通して整理する論文は少なくない．
例えば言語モデルでは，Transformer \cite{NIPS2017_3f5ee243}が主流になる以前は新規のネットワーク構造を提案する論文が多かったが，\citeA{DBLP:journals/corr/MelisDB17}が適切なハイパーパラメータを使用すれば，単純なLSTM言語モデルでも極めて良いスコアを達成可能と示した．
機械翻訳においても，従来手法を適切に使用し，適切なハイパーパラメータを設定する重要性を，\citeA{denkowski-neubig-2017-stronger}や\citeA{sennrich-zhang-2019-revisiting}が実験を通して示している．
このような従来手法の整理は，コミュニティが健全に発展し，いわゆる研究のための研究に陥らないために肝要であると筆者は考えている．
研究における要件としての「新規性」とは新たに（非自明な）知見を得ることであり，新規手法の提案は何かしらの目的を達成するための手段に過ぎない．
新規手法の提案にのみ拘泥し，本来の目的を見失うことのないようと自戒を込めて記し，筆を置きたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本稿の執筆にあたり，本稿で取り上げたNAACL2021採択論文の共著者である，清野舜さんに有益な助言をいただきました．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{28refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{高瀬　　翔}{%
2012年東北大学工学部卒業．
2014年東北大学大学院情報科学研究科博士前期課程修了．
2017年東北大学大学院情報科学研究科博士後期課程修了．
2020年4月より東京工業大学助教．
博士（情報科学）．
言語処理学会，ACL各会員．
}

\end{biography}



%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}

