\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{framed}
%%%%\usepackage{fancybox}
%%%%\usepackage{wrapfig}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{699}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「訓練事例の影響の軽量な推定」の執筆}
\jauthor{小林　颯介\affiref{Author_1}\affiref{Author_2}}
\etitle{Writing of ``Efficient Estimation of Influence of a Training Instance''}
\eauthor{Sosuke Kobayashi\affiref{Author_1}\affiref{Author_2}}

\headauthor{小林}
\headtitle{「訓練事例の影響の軽量な推定」の執筆}

\affilabel{Author_1}{株式会社Preferred Networks}{Preferred Networks, Inc.}
\affilabel{Author_2}{東北大学}{Tohoku University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では言語処理学会論文賞をいただいた「訓練事例の影響の軽量な推定」の論文の内容を簡潔に紹介し，そのあとに本企画本旨である論文の着想や採択の経緯について述べる．
原論文は筆者が社会人博士課程の中で執筆した論文であり，似た立場の読者の参考になれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}

ニューラルネットワークはその挙動や仕組みがさっぱり分からないブラックボックス性で悪名高い．
訓練データに応じて性質が変わるが，どういうデータでどう変わるのかもやはり非自明である．
そこをなんとかこじ開けて理解する手段を与えるのが原論文である．
具体的には「もしもある1つの訓練データを除いて訓練していたとしたら，モデルの予測はどう変わっていたか」なる反実仮想的な推定に取り組んでいる．
ナイーブにこの分析を行うとすると，訓練データセット ($D$) からある1つのデータを実際に抜いたデータセット ($D\setminus\{(x,y)\}$) を作成し，それぞれでモデルを訓練して比較する必要がある．
しかし，全データで実施すればモデルの訓練や保存のコストは非現実的なものになってしまう．
そこで本研究では，たった1つのモデルを1つの訓練データセットで1度だけ訓練するだけで全データの分析を行えるような極めて効率的な方法を提案した．
提案法はニューラルネットの訓練中にランダムなパターンで重みパラメータをゼロにする dropout \cite{srivastava2014dropout} を応用した．
ニューラルネットは各訓練事例での推論結果の勾配によって学習を行うが，dropout された重みは勾配もゼロになり，その回では全く更新されない．
提案法では，各訓練事例ごとに固定パターンの dropout で訓練を行う．
すると，無視された側のパラメータはその訓練事例を直接見ないままに訓練を終えることになる．
この「見ない」サブネットワークは一度の訓練で全事例について用意できる．
よって，事例ごとの「見た」サブネットと「見ない」サブネットの予測を比較することで解析を全事例に行うことができる．
詳細は原論文や関連英語論文 \cite{kobayashi2020efficient}を参照してほしい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia23f1.pdf}
\end{center}
\caption{提案手法．各事例に更新されるサブネット $f^{\boldsymbol{m}(z)}$ と更新されないサブネット $f^{\widetilde{\boldsymbol{m}}(z)}$ を生成する．}
\label{fig:dropout_fig_more}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想から採択まで}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{定義文による汎用言語理解}

博士後期課程は2018年10月から始まり，はじめは大きく異なるテーマに取り組んでいた．
当時のSlack\footnote{チャットツール．東北大学の乾研究室では情報交換やコミュニケーションのために頻繁に使われている．}にも懐かしい記述が見つかる．
例えば，当時はそのテーマの言語化として
\begin{quote}
 目標: ある言語表現をうけとり，それが内包的に指し示す言語表現群を識別する分類器
 \noindent

 例: 「何かを命令している文」という文をうけとり，「これやって！」などの文やフレーズに対して発火できる高性能な分類器を自動生成する
\end{quote}
とまとめていた．
ある説明文が指し示す「文集合」を理解させたいということであり，平たく言えば，タスクの定義文さえ与えたら新規の訓練いらずでそれが解ける汎用的なゼロショット言語理解モデルを目指していた．
もしあったら自分でも嬉しくて\footnote{例えば，当時会社の業務において研究開発していた『誰でも使えるロボット』 \cite{hatori*2018interactively} (\url{https://projects.preferred.jp/tidying-up-robot/}) の言語インターフェース構築の苦労も動機付けになった．}世界も変わりうるだろう\footnote{なお，当時のSlackのチャンネル名は \#g\_change\_the\_world であった（g\_ は研究グループ (group) のチャンネルであることを表す接頭辞）．}と考え，実利とロマンの第一歩を踏み出した．
さて，実現しようと幾つかのアプローチ\footnote{例えば，テキスト自体をメタ的に叙述するようなテキストの埋め込み方法を学習するために，辞書定義文やツイートタグやその他様々な教師あり文分類データセットを使うなどした．}を試みていったものの，結果は芳しくなかった．
多少は楽しめる結果であり，そのままやれば論文の及第点に届く気もした．
されど，当初描いた「あらゆるタスクが解ける」からは程遠く，技術的には手法も凡庸で面白みに欠けていた．
さらに悪いことに，思いついた中でも最も有望だったアプローチこそが同時に最も凡庸で面白くないと感じていた．
この板挟みにやる気をなくし，ついにはこのテーマをやめてしまった．
その最も有望で最も面白くないアプローチこそ，今では王道の「大量のコーパスで言語モデルをひたすら訓練する」ことであった．
「あらゆるタスクが解ける」という夢もまたGPT-2, 3を皮切りにして今も急速に発展している．
当時は最適なアプローチだとは確信しつつも，
\pagebreak
これほどの道がすぐそこに広がっていると想像できていなかった．
その姿をわくわくと期待できていたら，退屈もなしに進めていけたかもしれない．
実現性を信じる気持ちも想像力同様に重要なのだと今では実感している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{研究の研究}

1つ断念したあとは長く次が決まらなかった．
教師なしで文の抽象化と具体化を行える生成モデルだの，言語モデルの確率分布の非人間的な挙動だの\footnote{例えば，「全然関係ないcontextだとしても，それが足されると予測が異様に鋭くなる」や「言語モデルの確率分布がZipf則を満たさない」といった当時の記述がある．}，あれこれに面白いとは感じつつも大きく踏み出すことはなかった\footnote{この頃のチャンネル名は強いときめきを求めて \#g\_spark\_joy であった．}．
あてなく興味を持った言語系の本を読んだり，なにを研究すべきかの内省のために研究にまつわる本を読んだりもした．
内容への賛否に関わらず，自分の外の意見との対話を通して物事を考えるというのは，一人で思い悩むよりもずっと健全で優良な結果につながると思われる．
なお，「研究」本としては\cite{kanade2012,maruyama2019,rekimoto2021}などがおすすめである．
「言語」本では\cite{mentalja2017}が面白かった．
この頃は苦悩の時間ではあるものの，悩みと探索の過程もまた研究の醍醐味と考えて穏やかに受け入れて過ごした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{文の総称性}

さて，時は過ぎて2019年5月末，言語モデルの学習に総称性 (genericity) の概念を導入する，という新たなアイデアに思い至った．
言語モデルはコーパス上の各単語を予測できるよう強制されていく．
各文脈や各単語を平等に刷り込まれていく．
しかし，限られたコーパスから効率的に言語の確率を学習するコツはないだろうか．
例えば，「I eat a pumpkin on Oct.」「We eat a pumpkin on Oct.」「People eat a pumpkin on Oct.」の3文は \{I, We, People\} という主語だけが異なっているが，言語モデルの学習には「I」分に比べて「We」文や「People」文のほうが学習に役に立つ（べきな）のではないか，という仮説である．
コーパスは，言語の文法，単語の意味，世界の知識，そういった複数の情報を折り重ねて表示している．
言語の構成的な仕組みのみならず，その「世界の知識」もまた単語の出現確率に大きな影響を及ぼす要素である．
詠み人知らずの正体不明1インスタンス「I」に関する知識と，人類全体や特定の集団を指示しやすい「We」「People」に関する知識とを比べると，後者の方が未知のテキストでも役に立つ汎用的な知識であるように感じる．
そうして，このような「ある集団や種の一般的な特性や習慣へ言及する文」（総称文）を判定することで，言語モデルをより効率的かつ節度ある形\footnote{この「節度ある」とは，特定の事例への極端な過学習を防ぐことで言語モデルが訓練コーパス中のプライバシー情報（例えば，クレジットカード番号や住所）を暗記してしまう問題も防げるのではないかという期待を表していた．}に学習するというテーマを思いつき，やっとのことで取り組み始めた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{訓練事例の影響の軽量な推定}

再度，言うは易く行うは難し．
やはりどうしたら実現できるかは悩ましい．
meta learning を勉強したり，再び書籍を読んだり，押したり引いたりの模索をしていた．
研究のペースを上げる必要性も感じ始めた．
そこで，余っていた休暇を使って業務の出勤日を減らし，気分転換と集中のために1ヶ月ほど仙台に滞在した\footnote{仙台での滞在では，大浴場・食事・コストパフォーマンスなどからドーミーインが特におすすめである．}．
部屋に籠もりラボに通いカフェで休みの仙台生活を満喫していると，一週間もしないうちに本研究のアイデアにたどり着いた．
毎日朝起きてから寝るまでずっと向き合える余裕のある環境\footnote{\url{http://paulgraham.com/top.html}}が大いに役に立ったといえる．
総称文の表現自体にこだわるとかえって難しそうに感じ，より広い枠組みの問題として考え直し始めた．
一般的な法則性を持たない事例であればあるほど，その事例で学習しないことには予測が難しいはずである．
そして，それが真であれば，ある事例の訓練の有無による予測の変化が捉えられれば，その訓練事例がどれほど一般的な法則性を持つかの判定もできるはずである．
ということで，その予測変化を効率的に捉える方法はないかと考え，ついには思いついた．
ここまでの長話の果てにやっと論文の背中が見えたことになる．
その後，言語モデルに限らない一般的な道具立てとして有効性を示す方向にシフトし，実験を重ねて簡潔な short paper として論文をまとめた．
それを国際会議に投稿していったが，残念ながら ACL でも EMNLP でもボーダーライン近くの点数で落ちてしまった．
査読の内容は満足できる品質ではなく大きく気落ちしたのを覚えている．
査読は打席数が大事といえど，博士課程修了を考えると早めに採択が欲しくなる．
特に論文誌が要件に入っていたこともあり，テンポよくワークショップと本論文誌に投稿する方針へ切り替えた．
計算量やデータの効率性がコンセプトのワークショップ SustaiNLP 2020 に投稿して無事採択された．
驚くべきことに SustaiNLP の査読は本会議よりもはるかに質が高かった\footnote{名のしれた研究者が査読者になりやすいことや査読負荷の軽さが功を奏したのかもしれない．}．
まともな批判が書いてあったことも嬉しく，やっと研究が認められたと感じた．
そして，加筆修正とともに本論文誌に投稿し，照会後判定を経て採択となった．
論文誌における査読も丁寧で，右肩上がりの気持ちいい投稿となり，最終的には賞までいただけることとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

今回は長い旅路の割には業績の生産性がいいわけでもなく，典型的に成功とされるトップ国際会議への採択にも至らなかった．
思いを馳せた汎用的な言語理解や言語モデルや総称性の姿もほぼ消えている．
しかし，それらの迷走なしには本研究にはたどり着けなかっただろう．
紆余曲折の辛酸も今回の受賞で一層薄めることができた．
賞選考ならびに本記事執筆の機会をくださった編集委員の方々に深く感謝する．
本稿執筆に関しても助言をいただいた東北大学の横井祥氏にも感謝する．
その他にも並行していた共著研究 \cite{saito2020train,ouchi2020instance-based,ouchi2021instance-based,takase2020all,kiyono2021shifted,arakawa2021vocabencounter}\footnote{どれも良い論文なのでぜひ読んでみてほしい．}の楽しみも精神的な支えになった．
全共著者にも感謝の意を表する．
最後に，今後も自ら愛せる「もしもこんなことができたなら」の研究を進め，その営み自体の酸いも甘いも楽しんでいきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{23refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{小林　颯介}{%
2016年株式会社 Preferred Networks 入社．2021年東北大学情報科学研究科博士後期課程修了．同年より東北大学データ駆動科学・AI教育研究センター学術研究員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate

\end{document}



