\documentclass[japanese,tombow,other]{jnlp_3.1}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{3}
\Month{September}
\Year{2020}

\setcounter{page}{659}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Instance-Based Learning of Span Representation:\\
	A Case Study through Named Entity Recognition}
\jauthor{大内　啓樹\affiref{Author_1}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Instance-Based Learning of Span Representation: A Case Study through Named Entity Recognition}
\eauthor{Hiroki Ouchi\affiref{Author_1}} 
\headauthor{大内}
\headtitle{Instance-Based Learning of Span Representation}

%%%% 英語所属は出力せず
\affilabel{Author_1}{理化学研究所}{Affiliation-1 (English)}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{論文と時間}

論文には時間の概念が欠けている．
いつ着想を得たのか？
いつモデルを作ったのか？
いつ執筆したのか？
本稿では表題の論文を日常的な時間の中に接地させながら解説することを試みる．
研究の時間的な展開を物語調に書き記した部分もあり，読みにくく感じることもあると思う．
私個人の研究日記くらいの読み物として寛大に受け取ってもらえれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{カフェと着想}

仙台に激しい秋雨が降った日（去年の9月中旬），本研究の中核をなすアイディアが生まれた．
いつものように通勤電車に乗り，キャンパス最寄りの駅に着いたとき，改札口で准教授の鈴木潤さん（第二著者）と偶然出会った．
外は大粒の雨が降っていたのでキャンパスまで歩くことを断念し，雨が弱まるまで近くの駅構内のカフェで待つことにした．
せっかくの機会なので，私の研究について相談した．
スパン型言語モデルを作っている．
構造予測タスクの精度向上をねらっている．
しかしあまり上手くいっていない．
報告を聴き終わると，鈴木さんは言った．

\vspace{0.5\Cvs}
--- 解釈性とかで攻めるのはどうだろう？

\vspace{0.5\Cvs}
\noindent
解釈性と聞いてすぐに浮かんだのはACL2019で見た一枚のポスターだった．
盛況のポスター会場において比較的空いていたため，なんとなく立ち寄って研究内容を拝聴した．
少し変わった角度から研究を行っており，私の拙い質問にも温和にていねいに答えてくれた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{方向性とゴールイメージ}

雨の日に芽吹いた着想を共著者とともにふくらませていき，次のふたつの特徴を備えたモデルの構築を目指すこととなった．
(1) 類似の学習事例にもとづいて予測を行う．
(2) 標準的な分類器ベースのモデルと同等の性能を保つ．

ひとつめの特徴について説明する．
例として固有表現抽出を考える．

\vspace{0.5\Cvs}
\noindent
\hspace{0.8cm} Franz$_1$ \hspace{0.2cm} Kafka$_2$ \hspace{0.2cm} is$_3$ \hspace{0.2cm} a$_4$ \hspace{0.2cm} novelist$_5$

\noindent
\hspace{0.75cm} [\hspace{0.75cm} \texttt{PER} \hspace{0.75cm}] 

\vspace{0.5\Cvs}
\noindent
入力文のFranz Kafkaが「人間 (\texttt{PER})」を表す固有表現であることを学習事例にもとづいて認識する．
たとえばFranz Kafkaをクエリとして学習データを検索し，類似度の高い事例としてHaruki Murakamiが取れたとする．
Haruki Murakamiは「人間」の固有表現であるため，Franz Kafkaも「人間」の固有表現だと予測する．
したがって，「なぜモデルはFranz Kafkaを人間の固有表現だと認識したのか？」という問いに対して，「モデルはFranz Kafkaと学習事例Haruki Murakamiが似ていると判断し，Haruki Murakamiが人間であるからFranz Kafkaも人間であると認識した」という説明ができる．
これは事例ベース説明 (\textit{example-based explanations}) と呼ばれ，近年盛んに研究が進められている~\cite{plumb2018model}．

ふたつめの特徴はそのままの意味である．
一般的な「分類器ベース」のモデル~\cite{ma-hovy-2016-end,sohrab-miwa-2018-deep}と本研究の「事例ベース」のモデルを標準ベンチマーク上で比較し，同等の性能を記録することが目標である．
勝たなくとも同等の性能でいいのか？
それでいいと思った．
ひとつめの特徴は「分類器ベース」のモデルが持ち合わせていない長所となるため，性能で明らかに劣っていなければ，他の研究者もその良さをわかってくれるのではないか？
そんな期待を抱きながら，モデルおよび学習手法の具体的な設計に取り組み始めた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{成功の鍵を握る両輪}

我々は\textbf{事例ベース学習}と\textbf{スパン}に着目した．
事例ベース学習 (\textit{instance-based learning}) は，事例間の類似度（あるいは距離）を学習する機械学習手法の一つである~\cite{aha1991instance}．
分類問題を想定する場合，「同じラベルを持つ事例同士が特徴ベクトル空間上で近づくように学習する」のが一般的である．
この着眼はACL2019で親切にポスターの説明をしてくれたSam Wiseman氏から受けたものだ~\cite{wiseman-stratos-2019-label}．
彼らは系列ラベリング問題にニューラルネットワークを用いた事例ベース学習を導入し，一定の成果を収めていた．
ひとつ気がかりだったのは「ひとつの固有表現であっても各単語ごとに別々の事例にもとづいて予測する点」である．
先の例文で考えると，Franzと類似の学習事例はHarukiであり，Kafkaと類似の学習事例はDostoevskyであるといったように予測される．
本来ならひとつの固有表現が単語にバラされ，それぞれ別個の学習事例にもとづいて予測される．
しかしFranz Kafkaはひとつのかたまりとして扱う方が自然であり，そのかたまりに対して類似度を定義する方が好ましいだろう．
このかたまりを「スパン」と呼ぶ．
私は2018年頃からスパンに関する研究を続けており，前述したスパン型言語モデルなどの経験がこの着眼の要因となった．
%%%%\nocite{ouchi-etal-2018-span}
%%%%%この着眼は2018年頃から私が研究していた領域であり~\cite{ouchi-etal-2018-span}，最近上手くいっていなかったスパン型言語モデルなどからきている．
本研究では「\textbf{同じラベルを持つスパン同士が特徴ベクトル空間上で近づくように学習する}」手法を設計した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{提案手法の全体像}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{27-3ia8f1.eps}
\end{center}
\hangcaption{事例ベーススパンモデルの概略．まず，エンコーダを用いてエンティティ候補Franz Kafka ($s$)と学習データ内のスパン($s_1, s_2, \dots, s_9$)を特徴ベクトルにする．次にFranz Kafkaと各学習事例の類似度を計算し，ラベルごとに類似度を足し込んでいく．全部足し込んだらsoftmax関数を用いてラベルの確率分布を計算する．確率最大のラベル{\tt PER}をFranz Kafkaに付与する．}
\label{fig:method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案モデルの推論は次の3ステップで行われる．
\begin{description}
\item[(1)ベクトル空間への写像] 入力文内の各スパン$s$と学習データ内のスパン$s_i$を特徴ベクトル空間に写像する．
\item[(2)類似度計算] スパン$s$と$s_i$の特徴ベクトル表現を用いて類似度を計算する．各類似度はラベルごとに足し込んでいく．
\item[(3)確率分布計算とラベル付与] すべての類似度を足し込んだら，softmax関数を用いてラベルの確率分布を計算する．確率最大のラベルをスパン$s$に付与する．
\end{description}

\noindent
図\ref{fig:method}はこのプロセスの例を示している．
学習時は正解のラベルの確率が高くなるようにcross-entropy lossを最小化する（詳細は論文の3節を参照）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{少しずつ前進}

10月に入ってから実装を開始し，小規模な学習データを用いて実験を行っていた．
予備的な実験ではあるが，それほど悪くない結果（開発データのF$_1$値で$80$\%くらい）が出ていた．
しかしそのあとはなかなか汎化性能が上がっていかない．
学習法やスパンベクトルの設計などを見直して少しずつ工夫を凝らした結果，徐々に性能が上がっていった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{\label{tab:knn}スパン近傍検索の実例}
\begin{center}
\begin{tabular}{ccl}
\hline
\multicolumn{2}{r}{クエリ} &  ... \textbf{[}Tom Moody\textbf{]} took six for 82 but ... \\
\hline
1 & \texttt{PER} & \textbf{[}Ian Botham\textbf{]} began his test career ... \\
2 & \texttt{PER} & ... \textbf{[}Billy Mayfair\textbf{]} and Paul Goydos and  ... \\
3 & \texttt{PER} & ... \textbf{[}Mark Hutton\textbf{]} scattered four hits ... \\
4 & \texttt{PER} & ... \textbf{[}Steve Stricker\textbf{]} , who had a 68 , and  ...\\
3 & \texttt{PER} & ... \textbf{[}Darren Gough\textbf{]} polishing off ... \\
\hline
\end{tabular}
\end{center}
\vspace{4pt}\small
開発データ中のTom Moodyというエンティティをクエリとし，学習データから近傍5件を検索した．
\par\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

締切の迫る11月下旬，一般的な分類器ベースの手法と同等の性能を記録することに成功した（詳細は論文4.2節参照）．
類似の学習事例も上手くとってこれるようなモデルになった．
表~\ref{tab:knn}はその実例である．
クエリのTom Moodyはクリケット選手であり，近傍事例のIan BothamとDarren Goughもクリケット選手である\footnote{他は野球選手やゴルフ選手．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{関連研究と本研究の立ち位置}

急いで論文を執筆しなければならない．
大まかな構成は10月くらいからできていたが，より精緻な文章にしていかなければならない．
特に研究の立ち位置をしっかり書くことは重要であるため，関連研究を図~\ref{fig:related_work}のように整理した．
既存モデルは，〈分類器ベース or 事例ベース〉と〈単語 or スパン〉というふたつの軸によって4つに分類できる．
このうちの「事例ベーススパンモデル」に該当するのが本提案モデルである（詳細は論文2節参照）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{27-3ia8f2.eps}
\end{center}
\caption{関連研究マップ}
\label{fig:related_work}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{論文投稿を終えて}

ACL2020への論文投稿を終えた翌日（12月11日），
大学キャンパスのケヤキ並木が枯れ果て，すでに冬が到来していたことに気づいた．
日付や季節が観念的なイメージでしかなかった状態から，フィジカルな実体をともなった景色として認識できるくらいの余裕が生まれた．

秋口まで進めていたスパン型言語モデルの研究のように，日の目を見ることのない研究が年々堆積していく．
履歴書には書けないし，自分や共同研究者のノートや頭の中にだけ存在する．
しかしそれらは別の研究へと変容したり，着想の種になったりすることもある．
たしかに自分はある期間その研究に力を注ぎ，共同研究者と活発な議論を楽しんでいた．
期待通りの結果には至らなかったが，自分にとって滋養に富んだ活動であったし，本論文の重要な礎となった．
履歴書に羅列された論文タイトルの陰には，そのような体験が隠れているように思う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{08refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大内　啓樹}{%
2011年宮城教育大学卒業．2013年立命館大学言語教育情報研究科修了．2015年奈良先端科学技術大学院大学博士前期過程修了．2018年奈良先端科学技術大学院大学博士後期過程修了．博士（工学）．現在，理化学研究所革新知能統合研究センター特別研究員．
}

\end{biography}


\end{document}



