\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\newcommand{\cupp}{u}
\usepackage{bm}
\usepackage{multirow}
%%%%\newcommand{\aff}{{\mathrm{aff}}}
\newcommand{\vtm}[2]{ {#1}_{ {#2} } }
\newcommand{ \vh}[1]{ \vtm{ \bm{h} }{ {#1} } }
\newcommand{ \vc}[1]{ \vtm{ \bm{c} }{ {#1} } }
\newcommand{ \vf}[1]{ \vtm{ \bm{f} }{ {#1} } }
\newcommand{ \vx}[1]{ \vtm{ \bm{x} }{ {#1} } }
\newcommand{\vup}[1]{ \vtm{\bm{\cupp}}{ {#1} } }
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{700}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text}
\jauthor{柴田　千尋\affiref{Author1}}
\etitle{How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text}
\eauthor{Chihiro Shibata\affiref{Author1}} 

\headauthor{柴田}
\headtitle{How LSTM Encodes Syntax}

\affilabel{Author1}{法政大学}{Hosei University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

本記事では，COLING 2020に採択された論文「How LSTM Encodes Syntax: ... 」\cite{shibata:20}
にまつわる研究の環境についてと，着想への経緯について解説をいたします．
「How LSTM ...」の論文は，
共著者である持橋氏（統計数理研究所），内海氏（デンソーITラボラトリ）とともに
共同研究の一環として行ったLSTMの分析に関する成果をとりまとめたものになっています．
自然言語処理の教師なし学習に関して，深層ニューラルネットによる埋め込み表現の理解や，
埋め込み表現を利用したノンパラメトリックベイズによるモデルの推定など，
より確率・統計的な観点を含めた研究を行っています．
特に，自然言語を代表とする記号列（いわゆる平文）から，
構文等の隠れた構造を獲得するためのモデルや手法について主眼をおいています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究環境について}

ここのところ，教育改革の名のもと，少子化の影響もあり，教育サービスにおいて，
大学教員が過当競争を強いられているのは周知の事実である．
実際に，私立大学，とくにある種の中堅私大においては，
非効率的な雑務や，過剰な教育サービス業務が増加し，
研究の時間やモチベーションの確保の状況は大きく悪化してしまっていて，
なかなか研究が思うように進まないことも多いと考えられる．
とはいえ，一方で，教育に重点を置きすぎている大学では，
最近は，教員の公募をしても，以前より応募が少なくなり，
また，選考のうえ内定を出しても，
条件が悪いことを理由に，最終的に断られることも多いようで，
バランスが取られてきているのかもしれない．

いずれにせよ，表題の論文がなんとか採択され，ここにこのような記事を書かせていただけていること，
自然言語処理の研究に理解の深い企業より研究をサポートしていただけていること，
また，なにより，非常に頭脳明晰で叡智に飛んだお二人と共に
研究を行うことができていることは，大変幸運なことであると筆者は心より感謝している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想の経緯：LSTMを巡る背景}

自然言語処理分野において利用される深層学習技術のトレンドは素早く変化するものの，
長期の記憶を保持するメカニズムのある，
リカレントニューラルネットワーク(RNN)を，翻訳，文分類，文生成等のタスクで，
モデルとして用いられていることは，依然として多い．
その中でも，Long Short-Term Memory (LSTM) \cite{Hochreiter:97}は，古くから知られている
DNNモデル構築のための基礎的なブロックであり，標準的に用いられるRNNの一つである．

現在のトレンドでは，自然言語処理に関しては，
Transformer \cite{Ashish:17}
などのアテンションベースのモデルのほうが
様々なタスクにおいて精度の面から優れているため，
LSTMを含むRNNは，影を潜めるようになったものの，
自然言語処理以外の分野においては，
RNNはデータ中に含まれる文脈を捉えるための標準的な技術として用いられている．
例えば，風景中の文字列(Scene Text)の検出と認識などがそれに当たる．
Scene Text 認識では，横書きの文字列の場合，
横軸上の各座標がどの文字に相当しているのかを，
その座標の左右の画素の系列としての情報，つまり文脈によって決定する．
こういった分類を行うために，
その各座標に対応する特徴ベクトルがRNN（双方向LSTMであることが多い）
の出力となるようにモデルが設計される．

翻って，自然言語処理でも，
LSTMで作った単純なEncoder Decoderモデルを翻訳モデルとして用いた場合でも\cite{Ilya:14}，
LSTMが構文的な間違いをあまりしないことがよく知られている．
このような状況の中で，LSTMが，どのように文脈を捉えるのか，
LSTM内のどの中間ベクトルに長期的な情報がどのようなメカニズムで捉えられるのかについて，
一般的な形で追求した研究は，あまり知られていなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の初期のアプローチ}

そこで，LSTMを用いた言語モデル（文を前から順に読んでいくとして，
現在までの単語列から次の単語を予測するモデル）を対象に，
LSTMブロック内における中間レイヤーの各出力ベクトル（以降では単にLSTMの内部ベクトルと呼ぶ）
について，構文情報がどこに捉えられているのかを，まずは調べることにした．
学習対象となるデータとしては，より構文が明示的に与えられているデータから，平文まで，いくつかのデータセットを用意して，
LSTMの内部ベクトルでどのように表現されているかを調べてゆく．
データセットは5種類で，
(a)構文木を，リーフを無視して線形化した括弧'(',')'の2種類からなる文（Dyck-1言語），
(b) a に加え，構文木のリーフである単語も含めて線形化した文，
(c) a に対し，ノードのタグ（名詞句，動詞句など）を区別して線形化した文（Dyck-n言語），
(d) c に加え，構文木のリーフである単語も含めて線形化した文，
(e) 構文情報を含まない平文，
である．
語彙の数としては，a が 2 であり，最小で，c, b, d の順に大きくなる．
後で論じるが，特に a の場合，出現した特徴をもとに，量子化した形で増減させながらカウントする
ことがLSTMの内部ベクトルで簡単に表現でき，実際にそのように学習されることから，
正確な文判定ができることがわかっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{LSTM言語モデルの内部ベクトルと量子化}

研究中に，LSTM言語モデルに関する類似のいくつかの研究が発表された．
例えば，Suzgunらが Dyck-\{1,2\} 言語に対して LSTM言語を学習し，
カウンターマシンをエミュレートできることを論じて発表している\cite{Suzgun:19}．
また，Weissらは，有限ビットの浮動小数点を用いたLSTM言語モデルのような現実的なケースでは，
LSTMのほうが単純なRNNやGRUよりも，真に表現できる言語クラスが大きいことを理論的に示した\cite{Weiss:18a}．
その理由は，直感的には，カウンターをメモリとして持つことができるため，といえる．
それに続き，Merrillらは，シグモイド関数やtanh関数の温度係数を0とする極限下における
LSTM言語モデルの表現能力を理論的に調べた\cite{Merrill:19}．この極限は，LSTMの内部ベクトルにおいて，
\begin{gather*}
\lim_{\theta\to\infty}\sigma(\theta x ) \in\{0,1\}, \\
\lim_{\theta\to\infty}\sigma(\theta x )\tanh(\theta y) \in \{-1,0,1\},
\end{gather*}
という離散化を行うことに等しい．

実際に我々の研究では，実験を通して，Merrill のこの極限の仮定が，
平文から学習した場合を含めどのデータセットでも，一般的にLSTM言語モデルを学習することにより，
ある程度実際に起こることがわかった．
これはLSTMのモデルとしての性質に由来するものと考えられ，
例えば正確な Dyck 言語の獲得は，このようなメカニズムの結果得られるものであると考えられる．

LSTM言語モデルでは，$t$番目の単語ベクトルの入力に$\vh{t-1},\vc{t-1}$を連結したものを $\vx{t}$ として，
その出力ベクトル$\vh{t}$および，状態ベクトル$\vc{t}$が以下のように
再帰的に計算される：
\begin{align}
  \vf{t} &= \sigma( A \vx{t} ) \label{eq:f}\\
  \vup{t} &= \sigma( B \vx{t}  )\odot \tanh( C \vx{t} ) \label{eq:cup} \\
  \vc{t} &= \vf{t} \odot \vc{t-1}  + \vup{t} \label{eq:c}\\ 
  \vh{t} &= \tanh(\vc{t}) \odot \sigma( D \vx{t} ) \label{eq:h}  
  \end{align}
$\vf{t}$は忘却ベクトル，$\vup{t}$は状態更新ベクトルと呼ばれる．
  図~\ref{fig:internal} (a)--(d)に，学習後の内部ベクトルの様子を示す．
  PTBのコーパスにあるWSJデータセット（平文）からLSTM言語モデルを学習した後に，
  検証用の文を入力ることで，各内部ベクトルの各要素のアクティベーションの値を得る．
  その分布をヒストグラムで表したものである．
  忘却ベクトルの要素は$\{0,1\}$に， 状態更新ベクトルでは$\{-1,0,1\}$に，明らかなピークが観測できる．
  忘却ベクトルと状態更新ベクトルにおいて，各要素が近似的に量子化，つまり，$\{-1,0,1\}$の3値のどれかに近い値に多数の要素がなっていることがわかる．
  それらが近似的に量子化される結果，状態ベクトルでは，状態更新ベクトルが足し合わされてゆくため，状態ベクトルでは整数値に集まりやすい性質を持つことになる．
  実際に，図中(b)では，状態ベクトルの各要素は，整数値付近以外の値となる割合が大きいものの，一方で整数値ごとにピークを持っていることがわかる．
  図~\ref{fig:internal}(e)は，状態更新ベクトルにおける各要素のアクティベーションの値の学習前と学習後のヒストグラムの変化を示している．
  学習によって，量子化が進んでいることがわかる．
  これは，式\ref{eq:cup}の右辺の $B \vx{t}$ および $C \vx{t}$ が，学習により，より大きい分散を持つことになったことを意味している．
  学習時にモデルを更新する際に，シグモイド関数やtanh関数のもつ性質上，自然にそのようになるためで，
  筆者は，検証は一切していないが，この仕組が，学習が進んだときのロスや内部ベクトルの安定的な挙動にも寄与しているのではと考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-2ia25f1.pdf}
\end{center}
\hangcaption{(a)--(d)学習後のLSTMの内部ベクトルの各要素のヒストグラム．量子化される傾向が見られる(e)．}
\label{fig:internal}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{終わりに}

この他にも，平文から学習したときに，
品詞が，状態更新ベクトルの空間中に最も顕著に獲得されていることや，
``that'' などの複数の意味を持つ機能語が，意味ごとにクラスタリングされている
ことなど，色々なことを，表題の論文中では実験的に示しているので，
興味があればぜひご一読いただけましたら嬉しいです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{25refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{柴田　千尋}{%
東京大学卒．
2012年より東京工科大学助教及び講師，
2021年より法政大学准教授．博士（工学）．
専門分野は知能情報（人工知能，機械学習）．
}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%\biodate



\end{document}


