\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{bm}
\usepackage{color}
\usepackage{multirow}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{2}
\Month{June}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2019}{11}{1}
\revised{2020}{2}{8}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{2}{25}

\setcounter{page}{211}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{関係分類における依存木上の重要トークンの自動判別}
\jauthor{辻村　有輝\affiref{Author_1} \and 三輪　　誠\affiref{Author_1} \and 佐々木　裕\affiref{Author_1}}
\jabstract{%
本稿では関係分類における入力トークンの重要性を学習し，不要な情報をマスクするマスク機構を提案する．入力文の依存木上における，注目エンティティ間を結ぶ最短経路上には関係分類において重要な情報がよく存在するため，関係分類の特徴の一つとしてよく利用される．しかし，このヒューリスティックは所有格の\textit{s}のように，最短経路外に重要なトークンが存在するような例外に対してはあてはまらない．そこで本研究では重要なトークンの判別規則を学習する機構を導入しそのような事例に対応する．学習はタスク損失からEnd-to-Endに行われ，追加アノテーションは必要ない． 実験の結果，提案手法は最短経路のヒューリスティックを上回る識別性能を記録した．また，提案機構が学習するマスクは最短経路と高い類似度となる一方，所有格の\textit{s}など最短経路外の重要なトークンも利用するよう学習された．\footnote[0]{本論文の一部は，言語処理学会第25回年次大会とNLP若手の会第11, 14回シンポジウムで発表したものです．}
}
\jkeywords{関係分類，依存木，マスク}

\etitle{Automatic Detection of Important Tokens on Dependency Trees for Relation Classification}
\eauthor{Tomoki Tsujimura\affiref{Author_1} \and Makoto Miwa\affiref{Author_1} \and Yutaka Sasaki\affiref{Author_1}} 
\eabstract{%
This paper proposes a masking mechanism that learns the importance of each input token and masks unnecessary tokens for relation extraction. As a feature of relation classification models, the shortest path between target entities in the dependency tree of an input sentence is often employed since it is known to well capture important information for relation classification. However, this heuristic rule is inapplicable to exceptional relation expressions such as relations that require tokens outside of the path (e.g., the possessive ``s''). We handle such inflexibility by employing a novel masking mechanism that learns a masking rule of important tokens. We performed the training in an end-to-end manner by using the loss of the relation classification task without the need for additional annotations. The experimental results show that our proposed method shows better classification performance than the models with the shortest path heuristics. Furthermore, the learned masks highly correspond to the shortest paths, while capturing some important tokens outside the shortest paths such as possessive ``s''.
}
\ekeywords{Relation Classification, Dependency Tree, Masking}

\headauthor{辻村，三輪，佐々木}
\headtitle{関係分類における依存木上の重要トークンの自動判別}

\affilabel{Author_1}{豊田工業大学}{Toyota Technological Institute}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿ではニューラル関係分類モデルの中間表現中の不要な情報の除去に取り組む．
関係分類とは，文書内のエンティティのペア間について，その文書内の言及に基づいた関係を識別するタスクである．
本研究では特に一文中に存在するエンティティペア間の関係分類を扱う．
このタスクにおいては，文の依存構造情報の利用が有用であることが知られている\cite{culotta-sorensen-2004-dependency}．
特に，依存木上のエンティティペア間を繋ぐ最短経路内に存在するトークンのみを関係分類モデルの入力にするヒューリスティックを用いることで，さらなる識別性能の向上が報告されている\cite{H05-1091}．
この手法は，エンティティペア間の関係についての言及は依存構造木上でそのペア間を繋ぐ最短経路上に大抵の場合存在するという観察結果に基づいている．
この手法によって，入力文が非常に長い場合や，エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia3f1.eps}
\end{center}
\hangcaption{最短経路やその子ノードを含む部分木を取り出すヒューリスティックの例．注目エンティティペアをe1とe2で示した．}
\label{fig:dependency_tree}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

最短経路のヒューリスティックは，元々Support Vector Machine (SVM)による特徴量ベースの関係分類モデルにおいて提案されていたが，ニューラルネットワークによるニューラル関係分類モデルにおいても有効であることが報告されている\cite{xu-EtAl:2015:EMNLP2,xu-etal-2016-improved,P16-1105:lstm-er}．
しかしながら，関係についての言及は常に最短経路上にのみ存在するわけではなく，そのような例外のケースでは最短経路上の情報のみを入力とするのは不十分である．
例えば図\ref{fig:dependency_tree}の\textit{cable}と\textit{insulation}間の関係分類を行うときを考えると，所有格の\textit{s}は最短経路上には含まれず，最短経路上のトークンのみから関係分類を行う場合，関係の向きが不明瞭になってしまう．

ZhangらはGraph Convolutional Network (GCN) で依存木を用いて計算を行う際，最短経路上のトークンのみではなく，最短経路上のトークンから数ステップの距離にある子トークンも含めた部分木を利用することで，木全体や最短経路上のトークンのみを利用する場合よりも性能向上を達成できる手法を提案した\cite{D18-1244:GCN-PrunedTree}．この手法で距離1までのトークンを利用する場合，図\ref{fig:dependency_tree}における所有格の\textit{s}を含めることができる．しかし，\textit{the}や\textit{ethernet}といった関係分類に不要なトークンも含めてしまうため，さらに良い選択規則が存在することを示唆している．

本研究では，関係分類の識別性能の向上を目指し，ニューラルネットワークによる重要トークンの判別を行う\textit{マスク機構}と，それを用いたニューラル関係分類モデルを提案する．この提案機構では，ヒューリスティックの代わりに，学習を通じて重要トークンの判別規則を獲得する．
学習は関係分類のタスク損失からEnd-to-Endに行われ，追加のアノテーションの必要はない．
マスク機構の訓練ではGumbelトリックを用いたサンプリング\cite{gumbel}を行うことで，離散的なトークンの選択処理を自然に表現する．
加えて，訓練中はマスク機構内にノイズを加えることで，マスクされるトークンの量をコントロールする．
さらに，アテンション機構を用いることでマスクされた入力を元に計算された表現を集約する．
提案モデルは再帰型／木構造ニューラルネットワークによる関係分類モデルであるLSTM-ERモデル\cite{P16-1105:lstm-er}をベースに，提案機構を導入する形で構築する．
実験では提案モデルと，提案機構を導入せず代わりに依存木全体やヒューリスティックによる部分木を用いたモデルと比較することで，提案手法の有効性を確認した．

本研究の貢献は以下の三つである．
\begin{enumerate}
\item 最短経路のヒューリスティックを用いる代わりに，学習から重要なトークンの判別規則を学習するマスク機構を提案した．マスク機構はGumbelトリックを用いることで訓練可能な離散的なマスクを表現し，追加のアノテーションなしにタスク損失からEnd-to-Endに学習が可能である．
\item 提案機構を導入した関係分類モデルにより，最短経路のヒューリスティックを上回る性能を得た．また依存木全体を用いるベースラインモデルに対し有意な性能向上を達成した．
\item 提案機構により学習されたマスクと最短経路のヒューリスティックの類似度について調査した．学習されたマスクは最短経路と高い類似度となった一方，異なる学習試行ごとのマスク間の類似度はさらに高く，最短経路と一部異なる判別規則を学習していることを確認した．
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関係分類}

関係分類とは，文書内のエンティティのペア間について，その文書内の言及に基づいた関係を分類するタスクである．
例えば，\textit{``The doctor implanted an \textbf{injection} into three vertical glabellar \textbf{furrows}.''}という文中の，\textit{injection}と\textit{furrows}というエンティティペアに注目したとき，\textit{injection}を\textit{furrows}に注射したとの言及から，この二者間には一方をもう一方の位置に移したという``移動物とその移動先の関係''が成立していると分類する．
候補となる関係クラスセットのうちのどれ一つも成立していない場合，負例クラスを割り当てる．

一文内に同時に出現しているエンティティペア間からの関係分類では，依存構造木の利用が有効であることが知られている\cite{culotta-sorensen-2004-dependency}．
特に，この設定においてエンティティペア間の関係について言及している箇所は，依存構造木におけるエンティティペアを繋ぐ最短経路のパス上に存在することが多いという観察結果がある．この観察結果に基づき，最短経路上に存在するトークンのみによる情報を関係分類モデルの入力とすることで関係分類に不要な情報を除去し，識別性能の向上を達成する手法が報告されている\cite{H05-1091}．
この最短経路のヒューリスティックでは，入力文が非常に長い場合や，エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる．

最短経路のみを利用するヒューリスティックは，もともとは特徴量ベースのシステムで提案されたものであるが，近年のニューラル関係分類モデルにおいても有効性が確認されている\cite{xu-EtAl:2015:EMNLP2,xu-etal-2016-improved,P16-1105:lstm-er}．
Xuらは依存木上の最短経路パスを最近共通祖先ノードで分割し，それぞれを系列Long Short-Term Memory (LSTM) を用いてエンコードすることで構文情報を利用するSDP-LSTMモデルを提案した\cite{xu-EtAl:2015:EMNLP2}．さらにXuらは，LSTMの代わりに多層再帰型ニューラルネットワークを用いたDRNNsモデルを提案しており，関係ラベルの向きを逆転させた事例の利用とあわせることでさらなる性能向上を達成している\cite{xu-etal-2016-improved}．これらの二つのモデルでは，各単語のWordNet情報\cite{wordnet}の埋め込みが入力に利用されている．
三輪らは系列LSTMと木構造LSTMをスタックすることで系列情報と依存木情報を共に利用するLSTM-ERモデルを提案した\cite{P16-1105:lstm-er}．このモデルにおいて，依存木全体ではなく最短経路上のトークンのみからなる部分木を利用することにより性能が向上すると報告している．また，WordNet埋め込みの利用により，さらなる性能向上が報告されている．

最短経路のヒューリスティックの有効性が報告されている一方で，\textit{not}や\textit{into}，所有格の\textit{s}など，一部の関係分類に有用な単語には最短経路外に存在してしまうものがある．Zhangらは最短経路外の重要なトークンを利用しつつ，不要なトークンは最大限除去するために，最短経路上のトークンから特定の距離内の子トークンも利用するヒューリスティックを提案した\cite{D18-1244:GCN-PrunedTree}．
実験では，このヒューリスティックの距離1，すなわち最短経路上の各トークンとそれらの直接の子トークンを利用する設定を用いることで，GCNベースの関係分類モデルの識別性能を，最短経路のヒューリスティックを用いる場合よりもさらに向上できると報告されている．しかしながらこのヒューリスティックでは，図\ref{fig:dependency_tree}における\textit{the}や\textit{ethernet}など，最短経路外に存在する不要な情報を入力に含めてしまうという問題がある．
また，このヒューリスティックは最短経路上のトークンの子孫のみを追加する手法であり，エンティティペアの最近共通祖先より上の祖先などについては利用しない．

Shenらは畳み込みニューラルネットワークを用いた関係抽出モデルによって，依存構造木を用いることなく高い識別性能を達成した\cite{shen-huang-2016-conv-attention}．このモデルはアテンション機構を利用しており，重要な情報を持つ単語への重み付けを自動で学習する．

近年，大規模コーパスによる事前学習済み言語モデルが，様々な自然言語処理タスクにおいて高い転移性能を記録している\cite{peters-etal-2018-deep:elmo,devlin-etal-2019-bert}．
そのうちの一つであるBERTモデルは，文中のマスクされたトークンを予測する穴埋め問題と，隣接文推定によって双方向言語モデルを学習する\cite{devlin-etal-2019-bert}．
事前学習済みBERTモデルを用いた関係分類モデルである$\mathrm{BERT}_{\mathrm{EM}}$モデルは，入力文中にエンティティの位置を示す特殊なトークンを挿入することで，複数の関係分類タスクにおいて既存手法を上回る識別性能を達成した\cite{baldini-soares-etal-2019:matching-the-blank}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Gumbelトリック}

Jangらは，Gumbelトリックと呼ばれる，離散的な確率変数の勾配計算のための，任意のカテゴリカル分布に基づいた確率分布のサンプリング手法を提案した\cite{gumbel}．
この手法によってサンプリングされる確率分布は，その分布中で最大の確率となるクラスの分布が元のカテゴリカル分布と同じになる．
また，サンプリングされる確率値は，温度パラメータによって0か1に近付くようにコントロールでき，低い温度に設定することによって（ほとんど）離散的なサンプリングを実現できる．
さらに，このサンプリングされた分布は元のカテゴリカル分布の値について連続であるため，このサンプリング手法をニューラルネットワークモデル内に組み込むことで，カテゴリカル分布の計算に用いたパラメータを勾配法によって学習でき，ネットワーク内で離散的な挙動を行う機構を自然に表現できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

本稿では不要な箇所の判別法を自動で学習し遮断するマスク機構を備えたニューラル関係分類モデルを提案する．
提案モデルの概観を図~\ref{fig:model_overview}に示す．
マスク機構は注目エンティティペア間の関係分類を行うにあたり不要なトークンの表現ベクトルを0ベクトルにマスクし，続く木構造LSTM層にはこのマスク後のベクトル列を入力として計算を行う．
木構造LSTMからの出力はアテンション機構によって集約され，その後の隠れ層へと入力される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia3f2.eps}
\end{center}
\caption{提案モデルの概観．注目エンティティペアをe1とe2で示した．}
\label{fig:model_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本章では，初めに本研究におけるベースラインモデルの説明を行う．
続いて，提案手法となるマスク機構と，その機構内でマスク量を増進するために行うノイズの加算について説明する．
次に，木構造LSTM層からの出力を集約するアテンション機構の構造について述べる．
最後に，提案機構を導入した関係分類モデルの全体像について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ベースラインモデル}
\label{ssec:baseline}

本研究ではベースラインモデルとして系列LSTMと木構造LSTMをスタックしたニューラル関係分類モデルを用いた．
このモデルは三輪らのLSTM-ERモデル\cite{P16-1105:lstm-er}を基としており，単語列とそれぞれの品詞，およびその単語列のうちの注目しているエンティティペアの位置を受け取り，その注目ペア間に成立する関係について，各クラスごとの予測確率を出力する．
このモデルは入力層，系列LSTM層，木構造LSTM層，隠れ層，出力層の五つの層から構成される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{入力層}

入力層では入力系列の各トークンの単語の埋め込みベクトルと品詞の埋め込みベクトルを連結し，それぞれの単語ベクトルとする．
入力中の$i$番目のトークンの単語ベクトル$\bm{v}^{\mathrm{in}}_i$は，その単語を$w_i$，品詞を$s_i$としたとき以下から得る．
\begin{equation}
    \bm{v}^{\mathrm{in}}_i = [\mathrm{Lookup}(W^{\mathrm{word}}, w_i);~ \mathrm{Lookup}(W^{\mathrm{POS}}, s_i)],
\end{equation}
ここで$W^\mathrm{word}$と$W^\mathrm{POS}$はそれぞれ単語と品詞の埋め込み行列で，行数はそれぞれ$d^W$行と$d^P$行である．$\mathrm{Lookup}$は行列中の対応する列ベクトルを返す関数である．
$[\bm{a};\bm{b}]$はベクトル$\bm{a}$と$\bm{b}$の列方向での連結を表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{系列LSTM層}

系列LSTM層では単語ベクトルを双方向系列LSTMに入力し，文脈を考慮した単語ベクトルとする．この層で用いる系列LSTMとしては，peephole結合\cite{gers2002learning:peephole}を備えた構造のものを利用する．

入力文の系列長を$n^s$としたとき，順方向の系列LSTMの出力$\bm{v}^{\rightarrow}_1,...,\bm{v}^{\rightarrow}_{n^s}$は以下の式より得る．
\begin{align}
    \bm{g}^{\rightarrow}_i &= \tanh(W^{fg} [\bm{v}^{\mathrm{in}}_i;\bm{v}^{\rightarrow}_{i-1}] + \bm{b}^{fg}) \nonumber \\
    \bm{i}^{\rightarrow}_i &= \sigma(W^{fi} [\bm{v}^{\mathrm{in}}_i;\bm{v}^{\rightarrow}_{i-1}] + \bm{w}^{fi} \odot \bm{c}^{\rightarrow}_{i-1} + \bm{b}^{fi}) \nonumber \\
    \bm{f}^{\rightarrow}_i &= \sigma(W^{ff} [\bm{v}^{\mathrm{in}}_i;\bm{v}^{\rightarrow}_{i-1}] + \bm{w}^{ff} \odot \bm{c}^{\rightarrow}_{i-1} + \bm{b}^{ff}) \nonumber \\
    \bm{c}^{\rightarrow}_i &= \bm{i}^{\rightarrow}_{i} \odot \bm{g}^{\rightarrow}_{i} + \bm{f}^{\rightarrow}_i \odot \bm{c}^{\rightarrow}_{i-1} \nonumber \\
    \bm{o}^{\rightarrow}_i &= \sigma(W^{fo} [\bm{v}^{\mathrm{in}}_i;\bm{v}^{\rightarrow}_{i-1}] + \bm{w}^{fo} \odot \bm{c}^{\rightarrow}_{i} + \bm{b}^{fo}) \nonumber \\
    \bm{v}^{\rightarrow}_{i} &= \bm{o}^{\rightarrow}_{i} \odot \tanh(\bm{c}^{\rightarrow}_{i}),
\end{align}
出力$\bm{v}^{\rightarrow}_{i}$の次元数を$d^{\mathrm{cseq}}$とする．
$W^{fg}, W^{fi}, W^{ff}, W^{fo}$はそれぞれ$d^{\mathrm{cseq}} \times (d^W+d^P+d^{\mathrm{cseq}})$次元の重み行列で，$\bm{w}^{fi}, \bm{w}^{ff}, \bm{w}^{fo}$は$d^{\mathrm{cseq}}$次元の重みベクトル，$\bm{b}^{fg}, \bm{b}^{fi}, \bm{b}^{ff}, \bm{b}^{fo}$は$d^{\mathrm{cseq}}$次元のバイアスである．
$\odot$はアダマール積で，$\sigma$はシグモイド関数である．
初期状態$\bm{c}^{\rightarrow}_0, \bm{v}^{\rightarrow}_0$にはゼロベクトルを用いる．
逆方向の系列LSTMの出力$\bm{v}^{\leftarrow}_1,...,\bm{v}^{\leftarrow}_{n^s}$は入力文の末尾から逆順で処理することにより得る．重みとバイアスは各方向ごとに別個に用意する．

この双方向系列LSTMの出力に，入力文の依存木における親トークンへの係り受け$t_i$の埋め込みベクトルと，注目エンティティペアそれぞれからの相対距離の埋め込みベクトルを連結し，これを系列LSTM層の出力$\bm{v}^{\mathrm{seq}}_1,...,\bm{v}^{\mathrm{seq}}_{n^s}$とする．
{\allowdisplaybreaks
\begin{align} \label{eq:seq-lstm-concat}
    \bm{v}^{\mathrm{dep}}_i &= \mathrm{Lookup}(W^{\mathrm{dep}},t_i) \nonumber \\
    \bm{v}^{\mathrm{rpos}}_{j} &= \mathrm{Lookup}(W^{\mathrm{rpos}},\mathrm{Clip}(j, -P, P)) \nonumber \\
    \bm{v}^{\mathrm{seq}}_i &= [\bm{v}^{\rightarrow}_i; \bm{v}^{\leftarrow}_i;\bm{v}^{\mathrm{dep}}_i;\bm{v}^{\mathrm{rpos}}_{i-\mathrm{e1}};\bm{v}^{\mathrm{rpos}}_{i-\mathrm{e2}}],
\end{align}
}%
ここで$W^\mathrm{dep}$は係り受けの埋め込み行列で，行数は$d^D$行である．$W^\mathrm{rpos}$はエンティティからの相対距離の埋め込み行列であり，各列ベクトル$\bm{v}^{\mathrm{rpos}}_j$の次元数は$d^R$である．$\mathrm{e1}$と$\mathrm{e2}$は注目エンティティペアのそれぞれのインデックスを表す．$\mathrm{Clip}(a,b,c)$は値$a$を最小$b$，最大$c$の範囲に収まるようにクリッピングする関数であり，$P$は相対距離のウィンドウサイズを表すハイパーパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{木構造LSTM層}
\label{sec:tree-lstm-layer}

木構造LSTM層では，系列LSTM層の出力を入力として，入力文の依存木に基いて木構造LSTMの計算を行う．
この層では上向きと下向きの各方向について依存木を走査する，双方向木構造LSTMを用いる．
木構造LSTMの実装には，メモリの追加分$\bm{g}^{\uparrow}_i$や入力，出力ゲート$\bm{i}^{\uparrow}_i, \bm{o}^{\uparrow}_i$を前状態群の単純な合計から計算するChild-Sum木構造LSTM~\cite{P15-1150:treelstm}を用いる．
上向き木構造LSTMの計算は以下となる．
\begin{align}
    \bm{g}^{\uparrow}_i &= \tanh(W^{ugx} \bm{v}^{\mathrm{seq}}_i + \sum_{j \in \mathrm{Child}(i)}{W^{ugh} \bm{v}^{\mathrm{\uparrow}}_j} + \bm{b}^{ug}) \nonumber \\
    \bm{i}^{\uparrow}_i &= \sigma(W^{uix} \bm{v}^{\mathrm{seq}}_i + \sum_{j \in \mathrm{Child}(i)}{W^{uih} \bm{v}^{\mathrm{\uparrow}}_j} + \bm{b}^{ui}) \nonumber \\
    \bm{f}^{\uparrow}_{ij} &= \sigma(W^{ufx} \bm{v}^{\mathrm{seq}}_i + W^{ufh} \bm{v}^{\mathrm{\uparrow}}_j + \bm{b}^{uf}) \mbox{~~~~for $j \in \mathrm{Child}(i)$} \nonumber \\
    \bm{c}^{\uparrow}_i &= \bm{i}^{\uparrow}_{i} \odot \bm{g}^{\uparrow}_{i} + \sum_{j \in \mathrm{Child}(i)}{ \bm{f}^{\uparrow}_{ij} \odot \bm{c}^{\uparrow}_{j}} \nonumber \\
    \bm{o}^{\uparrow}_i &= \sigma(W^{uox} \bm{v}^{\mathrm{seq}}_i + \sum_{j \in \mathrm{Child}(i)}{W^{uoh} \bm{v}^{\mathrm{\uparrow}}_j} + \bm{b}^{uo}) \nonumber \\
    \bm{v}^{\uparrow}_{i} &= \bm{o}^{\uparrow}_{i} \odot \tanh(\bm{c}^{\uparrow}_{i}),
\end{align}
出力$\bm{v}^{\uparrow}_i$の次元数を$d^{\mathrm{ctree}}$とする．
$W^{ugx}, W^{uix}, W^{ufx}, W^{uox}$はそれぞれ$d^{\mathrm{ctree}} \times (2d^{\mathrm{cseq}}+d^D+2d^R)$次元の重み行列で，$W^{ugh}, W^{uih}, W^{ufh}, W^{uoh}$はそれぞれ$d^{\mathrm{ctree}} \times d^{\mathrm{ctree}}$次元の重み行列である．$\bm{b}^{ug}, \bm{b}^{ui}, \bm{b}^{uf}, \bm{b}^{uo}$は$d^{\mathrm{ctree}}$次元のバイアスである．
$\mathrm{Child}(a)$はノード$a$の子ノードの集合を表す関数である．
下向き木構造LSTMの出力$\bm{v}^{\downarrow}_1,...,\bm{v}^{\downarrow}_{n^s}$は別個に重みとバイアスを用意し，子ノードの代わりに親ノードを前の状態に用いることで計算する．親ノードは常に高々一つしか存在しないので，下向き木構造LSTMはpeepholeのない系列LSTMとほとんど同様の計算式になる．

木構造LSTM層の出力$\bm{v}^{\mathrm{tree}}$は，上向き木構造LSTMにおける，依存木上で根ノードにあたるトークンの出力ベクトルと，下向き木構造LSTMにおける注目エンティティペアの各出力ベクトルを連結したベクトルであり，
\pagebreak
これを続く隠れ層へ入力する．
\begin{equation} \label{eq:tree-layer-out}
    \bm{v}^{\mathrm{tree}} = [\bm{v}^{\uparrow}_{\mathrm{root}}; \bm{v}^{\downarrow}_{\mathrm{e1}}; \bm{v}^{\downarrow}_{\mathrm{e2}}],
\end{equation}
$\mathrm{root}$は根ノードのトークンのインデックスを表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{隠れ層・出力層}

隠れ層は全結合層とtanh関数による活性化で構成される．この層では木構造LSTM層の出力を入力として隠れベクトル$\bm{h}$を得る．
\begin{equation}
    \bm{h} = \tanh(W^{h} \bm{v}^{\mathrm{tree}} + \bm{b}^{h}),
\end{equation}
ここで$W^{h}$と$\bm{b}^{h}$はそれぞれ重み行列とバイアスである．
この隠れベクトルは出力層に入力され，ソフトマックス関数を適用することにより最終的な関係クラス$c$ごとの予測確率$p_c$を得る．
\begin{equation}
    p_c = \frac{\exp({\bm{w}^{o}_c}^{\top} \bm{h} + b^{o}_{c})}{\sum_{i}{\exp({\bm{w}^{o}_i}^{\top} \bm{h} + b^{o}_{i})}},
\end{equation}
ここで$\bm{w}^{o}_c$と$b^{o}_{c}$はそれぞれ関係クラス$c$ごとの重みベクトルとバイアスである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{LSTM-ERモデルとの相違点}

ベースラインモデルはLSTM-ERモデルとほとんど同じ構造であるが，主に以下の三つの点で異なる．
一つ目の相違点は木構造LSTMの計算である．LSTM-ERモデルでは最短経路かそうでないかによって利用する行列を変え，また各子ノードに対する忘却ゲートの計算に他の兄弟ノードを利用する，SPTreeと呼ばれる木構造LSTM~\cite{P16-1105:lstm-er}を用いるが，本研究のベースラインモデルにはChild-Sum木構造LSTM~\cite{P15-1150:treelstm}を用いる．これは，我々の目的が最短経路のヒューリスティックの利用からの脱却を目指しているからである．また，Child-Sum木構造LSTMはその計算式の単純さから並列化が容易であるというメリットもある．
二つ目に，ベースラインモデルでは全層でドロップアウト\cite{JMLR:v15:srivastava14a:dropout}を利用するようにする．ドロップアウト率は開発データでチューニングを行い決定する．
三つ目の違いとして，LSTM-ERモデルでは木構造LSTM層をスキップして系列LSTMの出力を直接隠れ層へ入力する，Pairと呼ばれるコネクションが存在するが，本研究ではこれを取り外したモデルを主に用いる．これは，我々の提案手法が木構造LSTM層の計算に影響を及ぼす手法であり，提案手法の影響がより直接出力に現れるようにするためである．
Pairコネクションを利用する場合の隠れ層は，元々の入力$\bm{v}^{\mathrm{tree}}$に加えて，エンティティペアに対応する双方向系列LSTMの出力を結合したベクトル$\bm{v}^{\mathrm{pair}}$を入力とする．
\begin{equation}
    \bm{v}^{\mathrm{pair}} = [\bm{v}^{\mathrm{tree}}; \bm{v}^{\rightarrow}_{\mathrm{e1}}; \bm{v}^{\leftarrow}_{\mathrm{e1}}; \bm{v}^{\rightarrow}_{\mathrm{e2}}; \bm{v}^{\leftarrow}_{\mathrm{e2}}],
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{マスク機構}

関係分類にあたり不要な情報を取り除くマスク機構を提案する．
この機構は，ニューラル関係分類モデルの中間層として働き，注目しているエンティティペアの関係について無関係なトークンを判別し，対応する中間表現を0ベクトルにすることで情報を取り除く．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{確信度スコアとマスクの計算}

初めに，この機構は各トークンが注目エンティティペアの関係についての言及であるかどうかの確信度スコアを計算する．この確信度は高ければ高いほど関係についての言及であると判断したことを表す．$i$番目のトークンの確信度スコア$c_i$を以下の式で計算する．
\begin{align} 
    \bm{v}^{mq} &= \frac{ \bm{v}^{\mathrm{seq}}_{\mathrm{e1}} + \bm{v}^{\mathrm{seq}}_{\mathrm{e2}} }{2} \nonumber\\
    \bm{h}^{mq} &= \mathrm{Normalize}( W^{mq} \bm{v}^{mq}) \nonumber\\
    \bm{h}^{mk} &= \mathrm{Normalize}( W^{mk} \bm{v}^{\mathrm{seq}}_i) \nonumber\\
    c_i & = \sigma\left( \frac{ {\bm{h}^{mq}}^{\top} \bm{h}^{mk} }{ \sqrt{d^m} }  \right),
    \label{eq:confidence}
\end{align}
ここで$\bm{v}^{\mathrm{seq}}_i$は式\eqref{eq:seq-lstm-concat}の系列LSTM層からの$i$番目のトークンの出力である．$W^{mq}$と$W^{mk}$は$d^m \times (2d^{\mathrm{cseq}} +d^D+2d^R)$次元の重み行列で，$d^m$はマスク機構の隠れベクトルの次元数である．$\mathrm{Normalize}$は与えられたベクトルが平均0，分散1になるように正規化する関数である．
\begin{align}
    \mathrm{mean}(\bm{v}) &= \frac{1}{\mathrm{dim}(\bm{v})} \sum_i{v_i} \nonumber \\
    \mathrm{stddev}(\bm{v}) &= \sqrt{ \frac{1}{\mathrm{dim}(\bm{v})} \sum_i{(v_i - \mathrm{mean}(\bm{v}))^2} } \nonumber \\
    \mathrm{Normalize}(\bm{v}) &= \frac{\bm{v}-\mathrm{mean}(\bm{v})}{\mathrm{stddev}(\bm{v})},
\end{align}
$\mathrm{dim}(\bm{v})$はベクトル$\bm{v}$の次元数である．
この確信度スコア$c_i$の，各トークンの表現ベクトルを用いた内積を，その次元数の正の平方根で除する計算は，Vaswawniらによるアテンション機構\cite{vaswani:attention:NIPS2017_7181}の計算式を参考にしている．
式\eqref{eq:confidence}中の$\bm{v}^{mq}$は，エンティティペアの関係を言及するような重要なトークンを判定するためのクエリの役割を果たす．
エンティティペアの関係を言及するトークンは，ペアの順序に依存しないと考えられるので，$\bm{v}^{mq}$はペアの順序に依存しにくくなるようペアに対応する系列LSTM層の出力$\bm{v}^{\mathrm{seq}}_{\mathrm{e1}},\bm{v}^{\mathrm{seq}}_{\mathrm{e2}}$の平均の形で計算することとした．
ただし式\eqref{eq:seq-lstm-concat}の通り，各$\bm{v}^{\mathrm{seq}}_i$自体に両エンティティからの相対距離の埋め込みベクトルが順序依存で連結されているため，エンティティペアの順序の入れ替えについて完全なロバストではない．

訓練時は得られた$c_i$に基づき，Gumbelトリック\cite{gumbel}を用いてほとんど0か1に近い値になるマスク$m_i$をサンプリングする．
\begin{align}
    u^{(0)}_{c_i}, u^{(1)}_{c_i} &\sim \mathrm{Uniform}(0,1) \nonumber\\
    x^{(1)}_{c_i} &= c_i \nonumber\\
    x^{(0)}_{c_i} &= 1 - c_i \nonumber\\
    l^{(k)}_{c_i} &= \frac{\log(x^{(k)}_{c_i}) -\log(-\log(u^{(k)}_{c_i}))}{\tau} \mbox{~~~~~~for k $\in \{0,1\}$} \nonumber\\
    m_i &= \frac{\exp(l^{(1)}_{c_i})}{\exp(l^{(0)}_{c_i}) + \exp(l^{(1)}_{c_i})},
\end{align}
ここで$\tau$は温度パラメータであり，学習せず訓練の進行に合わせて少しずつ小さくする．
これによって得られるマスク$m_i$は，確信度スコア$c_i$が高いほど1に近い値を，確信度が低いほど0に近い値をとる頻度が高くなる．また，$c_i$について連続であるため，$c_i$の計算に用いられた重みを勾配法によって学習すること可能である．このマスクを系列LSTMの出力に乗じることによってモデルが不要と判断した情報を取り除いたベクトル列を獲得し，それを木構造LSTMへの入力とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ノイズによるマスク量の増進}

系列LSTM層の出力へのマスクの乗算により，不要なトークンに対する確信度が低い値になるように学習されれば，不要な情報の削減は実現される．
しかしながら実際にこのまま適用すると，学習される確信度の値はほとんど1となり，ほとんどマスクされずに木構造LSTMへ入力されてしまう．
そこで，モデルの訓練時，入力にマスク量に応じたノイズを加えることによってマスクされるトークン数を増進し，この問題を解決する．

初めに，文中の各トークンに対する確信度の平均値としてその文のトークンの生存率$r$を計算する．
\begin{equation}
    r = \cfrac{ \sum^{n^s}_{i=1}{c_i} }{n^s},
\end{equation}
次に，系列LSTMからの出力と同じ次元の正規分布$\mathcal{N}(\bm{0}, \bm{I})$からサンプリングしたベクトル$\bm{p}_i$に，この生存率$r$とノイズの係数パラメータ$\alpha$を乗じることでノイズを計算する．
これは，各次元の分布が平均0，分散$\alpha^2r^2$であるようなノイズをサンプリングしていると捉えることもできる．
そしてこのノイズを系列LSTMの出力に加えた後にマスクを行うことで最終的なマスク後の出力を得る．
訓練時のマスク機構からの$i$番目のトークンの出力$\bm{v}^m_i$は以下となる．
\begin{equation} \label{eq:mask-train}
    \bm{v}^m_i = m_i (\bm{v}^{\mathrm{seq}}_i + \alpha r \bm{p}_i),
\end{equation}
係数パラメータ$\alpha$は開発データにおける識別性能からチューニングして決定する．
学習ではノイズによる損失の増加を抑えるためにノイズの係数となる生存率を下げるようにパラメータが動き，それによってマスクされるトークン数が増えることを期待する．

このノイズを加えるという処理は次のような考えに基づいている．入力文内には注目エンティティペア間の関係について無関係な言及も含まれるが，その無関係な情報の利用は関係分類モデルにとってノイズになる．これを，マスク機構においてマスクされなかったトークンが多いほど大きくなるノイズを加えることで表現し，ノイズを減らすためにマスクされるトークンを増やすという方向に学習が進むことを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{テスト時のマスクの適用}

テスト時はノイズを加えず，マスク$m_i$についてもサンプリングを行わず閾値0.5を超えたかどうかにより決定的に計算する．
したがってテスト時のマスク機構からの出力$\bm{v}^m_i$は以下となる．
\begin{align} \label{eq:mask-test}
  m_i &= \begin{cases}
    1, & \mbox{if~~} c_i \geq 0.5 \\
    0, & \mbox{otherwise.}
  \end{cases} \nonumber \\
  \bm{v}^m_i &= m_i \bm{v}^{\mathrm{seq}}_i,
\end{align}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アテンション機構}

ベースラインモデルでは，上向き木構造LSTMの出力ベクトル列のうち，木構造の根トークンのベクトルを隠れ層への入力に使用する．しかしながら，マスク機構を用いた場合は根や最近共通祖先のトークンを含めどのトークンがマスクされるか事前にはわからず，あらかじめ上向き木構造LSTMの出力のうち利用するトークンを定めることが難しい．
そこで，あらかじめ特定のトークンを選ぶ代わりに，アテンション機構を用いて上向き木構造LSTMの出力ベクトル列を集約し，これを木構造LSTM層の出力の一部として用いる．
この機構は，Vaswawniらによるアテンション機構\cite{vaswani:attention:NIPS2017_7181}を参考に，各トークンの表現ベクトルの内積をその次元数の正の平方根で除してアテンションのスコアを計算し，これを異なるパラメータで複数用意して並列させる構造になっている．

初めに，集約対象を指示するクエリベクトル$\bm{v}^{aq}$を，\ref{sec:tree-lstm-layer}節のエンティティペアの双方向木構造LSTMの出力の合計と差の連結として構成する．差については1次元目の値が常に非負の値となるように，必要に応じて全体の符号を反転させる．
{\allowdisplaybreaks
\begin{align} 
    \bm{v}^{\uparrow\downarrow}_i &= [\bm{v}^{\uparrow}_i; \bm{v}^{\downarrow}_i] \nonumber\\
    \bm{q}^{s} &= \frac{\bm{v}^{\uparrow\downarrow}_\mathrm{e1} + \bm{v}^{\uparrow\downarrow}_\mathrm{e2}}{\sqrt{2}} \nonumber\\
    \bm{q}^{d} &= \bm{v}^{\uparrow\downarrow}_\mathrm{e1} - \bm{v}^{\uparrow\downarrow}_\mathrm{e2} \nonumber\\
    \bm{v}^{aq} &= [\bm{q}^{s}; \mathrm{sign}(q^{d}_1) \bm{q}^{d}],
    \label{eq:attention-query}
\end{align}
}%
ここで$\mathrm{sign}(\cdot)$は符号関数で，次の式により計算する．
\begin{equation}
  \mathrm{sign}(x) = \begin{cases}
    1, & x \geq 0 \\
    -1, & \mbox{otherwise.}
  \end{cases}
\end{equation}
差のベクトルの符号を反転させる処理は，差のベクトルがエンティティの順序に依存しないようにする目的で行った．これは，各値の絶対値を取ったベクトル$\mathrm{abs}(\bm{q}^{d})$を利用する場合と似ているが，2次元目以降の値に負の値が出現しうる点で異なる．

続いて，各トークンのキーベクトル$\bm{v}^{ak}_1,...,\bm{v}^{ak}_{n^s}$を，それぞれのエンティティペアからの相対距離の埋め込みベクトルの合計及び差と，対応する双方向木構造LSTMの出力から計算する．
{\allowdisplaybreaks 
\begin{align} \label{eq:attention-key}
    \bm{k}^{s}_i &= \frac{\bm{v}^{\mathrm{rpos}}_{i-\mathrm{e1}} + \bm{v}^{\mathrm{rpos}}_{i-\mathrm{e2}}}{\sqrt{2}} \nonumber\\
    \bm{k}^{d}_i &= \bm{v}^{\mathrm{rpos}}_{i-\mathrm{e1}} - \bm{v}^{\mathrm{rpos}}_{i-\mathrm{e2}} \nonumber\\
    \bm{v}^{ak}_i &= [\bm{v}^{\uparrow\downarrow}_i; \bm{k}^s_i; \mathrm{sign}(k^d_{i1}) \bm{k}^d_i],
\end{align}
}%
ここで$\bm{v}^{\mathrm{rpos}}_{j}$は式\eqref{eq:seq-lstm-concat}中と同一の相対距離の埋め込みベクトルである．

そして，得られたクエリ，キーベクトルを用いてアテンションのスコアを計算し，上向き木構造LSTMの出力を集約する．
この時計算に用いる重み行列を複数セット用意することで，アテンションを並列させる．
それぞれの独立なアテンション機構をヘッドと呼ぶ．
並列数を$H$とする．
$i$番目のトークンに対する$j$番目のヘッドにおけるアテンションのスコア$a_{ji}$と，集約されたベクトル$\bm{v}^{a}_{j}$は以下の式より計算する．
{\allowdisplaybreaks 
\begin{align} \label{eq:attention-weight}
    \bm{h}^{aq}_{j} &= \mathrm{Normalize}( W^{aq}_{j} \bm{v}^{aq}) \nonumber\\
    \bm{h}^{ak}_{ji} &= \mathrm{Normalize}( W^{ak}_{j} \bm{v}^{ak}_i) \nonumber\\
    h^{a}_{ji} &= \frac{ {\bm{h}^{aq}_j}^{\top} \bm{h}^{ak}_{ji} }{\sqrt{d^a}} \nonumber\\
    a_{ji} &= \frac{\exp(h^a_{ji})}{\sum_{i}{\exp(h^a_{ji})}} \nonumber \\
    \bm{v}^{a}_j &= \sum_{i}{a_{ji} W^{av}_j \bm{v}^{\uparrow}_i},
\end{align}
}%
ここで$W^{aq}_j, W^{ak}_j, W^{av}_j~(j \in [1, H])$はそれぞれ$d^a \times 4 d^{\mathrm{ctree}}$次元と$d^a \times 2 (d^{\mathrm{ctree}}+d^R)$次元，$\frac{d^{\mathrm{ctree}}}{H} \times d^{\mathrm{ctree}}$次元の重み行列で，$d^a$はアテンション機構の隠れベクトルの次元数である．

アテンション機構の出力$\bm{v}^{a}$は，各ヘッドの出力を並列させることで得る．
\begin{equation} \label{eq:attention}
    \bm{v}^{a} = [\bm{v}^a_1; ...; \bm{v}^a_H],
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案機構を導入した関係分類モデルの全体像}

マスク機構とアテンション機構を導入した関係分類モデルは，図\ref{fig:model_overview}のように，入力層，系列LSTM層，\textbf{マスク機構}，木構造LSTM層，\textbf{アテンション機構}，隠れ層，出力層の七つの構造によって構成される．入力層，系列LSTM層の計算については，ベースラインモデルと同様である．

マスク機構を導入したモデルは，木構造LSTM層の入力に，系列LSTM層の出力$\bm{v}^{\mathrm{seq}}_1,...,\bm{v}^{\mathrm{seq}}_{n^s}$の代わりに，マスク機構によってマスクされた出力$\bm{v}^m_1,...,\bm{v}^m_{n^s}$を用いる．訓練時は式\eqref{eq:mask-train}を，テスト時は式\eqref{eq:mask-test}を用いる．木構造LSTM層ではマスクの値に関わらず常に依存木全体に対して計算を行う．したがって，マスクの値が0となったトークンの木構造LSTMのセルには0ベクトルが入力される．

アテンション機構を導入したモデルにおける隠れ層への入力は，式\eqref{eq:tree-layer-out}の上向き木構造LSTMにおける根トークンの出力ベクトルを，式\eqref{eq:attention}により計算されたアテンション機構の出力$\bm{v}^{a}$で置き換えたベクトル$\bm{v}^{\mathrm{att}}$である．
\begin{equation}
    \bm{v}^{\mathrm{att}} = [\bm{v}^{a}; \bm{v}^{\downarrow}_{\mathrm{e1}}; \bm{v}^{\downarrow}_{\mathrm{e2}}]
\end{equation}
マスク機構のみを導入し，アテンション機構を導入しない場合の隠れ層への入力は，依存木全体を用いる場合のベースラインモデルと同様，式\eqref{eq:tree-layer-out}の$\bm{v}^{\mathrm{tree}}$を用いる．

隠れ層と出力層については，ベースラインモデルと同様の計算を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験・考察}
\vspace{-0.5\Cvs}

本章ではベースラインモデルと提案モデルにおける実験と，その結果に対する考察を述べる．
実験ではベースラインモデルと，マスク機構およびアテンション機構を導入したモデルについてそれぞれ学習を行い，その識別性能を評価した．
また，マスク機構における異なるノイズ強度ごとの生存率の変化を比較し，学習されるマスクと最短経路のヒューリスティックの類似度と，生存するトークンの傾向について調査し，考察を行った．

本章では初めに実験設定について説明する．
次に，各モデルにおける識別性能について述べる．
続いて，マスク機構におけるノイズの影響について述べる．
最後にマスクされるトークンの傾向について述べる．

特に断りのない限り，実験結果と考察はPairコネクションを取り除いたモデルに対するものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

ベースラインモデルと，それにマスク機構およびアテンション機構を導入したモデルについてそれぞれ学習と評価を行った．
ベースラインモデルでは，木構造LSTM層で用いる木構造として依存木全体，最短経路の部分木，およびZhangらによる最短経路から距離1のノードも利用する部分木\cite{D18-1244:GCN-PrunedTree}の三種類についてそれぞれ実験を行った．
また，Pairコネクションを付け加えたモデルについても学習と評価を行った．

使用するデータセットとしては，一文内のエンティティペア間の関係分類において代表的なデータセットの一つであるSemEval-2010 Task 8データセット\cite{S10-1006:semeval2010}を用いた．
このデータセットは8,000件の訓練事例と2,717件のテスト事例から構成されている．
システムには入力文とその文内の二つのエンティティの位置が与えられ，あらかじめ定義された九種類の正例関係クラスおよび負例クラスの中から，そのエンティティペア間に成立している関係を予測する．
正例クラスについてはその関係の向きについても予測する必要がある．本研究では分類モデルの出力クラスとして各正例ごとに順方向と逆方向の二種類をそれぞれ用意し，計19クラスの分類モデルとした．
このデータセットには同じ文が繰り返し出現することがなく，各文ごとにエンティティ二つの位置と，そのペア間の関係クラスのアノテーションが付与されている．
公式の評価指標はMacro-F値である．

SemEval-2010 Task 8データセットには公式の開発事例群が存在しないため，訓練事例のうち全体の10\%を開発事例として分割し，ハイパーパラメータチューニングに用いた．
また，Stanford parser~\cite{D14-1082:stanford-parser}を用いて各事例のそれぞれの単語の品詞タグと依存木\footnote{依存構造の表現形式には木の性質を満たす\textit{basic dependencies} （collapseなし, propagateなし）を使用した．}を得た．
テスト事例の性能評価は，チューニングしたハイパーパラメータを用いて，開発事例を含めた訓練事例全体で再度学習したモデルで行った．
識別性能の比較はMacro-F値で行い，各モデルについて5回ずつ訓練と評価を行ってその平均と標準偏差について評価した．
実装にはTensorflow\footnote{https://www.tensorflow.org/}を利用した．
Pairコネクションを取り除いたモデルのハイパーパラメータのチューニングにはRoBO\cite{klein-bayesopt17}を用いた．RoBOによりチューニングしたハイパーパラメータは，各層のドロップアウト率，学習率，ノイズの係数パラメータである．
Pairコネクションを取り除いたモデルで用いた各ハイパーパラメータの値を表\ref{tab:hyperparametr}に示す．
Pairコネクションを付け加えたモデルについては，実験時間の短縮のため，Pairコネクションを取り除いたモデルでチューニングしたハイパーパラメータを元に，各層のドロップアウト率を0から0.7の範囲で1パラメータずつ0.1刻みで再度チューニングし，開発事例における識別性能が最も高くなった値を採用した．
元のドロップアウト率を利用する場合のほうが性能が高くなる場合は，そのままの値を用いた．
Pairコネクションを付け加えた場合と取り除いた場合で異なるドロップアウト率とした箇所とその値を表\ref{tab:hyperparametr-pair}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{Pairコネクションを取り除いたモデルで用いたハイパーパラメータの値}
\label{tab:hyperparametr}
\input{03table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\hangcaption{Pairコネクションを付け加えたモデルで用いたドロップアウト率のうち，Pairコネクションを取り除いたモデルと異なる値を採用した箇所とその値}
\label{tab:hyperparametr-pair}
\input{03table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関係の識別性能}


各モデルのMacro-F値の平均と標準偏差を表\ref{tab:semeval2010-score}に示す．
表の通り，Pairコネクションを使わない場合，提案手法を導入したモデルは，マスク機構・アテンション機構共に単独でベースラインモデルの識別性能を上回り，両者を併せて導入した場合，さらに識別性能は向上する結果となった．
マスク機構については，ノイズの係数パラメータ$\alpha$を0にしたノイズを全く利用しないモデルよりも，ノイズを利用するモデルのほうが識別性能が高い結果となった．
また，マスク機構とアテンション機構を併せて導入したモデルとベースラインモデルにおける，開発データで中央値を記録したそれぞれのモデル間でApproximate Randomization Test~\cite{noreen1989computer}による有意差検定を実施したところ，有意水準$p<0.05$での有意な性能向上を確認した ($p=0.0197$)．
また，提案モデルにおいて最短経路やZhangらによる部分木のヒューリスティックを利用した場合の性能も上回る結果となった，
ただし，本研究で実験したモデル中でテスト事例における最高のMacro-F値を記録したモデルは，最短経路のヒューリスティックとPairコネクションを同時に使うモデルであった．
このモデルにおける開発事例でのMacro-F値は，三輪らが木構造LSTMにChild-Sum木構造LSTMを用いたLSTM-ERモデルにおけるMacro-F値として報告した値よりもわずかに小さいものの，その差は標準偏差以下の値であり，ほぼ同等の識別性能であると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\caption{SemEval-2010 Task 8における各モデルのMacro-F値の平均と標準偏差}
\label{tab:semeval2010-score}
\input{03table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{Pairコネクションの有無によるMacro-F値の平均と標準偏差の比較}
\label{tab:score-pair-comparison}
\input{03table04.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各モデルにおけるPairコネクションの有無による識別性能の比較を表\ref{tab:score-pair-comparison}に示す．
表の通り，ベースラインモデルや最短経路のヒューリスティックを用いた場合は，開発事例，テスト事例ともに識別性能が向上した．
一方で，提案手法を用いたモデルは，Pairコネクションを使用することで，開発事例におけるMacro-F値がどのモデルも悪化しており，特にマスク機構とアテンション機構を同時に用いた場合で顕著である．
この結果となった理由の一つとして，提案手法とPairコネクションを同時に利用することで，モデルの表現力が過剰に大きくなり，汎化性能が低くなった可能性が予想される．

表\ref{tab:semeval2010-score}の通り，本研究で用いたモデルの識別性能は，SPTreeやWordNet埋め込みを用いたLSTM-ERモデルや，同じくWordNet埋め込みを用いるDRNNsモデルと比較すると低い．
さらに，事前学習済みBERTモデルを用いた，依存構造を用いない関係分類モデルである$\mathrm{BERT}_\textrm{\textrm{EM}}$モデルはテスト事例でより高いMacro-F値を記録している\footnote{表\ref{tab:semeval2010-score}中のモデルにおいて$\mathrm{BERT}_\textrm{\textrm{EM}}$モデルのみ開発事例の割合が異なり，訓練事例から1,500件を取り出して開発事例としている．}．
今後の課題として，事前学習済みBERTのようなより性能の高いモデルを用いた場合における，依存構造や最短経路のヒューリスティック，および提案手法の有効性を検証することが挙げられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\vspace{-0.3\Cvs}
\begin{center}
\includegraphics{27-2ia3f3.eps}
\end{center}
\caption{ノイズの係数パラメータ$\alpha$ごとの生存率の平均値の学習曲線．}
\label{fig:non-masking-rate}
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{マスク機構におけるノイズの影響}

異なるノイズの係数パラメータ$\alpha$ごとの生存率$r$の平均値の学習曲線を図\ref{fig:non-masking-rate}に示す．
\pagebreak
図の通り，$\alpha$が小さい場合や，$\alpha=0$のとき，すなわちノイズを全く利用しないような場合では，最終的な生存率はほぼ1となり，ほとんどのトークンがマスクされずそのまま利用される結果となった．
そして，$\alpha$を大きくするに従い，最終的な生存率の平均値が小さくなり，このパラメータの調整によって利用するトークンの割合をコントロールすることが出来た．

$\alpha$が小さいときの生存率が最終的にほぼ1になるのは，ニューラルネットワークの表現力が高いために，ほとんどどのような入力でも損失を下げる方向に利用することができ，ほとんどのトークンを利用するように学習が進んだことが一つの理由として考えられる．
また，この場合でも，学習初期ではある程度生存率を下げる方向に学習が進み，その後逆に生存率が高くなっている．これは，学習初期は系列LSTM層からの出力ベクトルの学習がまだ十分に進んでおらず，一部は利用しない方が損失を下げられるために一時的に生存率が下がり，その後学習が進むにつれ損失を下げるようなパラメータにできて，一転して生存率を上げるように学習が進んだことが理由の一つだと考えられる．
一方$\alpha$が大きい場合は，学習初期ではほぼすべてのトークンがマスクされている．これは，学習初期の系列LSTMからの出力の学習がまだほとんど進んでおらず，その後の層の計算にあまり役に立たないような表現となっているために，ほとんどがマスクされたためだと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{マスクされるトークンの傾向}

最短経路のヒューリスティックは，先行研究で示されている通り，モデルの識別性能を向上できる良い経験則であり，学習から得た利用すべきマスクも，このヒューリスティックに近いものになる可能性が高い．
実際，開発データにおいて最も高いMacro-F値となったモデルの平均生存率は20.2\%となり，これは，最短経路上のトークンが文内で占める割合である19.3\%と近い値である．
そこで学習されたマスクと最短経路の間にどの程度類似度があるかを調べるため，この二者間で残されるトークンについてJaccard係数を計算した．
結果としてJaccard係数は，5回の試行の平均値が訓練事例で0.821，開発事例では0.826と，マスクされないトークンがおよそ20\%であることから考えて非常に高い値となり，提案モデルは最短経路のヒューリスティックに非常に近いマスクを学習から自動で獲得したといえる．
さらに，提案モデルの異なる試行ごとで得られたマスク間のJaccard係数は平均で0.926と，最短経路との間のJaccard係数よりさらに高い値となっており，モデルは最短経路そのものとは少し異なる規則を学習するという結果になった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\hangcaption{最短経路上のトークンとマスク機構により残されたトークンの例と，対応するそれぞれのモデルの予測}
\label{tab:mask-example}
\input{03table05.tex}
\vspace{4pt}\small
e1とe2は注目エンティティを示し，予測は5回の施行で最も多く選ばれたものとその回数を表示した．関係の向きは常にe1からe2へとし，逆向きの関係ラベルにはReversedのプレフィックスを付けている．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[p]
\caption{品詞タグごとのマスク機構が残す単語の数}
\label{table:pos-map}
\input{03table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:mask-example}にいくつかの開発事例における最短経路上のトークンとマスク機構によって残されたトークンの例を示す．
この例はマスク機構とアテンション機構を併せて導入したモデルによる結果であり，このモデルに併せてベースラインモデルで最短経路のヒューリスティックを用いたモデルのそれぞれ5回の施行において最も多く予測した関係ラベルとその回数も示した．
マスク機構により残されたトークンについては，5回の施行で3回以上残されたトークンのみを表示している．
表中の上二つの例のように，マスク機構は最短経路上には存在しない所有格の\textit{s}や\textit{into}のような単語を残すよう学習し，最短経路を用いたモデルでは正しく予測できなかった事例について正解することができたケースが確認された．
逆に三番目の例では最短経路上に存在する\textit{sent}を残さず，最短経路を用いたモデルでは正しく予測できた事例について誤ってしまうケースも確認された．また，四番目の例では注目エンティティペアに無関係な\textit{from}を残し，予測もCause-Effect（原因と結果の関係）を予測してしまうといった，無関係な言及に注目してしまったがために間違えてしまうケースも見つかった．
この一方で，下二つの例のように最短経路と同じトークンを残しながら異なる予測を多くするようになった事例もいくつか確認された．

提案モデルのうちで最高のMacro-F値を記録したモデルにおける，品詞タグごとのマスク機構によって残される単語の数を表\ref{table:pos-map}に示す．
表中の単語数が各事例に含まれる単語の総数で，SPはそのうち最短経路上に含まれるもの，生存数はマスク機構が残した単語の数である．
表の通り，マスク機構によって残される単語の数は最短経路上に含まれる単語の数とかなり近いが，名詞 (NN, NNS, NNP, NNPS) は僅かに多く，逆に動詞 (VBN, VBD, VBZ, VBG, VBP, VB) は僅かに少ないなど，細かな違いがみられる．
特に，最短経路の外側になってしまう所有格の\textit{s}など (POS, possessive ending) や，Particle (RP)，ヘッドにならなかった\textit{what}など (WDT, WRB, WP, WP\$) が一部生存しており，このことから狙い通りマスク機構が最短経路外の情報を利用していることが確認できる．

マスク機構の処理は中間出力のそれぞれを確信度に基づきマスクするのみであるので，その後の計算に用いられる構造は，異なる依存関係セットを用いるUniversal Dependenciesのような別の依存構造の表現形式を用いても適用可能である．
その一方で，マスク機構に続く層が入力に期待する構造から外れるようなマスクを行わないように，利用する構造に合わせた，その構造をよく表現する情報をマスク機構に入力するべきであると考えられる．
今回は式\eqref{eq:seq-lstm-concat}, \eqref{eq:confidence}の通り，双方向LSTMの出力，および係り受けと相対距離の埋め込みベクトルを入力に用いたが，よりよい依存構造木を表すような表現や，ほかの構造におけるよい表現について検討する必要があると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，関係分類において重要なトークンの判別規則を学習を通じて獲得するマスク機構を提案した．
ベースラインモデルに提案機構を導入した関係分類モデルは，最短経路のヒューリスティックを用いた場合の識別性能を上回り，依存木全体を用いた場合の識別性能に対しては有意な性能向上を達成した．
提案機構により学習されたマスクは最短経路のヒューリスティックに近いものが自ずと学習される一方で，所有格の\textit{s}などの最短経路上に存在しないトークンを利用するようになった．さらに，異なる学習試行ごとで得られたマスク間の類似度は，最短経路との間の類似度よりも高く，最短経路そのものとは一部異なる規則が学習されやすいことが確認された．
今後の課題として，BERTのような，より性能の高いモデルにおける最短経路のヒューリスティックの有効性の調査と，そのようなモデルへの提案機構の導入が挙げられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{03refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{辻村　有輝}{%
2016年豊田工業大学工学部卒業．2018年豊田工業大学大学院修士課程修了．現在，豊田工業大学大学院工学研究科博士課程に在学中．
}

\bioauthor{三輪　　誠}{%
2008年東京大学大学院博士課程修了．博士（科学）．東京大学，マンチェスター大学を経て，2014年より豊田工業大学知能数理研究室准教授．ACL，情報処理学会，言語処理学会，人工知能学会各会員．}

\bioauthor{佐々木　裕}{%
1988年筑波大学修士課程理工学研究科修了．2000年同大学より博士（工学）授与．NTT研究所，ATR,  マンチェスター大を経て，現在，豊田工業大学教授．言語処理学会等会員．}

\end{biography}


\biodate




\end{document}

