\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\usepackage{array}
\settombowbleed{5mm}
\newcommand{\TTBold}[1]{\usefont{OT1}{lmtt}{b}{n}#1}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author 's definition
%%%%\usepackage{amsmath, amssymb}
%%%%\usepackage{enumitem}
%%%%\usepackage{times}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{2}
\Month{June}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2019}{9}{1}
\revised{2020}{1}{15}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{2}{25}

\setcounter{page}{237}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{関係パタンとの共起から学習される単語ペア埋め込みを用いた\\
	名詞間意味関係識別}
\jauthor{鷲尾　光樹\affiref{Author_1} \and 加藤　恒昭\affiref{Author_1}}
\jabstract{%
単語間の意味関係識別，特に名詞ペアの識別は，言語理解に用いられるWordNetなどの語彙知識ベースの自動的な拡充にとって重要である．意味関係識別の効果的なアプローチに，対象の単語ペアとコーパス上で共起した，単語ペアを文中で結びつける単語系列，あるいは依存構造パスなどの関係パタンを用いるものがある．関係パタンは意味関係を反映しているため，意味関係識別に重要な特徴である．関係パタンに基づく手法は，対象の単語ペアのコーパス上での共起を必要とするが，単語の出現頻度分布はジフの法則に従うことが知られており，大抵の内容語は低頻度であるため，この要請は大規模コーパスを扱ったとしても必ずしも満たされるわけではない．本研究では，この問題を解決するために，関係パタンの情報を反映した単語ペアの埋め込み表現を，コーパスから教師なし学習する手法を提案する．本手法はニューラルネットワークで単語ペアと関係パタンの共起を汎化することで，コーパス上で十分に共起しなかったペアに対しても，単語ペア埋め込みを通して関係パタンの情報を意味関係識別モデルに提供する．実験により，本手法による単語ペア埋め込みを最先端の関係パタンに基づく手法に適用すると，4つの意味関係識別データセットの名詞ペアについて性能が向上し，適切に共起の問題を緩和できていることがわかった．
}
\jkeywords{語彙意味論，意味関係，知識ベース}

\etitle{Learning Word-pair Embeddings from Co-occurrences of Word Pairs and Lexico-syntactic Patterns to Recognize \\
	Semantic Relations between Nouns}
\eauthor{Koki Washio\affiref{Author_1} \and Tsuneaki Kato\affiref{Author_1}} 
\eabstract{%
Recognizing lexical semantic relations of word pairs, especially noun pairs, is an important task for automatic completion and expansion of lexical knowledge bases, such as WordNet, which can be used for natural language understanding. One of the promising approaches to this task is the utilization of lexico-syntactic patterns co-occurring with target word pairs, which reflect their lexical semantic relations. These pattern-based methods require co-occurrences of the target word pairs. However, this requirement is hardly satisfied because of Zipf's law that states, which most content words occur very rarely. To solve this problem, we propose a novel unsupervised learning method to obtain word-pair embeddings that reflect co-occurring lexico-syntactic patterns. In recognizing lexical semantic relations, our method provides relational information for word pairs that do not co-occur in a corpus because the neural network generalizes the co-occurrence between word pairs and lexico-syntactic patterns. The experimental results show that our word-pair embeddings improved the performance of the state-of-the-art neural pattern-based method on the noun pairs of four datasets and successfully alleviated the co-occurrence issue.
}
\ekeywords{Lexical Semantics, Semantic Relation, Knowledge Base}

\headauthor{鷲尾，加藤}
\headtitle{関係パタンとの共起から学習される単語ペア埋め込みを用いた名詞間意味関係識別}

\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

単語，とくに名詞間の意味関係は，含意関係認識\cite{dagan2010}や質問応答\cite{yang2017}などの高度な意味処理を伴う自然言語処理タスクにおいて重要である．語の意味関係知識は，WordNet \cite{fellbaum1998}などの人手で作成された語彙知識ベースに蓄えられており，様々なタスクに利用することができる．
しかし，このような人手による語彙知識ベースの拡張には大きなコストがかかり，新語や未知語に対応できず，さらにカバーされているドメインも限られている．
この問題を解決するために，大規模コーパスから語の意味関係知識を獲得する方法が研究されている．

コーパスからの意味関係知識の獲得には，二語を文中で結びつける単語系列，あるいは依存構造パスなどの関係パタンの利用が有効であることが知られている\cite{hearst-1992-automatic}．
たとえば，\textit{A dog is a kind of animals.}という文において，\textit{is a kind of}という語の系列から，\textit{dog}が\textit{animal}の下位語であることが識別できる．
このように，コーパス中で二語を結びつける単語系列や依存構造パスを特徴として教師あり学習を行う手法が，パタンベースの手法として提案されている\cite{snow2004,shwartz2016improving,shwartz2016path}．
また，関係パタンは，知識獲得の手法として，推論規則をコーパスから獲得するためにも用いられている\cite{schoenmackers-etal-2010-learning,tsuchida-etal-2011-toward}．

パタンベースの意味関係識別は，意味関係の分類対象となる単語ペアについてコーパス上での十分な共起を必要とする．
しかし，たとえ大規模コーパスが扱えたとしても，意味関係を持つ単語ペアが必ずしも十分に共起するとは限らない．
文中で共起しなかった単語ペアや共起回数が少なかった単語ペアについては，このアプローチでは分類に有用な関係パタンの特徴が得られず，意味関係を適切に予測することができない．

このようなパタンベースの意味関係識別の問題に対処するために，本研究ではニューラルネットワークを用いて，単語ペア$(w_1, w_2)$と，それらを結びつける関係パタン$p$の共起から，単語ペアの埋め込みを教師なし学習する手法を提案する．
大規模コーパスから学習したニューラルネットワークの汎化能力を利用することで，コーパス上で十分に共起が得られなかった単語ペアについても，関係パタンとの共起を予測できるような，意味関係識別に有用な特徴が埋め込まれた埋め込みを得ることができる．
コーパスから推論規則とその適用を学習して，共起しなかった二つの概念に関する関係性を推論する手法\cite{schoenmackers-etal-2010-learning,tsuchida-etal-2011-toward}も提案されているが，本研究ではニューラルネットワークの教師なし学習を用いて単語ペアの意味関係表現を得ることで，教師あり意味関係識別において，共起が十分に得られなかった単語ペアに関する分類性能を向上させることを目的とする．
実験により，この単語ペア埋め込みを，パタンベースの意味関係識別の最先端のモデル\cite{shwartz2016path}に適用することで，4つデータセットにおいて名詞ペアに対する識別性能が向上することがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{背景}

本節では背景知識となる訓練データを用いる教師あり単語間意味関係識別について説明する．
タスクの定義（\ref{subsec:教師あり単語間意味関係識別}節），従来手法である出現文脈分布を用いた識別手法（\ref{subsec:出現文脈分布を用いた意味関係識別}節）
とパタンベースの識別手法（\ref{subsec:パタンベースの意味関係識別}節），最先端のニューラルパタンベースの手法（\ref{subsec:ニューラルパターンベースの手法}節）を説明した後に，パタンベースの手法の問題であるパタン欠落問題（\ref{subsec:パタン欠落問題}節）について説明する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師あり単語間意味関係識別}
\label{subsec:教師あり単語間意味関係識別}

教師あり単語間意味関係識別は，単語ペアを特徴ベクトルとして表現し，訓練データを用いて，単語ペアを上位下位関係，部分全体関係などの意味関係クラスに分類するモデルを構築するタスクである．
単語ペアの特徴として，各語の出現文脈の分布（\ref{subsec:出現文脈分布を用いた意味関係識別}節）や関係パタン（\ref{subsec:パタンベースの意味関係識別}節）の情報を用いることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{従来手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{出現文脈分布を用いた意味関係識別}
\label{subsec:出現文脈分布を用いた意味関係識別}

各語の出現文脈分布を用いる手法は，各語を単語埋め込み\cite{mikolov2013,levy-goldberg-2014-dependency,pennington-etal-2014-glove}として表現し，二つの埋め込みに何らかの演算を施すことで，単語ペアの特徴ベクトルとする．
用いられる演算には，ベクトルの結合\cite{baroni-etal-2012-entailment,roller-erk-2016-relations}や差分\cite{roller-etal-2014-inclusive,weeds-etal-2014-learning,vylomova-etal-2016-take}などがある．
出現文脈分布を用いる手法は関係パタンを用いるパタンベースの手法と異なり，二語の共起を必要としない．しかし，これらの手法は二語の関係性を学習しているのではなく，個々の単語がそれぞれどれぐらい対象の関係を持ちやすいかを覚えているだけであるという報告がある\cite{levy-etal-2015-supervised}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{パタンベースの意味関係識別}
\label{subsec:パタンベースの意味関係識別}

パタンベースの教師あり意味関係識別では，単語ペアと共起した関係パタンを集計して特徴ベクトル化することで単語ペアを表現し，
その上に分類器を構築する\cite{snow2004}．
関係パタンを用いることで，二語の意味関係を捉えることができるが，関係パタンは単語系列，あるいは依存構造パスのため，特徴空間が非常にスパースになる．
ゆえに，\textit{X is a species of Y}と\textit{X is a kind of Y}のような上位下位関係を表す関係パタン同士の類似性を捉えることができなくなってしまう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ニューラルパタンベースの手法}
\label{subsec:ニューラルパターンベースの手法}

Shwartzらは，各関係パタンを単一の特徴として用いるのではなく，リカレントニューラルネットワーク (RNN) を用いて関係パタンを低次元で密なベクトルに符号化することで，特徴空間のスパース性を回避する手法LexNETを提案した\cite{shwartz2016improving,shwartz2016path}．

Shwartzらは依存構造パスを関係パタンとして用いて，長短期記憶ネットワーク (LSTM) \cite{Hochreiter:1997}で符号化した．たとえば，\textit{A dog is a mammal.}のような文があり，対象の単語ペアを\textit{dog}と\textit{mammal}とするとき，依存構造パスは\texttt{X/NOUN/nsubj/> be/VERB/ROOT/-Y/NOUN/attr/<}となる．ここで，\texttt{X}は\textit{dog}，\texttt{Y}は\textit{mammal}である．依存構造パスの各エッジは，レンマ，品詞，依存関係，依存方向で構成される．
このときエッジは，各要素の埋め込みの結合として，以下のように表現される．
\begin{equation}
    \boldsymbol{e}=\left[\boldsymbol{v}_{l} ; \boldsymbol{v}_{p o s} ; \boldsymbol{v}_{d e p} ; \boldsymbol{v}_{d i r}\right]
\end{equation}
ここで，$;$はベクトルの結合，$\boldsymbol{v}_{l}$，$\boldsymbol{v}_{pos}$，$\boldsymbol{v}_{dep}$，$\boldsymbol{v}_{dir}$は，それぞれレンマ，品詞，依存関係，依存方向の埋め込みを表す．
エッジ埋め込み$\boldsymbol{e}$は，LSTMの各時点の入力となる．
LSTMの時点$t$の隠れ状態$\boldsymbol{h}_t$は以下のように計算される．
\begin{equation}
    \boldsymbol{h}_{t}=L S T M\left(\boldsymbol{h}_{t-1}, \boldsymbol{e}_{t}\right)
\end{equation}
ここで$LSTM$はLSTMの計算式に沿って，前の隠れ状態$\boldsymbol{h}_{t-1}$と現在の入力$\boldsymbol{e}_t$から，現在の隠れ状態を計算する関数である．
依存構造パスのすべてのエッジを入力した後のLSTMの最後の隠れ状態$\boldsymbol{o}_p$が，依存構造パス$p$の表現となる．
単語ペアが共起した依存構造パスの表現をまとめるために，Shwartzらは以下のような平均プーリングを適用している．
\begin{equation}
\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} = 
\frac{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)} \cdot \boldsymbol{o}_{p}}{\sum_{p \in P_{\left(w_{1}, w_{2}\right)}} f_{\left(w_{1}, w_{2}, p\right)}} 
\end{equation}
ただし，$P_{(w_1, w_2)}$は単語ペア$(w_1, w_2)$がコーパス上で共起した依存構造パスの集合，$f_{(w_1, w_2, p)}$は，依存構造パス$p$が$(w_1, w_2)$と共起した頻度である．

Shwartzらは，各語の出現文脈分布の情報も考慮するために，単語ペア$(w_1, w_2)$の関係パタン表現$\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$に，それぞれの単語埋め込み$\boldsymbol{v}_{w_1}$，$\boldsymbol{v}_{w_2}$を結合して，最終的な単語ペアの表現としている．
\begin{equation} \label{eq:lex_last}
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}}\right]
\end{equation}
この単語ペアの特徴表現$\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}$をもとに，最終的な出力として各意味関係クラスに割り当てられる確率を表現するベクトル$\boldsymbol{y}$が以下のように計算される．
\begin{equation}
\boldsymbol{y}=\operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{v}_{\left(w_{1}, w_{2}\right)}+\boldsymbol{b}\right)
\end{equation}
ただし，$\boldsymbol{W}$は線形変換のパラメータ行列，$\boldsymbol{b}$はバイアス項を表すベクトルである．
$\operatorname{softmax}$はソフトマックス関数である．

各語の単語埋め込みによる出現文脈分布のみでなく，LSTMによりスパース性を解決した関係パタンの表現を用いることで，LexNETは高い汎化性能を持つことが報告されている\cite{shwartz2016improving,shwartz2016path}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パタン欠落問題}
\label{subsec:パタン欠落問題}

LexNETを含むパタンベースの手法は関係パタンに基づくため，対象の単語ペアの共起を必要とする．
しかし，たとえ単語ペアが何らかの意味関係を持っており，大規模コーパスがあったとしても，すべての単語ペアについて分類に十分な共起を観測することは難しい．
単語の出現頻度はジフの法則に従うことが知られており，意味関係識別の対象となる内容語の大抵は低頻度であるためである\cite{hanks:2009}．
本研究では，この問題をパタン欠落問題と呼ぶ．

単語ペアの共起が得られなかった場合，パタンベースのモデルはそのペアについて，関係パタンに関わる有効な手がかりを得ることができない．
そのようなペアについて，LexNETは\texttt{UNK-lemma/UNK-POS/UNK-dep/UNK-dir}のようなダミーパタンでパディングを行う．
しかしこの処理では，モデルは単語ペアの間に意味関係がなかったので共起しなかったのか，意味関係があったがたまたま共起しなかったのかを区別できない．

Nec{\c{s}}ulescuらはコーパスをグラフで表現することで，
%%%%パタン欠落問題の解決を試みた\cite{necsulescu-etal-2015-reading}.
    パタン欠落問題の解決を試みた (Nec{\c{s}}ulescu, Mendes, Jurgens, Bel, Navigli 2015).\nocite{necsulescu-etal-2015-reading}
コーパスを依存構造解析し，単語をノード，依存関係を有向エッジとして表現して，それらを重ね合わせることでグラフを構築し，対象の二語についてグラフ上のパスをたどることで，共起しなかった単語ペアについても擬似的な関係パタンが得られる．
Nec{\c{s}}ulescuらは，二語間のパスの集合を特徴として，特徴選択を行いつつ分類器を構築した．結果として，Recallが改善されたが，依然として，パタン欠落問題があったことを報告している．

本研究では，単語ペアと関係パタンの共起をニューラルネットワークによって教師なし学習を行うことで，この問題の解決を試みる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:提案手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語ペア埋め込みの教師なし学習}
\label{subsec:単語ペア埋め込みの教師なし学習}

本節では，コーパスから得られる単語ペア$(w_1, w_2)$と二語を結びつける関係パタン$p$の共起データ$D = \{(w_1, w_2, p)_1, (w_1, w_2, p)_2, \ldots, (w_1, w_2, p)_n\}$から，単語ペアと関係パタンの共起をニューラルネットワークで教師なし学習する手法について述べる．
ニューラルネットワークを用いて汎化することで，コーパス上で共起しなかった単語ペアについても，関係パタンとの共起情報を捉えた単語ペア埋め込みが得られる．
さらに，パタンベースの意味関係識別では，対象の単語ペアが共起した関係パタンのみを用いるため，コーパスの一部しか学習に使用できないが，コーパス全体からの教師なし学習で獲得された単語ペア埋め込みを適用することで，コーパス全体を意味関係識別に用いることができる．

埋め込みを用いた共起のモデリングは，主に単語埋め込みの学習法\cite{Collobert:2008,mikolov2013,levy-goldberg-2014-dependency,pennington-etal-2014-glove}として一般的であり，多くのバリエーションが考えられるが，本研究では単純で効率的なSkip-gramモデル\cite{mikolov2013}と似た方法を採用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{単語ペアと関係パタンの符号化}

本手法では，単語ペアと関係パタンをそれぞれ埋め込みとして符号化し，それらの内積から共起する程度を予測することで学習を行う．

単語ペア$(w_1, w_2)$は以下のように符号化を行う．
\begin{align} \label{eq:l1}
\boldsymbol{h}_{(w 1, w 2)} & = \tanh \left(\boldsymbol{W}_{1}\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{w_{2}}\right]+\boldsymbol{b}_{1}\right) \\
\label{eq:l2}
\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)} & = \tanh \left(\boldsymbol{W}_{2} \boldsymbol{h}_{(w 1, w 2)}+\boldsymbol{b}_{2}\right)
\end{align}
ただし，$\boldsymbol{W}_1$, $\boldsymbol{b}_1$, $\boldsymbol{W}_2$, $\boldsymbol{b}_2$は，線形変換のためのパラメータ行列とバイアス項ベクトル，$\tanh$はtanh活性化関数である．


関係パタン$p$の符号化には，ランダムに初期化した埋め込みを$\boldsymbol{v}_p$として，各パタンに割り当てる．
ここでは関係パタンの符号化法として単純な方法を用いるが，\ref{subsec:ニューラルパターンベースの手法}節のようにLSTMで関係パタンを符号化することも可能である．その場合，学習時間は増加するが，関係パタン同士の類似性を捉えた学習が見込める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{目的関数}

目的関数には単語埋め込みの学習に用いられる負例サンプリング目的関数\cite{mikolov2013}を拡張したものを用いた．
単語ペアを表現する$\tilde{\boldsymbol{h}}_{(w_1, w_2)}$と関係パタンを表現する$\boldsymbol{v}_p$が計算できるとき，
本研究では，実際に共起したトリプル$(w_1, w_2, p)$を共起しなかったトリプル$(w_1, w_2, p^\prime)$と区別するように，以下のような目的関数$L$で学習を行う．
\begin{equation} \label{eq:objectives}
L =\sum_{\left(w_{1}, w_{2}, p\right) \in D} \log \sigma\left(\boldsymbol{v}_{p} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right) + \sum_{\left(w_{1}, w_{2}, p^{\prime}\right) \in D^{\prime}} \log \sigma\left(-\boldsymbol{v}_{p^{\prime}} \cdot \tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}\right)
\end{equation}
ただし，$\sigma$はシグモイド関数，$\cdot$はベクトルの内積，$D^\prime$は$D$からランダムに生成された負例サンプルの集合である．
負例サンプル$(w_1, w_2, p^\prime)$は，各$(w_1, w_2, p) \in D$に対して$k$個生成される．$k$はハイパーパラメータである．
$p^\prime$の生成は，単語埋め込みの学習によく用いられる設定\cite{mikolov2013}にならい，関係パタンの頻度分布を$3/4$乗したものから，ランダムに関係パタンをサンプリングすることで行った．
この目的関数$L$を確率的勾配降下法によって最大化することで学習が行われる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia4f1.eps}
\end{center}
\caption{単語ペア埋め込みの教師なし学習}
\label{fig:network}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:network}に以上の手法の概要を示す．
この図では，\textit{(dog, animal)}の単語ペアについて，それぞれの埋め込み$\boldsymbol{v}_{dog}$，$\boldsymbol{v}_{animal}$から，式\ref{eq:l1}，式\ref{eq:l2}によって単語ペアを符号化し，$\tilde{\boldsymbol{h}}_{\left(dog, animal\right)}$を計算している．
そして，式\ref{eq:objectives}を最大化して，$\tilde{\boldsymbol{h}}_{\left(dog, animal\right)}$と，実際に共起した関係パタン\texttt{X/NOUN/nsubj/> be/VERB/ROOT/- Y/NOUN/attr/<}の埋め込み$\boldsymbol{v}_{p}$との内積を大きくし，ランダムサンプリングされた負例の関係パタン\texttt{X/NOUN/nsubj/> use/VERB/ROOT/- Y/NOUN/dobj/<}の埋め込み$\boldsymbol{v}_p'$との内積を小さくすることで学習が行われる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語ペア埋め込みの計算と意味関係識別モデルへの適用}
\label{subsec:単語ペア埋め込みの計算と意味関係識別モデルへの適用}

ニューラルネットワークの学習後，単語埋め込みを持つ任意の二語について，式\ref{eq:l1}，式\ref{eq:l2}に基づいて，コーパス上で共起しうる関係パタンの情報を捉えた表現$\tilde{\boldsymbol{h}}$を得ることができる．
ここから以下のように単語ペア$(w_1, w_2)$の埋め込み$\boldsymbol{u}_{(w_1, w_2)}$を計算する．
\begin{equation}
\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}=\left[\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)} ; \tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}\right]
\end{equation}
$\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$と$\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$の両方を考慮することによって，\textit{$w_1$ is a $w_2$}と\textit{$w_2$ such as $w_1$}のような，$w_1$と$w_2$の出現順序が異なる共起関係パタンの情報を捉えることができる．
単語ペアの関係の方向性は$\tilde{\boldsymbol{h}}_{\left(w_{1}, w_{2}\right)}$と$\tilde{\boldsymbol{h}}_{\left(w_{2}, w_{1}\right)}$の結合の順序によって表現されているので，失われることはない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia4f2.eps}
\end{center}
\caption{単語ペア埋め込みのLexNETへの適用}
\label{fig:lexnet_pair}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上のように得られる単語ペア埋め込みを，既存の意味関係識別モデルLexNETに適用するために，本研究では，図\ref{fig:lexnet_pair}のようにLexNETの単語ペアの特徴表現（式\ref{eq:lex_last}）に，$\boldsymbol{u}_{(w_1, w_2)}$を結合する．
\begin{equation}
\boldsymbol{v}_{\left(w_{1}, w_{2}\right)}=\left[\boldsymbol{v}_{w_{1}} ; \boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}} ; \boldsymbol{v}_{w_{2}};\boldsymbol{u}_{(w_1, w_2)}\right]
\end{equation}
これにより，単語ペアの共起が十分に得られず，関係パタン表現$\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$が分類に有用な情報を有してない場合でも，共起しうる関係パタンの情報を捉えた単語ペア埋め込み$\boldsymbol{u}_{\left(w_{1}, w_{2}\right)}$により，関係パタンの情報を用いた意味関係識別が可能となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

本節では，提案手法の有効性を示すための実験について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

本実験では，意味関係識別のベンチマークである
%%%%K\&H+N\cite{necsulescu-etal-2015-reading}，
    K\&H+N (Nec{\c{s}}ulescu et al. 2015), \nocite{necsulescu-etal-2015-reading}
BLESS \cite{baroni-lenci-2011-blessed}，EVALution \cite{santus-etal-2015-evalution}，ROOT09 \cite{santus-etal-2016-nine}の 4 つのデータセットの名詞ペアを用いた．
これらのデータセットは，WordNetやWikipediaなどの知識ベースリソースからの抽出か，クラウドソーシング，もしくはその両方によって作られている．
表\ref{table:relation}は各データセットで扱っている名詞の意味関係である．
Shwartzらの先行研究\cite{shwartz2016path}に従い，EVALutionからは事例数の少ない含意関係と構成員集団関係は取り除いた．
訓練・開発・テストデータの分割は，Shwartzらが用意したものを用いた\footnote{https://github.com/vered1986/LexNET/tree/v2/datasets}．
表\ref{tab:statistics of data}に各分割の事例数を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\caption{各データセットで扱う名詞の単語間意味関係}
\label{table:relation}
\input{04table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\caption{各データセットの訓練・開発・テストデータの事例数}
\label{tab:statistics of data}
\input{04table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{コーパスと依存構造解析}

パタンベースの手法では，単語ペアと関係パタンの共起を集める必要があるため，英語版WikipediaをspaCy\footnote{https://spacy.io}で依存構造解析を行い，名詞ペアと依存構造パスの$(w_1, w_2, p)$トリプルを抽出した．
このとき$w_1$，$w_2$にはレンマタイズを施した．
Shwartzらの実装\footnote{https://github.com/vered1986/LexNET}に従い，出現頻度が5以下の依存構造パスを含むトリプルは扱わないことにした．

表\ref{table:instance}に，各データセットの共起の依存構造パスが得られた単語ペアの事例数の割合を示す．
すべてのデータセットで，必ずしもすべての名詞ペアが共起するわけではないことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\caption{共起依存構造パスが得られた事例数の割合}
\label{table:instance}
\input{04table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語ペア埋め込みの獲得}
\label{subsec:単語ペア埋め込みの獲得}

\ref{subsec:単語ペア埋め込みの教師なし学習}節で述べた単語ペア埋め込みの教師なし学習を行うために，以下のような処理を行った．
関係パタンには，最も頻度の高い3万の名詞を結びつける依存構造パスのみを教師なし学習に用いた．
単語埋め込みは配布されている50次元のGloVe\footnote{http://nlp.stanford.edu/data/glove.6B.zip} \cite{pennington-etal-2014-glove}で初期化し，パラメータの更新は行わなかった.
教師なし学習のために，$w_1$と$w_2$がGloVeの語彙に含まれている$(w_1, w_2, p)$トリプルを抽出し，教師なし学習用の訓練データ$D$を構築した．
その他のハイパーパラメータは表\ref{tab:hyperparameters for pair embeddings}のように設定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\caption{単語ペア埋め込みの教師なし学習のハイパーパラメータ}
\label{tab:hyperparameters for pair embeddings}
\input{04table04.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

提案手法の有効性を示すために，以下のモデルを比較した．
なお，各モデルの訓練は，開発セットでの性能が7エポック向上しなかったらストップし，もっとも開発セットでの性能が高いモデルを，テストセットで評価した．
評価指標は，Shwartzらの先行研究にならい，各クラスの事例数を考慮するscikit-learn\footnote{https://scikit-learn.org/stable/}の平均F1スコアを用いた．
\pagebreak

\begin{description}%[style=unboxed,leftmargin=0cm]
\item[\textbf{DS} \cite{shwartz2016path}]
各単語の出現文脈分布の情報のみを用いる手法として，二語の単語埋め込みを結合した$[\boldsymbol{v}_{w_1};\boldsymbol{v}_{w_2}]$を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した．
単語埋め込みには\ref{subsec:単語ペア埋め込みの獲得}節で用いた50次元のGloVeで初期化した．

\item[\textbf{DS\_h} \cite{shwartz2016path}]
DSに隠れ層を追加したモデルである．
隠れ層の次元数は60次元とした．

\item[\textbf{DS\_Pair}（提案手法）]
二語の単語埋め込みと\ref{sec:提案手法}節で述べた手法により学習される単語ペア埋め込みを結合した$[\boldsymbol{v}_{w_1};\boldsymbol{v}_{w_2};\boldsymbol{u}_{(w_{1}, w_{2})}]$を特徴ベクトルとし，多クラスロジスティック回帰を行う手法を実装した．

\item[\textbf{LexNET} \cite{shwartz2016path}]
\ref{subsec:ニューラルパターンベースの手法}節に沿って，ベースラインとなるLexNETを実装した．ハイパーパラメータを表\ref{tab:hyperparameters for lexnet}に示す．
レンマ埋め込み$\boldsymbol{v}_l$は\ref{subsec:単語ペア埋め込みの獲得}節で用いたGloVeと同じもので初期化を行った．
正則化は，エッジ埋め込み$\boldsymbol{e}$の各要素をドロップアウトして行った\cite{iyyer-etal-2015-deep,kiperwasser-goldberg-2016-simple}．
ドロップアウト率は開発セットの性能で調整した．

\item[\textbf{LexNET\_h} \cite{shwartz2016path}]
LexNETの拡張で，各語の単語埋め込み$\boldsymbol{v}_{w_1}$，$\boldsymbol{v}_{w_2}$と関係パタン表現$\boldsymbol{v}_{P_{\left(w_{1}, w_{2}\right)}}$の相互作用を捉えるために，出力層との間に追加で隠れ層を追加したモデルである．隠れ層の次元数は60とした．その他はLexNETと同じである．

\item[LexNET\_Pair（提案手法）]
\ref{subsec:単語ペア埋め込みの計算と意味関係識別モデルへの適用}節で述べた教師なし学習で得られる単語ペア埋め込みでLexNETを拡張した提案手法のモデルである．教師なし学習で獲得された意味関係の特徴を評価するために単語ペア埋め込みは，教師あり意味関係識別の訓練では更新しない．
その他はLexNETと同じである．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\caption{LexNETのハイパーパラメータ}
\label{tab:hyperparameters for lexnet}
\input{04table05.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果}
\label{subsec: 結果}

各データセットのテストセットでの平均F1スコアを表\ref{table:result}に示す．
結果として，4つのデータセットすべてで，\ref{sec:提案手法}節で述べた手法で得られる単語ペア埋め込みを用いたDS\_Pair，LexNET\_Pairによって，それぞれのベースラインと同等かそれ以上の平均F1スコアが得られた．
単語ペア埋め込みを用いた場合，隠れ層を追加するDS\_h，LexNET\_hよりも性能が向上しているため，単語ペア埋め込みは，各語の単語埋め込みとLexNETで扱う関係パタン表現以上の情報を符号化していると考えられる．
さらに，ほとんどすべての単語ペアが関係パタンを持つEVALutionにおいても，LexNETとLexNET\_Pairを比較したときに性能が向上している．
このことは，前述したように教師なし学習によってコーパス全体から得られる単語ペアと関係パタンの共起に基づく意味関係の知識が，単語ペア埋め込みを通して性能に貢献していると考えられる．この点が，LexNETのように訓練データ内の単語ペアと，それらと共起した関係パタンのみを学習に用いる手法を上回る理由の一つと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\caption{各データセットにおける分類性能（平均F1スコア）}
\label{table:result}
\input{04table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

K\&H+Nでの性能の向上が他のデータセットと比べてわずかであるが，
これはこのデータセットにおいて単語埋め込みの出現文脈分布の情報の貢献が強く，\ref{subsec:出現文脈分布を用いた意味関係識別}節で述べたような，単語ペアの各語が各意味関係をどれほど持ちやすいか，という学習のみでほとんどの事例に正解でき，関係パタンの情報があまり性能に貢献しないのが原因だと思われる．
実際にDS，DS\_hとLexNETの平均F1スコアの差はごく僅かである．
このデータセットにおいては，Shwartzらの先行研究においても，LexNETは単語埋め込みのみを用いた手法をごくわずかしか上回っていない\cite{shwartz2016path}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パタン欠落問題の緩和}

提案手法がパタン欠落問題をどれほど緩和できているかどうか調べるために，各データセットの開発セットにおいて，
共起が得られなかった単語ペア（パタン欠落ペア）についての各手法の平均F1スコアを比較した．
結果を表\ref{table:only missing paths}に示す．
表から，EVALutionを除く3つデータセットにおいて，LexNETとLexNET\_Pairを比較すると，提案した単語ペア埋め込みを用いた場合，パタン欠落ペアの性能が適切に向上していることがわかる．
なお，EVALutionにおいては，開発セットにパタン欠落ペアが4つしか含まれておらず，評価が困難であった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\caption{共起しなかった単語ペアに対する性能（平均F1スコア）}
\label{table:only missing paths}
\input{04table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia4f3.eps}
\end{center}
\caption{各データセットの開発セットにおける共起関係パタン数，事例数と平均F1スコアの関係}
\label{fig:frequency_analysis}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

さらに，図\ref{fig:frequency_analysis}に，各データセットの開発セットにおける共起関係パタン数（共起関係パタンのトークン数），事例数と，LexNETとLexNET\_Pairの平均F1スコアの関係を示す．
この図によると，すべてのデータセットにおいて，共起関係パタン数が50以下の，意味関係識別の手がかりが十分に得られない単語ペアに対しては，提案した単語ペア埋め込みを用いた場合に，性能が向上することがわかる．
EVALutionを除く3つのデータセットにおいては，このような共起回数が少ない，あるいはまったく共起が得られないペアがほとんどであり，これらの単語ペアに対しては単語ペア埋め込みの教師なし学習の利用が有効であることがわかる．

一方で，共起関係パタン数が50より多い，意味関係識別の手がかりが十分にある単語ペアに対しては，
単語ペア埋め込みの貢献は限定的である．
これは，共起関係パタン数が多い単語ペアに対しては，関係パタンの特徴が十分にLexNETの関係パタンの表現に符号化がされるため，単語ペア埋め込みの教師なし学習で得られる情報が冗長になってしまうためであると考えられる．

K\&H+N，BLESS，ROOT09において，共起関係パタン数が0のペア（パタン欠落ペア）に対するLexNETの平均F1スコアが共起関係パタンを持つペアに対する平均F1スコアよりも良いケースがある．
これは，パタン欠落ペアの多くはランダムペア（無関係なペア）であり，これらに関しては，関係パタンに基づかなくとも，適切に分類が行えるのが理由であると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関係パタンの共起予測}

学習された単語ペア埋め込みが，どのような情報を符号化しているかを見るために，教師なし学習した$\tilde{\boldsymbol{h}}_(w_1, w_2)$と$\boldsymbol{v}_p$を用いて，
BLESSの訓練セット内のコーパス上で共起しなかった単語ペアについて，どのような依存構造パスが共起しやすいかの予測を行った．

負例サンプリング目的関数\cite{mikolov2013}の性質により，内積$\boldsymbol{v}_p \cdot \tilde{\boldsymbol{h}}_(w_1, w_2)$は単語ペア$(w_1, w_2)$と依存構造パス$p$の共起のしやすさを表すため，共起しなかった単語ペアについて，教師なし学習に用いた 3 万の依存構造パスを内積でランキングすることで，どのような依存構造パスと共起しうるかを見ることができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\newcommand{\DownCell}[2]{\raisebox{-#1\normalbaselineskip}[0pt][0pt]{#2}}
\begin{table}[t]
\caption{BLESS内の共起しなかった単語ペアについて予測された依存構造パス}
\label{table:predicted paths}
\input{04table08.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各単語ペアについて上位三件までの依存構造パスを予測した例を表\ref{table:predicted paths}に示す．各単語ペアの意味関係を示唆すると思われる依存構造パスを太字にしている．
予測された依存構造パスについては，不適切なものを含みつつも，各単語ペアの意味関係を表すものが予測されている．
たとえば，$(\textit{jacket}, \textit{commodity})$や$(\textit{goose}, \textit{creature})$などの上位下位関係のペアにおいては，\textit{X is Y manufactured}や，\textit{X is a species of Y}のような，包含関係を表すis-aの関係パタンの依存構造パスが予測されている．
また，部分全体関係を持つ$(\textit{owl},\textit{rump})$では\textit{X has Y}のような所有の関係を表すパスが予測されている．同じく部分全体関係を持つ$(\textit{mug}, \textit{plastic})$に対しては，材料の関係を表す\textit{X made from Y}が予測されている．いずれも部分全体関係を示唆する関係パタンである．
兄弟関係を表すペアについては単語ペアのドメインに固有な，二つの名詞が同じカテゴリに属すことを示唆する依存構造パスが予測されている．
$(\textit{carrot},\textit{beans})$のような野菜の単語ペアでは，\textit{X leaf and Y}，
$(\textit{cello},\textit{kazoo})$のような楽器の単語ペアでは，\textit{play X, guitar, and Y}のような，等位接続の関係パタンが予測されており，兄弟関係を示唆している．

これらの例から，本研究で提案された単語ペア埋め込みが，適切に関係パタンの情報を符号化していることがわかる．
これにより，単語ペア埋め込みが適切にパタン欠落問題を緩和していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語ペア埋め込みの可視化}

単語ペア埋め込み$\boldsymbol{u}_{(w_1, w_2)}$の性質を調べるために，
BLESS内の単語ペアに注釈されたドメインごとに，t-SNE \cite{maaten2008visualizing}によるデータ点の可視化を行った．
各ドメインについてt-SNEによる次元削減を行い上位下位関係，兄弟関係，部分全体のペアをプロットした．比較として，LexNETで用いられる二語の単語埋め込みの結合に対しても，同様に可視化を行った．
結果として，いくつかのドメインに関して，単語ペア埋め込み$\boldsymbol{u}_{(w_1, w_2)}$の空間では，各意味関係のクラスタが形成されていることがわかった．鳥 (\texttt{bird})，建物 (\texttt{building})，爬虫類 (\texttt{amphibian\_reptile}) のドメインの可視化を例として図\ref{fig:tsne}に示す．
図においては，上位下位関係(\texttt{hyper})，兄弟関係 (\texttt{coord})，部分全体関係 (\texttt{mero}) のデータ点がプロットされている．単語ペア埋め込みの結合の散布図は，各意味関係のデータ点が散らばったり，混ざり合ったりしているが，$\boldsymbol{u}_{(w_1, w_2)}$の散布図は，各意味関係ごとにクラスタを形成しているのがわかる．
これは$\boldsymbol{u}_{(w_1, w_2)}$の空間が意味関係の類似性\cite{turney-2006-similarity}を捉えており，意味関係識別に有用な性質を有していることを示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{27-2ia4f4.eps}
\end{center}
\caption{t-SNEによる単語ペア表現の可視化（上段は$\boldsymbol{u}_{(w_1, w_2)}$，下段は$[\boldsymbol{v}_{w_1}; \boldsymbol{v}_{w_2}]$）}
\label{fig:tsne}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}

本研究では，パタンベースの意味関係識別において問題であったパタン欠落問題を解決するために，関係パタンとの共起の情報を捉えた単語ペア埋め込みの学習法を提案し，名詞ペアの意味関係識別に適用した．
実験により，4 つのデータセットの名詞ペアにおいて，分類性能が向上することを示した．
さらに分析により，単語ペア埋め込みが適切にパタン欠落問題を緩和し，意味関係識別に有効な情報を持っていることを示した．

今後の課題として，名詞以外の品詞の意味関係識別への適用を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

査読者の方々の有益なコメントに感謝する．

本論文の内容の一部は，the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologiesで発表したものである\cite{washio-kato-2018-filling}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{04refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{鷲尾　光樹}{%
2015年東京大学教養学部卒業．2017年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了．同年，同大学院博士課程入学．
}
\bioauthor{加藤　恒昭}{%
1983年東京工業大学大学院総合理工学研究科修士課程終了．同年，日本電信電話公社（現NTT）に入社．2000年東京大学総合文化研究科言語情報科学専攻准教授，2010年同教授．現在に至る．博士（工学）．マルチモーダル情報アクセス，語彙意味論に関する研究に従事．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

