\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}

\usepackage{multirow}
\usepackage{tabularx}
\usepackage{algpseudocode}
\usepackage{algorithm}


\Volume{26}
\Number{4}
\Month{December}
\Year{2019}

\received{2019}{4}{30}
\revised{2019}{7}{30}
\accepted{2019}{9}{6}

\setcounter{page}{689}

\jsubject{一般論文}
\jtitle{多義語分散表現の文脈化}
\jauthor{芦原　和樹\affiref{osaka-jk} \and 梶原　智之\affiref{osaka-data} \and 荒瀬　由紀\affiref{osaka-jk} \and 内田　　諭\affiref{kyushu}}

\jabstract{
近年，多くの自然言語処理タスクにおいて単語分散表現が利用されている．しかし，各単語に 1 つの分散表現を生成するアプローチでは，多義語における各語義が一つの分散表現に集約されてしまい，それらを区別することができない．そのため，先行研究では品詞やトピックごとに異なる分散表現を生成するが，語義を区別するには粒度が粗いという課題がある．そこで，本研究では各単語に対してより粒度の細かい複数の分散表現を生成するための 2 つの手法を提案する．1 つ目は，依存関係にある単語を手がかりとして，予め複数の分散表現を生成しておく手法である．2 つ目は，文脈中の全ての単語を考慮して語義に対応する分散表現を動的に生成する双方向言語モデルを利用する手法である．単語間の意味的類似度推定タスクおよび語彙的換言タスクにおける評価実験の結果，より細かい粒度で分散表現を生成する提案手法が先行研究よりも高い性能を発揮することを示した．
}

\jkeywords{単語分散表現，多義性，語彙的換言，意味的類似度推定}

\etitle{Contextualized Multi-Sense Word Embedding}
\eauthor{Kazuki Ashihara\affiref{osaka-jk} \and  Tomoyuki Kajiwara\affiref{osaka-data} \and Yuki Arase\affiref{osaka-jk} \and Satoru Uchida\affiref{kyushu}} 

\eabstract{
\footnote[0]{本論文の内容の一部は，The 32nd Pacific Asia Conference on Language, Information and Computation \cite{ashihara-18b}で報告したものである．}Currently, distributed word representations are employed in many natural language processing tasks. However, when generating one representation for each word, the meanings of a polysemous word cannot be differentiated because the meanings are integrated into one representation. Therefore, several attempts have been made to generate different representations per meaning based on parts of speech or the topic of a sentence. However, these methods are too unrefined to deal with polysemy. In this paper, we proposed two methods to generate more subtle multiple word representations. The first method involves generating multiple word representations using the word in a dependency relationship as a clue. The second approach involves employing a bi-directional language model in which a word representation that considers all the words in the context is generated. The results of the extensive evaluation of the Lexical Substitution task and Context-Aware Word Similarity task confirmed the effectiveness of our approaches to generate more subtle multiple word representations.
}
\ekeywords{Word Embedding, Polysemy, Lexical Substitution, Word Similarity}

\headauthor{芦原, 梶原, 荒瀬, 内田}
\headtitle{多義語分散表現の文脈化}

\affilabel{osaka-jk}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}
\affilabel{osaka-data}{大阪大学データビリティフロンティア機構}{Institute for Datability Science, Osaka University}
\affilabel{kyushu}{九州大学大学院言語文化研究院}{Faculty of Languages and Cultures, Kyushu University}



\begin{document}
\maketitle


\section{はじめに}\label{sec:introduction}

単語を密ベクトルで表現する単語分散表現 \cite{mikolov-13b,mikolov-13a,pennington-14,levy-14,bojanowski-17}が，機械翻訳 \cite{sutskever-14}，文書分類 \cite{mikolov-14}および語彙的換言 \cite{melamud-15}など多くの自然言語処理応用タスクにおける性能改善に大きく貢献してきた．
単語分散表現は今やこれら応用タスクの基盤となっており，その性能改善は重要な課題である．
広く利用されているCBOW (Continuous Bag-of-Words) \cite{mikolov-13a}やSGNS (Skip-gram with Negative Sampling) \cite{mikolov-13b}などの手法では各単語に対して$1$つの分散表現を生成する
が，Li and Jurafsky \citeyear{li-17}によって，語義ごとに分散表現を生成することで多くの応用タスクの性能改善に貢献することが示されている．
そこで，本研究では各単語に複数の語義の分散表現を割り当てる手法を提案する．

文脈に応じて分散表現を使い分けるために，多義語に複数の分散表現を割り当てる手法 
\linebreak
\cite{neelakantan-14,paetzold-16d,fadaee-17,athiwaratkun-17}が提案されている．
しかし，語義曖昧性解消はそれ自体が難しいタスクであるため，これらの先行研究では近似的なアプローチを用いている．
例えば，Paetzold and Specia \citeyear{paetzold-16d}は品詞ごとに，Fadaeeら \citeyear{fadaee-17}はトピックごとに異なる分散表現を生成するが，これらの手法には多義性を扱う粒度が粗いという課題がある．
以下の例では，いずれの文もトピックは{\tt food}であり，単語{\tt soft}の品詞は形容詞である．
\begin{enumerate}
\renewcommand{\labelenumi}{}
\setlength{\leftskip}{1.0cm}
\item {\it I ate a \textit{\textbf{soft}} candy.} \label{enum:soft1}
\item {\it I drunk \textit{\textbf{soft}} drinks.} \label{enum:soft2}
\end{enumerate}
先行研究ではこれらの単語{\tt soft}を同じ分散表現で表す．
しかし，例 \ref{enum:soft1}) の単語{\tt soft}は{\tt tender}という意味を，例 \ref{enum:soft2}) の{\tt soft}は{\tt non-alcoholic}という意味を表すため，これらに同一の分散表現を生成するのは適切ではない．
このような品詞やトピックでは区別できない多義性を考慮するために，各単語により細かい粒度で複数の分散表現を割り当てることが望ましい．

そこで本研究では，文脈中の単語を手がかりとして，先行研究よりも細かい粒度で各単語に複数の分散表現を割り当てる$2$つの手法を提案する．
$1$つ目の手法は，文脈中の代表的な$1$単語を考慮して語義の分散表現を生成する手法である．
この手法では語義を区別する手がかりとして，各単語と依存関係にある単語を用いる．
$2$つ目の手法は，文脈中の全ての単語を考慮して語義の分散表現を生成する手法である．
この手法では双方向LSTM (Long Short-Term Memory)を用いて文中に出現する全ての単語を同時に考慮する．
どちらの手法も教師なし学習に基づいており，訓練データが不要という利点がある．

提案手法の有効性を評価するため，多義性を考慮する分散表現が特に重要な，文脈中での単語間の意味的類似度推定タスク \cite{huang-12}および語彙的換言タスク \cite{mccarthy-07,kremer-14,ashihara-19a}において実験を行った．
評価の結果，提案手法は先行研究 \cite{neelakantan-14,paetzold-16d,fadaee-17}
よりも高い性能を発揮し，より細かい粒度で分散表現を生成することが応用タスクでの性能向上に繋がることが示された．
また，詳細な分析の結果，文脈中の代表的な$1$単語を考慮して語義の分散表現を生成する手法は文長に影響を受けにくいため，文が長い場合に，文脈中の全ての単語を考慮して語義の分散表現を生成する手法よりも高い性能を示すことが確認できた．


\section{関連研究}

Li and Jurafsky \citeyear{li-17}は，各単語に複数の分散表現を与えることが，品詞付与や文の意味的類似度推定など多くの応用タスクの性能改善に貢献することを示した．
このような各単語に複数の分散表現を与える先行研究は，予め複数の分散表現を生成する手法
と文脈から動的に分散表現を生成する手法
に大別できる．

予め各単語に複数の分散表現を生成する手法として，以下に示す先行研究がある．
Athiwaratkun and Wilson \citeyear{athiwaratkun-17}は，全ての単語が定数個の語義を持つと仮定し，各単語に複数の分散表現を生成した．
彼らは語義数として$2$または$3$を仮定しているが，現実的には語義数は単語ごとに大きく異なる．
Neelakantanら \citeyear{neelakantan-14}は文脈の類似度に基づいて語義に相当するクラスタリングを行い，各単語に対してクラスタごとに分散表現を生成した．
しかし，語義曖昧性解消はそれ自体が難しいタスクであり，クラスタリングの性能が分散表現学習の性能に影響を与えてしまう．
Paetzold and Specia \citeyear{paetzold-16d}は，各単語に対して品詞ごとに分散表現を生成した．
品詞付与は解析誤りの影響が小さいという利点を持つが，先述の例 \ref{enum:soft1}) と例 \ref{enum:soft2}) のように同じ品詞の中でも更に多義性を持つ単語が存在する．
Fadaeeら \citeyear{fadaee-17}は，各単語に対してトピックごとに分散表現を生成した．
トピックは品詞よりも細かい粒度で語義を区別できるが，例 \ref{enum:soft1}) と例 \ref{enum:soft2}) のように更に細かい粒度で語義を区別することが望まれる場合がある．

文脈から各単語の分散表現を動的に生成するモデルとして，\citeA{melamud-16}はcontext2vecを提案した．
context2vecでは，word2vecのCBOWアルゴリズム \cite{mikolov-13a}と同様に単語ベクトルと文脈ベクトルを近づける学習を行うが，窓幅を設けず双方向LSTMによって文全体を符号化する．
また，単語ベクトルと文脈ベクトルが同じ空間に埋め込まれるため，単語-単語間，文脈-文脈間，単語-文脈間のそれぞれで余弦類似度による意味的類似度の計算ができる．
このモデルは語彙的換言タスクで高い性能を示しているが，
最適なハイパーパラメータの決定のためにラベル付きデータが必要となる．
我々の提案手法はラベル付きデータセットを一切使用しない教師なし学習であるため，
本稿における評価実験においてはcontext2vecを比較対象としないこととする．
深層学習に基づく自然言語処理では，LSTMなどのRecurrent Neural Networkを用いてタスクに応じて入力文を符号化することが多い．
特に，ELMo \cite{peters-18}は，大規模コーパスを用いた双方向言語モデルの訓練によって，固有表現抽出など多くの応用タスクにおいて有用な文脈化された単語分散表現を獲得することに成功している．
一般的にELMoは，任意の応用タスクにおける再訓練を経て，タスクに特化した単語分散表現\footnote{ELMoによって得られる単語分散表現は応用タスクにおける埋め込み層や隠れ層と連結して使用する．}を生成する．
本研究では，ELMoを意味的類似度推定タスクおよび語彙的換言タスクに適用する．
教師なし学習による設定で実験を行うため，ELMoの文脈化された単語分散表現は再訓練しないものとする．

多義性を考慮する分散表現の評価のために，多くの先行研究 \cite{melamud-15,roller-16,fadaee-17}で文脈中での単語間の意味的類似度推定タスクおよび語彙的換言タスクが採用されている．
文脈中での単語間の意味的類似度推定タスクは，与えられた$2$つの文脈中の単語対の類似度を推定するタスクである．
語彙的換言タスクは，文脈，ターゲット単語，言い換え候補が与えられ，言い換え候補を文脈中のターゲット単語との置換可能性の観点からランキングするタスクである．
どちらのタスクも文脈中での単語の意味を考慮することが重要である．
我々も先行研究に従い，提案手法の有効性を両タスクを用いて評価する．
本研究では扱わないが，多義性を考慮する分散表現が重要なタスクとして，WiC \cite{pilehvar-19}が新たに提案された．
WiCでは，同一のターゲット単語を含む$2$つの文脈が与えられる．
このタスクの目的は，与えられた文脈中のターゲット単語が同じ意味で使用されているか否かを$2$値分類することである．
このタスクは，文脈中の単語間の意味を推定するという点で，文脈中での単語間の意味的類似度推定タスクと関連が深い．
しかし，WiCは分類問題であるのに対して，文脈中での単語間の意味的類似度推定タスクは回帰問題であるという違いがある．
また，WiCではターゲット単語対が同一単語であるのに対し，SCWSでは異なるターゲット対が含まれているという差異もあり，タスクの性質は大きく異なっている．


\section{提案手法}

本研究では，所与の文脈を手がかりとして，各単語に品詞 \cite{paetzold-16d}やトピック \cite{fadaee-17}よりも細かい粒度で複数の分散表現を生成する$2$つの手法を提案する．
まず\ref{method:ashihara}節では，文脈中の代表的な$1$単語を手がかりとして用いる．
我々は依存構造に着目し，ターゲット単語と依存関係にある単語を用いて文脈化された単語分散表現を得る．
次に\ref{method:elmo}節では，文脈中の全ての単語を手がかりとして用いる．
我々は双方向言語モデルに着目し，双方向LSTMのターゲット単語に対応する隠れ層を用いて文脈化された単語分散表現を得る．
本研究では得られた単語分散表現を意味的類似度推定タスクおよび語彙的換言タスクに適用する．

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia2f1.eps}
\end{center}
\hangcaption{提案手法の概要：事前学習と事後学習の$2$段階に分かれている．図中の{\tt tender}および{\tt non-alcoholic}は説明のための例であり，実際のベクトル空間上の点とは異なる．}
\label{fig:propose_imagie}
\vspace{1\Cvs}
\end{figure}

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia2f2.eps}
\end{center}
\caption{複数回に分けた学習手法の概要}
\label{fig:split_training}
\end{figure}


\subsection{DMSE: 依存構造に基づく単語分散表現の文脈化}
\label{method:ashihara}

語義を区別して各単語に複数の分散表現を割り当てるために，ターゲット単語と依存関係にある単語 (context-word) に注目するDMSE (Dependency-based Multi-Sense Embedding)を提案する．
ここで，context-wordは意味表現においてより有効と考えられる内容語（名詞，動詞，形容詞，副詞）に限定する．
各単語$w_i$はcontext-wordの集合$C$の要素ごとに異なる意味を持つと仮定し，$w_i$に対して$|C|$だけ分散表現を生成する．
ここで，context-wordの数$|C|$は語義数よりも多くなる．
例えば，単語{\tt soft}について，{\tt cheese}をcontext-wordに持つ{\tt soft\_cheese}と{\tt candy}をcontext-wordに持つ{\tt soft\_candy}が同じ{\tt tender} という意味を表す分散表現として生成される．
しかし，DMSEでは各分散表現は互いに干渉しないと仮定し，独立して学習および使用する．
図\ref{fig:propose_imagie}の例では，{\tt soft}のcontext-wordとして{\tt candy}，{\tt drink}および{\tt iron}がある．
本手法では{\tt soft\_candy}や{\tt soft\_drink}のようにcontext-wordごとに分散表現を学習する．

Algorithm \ref{alg:proposed_method}にDMSEの疑似コードを示す．
まず，学習データ$S$\footnote{学習コーパスは一文ずつ区切られており，各文の末尾には$<EOS>$タグが含まれている．}に含まれる各文$s$について，依存構造解析によって依存関係$D$を得る
次に，各単語$w_i \in s$について\Call{GetContextWord}{$w_i,D$}によってcontext-wordの集合$C$を獲得する．
そして，単語$w_i$とcontext-word $c \in C$を連結し，文脈化された単語$w_{i, c}$とする．
最後に，$w_i$の前後$H$単語の左文脈$l_c$および右文脈$r_c$とともに$w_{i, c}$を\Call{Cbow}{$w_{i, c},l_c,r_c$}へ入力\footnote{左文脈において$i-H<1$となる場合は不足分に対応する$1$文前の末尾部の単語を，右文脈において$i+H>|s|$となる場合は不足分に対応する$1$文後の先頭部の単語を，それぞれ$l_c$および$r_c$として用いる．}し，CBOWのアルゴリズムを用いて文脈化された単語の分散表現$v_{w_{i, c}}$を訓練する．
ここで，$H$はCBOWにおける窓幅である．

\begin{algorithm}[t]
\caption{DMSE：依存構造に基づく単語分散表現の文脈化}
\label{alg:proposed_method}
\input{02algo01.tex}
\end{algorithm}

本手法では，ターゲット単語とそのcontext-wordの対ごとに分散表現を学習するため，学習コーパスのサイズによっては学習時に文脈化された単語の分散表現をGPUメモリにロードできない可能性\footnote{本実験で使用したコーパスの場合，ターゲット単語の語彙サイズは約$11.2$万語であった．それに対して，文脈化された単語の語彙サイズは約$1.12$億個であった．文脈化された各単語を$32$bitのfloat型による$300$次元ベクトルで表した場合，約$134$GBのGPUメモリが必要となり，全てを一度にGPUメモリにロードするのは現状のGPU性能では現実的ではない．}がある．
そこで我々は，事前学習および事後学習の$2$段階の学習によって，これに対処する．


まず事前学習では，context-wordを考慮せずCBOWモデルを学習し，各単語$w_i$の分散表現$v_i$を得る．
次に事後学習では，事前学習した$v_i$を初期値として，同じくCBOWのアルゴリズムによって文脈化された各単語$w_{i, c}$の分散表現$v_{w_{i, c}}$を学習する．
CBOWでは文脈化された単語の分散表現のみを更新するので，GPUメモリにロードするのは更新されない文脈単語$w_j \in l_c \cup r_c$の分散表現$v_j$と文脈化された単語の分散表現$v_{w_{i, c}}$のみである．
そのため，この事後学習はGPUのメモリサイズに合わせて複数回に分けて実施\footnote{文脈単語の分散表現が更新されないので，各回で学習された文脈化された単語に対応する分散表現は同一のベクトル空間上に配置され，自然に統合できる．}できる．
例えば，図 \ref{fig:split_training}に示すように，事前学習した分散表現を元に，事後学習($1$)では{\tt soft\_candy}および{\tt soft\_iron}を，事後学習($2$)では{\tt soft\_drink}を，それぞれ学習できる．
事後学習で変化するのは文脈化された単語に対応する分散表現のみであるため，事後学習($1$)で得られた{\tt soft\_candy}および{\tt soft\_iron}と，事後学習($2$)で得られた{\tt soft\_drink}を統合し，それぞれ学習済分散表現として利用できる．

\begin{figure}[b]
\vspace{-0.5\Cvs}
\begin{center}
\includegraphics{26-4ia2f3.eps}
\end{center}
\caption{ELMoのモデル図}
\label{fig:elmo}
\end{figure}


\subsection{ECWR: 双方向言語モデルを利用した単語分散表現の文脈化}
\label{method:elmo}

単語分散表現を文脈化するもう一つのアプローチとして，所与の文脈全体を考慮し各単語の語義の分散表現を生成する．
我々はELMo \cite{peters-18}を用いて，所与の文脈全体を考慮した各単語の語義の分散表現を生成するECWR (ELMo-based Contextualized Word Representations)を提案する．
Petersら\citeyear{peters-18}に従い，$i$番目の単語の文脈化された分散表現として$i$ 番目の隠れ層の出力を用いる．
図\ref{fig:elmo}に示すように，ELMoは$2$層の双方向言語モデルに基づき，First Layer，Second Layer，Third Layerの$3$つの層から構成されている．
我々は，これら$3$層から得られる分散表現を，文脈を考慮した分散表現として利用する．
ECWRでは，各単語の語義の分散表現として，これらの各層から得られる$3$種類の分散表現を連結\footnote{予備実験として，$3$層の分散表現から$1$つを使用する，$3$層の分散表現のベクトル和を使用する，$3$層の分散表現を連結して使用する手法で実験を行った．意味的類似度推定タスクおよび語彙的換言タスクでの実験の結果，$3$層を連結する手法が最も高い性能を発揮した．}して用いる．
ECWRからは，各単語に対して文脈ごとに異なる分散表現が生成され，先行研究に比べて細かい粒度で分散表現を割り当てることが可能となる．

Pilehvar and Camacho-collados \citeyear{pilehvar-19}も同様に，ELMoから得られる分散表現を文脈を考慮した分散表現として利用している．
彼らはELMoから得られる$3$つの分散表現の加重合計を用いているが，本研究では3$つ$の分散表現を連結して使用する．


\section{実験設定}

提案手法の有効性を検証するために，文脈中での単語間の意味的類似度推定タスク \cite{huang-12}および語彙的換言タスク \cite{mccarthy-07,kremer-14,ashihara-19a}で実験を行う．
いずれのタスクも所与の文脈における語義を考慮する必要があり，多義性を考慮した分散表現が重要となる．


\subsection{比較手法}
本実験では，各単語に対して$1$つあるいは複数の分散表現を生成する以下の手法を，提案手法であるDMSEおよびECWRと比較する．

\begin{description}
\item[CBOW \cite{mikolov-13a}] \mbox{}\\ 
CBOWのアルゴリズムを用いて各単語に$1$つの分散表現を生成する．
\item[SGNS \cite{mikolov-13b}] \mbox{}\\ 
SGNSのアルゴリズムを用いて各単語に$1$つの分散表現を生成する．
\item[MSSG \cite{neelakantan-14}] \mbox{}\\ 
文脈の類似度に基づくクラスタリングによって各単語に複数の分散表現を生成する．
\item[POS \cite{paetzold-16d}] \mbox{}\\
各単語に品詞ごとの分散表現を生成する．
\item[TOPIC \cite{fadaee-17}] \mbox{}\\
各単語にトピックごとの分散表現を生成する．
\end{description}

{\em CBOW}および{\em SGNS}は各単語に唯一の分散表現を生成するベースラインである．
{\em DMSE}のバリエーションとして，Paetzold and Specia \citeyear{paetzold-16d}から着想を得て，各単語とcontext-wordの品詞も用いる{\em DMSE+POS}も実装し，比較評価を行う．
例えば，単語{\tt soft} (adjective)のcontext-wordが{\tt candy} (noun)の場合，{\em DMSE+POS}では{\tt soft\_adjective\_candy\_noun}の分散表現を生成する．

\subsection{分散表現の学習}
\label{sec:分散表現の学習}

各モデルを学習するために，English Wikipedia\footnote{https://dumps.wikimedia.org/enwiki/20170601/}の本文約$1$億文（累計約$22$億単語）を利用する．
これらの文は，Stanford Parser \cite{manning-14}によって形態素解析し，各単語を原形にする．
ここで，CBOWの学習時間を考慮して本実験では出現頻度$200$以下の低頻度語を$\langle unk \rangle$タグに置換し，$112,087$語のみを利用する．

{\em DMSE}モデルを訓練するために，さらにStanford Parserを用いて依存構造解析を行い，各単語のcontext-wordを特定する．
{\em DMSE}の事前学習および事後学習においては，CBOW \cite{mikolov-13a}のアルゴリズムを用いてエポック数$20$，窓幅$5$で$300$次元の分散表現を得る．

{\em ECWR}も同様に前処理されたEnglish Wikipedia上で我々が訓練する．
また，実験結果の再現性のため公開されている学習済みモデル\footnote{https://allennlp.org/elmo}の性能も報告する．
以降，前者を{\em ECWR (Wikipedia)}，後者を{\em ECWR ($1$BWB)}と表記する．
両モデルとも，各層から得た$1,024$次元の分散表現を連結し，$3,072$次元の分散表現として利用する．

ベースラインモデルのうち，{\em CBOW}および{\em POS}はEnglish Wikipedia上で我々が訓練する．
これらはそれぞれ，{\em DMSE}および{\em DMSE+POS}の事前学習に対応する．
{\em SGNS}，{\em MSSG}および{\em TOPIC}はFadaeeら \citeyear{fadaee-17}によってEnglish Wikipedia上で学習されたモデルを利用する．
これらのベースラインモデルでは，いずれも$300$次元の分散表現を利用する．


\section{文脈中での単語間の意味的類似度推定タスク}

本実験では，Stanford Contextual Word Similarity (SCWS) のデータセット\footnote{http://www-nlp.stanford.edu/{\textasciitilde}ehhuang/SCWS.zip} \cite{huang-12}を利用する．
このデータセットでは，$2$つのターゲット単語（ターゲット単語対）とそれらの出現する文脈（前後$50$単語）が与えられる．
タスクは，所与の文脈中でのターゲット単語間の意味的類似度を推定することである．
SCWSデータセットは，Amazon Mechanical Turkを用いてアノテータを採用し，$2,003$組のターゲット単語対のそれぞれに類似度を付与している．
アノテータは与えられた$2$つの文脈中のターゲット単語対が意味的にどの程度似ているかについて，$0$から$10$の$11$段階でスコアを付与する．
各ターゲット単語対に対して$10$人がスコアを付与し，その平均値を単語間の意味的類似度とする．
表\ref{tb:example_scws}に意味的類似度推定タスクの一例を示す．
この例では，文脈$1$中のターゲット単語{\tt credit}と文脈$2$中のターゲット単語{\tt money}の類似度を推定する．
特定の文脈において意味的に近い単語対や，逆に特定の文脈において意味的に遠い単語対が含まれるため，このタスクでは単語の多義性を考慮して類似度を推定する必要がある．

\begin{table}[t]
\caption{SCWSのデータセット中に含まれる例 \label{tb:example_scws}}
\input{02table01.tex}
\vspace{4pt}\small
与えられた文脈の一部を抜粋．ターゲット単語は{\bf bold}体で表示している．
\end{table}

人手で定義された類似度と，システムが推定した類似度は，スピアマンの順位相関係数を用いて評価する．
スピアマンの順位相関係数$r$は以下の式で定義される\cite{zwillinger-00}\footnote{参考文献$14.7$節を参照．}．
\begin{align}
T_x &= \frac{n^3 - n - \sum_{i=1}^{n_x}(s_i^3 - s_i)}{12} \\
T_y &= \frac{n^3 - n - \sum_{i=1}^{n_y}(t_i^3 - t_i)}{12} \\
r &= \frac{T_x + T_y - \sum_{i=1}^{n}(x_i - y_i)^2}{2\sqrt{T_xT_y}}
\end{align}
ここで，$n$はデータ数，$x_i$，$y_i$はそれぞれシステムが出力した$i$番目の単語対の類似度の順位と，人手でつけられた$i$番目の単語対の類似度の順位である．
また，$n_x$および$n_y$はシステムおよび人手の順位付けにおいて存在する同順位の種類数である．
$s_i$，$t_i$は同順位について，その順位が持つデータ数である．


\subsection{意味的類似度の推定}

\subsubsection{DMSEにおける意味的類似度の推定}
\label{sec:word_sim_estimation}

まず，ターゲット単語$w_{t_1}$および$w_{t_2}$のcontext-word $c_{t_1} \in C_{t_1}$および$c_{t_2} \in C_{t_2}$を依存構造解析によって抽出する．
次に，各ターゲット単語とそのcontext-wordから得られる文脈化された単語の分散表現の集合$V_{t_1}$および$V_{t_2}$を得る．
そして，以下の$3$つの方法で，文脈中でのターゲット単語間の意味的類似度を推定する．
\begin{align}
S_{\rm avg} &= \frac{1}{|V_{t_1}||V_{t_2}|} \sum_{v_{t_1} \in V_{t_1}, v_{t_2} \in V_{t_2}} \cos(v_{t_1}, v_{t_2}) \\
S_{\rm max} &= \max_{v_{t_1} \in V_{t_1}, v_{t_2} \in V_{t_2}} \cos(v_{t_1}, v_{t_2}) \\
S_{\rm min} &= \min_{v_{t_1} \in V_{t_1}, v_{t_2} \in V_{t_2}} \cos(v_{t_1}, v_{t_2})
\end{align}
ただし，$|\cdot|$は集合の要素数を，$\cos(\cdot, \cdot)$は$2$つのベクトル間の余弦類似度を表す．
ここで，各分散表現は正規化されたものを用いる．

$S_{\rm avg}$では，それぞれの文脈に出現する全てのcontext-wordを等しく考慮して，所与の文脈中での単語間の意味的類似度を推定する．
$S_{\rm max}$および$S_{\rm min}$では，それぞれの文脈に出現するcontext-wordの重要度は異なると仮定し，代表的な$1$組のみを考慮して，所与の文脈中での単語間の意味的類似度を推定する．

ここで，context-wordが存在しない場合および文脈化された単語が語彙に存在しない場合，類似度を計算できない．
これらの場合は，事前学習した{\em CBOW}，{\em POS}の分散表現をターゲット単語の分散表現とする．
またターゲット単語そのものが語彙に存在しない場合は$\langle unk \rangle$の分散表現を用いる．


\subsubsection{ECWRにおける意味的類似度の推定}

ターゲット単語を含む$1$文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する．
得られた分散表現間の余弦類似度を，単語間の意味的類似度とする．

\begin{table}[b]
\caption{SCWSデータセットにおけるスピアマンの順位相関係}
\label{tb:CAWS_result}
\input{02table02.tex}
\end{table}


\subsection{実験結果}

表\ref{tb:CAWS_result}に，モデルが推定した類似度と人手で定義された類似度のスピアマンの順位相関係数を示す．
SGNS，MSSG，TOPICの$3$手法については，Fadaee et al. \citeyear{fadaee-17}で報告されているスコアを引用した．
表\ref{tb:CAWS_result}の結果から，{\em DMSE}は比較手法と比べて有意に差があるとは言えないが，{\em ECWR}はベースラインおよび先行研究の手法と比べて高い性能を示した．
これは，粒度の細かい分散表現を使用することにより，各単語の語義をより正確に捉えることができたためである．

{\em DMSE}と{\em ECWR}を比較すると，{\em ECWR}がより高い性能を示している．
これは，SCWSデータセット中には{\tt escapologist}や{\tt nutriment}，{\tt exudation}などの，低頻度語がターゲット単語として出現するためである．
本実験で{\em DMSE} は，学習データ中の頻度$200$回以下の単語を全て$\langle unk \rangle$ タグに置換したため，
全ターゲットの内，$2.8$\%の単語はすべて同じ$\langle unk \rangle$の分散表現を用いた．
一方，{\em ECWR}では，ターゲット単語が語彙内に含まれていない場合でも，文脈情報のみから分散表現を生成できる．
そのため，{\em ECWR}が高い性能を示したと考えられる．
実際，$\langle unk \rangle$の分散表現を用いたデータを除いてスピアマンの順位相関係数を調べたところ，{\em DMSE}ではそれぞれの類似度推定手法で$0.01$から$0.02$のスコアの増加が見られ，低頻度語の影響が確認されている．
よって，低頻度語が多く出現する場合には{\em DMSE}よりも{\em ECWR}を使用する方が，より正確な分散表現を生成できることがわかる．


\section{語彙的換言タスク}

本実験では，LS-SEおよび，LS-CIC\footnote{https://github.com/stephenroller/naacl2016} \cite{roller-16}およびCEFR-LPの$3$つのデータセットを利用する．
これらのデータセットでは，ターゲット単語と文脈に加えて，言い換え候補群が与えられる．
タスクは，所与の文脈を考慮しつつ，ターゲット単語との置換可能性の観点から言い換え候補群をランク付けすることである．
そのため，このタスクも文脈中での単語の意味を考慮する必要がある．

\begin{description}
\item[LS-SE \cite{mccarthy-07}] \mbox{}\\ 
SemEval-2007のLexical Substitutionタスクで用いられたデータセット．
$201$種類のターゲット単語について，それぞれ$10$種類の文脈が与えられている．
各ターゲット単語には，$5$人のアノテータが最大$3$種類ずつの言い換えを文脈を考慮して付与している．
\item[LS-CIC \cite{kremer-14}] \mbox{}\\ 
Lexical Substitutionのための大規模なデータセット．
$15,629$語のターゲット単語について，$6$人のアノテータが最大$5$種類ずつの言い換えを文脈を考慮して付与している．
\item[CEFR-LP \cite{ashihara-19a}] \mbox{}\\ 
類義語辞書に基づく言い換え候補群を用いるLexical Substitutionのデータセット．
$893$種類のターゲット単語を持ち，このうち$600$語は$60$種類のターゲット単語について，それぞれ$10$種類の文脈が付与されたものである．
各言い換え候補について$4$人のアノテータが言い換えの可否のスコアを$3$段階で付与している．
\end{description}

先行研究 \cite{melamud-15,roller-16,fadaee-17}に従い，各ターゲット単語に付与された全ての言い換えの和集合を言い換え候補群として用いる．
そのため，これらの候補は少なくともある文脈においてはターゲット単語と意味的および構文的に十分に近い単語であり，モデルは文脈を用いてターゲット単語の語義を区別する必要がある．

人手で定義された言い換えランキングと，システムが推定した言い換えランキングは，Generalized Average Precision (GAP) \cite{kishida-05,thater-09}を用いて評価する．
GAPは語彙的換言タスクで広く用いられる \cite{melamud-15,roller-16,fadaee-17}評価尺度であり，式 (\ref{eq:gap1}), (\ref{eq:gap2})のように正解事例の重みを考慮してランキングを評価できる．
\begin{align}
p_i &= \frac{\sum_{k = 1}^{i} x_k}{i} \label{eq:gap1} \\
GAP &= \frac{\sum_{i = 1}^{n} I(x_i) p_i}{\sum_{i = 1}^{n}I(y_i) \overline{y_i}} \times 100 \label{eq:gap2}
\end{align}
ここで，$x_i$は$i$番目にランクされた言い換え候補のスコアを表し，$y_i$は理想的なランキング（スコアの降順）をした時の$i$番目の言い換え候補のスコアを表す．
$n$は言い換え候補数である．
また，$I(x)$は$x$が$0$の場合は$0$を，$1$以上の場合は1を返す関数である．
本実験では，LS-SEおよびLS-CICにおいては各言い換え候補を付与したアノテータの人数を，CEFR-LPにおいては各アノテータによる言い換え可否のスコアの合計を，重みとして用いる．


\subsection{言い換え候補のランキング}

語彙的換言タスクでは文脈$s$を考慮してターゲット単語$w_t$と言い換え候補$w_p$の置換可能性を推定する．
本実験では，ターゲット単語と言い換え候補の分散表現間の類似度が高いほど，その言い換え候補が高い置換可能性を持つと仮定する．


\subsubsection{DMSEにおける言い換え候補のランキング}

まず，ターゲット単語$w_t$のcontext-word $c \in C_t$を依存構造解析によって抽出する．
次に，これらを用いてターゲット単語$w_t$の分散表現の集合$V_t$を得る．
続いて，ターゲット単語の各context-wordを用いて，言い換え候補$w_p$の分散表現の集合$V_p$を得る．
そして，以下の2つの方法で，ターゲット単語の分散表現$v_t \in V_t$と言い換え候補の分散表現$v_p \in V_p$の間の類似度を計算し，言い換え候補群をランキングする．

\begin{description}
\item[Cos] \mbox{}\\ 
ベクトル間の余弦類似度$cos(v_t, v_p)$を計算する．
\item[balAddCos \cite{melamud-15}] \mbox{}\\ 
この類似尺度では，ターゲット単語と言い換え候補の類似度だけでなく，言い換え候補と文脈の類似度も考慮し，$|s|\cos(v_t, v_p) + \sum_{w \in s} \cos(v_p, v_w)$を計算する．
ここで，$s$はターゲット単語を含む一文を表す．
\end{description}

複数のcontext-wordが存在する場合，
最終的な置換可能性を推定する単純な方法は，\ref{sec:word_sim_estimation}節で説明した$S_{\rm avg}$，$S_{\rm max}$および$S_{\rm min}$を用いることである．
しかし，単語間の意味的類似度推定タスクとは異なり，本タスクではターゲット単語と言い換え候補群の文脈が共通のため，共通のcontext-wordのみを考慮して，より正確に文脈を考慮できる．
そこで本実験では，$S_{\rm avg}$，$S_{\rm max}$および$S_{\rm min}$に加えて，共通のcontext-wordのみを考慮する以下の$S_{\rm avgc}$，$S_{\rm maxc}$および$S_{\rm minc}$によって，所与の文脈を考慮しつつ言い換え候補をランキングする．
\begin{align}
S_{\rm avgc} &= \frac{1}{|C_t|} \sum_{c \in C_t} {\rm sim}(v_{w_{t, c}}, v_{w_{p, c}}) \\
S_{\rm maxc} &= \max_{c \in C_t} {\rm sim}(v_{w_{t, c}}, v_{w_{p, c}}) \\
S_{\rm minc} &= \min_{c \in C_t} {\rm sim}(v_{w_{t, c}}, v_{w_{p, c}})
\end{align}
ここで，${\rm sim}(\cdot, \cdot)$には{\em Cos}または{\em balAddCos}を用いる．
これらの手法で推定された置換可能性のスコアを用いて，スコアの高い順に言い換え候補群をランキングする．
\ref{sec:word_sim_estimation}節と同様に，context-word が存在しない場合は，事前学習した{\em CBOW}，{\em POS}
の分散表現をターゲット単語の分散表現とする．
またターゲット単語そのものが語彙に存在しない場合は$\langle unk \rangle$の分散表現を用いる．


\subsubsection{DMSEのオラクル性能}

{\em DMSE}ではcontext-word の選択における性能が全体の性能に影響する．
そこでcontext-wordを理想的に選択できたときのオラクル性能も報告する．
オラクル選択$S_{\rm oracle}$では，ターゲット単語と言い換え候補が同一のcontext-wordによって意味を決定づけられると仮定し，まず全てのcontext-wordについて言い換え候補のランキングを作成する．
その中から，最もGAPスコアが高くなるcontext-wordを採用し，そのランキングを用いる．
\newcommand{\argmax}{}
\begin{equation}
S_{\rm oracle} = {\rm sim}(v_{w_{t, c}}, v_{w_{p, c}}), \;\;\;c = \argmax_{c \in C_t} {\rm GAP}
\end{equation}
ただし，$c$によって与えられる文脈化された単語が語彙に存在しない場合，事前学習した単語の分散表現を用いて単語間の余弦類似度を計算する．


\subsubsection{ECWRにおける言い換え候補のランキング}

ターゲット単語を含む1文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する．
各言い換え候補については，ターゲット単語を含む1文において，ターゲット単語と言い換え候補を置換して{\em ECWR}に入力する．
得られた分散表現間の余弦類似度を，ターゲット単語と言い換え候補の置換可能性スコアとし，スコアの降順に言い換え候補をランク付けする．

\begin{table}[b]
\caption{LS-SE，LS-CIC，CEFR-LPデータセットにおけるGAPスコア}
\label{tb:result_gap}
\input{02table03.tex}
\end{table}


\subsection{実験結果}

表\ref{tb:result_gap}に，LS-SE，LS-CIC，CEFR-LPの各データセットにおけるGAPスコアを示す．
だたし，$NA$は参考文献中 \cite{fadaee-17}で行われていない実験設定のため，数値を記載できなかった部分である．
{\em DMSE}については，類似尺度として$S_{\rm oracle}$を除いた中で最も高い精度を示した$S_{\rm maxc}$のみを記載する．
他の類似尺度については次節で議論する．
LS-SEにおいて最も高い性能を示した類似度尺度$Cos$の時の{\em DMSE} $(S_{\rm maxc})$は，{\em SGNS}より$8.3$ポイント，{\em MSSG}より$8.1$ポイント，{\em TOPIC}より$6.4$ポイント，{\em CBOW}より$7.5$ポイント，{\em POS}より$6.3$ポイント，それぞれ高いGAPスコアを達成した．
また，LS-CICにおいて最も高い性能を示した類似度尺度$Cos$の時の{\em ECWR (Wikipedia)}は，{\em SGNS}より$12.0$ポイント，{\em MSSG}より$10.3$ポイント，{\em TOPIC}より$7.2$ポイント，{\em CBOW}より$3.7$ポイント，{\em POS}より$2.7$ポイント，それぞれ高いGAPスコアを達成した．
CEFR-LPにおいては，類似度尺度$balAddCos$の時の{\em ECWR (Wikipedia)}が{\em CBOW}より$5.8$ポイント，{\em POS}より$6.0$ポイント，それぞれ高いGAPスコアを示した．
これらの結果から，文脈を考慮してより細かい粒度で語義の分散表現を生成する提案手法が，トピックや品詞を用いて語義を区別する既存手法に比べて，効果的に語義を捉えられることを確認できた．



LS-SEでは{\em DMSE}が最も高い性能を示した一方で，LS-CICおよびCEFR-LPでは{\em ECWR}が最も高い性能を示した．
これは，各データセットの$1$文を構成する平均単語数が影響を与えたと考えられる．
図\ref{fig:gap_word_num}に示すのは，$1$文を構成する単語数ごとのGAPスコアである．
$1$文を構成する単語数が$30$単語までは{\em ECWR}が高い性能を示している一方，$31$単語からは{\em DMSE}が高い性能を示している．
{\em ECWR}では，$1$文の全ての情報を考慮した分散表現を生成するため，$1$文が長ければ多くの情報が混在してしまう．
そのため，$1$文を構成する単語数が増加すると性能が向上せず頭打ちとなる．
一方，{\em DMSE}ではターゲット単語と依存関係にあるcontext-wordのみを考慮する．
そのため，長文になると利用できるcontext-word候補が増える傾向となり，より信頼できるcontext-wordを選択することで性能が向上すると考えられる．
そのため，$1$文あたりの単語数が多いほど{\em DMSE}が{\em ECWR}よりも高い性能を示すと考えられる．
実際，LS-SE，LS-CIC，CEFR-LPはそれぞれ$1$文あたり平均$27.2$単語，$23.3$単語，$21.2$で構成されており，$1$文あたりの平均単語数が多いデータセットでは{\em DMSE}が{\em ECWR}の性能を上回っている．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia2f4.eps}
\end{center}
\caption{$1$文を構成する単語数ごとのGAPスコア \label{fig:gap_word_num}}
\end{figure}


\section{DMSEの分析}

\subsection{語彙的換言タスクにおける意味的類似度推定手法の比較}

表\ref{tb:result_gap_DMSE}に，語彙的換言タスクにおける{\em DMSE}のGAPスコアを示す．
類似尺度として文脈を考慮する{\em balAddCos}を用いた場合，{\em DMSE}においては単純な{\em Cos}よりも性能が悪化する傾向が見られた．
{\em balAddCos}は，文脈を考慮しない分散表現のために提案された手法であり，言い換え候補と文脈に現れる単語の分散表現を用いて類似度計算を行う．
{\em DMSE}では文脈化された単語の分散表現を使用しているため，{\em balAddCos}を利用すると文脈を$2$重で考慮したことになり，精度が改善しなかったと考えられる．


また，複数のcontext-wordを利用できるとき，$S_{\rm maxc}$が最も高い性能を示す傾向にある．
この結果から，同一のcontext-wordによって与えられる分散表現を用いることで，全てのcontext-wordを考慮するよりも高精度に単語間の置換可能性を推定できると言える．
$S_{\rm avgc}$の性能が$S_{\rm maxc}$に及ばないのは，各分散表現の影響が平均することによって軽視されるためと考えられる．
ターゲット単語の語義をピンポイントで表現できるcontext-wordが存在したとしても，平均することによってその影響が薄れてしまう．
また，$S_{\rm minc}$では類似度の下限値を基準にランク付けする．
$S_{\rm maxc}$であれば，その文中での意味を表していないcontext-wordは類似度が低くても無視されるが，$S_{\rm minc}$ではその影響を受けるため，性能が低下したと考えられる．

$S_{\rm oracle}$では類似尺度を$Cos$とした時の{\em DMSE} $(S_{\rm oracle})$が最も高い性能を示した，
また，同じく類似度尺度$Cos$の$S_{\rm avg}$，$S_{\rm max}$，$S_{\rm min}$および$S_{\rm avgc}$，$S_{\rm maxc}$，$S_{\rm minc}$が出力した最も高いスコアと比較して，LS-SEでは$6.2$ポイント，LS-CICでは$3.7$ポイント，CEFR-LPでは$4.1$ポイント高い性能を示している．
さらにこれらは，表\ref{tb:result_gap}における類似尺度$Cos$を用いた際の{\em ECWR (Wikipedia)}の性能よりもLS-SEで$7.8$ポイント，LS-CICで$3.1$ポイント，CEFR-LPで$0.6$ポイント高い．
ここから，複数ある中から正しいcontext-wordを特定することができた場合，{\em DMSE}はさらに精度向上することが見込まれる．

\begin{table}[t]
\caption{各データセット中でのDMSEのGAPスコア}
\label{tb:result_gap_DMSE}
\input{02table04.tex}
\end{table}


\subsection{実際の出力例}

表\ref{tb:ls_example}に語彙的換言タスクにおいて，context-wordを用いて多義語{\tt hard}の語義を捉えることに成功した例を示す．
最も多くのアノテータによって付与された言い換え候補を最上位にランク付けできている．

\begin{table}[t]
\caption{語彙的換言タスクにおける出力例}
\label{tb:ls_example}
\input{02table05.tex}
\vspace{4pt}\small
ターゲット単語は{\bf bold}体で，context-wordは{\em italic}体で表示している．出力は言い換え候補群のランキング，括弧内の数値は各候補の重みを表す．
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia2f5.eps}
\end{center}
\caption{分散表現の可視化 \label{fig:visualization}}
\end{figure}

図\ref{fig:visualization}は，表\ref{tb:ls_example}における単語や語義の分散表現を主成分分析を用いて，実際の分散表現の第一主成分ベクトルを横軸に，第二主成分ベクトルを縦軸に可視化したものである．
第二主成分までの寄与率は$0.53$である．
丸は文脈を考慮しない単語の分散表現，三角は{\em DMSE}による分散表現を表す．
この図から，{\tt hard\_listen}（言い換え元の単語）および{\tt carefully\_listen}（正解の言い換え単語）が事前学習された単語分散表現から離れ，お互いに近づいていることが分かる．
実際の分散表現間の余弦類似度を測ったところ，{\tt hard}と{\tt carefully}間は$0.125$，{\tt hard\_listen}と{\tt carefully\_listen}間は$0.421$であり，大きく向上している．
同様に，{\tt hard\_hit}および{\tt badly\_hit} の分散表現も事後学習によって近づいていることが分かる．
実際，{\tt hard}と{\tt badly}間の類似度は$0.159$，{\tt hard\_hit}と{\tt badly\_hit}間の類似度は$0.547$であった．
また，{\tt hard\_listen} と {\tt hard\_hit}は大きく離れており，{\em DMSE}によって期待通り語義ごとに分散表現を学習できていることが分かる．
同じ{\tt hard}という形で文脈中に出現する単語でも，context-wordによって異なる場所に配置できている．
実際，{\tt hard\_listen}と{\tt hard\_hit}間の類似度は$0.558$であり，元々一つの分散表現（余弦類似度 $1.0$）から余弦類似度が低下するよう分離できている．

\section{まとめ}

本研究では，文脈中の単語を手がかりとして，細かい粒度で各単語に複数の分散表現を生成する$2$つの手法について述べた．
{\em DMSE}は，文脈中の依存関係にある単語を手がかりとして語義を区別する分散表現を生成する．
また双方向言語モデルである{\em ECWR}を利用することで，文脈中の全ての単語を考慮した単語分散表現を獲得する．
単語間の意味的類似度推定タスクおよび語彙的換言タスクにおける評価実験の結果，品詞やトピックを用いて語義を区別する先行研究と比較して，より細かい粒度で語義を区別できる提案手法の有効性を示した．


\acknowledgment

本研究は公益財団法人KDDI財団による助成を受けたものである．
また，貴重なコメントや議論をいただいた九州大学大学院言語文化研究院のChristopher G. Haswell 准教授に感謝の意を表す．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Ashihara, Kajiwara, Arase, \BBA\ Uchida}{Ashihara
  et~al.}{2018}]{ashihara-18b}
Ashihara, K., Kajiwara, T., Arase, Y., \BBA\ Uchida, S. \BBOP 2018\BBCP.
\newblock \BBOQ Contextualized Word Representations for Multi-Sense
  Embedding.\BBCQ\
\newblock In {\Bem Proceedings of the Pacific Asia Conference on Language,
  Information and Computation}, \mbox{\BPGS\ 28--36}.

\bibitem[\protect\BCAY{Ashihara, Kajiwara, Arase, \BBA\ Uchida}{Ashihara
  et~al.}{2019}]{ashihara-19a}
Ashihara, K., Kajiwara, T., Arase, Y., \BBA\ Uchida, S. \BBOP 2019\BBCP.
\newblock \BBOQ Contextualized context2vec.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Noisy User-generated Text}.

\bibitem[\protect\BCAY{Athiwaratkun \BBA\ Wilson}{Athiwaratkun \BBA\
  Wilson}{2017}]{athiwaratkun-17}
Athiwaratkun, B.\BBACOMMA\ \BBA\ Wilson, A.~G. \BBOP 2017\BBCP.
\newblock \BBOQ Multimodal Word Distributions.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 1645--1656}.

\bibitem[\protect\BCAY{Bojanowski, Grave, Joulin, \BBA\ Mikolov}{Bojanowski
  et~al.}{2017}]{bojanowski-17}
Bojanowski, P., Grave, E., Joulin, A., \BBA\ Mikolov, T. \BBOP 2017\BBCP.
\newblock \BBOQ Enriching Word Vectors with Subword Information.\BBCQ\
\newblock In {\Bem Proceedings of the Transactions of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 135--146}.

\bibitem[\protect\BCAY{Fadaee, Bisazza, \BBA\ Monz}{Fadaee
  et~al.}{2017}]{fadaee-17}
Fadaee, M., Bisazza, A., \BBA\ Monz, C. \BBOP 2017\BBCP.
\newblock \BBOQ Learning Topic-Sensitive Word Representations.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 441--447}.

\bibitem[\protect\BCAY{Huang, Socher, Manning, \BBA\ Ng}{Huang
  et~al.}{2012}]{huang-12}
Huang, E.~H., Socher, R., Manning, C.~D., \BBA\ Ng, A.~Y. \BBOP 2012\BBCP.
\newblock \BBOQ Improving Word Representations via Global Context and Multiple
  Word Prototypes.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 873--882}.

\bibitem[\protect\BCAY{Kishida}{Kishida}{2005}]{kishida-05}
Kishida, K. \BBOP 2005\BBCP.
\newblock \BBOQ Property of Average Precision and its Generalization: An
  Examination of Evaluation Indicator for Information Retrieval
  Experiments.\BBCQ\
\newblock {\Bem National Institute of Informatics Technical Reports},
  \mbox{\BPGS\ 1--19}.

\bibitem[\protect\BCAY{Kremer, Erk, Pad{\'{o}}, \BBA\ Thater}{Kremer
  et~al.}{2014}]{kremer-14}
Kremer, G., Erk, K., Pad{\'{o}}, S., \BBA\ Thater, S. \BBOP 2014\BBCP.
\newblock \BBOQ What Substitutes Tell Us - Analysis of an ``All-Words'' Lexical
  Substitution Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the Conference of the European Chapter of the
  Association for Computational Linguistics}, \mbox{\BPGS\ 540--549}.

\bibitem[\protect\BCAY{Levy \BBA\ Goldberg}{Levy \BBA\
  Goldberg}{2014}]{levy-14}
Levy, O.\BBACOMMA\ \BBA\ Goldberg, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Dependency-Based Word Embeddings.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 302--308}.

\bibitem[\protect\BCAY{Li \BBA\ Jurafsky}{Li \BBA\ Jurafsky}{2015}]{li-17}
Li, J.\BBACOMMA\ \BBA\ Jurafsky, D. \BBOP 2015\BBCP.
\newblock \BBOQ Do Multi-Sense Embeddings Improve Natural Language
  Understanding?\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1722--1732}.

\bibitem[\protect\BCAY{Manning, Surdeanu, Bauer, Finkel, Bethard, \BBA\
  McClosky}{Manning et~al.}{2014}]{manning-14}
Manning, C., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S., \BBA\ McClosky,
  D. \BBOP 2014\BBCP.
\newblock \BBOQ The Stanford CoreNLP Natural Language Processing Toolkit.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 55--60}.

\bibitem[\protect\BCAY{McCarthy \BBA\ Navigli}{McCarthy \BBA\
  Navigli}{2007}]{mccarthy-07}
McCarthy, D.\BBACOMMA\ \BBA\ Navigli, R. \BBOP 2007\BBCP.
\newblock \BBOQ SemEval-2007 Task 10: English Lexical Substitution Task.\BBCQ\
\newblock In {\Bem Proceedings of the International Workshop on Semantic
  Evaluations}, \mbox{\BPGS\ 48--53}.

\bibitem[\protect\BCAY{Melamud, Goldberger, \BBA\ Dagan}{Melamud
  et~al.}{2016}]{melamud-16}
Melamud, O., Goldberger, J., \BBA\ Dagan, I. \BBOP 2016\BBCP.
\newblock \BBOQ context2vec: Learning Generic Context Embedding with
  Bidirectional LSTM.\BBCQ\
\newblock In {\Bem Proceedings of the SIGNLL Conference on Computational
  Natural Language Learning}, \mbox{\BPGS\ 51--61}.

\bibitem[\protect\BCAY{Melamud, Levy, \BBA\ Dagan}{Melamud
  et~al.}{2015}]{melamud-15}
Melamud, O., Levy, O., \BBA\ Dagan, I. \BBOP 2015\BBCP.
\newblock \BBOQ A Simple Word Embedding Model for Lexical Substitution.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Vector Space Modeling for
  Natural Language Processing}, \mbox{\BPGS\ 1--7}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013a}]{mikolov-13b}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013a\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and their
  Compositionality.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Neural Information
  Processing Systems}, \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013b}]{mikolov-13a}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013b\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem Proceeding of the International Conference on Learning
  Representations}, \mbox{\BPGS\ 1--12}.

\bibitem[\protect\BCAY{Mikolov \BBA\ Com}{Mikolov \BBA\ Com}{2014}]{mikolov-14}
Mikolov, T.\BBACOMMA\ \BBA\ Com, T.~G. \BBOP 2014\BBCP.
\newblock \BBOQ Distributed Representations of Sentences and Documents.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference on Machine
  Learning}, \mbox{\BPGS\ 1188--1196}.

\bibitem[\protect\BCAY{Neelakantan, Shankar, Passos, \BBA\
  McCallum}{Neelakantan et~al.}{2014}]{neelakantan-14}
Neelakantan, A., Shankar, J., Passos, A., \BBA\ McCallum, A. \BBOP 2014\BBCP.
\newblock \BBOQ Efficient Non-parametric Estimation of Multiple Embeddings per
  Word in Vector Space.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1059--1069}.

\bibitem[\protect\BCAY{Paetzold \BBA\ Specia}{Paetzold \BBA\
  Specia}{2016}]{paetzold-16d}
Paetzold, G.~H.\BBACOMMA\ \BBA\ Specia, L. \BBOP 2016\BBCP.
\newblock \BBOQ Unsupervised Lexical Simplification for Non-Native
  Speakers.\BBCQ\
\newblock In {\Bem Proceedings of the Association for the Advancement of
  Artificial Intelligence}, \mbox{\BPGS\ 3761--3767}.

\bibitem[\protect\BCAY{Pennington, Socher, \BBA\ Manning}{Pennington
  et~al.}{2014}]{pennington-14}
Pennington, J., Socher, R., \BBA\ Manning, C. \BBOP 2014\BBCP.
\newblock \BBOQ GloVe: Global Vectors for Word Representation.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1532--1543}.

\bibitem[\protect\BCAY{Peters, Neumann, Iyyer, Gardner, Clark, Lee, \BBA\
  Zettlemoyer}{Peters et~al.}{2018}]{peters-18}
Peters, M.~E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., \BBA\
  Zettlemoyer, L. \BBOP 2018\BBCP.
\newblock \BBOQ Deep Contextualized Word Representations.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Conference of the North American
  Chapter of the Association for Computational Linguistics}, \mbox{\BPGS\
  2227--2237}.

\bibitem[\protect\BCAY{Pilehvar \BBA\ Camacho-collados}{Pilehvar \BBA\
  Camacho-collados}{2019}]{pilehvar-19}
Pilehvar, M.~T.\BBACOMMA\ \BBA\ Camacho-collados, J. \BBOP 2019\BBCP.
\newblock \BBOQ WiC: The Word-in-Context Dataset for Evaluating
  Context-Sensitive Meaning Representations.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Conference of the North American
  Chapter of the Association for Computational Linguistics}, \mbox{\BPGS\
  1267--1273}.

\bibitem[\protect\BCAY{Roller \BBA\ Erk}{Roller \BBA\ Erk}{2016}]{roller-16}
Roller, S.\BBACOMMA\ \BBA\ Erk, K. \BBOP 2016\BBCP.
\newblock \BBOQ PIC a Different Word: A Simple Model for Lexical Substitution
  in Context.\BBCQ\
\newblock In {\Bem Proceedings of the Annual Conference of the North American
  Chapter of the Association for Computational Linguistics}, \mbox{\BPGS\
  1121--1126}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{sutskever-14}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Neural Information
  Processing Systems}, \mbox{\BPGS\ 1--9}.

\bibitem[\protect\BCAY{Thater, Saarlandes, Dinu, Saarlandes, Pinkal, \BBA\
  Saarlandes}{Thater et~al.}{2009}]{thater-09}
Thater, S., Saarlandes, U., Dinu, G., Saarlandes, U., Pinkal, M., \BBA\
  Saarlandes, U. \BBOP 2009\BBCP.
\newblock \BBOQ Ranking Paraphrases in Context.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Applied Textual Inference},
  \mbox{\BPGS\ 44--47}.

\bibitem[\protect\BCAY{Zwillinger \BBA\ Kokoska}{Zwillinger \BBA\
  Kokoska}{2000}]{zwillinger-00}
Zwillinger, D.\BBACOMMA\ \BBA\ Kokoska, S. \BBOP 2000\BBCP.
\newblock {\Bem CRC Standard Probability and Statistics Tables and Formulae}.
\newblock Chapman and Hall.

\end{thebibliography}


\begin{biography}
\bioauthor{芦原　和樹}{
2018年大阪大学工学部電子情報工学科卒業．同年，同大学大学院情報科学研究科博士前期課程に進学．}

\bioauthor{梶原　智之}{
2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程電気電子情報工学専攻修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了．博士（工学）．同年より大阪大学データビリティフロンティア機構特任助教．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}

\bioauthor{荒瀬　由紀}{2006年大阪大学工学部電子情報エネルギー工学科卒業．
2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京の Microsoft
Research Asia に入社，自然言語処理に関する研究開発に従事．
2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．
言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ．}

\bioauthor{内田　　諭}{
2005年東京外国語大学外国語学部欧米第一課程英語専攻卒業．2007年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了．2013年に同大学院にて博士号（学術）を取得．東京外国語大学特任講師を経て，2014年より九州大学大学院言語文化研究院准教授．認知意味論，コーパス言語学，英語教育学などの研究に従事．日本認知言語学会，英語コーパス学会，大学英語教育学会，言語処理学会等会員．}
\end{biography}


\biodate






\end{document}
