\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{tabularx}
%%%%\usepackage{tabularray}
\usepackage{multirow}
%%%%\usepackage{array}
%%%%\usepackage{here}
%%%%\usepackage{float}
%%%%\usepackage{multicol}
%%%%\usepackage{arydshln}
\usepackage{bm}
%%%%\usepackage{enumitem}
%%%%\usepackage{gentombow}
%%%%\usepackage{xcolor}
%%%%\usepackage{amssymb}
%%%%% macro
%%%%\newcommand{\pmstd}[1]{{\tiny\hspace{0.1em}$\pm{#1}$}}
\newcommand{\woft}{{\footnotesize w/o\hspace{0.1em}}FT}
\newcommand{\tabH}{\rule{0pt}{2.6ex}}
%%%%\newcommand{\bhline}{\noalign{\hrule height 1.5pt}}
\def\FigSpaceTop{\vspace{1.5ex}}
%%%%\def\FigSpaceBottom{\vspace{1.5ex}}
\def\CLS{\texttt{[CLS]}}
\def\SEP{\texttt{[SEP]}}
\def\MASK{\texttt{[MASK]}}
\def\shatai#1{\makebox[2.25zw][l]{\vphantom{#1}\rotatebox{-48.8}{\scalebox{0.875}[1.143]{\rotatebox{41.2}{\smash{\rlap{#1}}}}}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{30}
\Number{1}
\Month{March}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{8}{1}
\revised{2022}{11}{8}
\accepted{2022}{12}{19}

\setcounter{page}{125}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{定義文を用いた文埋め込み構成法}
\jauthor{塚越　　駿\affiref{Author_1} \and 笹野　遼平\affiref{Author_1} \and 武田　浩一\affiref{Author_1}}
\jabstract{%
自然言語文をベクトルとして表現する文埋め込みは，深層学習を用いた自然言語処理の基礎技術として盛んに研究されており，特に自然言語推論 (Natural Language Inference; NLI) タスクに基づく文埋め込み手法が成功を収めている．しかし，これらの手法は大規模なNLIデータセットを必要とすることから，そのようなNLIデータが整備された言語以外については高品質な文埋め込みの構築が期待できないという問題がある．本研究ではこの問題を解決するため，NLIデータと比べて多くの言語において整備が行われている言語資源である辞書に着目し，辞書の定義文を用いた文埋め込み手法を提案する．また，標準的なベンチマークを用いた評価実験を通し，提案手法は既存のNLIタスクに基づく文埋め込み手法と同等の性能を実現すること，評価タスクの性質や評価データの抽出方法により性能に差異が見られること，これら2手法を統合することでより高い性能を実現できることを示す．
}
\jkeywords{文埋め込み，文ベクトル，辞書，定義文}

\etitle{Sentence Embeddings using Definition Sentences}
\eauthor{Hayato Tsukagoshi\affiref{Author_1} \and Ryohei Sasano\affiref{Author_1} \and Koichi Takeda\affiref{Author_1}} 
\eabstract{%
Sentence embeddings, which represent sentences as dense vectors, have been actively studied as a fundamental technique for natural language processing using deep learning. In particular, sentence embedding methods based on Natural Language Inference (NLI) tasks have been successful. However, these methods heavily rely on large NLI datasets and thus cannot be expected to produce adequate sentence embedding for languages for which large NLI datasets are not available. In this paper, we propose a sentence embedding method using definition sentences from a word dictionary, which is available in many languages. Experimental results on standard benchmarks demonstrate that our method performs comparably to NLI-based methods. Furthermore, we demonstrate differences in performance depending on the properties of the evaluation task and data, and even higher performance can be achieved by combining the two methods.
}
\ekeywords{Sentence Embedding, Dictionary, Definition Sentence}

\headauthor{塚越，笹野，武田}
\headtitle{定義文を用いた文埋め込み構成法}

\affilabel{Author_1}{名古屋大学}{Nagoya University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\vspace{-1\Cvs}
\renewcommand{\thefootnote}{}% 番号書式を"空"にする
\footnote[0]{本稿の一部は，The 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processingで発表したもの \cite{DefSent}，および，The 11th Joint Conference on Lexical and Computational Semanticsで発表したもの \cite{CompComb}である．
}
\renewcommand{\thefootnote}{\arabic{footnote}}% 元(算用数字)に戻す


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

深層学習の発展とともに，自然言語処理技術は目覚ましい発展を遂げた．
中でも，自然言語文を実数ベクトルとして表現する\textbf{文埋め込み}は，
類似文検索，質問応答，機械翻訳といった多様なタスクに応用することができ \cite{SGPT,xu-etal-2020-boosting}，
より優れた文埋め込みがこれらのタスクにおける性能を広く向上させる可能性があることから，深層学習を用いた自然言語処理の基礎技術として盛んに研究されている．
文埋め込みを構成する手法は数多く存在するが，近年では自然言語推論 (Natural Language Inference; NLI) タスクに基づいて文埋め込みモデルを獲得する手法が主流となっている．
NLIタスクは与えられた文のペアに対して，その文ペアの含意関係が「含意」「矛盾」「その他」のうちのどれであるかを予測する分類タスクである．
複数の研究がNLIタスクに基づく文埋め込み手法を提案しており\cite{InferSent,SBERT,SimCSE}，文埋め込み評価のための標準的なベンチマークタスクで高い性能を達成してきた．
しかし，NLIタスクに基づく手法は大規模なNLIデータセットが整備されている言語でしか利用できないという問題がある．
実際，NLIタスクに基づく手法として代表的なSentence-BERT (SBERT) \cite{SBERT}は，
人手でラベル付けされた約100万文ペアからなるNLIデータセットに基づくが，英語以外の言語ではこのようなデータセットは限られた量しか存在しない．
したがって，既存のNLIタスクに基づく文埋め込み手法を英語以外に適用しても，英語と同等の精度は期待できない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-1ia5f1.pdf}
\end{center}
\caption{Sentence-BERT（左）と提案手法である\textbf{DefSent}（右）の概要図．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究ではこの問題を解決するため，
辞書に含まれる単語とその定義文が基本的に同一の意味内容を表すという関係に着目し，辞書の定義文を用いた文埋め込み手法である\textbf{DefSent}を提案する．
NLIデータセットと比べて辞書は，はるかに多くの言語において既に整備がされている言語資源であり，辞書の定義文を用いた文埋め込み手法は多くの言語に適用できる可能性が高い．
既存研究であるSBERTと，提案手法であるDefSentの概要を図\ref{fig:overview}に示す．
本研究で提案する文埋め込み手法はSBERTと同様に，BERT \cite{BERT}やRoBERTa \cite{RoBERTa}といった事前学習済み言語モデルに基づく．
これらのモデルに定義文を入力して得られる文埋め込みから，対応する単語を予測できるように事前学習済み言語モデルをfine-tuningする．
単語予測というタスクを通して，事前学習済み言語モデルが備える単語埋め込み空間の意味情報を活用することで，文埋め込みを効率的に構成できるようになる．

本研究では，2つの方法で提案手法による文埋め込みの有用性を評価した．
一つ目は，文埋め込みモデルが捉える文ペアの意味的類似度がどれほど人間評価と近しいかを評価するSemantic Textual Similarity (STS)タスクによる実験である．
STSタスクを用いた評価により，提案手法が大規模なNLIデータセットを用いる既存手法と同等の性能を示すことを確認した．
二つ目は，文埋め込みにどのような情報が捉えられているかを評価するソフトウェアのSentEval \cite{SentEval}を用いた評価である．
SentEvalを用いた評価により，提案手法が既存手法の性能と同等の性能を示し，種々のタスクに有用な文埋め込みを構成することが確認できた．

さらに本研究では，提案手法による文埋め込みの性質が，既存手法と比較してどのように異なるかを分析した．
一般的に，機械学習モデルは学習に用いたデータセットやタスクによって異なる振る舞いを示す．
文埋め込みモデルも同様に，これらの教師信号に影響を受け，文埋め込み手法ごとに異なる性質の文埋め込みが構成されると考えられる．
それぞれの文埋め込みがどのような性質を持っているのか理解することは，よりよい文埋め込み手法の研究のために有益であると考えられる．
上記を踏まえ，提案手法であるDefSentと，既存手法として代表的なSBERTを対象とし，STSタスクとSentEvalを用いた文埋め込みの性質分析を行った．
最後に，性質の異なる文埋め込みを統合することによって，下流タスクでさらに高い性能を示す文埋め込みを構成できることを示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{定義文を用いた文埋め込み手法}

本節では，まず，BERTやRoBERTaといった，提案手法が基礎とする事前学習済み言語モデルについて述べ，次にNLIデータを用いる既存の文埋め込み手法として代表的なSentence-BERT (SBERT)について述べる．
その後，本研究で提案する，定義文を用いた新たな文埋め込み手法であるDefSentについて述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{BERT, RoBERTa}

BERTは複数のTransformer \cite{Transformer}エンコーダが積層された構造を持つ事前学習済み言語モデルの一種である．
大規模なテキストを用い，マスク穴埋めタスク (Masked Language Modeling; MLM) と次文予測タスク (Next Sentence Prediction; NSP) による自己教師あり学習を行うことで，汎用的な言語知識を獲得する．
マスク穴埋めタスクは，文中のトークンを一定の割合で特殊トークン\MASK に置き換えてモデルに入力し，\MASK に対応する位置の最終層の埋め込み表現を用いて，置き換え前の単語を予測するタスクである．
次文予測タスクは，文区切り用の特殊トークン\SEP で繋がれた2文をBERTに入力した際に，それらが元のテキストデータでも連続する2文であるかどうかを，入力の先頭に追加される特殊トークン\CLS を用いて予測する2値分類タスクである．
BERTは単語の系列を入力として，単語埋め込みの系列を出力する機構であると言える．
BERTが出力する単語埋め込みは，その単語が出力する文脈を考慮したベクトル表現となっていることから，文脈化単語埋め込みと呼ばれる．

RoBERTaは，BERTと同じモデル構造のまま，次文予測タスクの排除とデータサイズ，訓練バッチサイズの増大といった工夫により，BERTの改善を試みたモデルである．
次節以降で述べるSBERTと提案手法は，いずれもBERT, RoBERTaを含む多くの事前学習済み言語モデルに適用することができるが，本稿における手法の説明では基本的にBERTを用いた場合について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Sentence-BERT}

Conneauらが提案したInferSent \cite{InferSent}は，パラメータを共有した2つのエンコーダを用い，NLIタスクによってBiLSTMで構成される文埋め込みモデルを訓練する手法である．
InferSentは，意味的に類似した文が意味ベクトル空間上で互いに近く分布するようにモデルを訓練する．
Reimersらが提案したSentence-BERT (SBERT) \cite{SBERT}は，InferSentと類似した構造を採用するが，文埋め込みモデルとしてBERTを用いている\footnote{
Reimersらは「SBERT」という名称を，「手法の名前」と「fine-tuningされたモデルの名前」の2種類の意味で使用している．
例えば，Reimersらの論文中では，Reimersらの手法によってfine-tuningされたRoBERTaを「SBERT-RoBERTa」のような名称ではなく「SRoBERTa」と呼称しているなど，手法名とモデル名が結合しているため混乱が生じやすい．
本稿では，「SBERT」という名称を主に手法の参照に用いる．
}．
SBERTの概要を図\ref{fig:overview}左に示す．
SBERTによる訓練の流れについて述べる．
SBERTでは，NLIデータセットに含まれる文ペアについて，文ペアそれぞれの文埋め込みを用いた含意関係認識タスクによりBERTをfine-tuningする．
まずそれぞれの文をBERTに入力し，得られる文脈化単語埋め込みの系列に対し，Poolingと呼ばれる操作を施して単一のベクトルを構成する．
Reimersら \cite{SBERT}は，pooling手法として以下の3つを実験している．

\begin{itemize}
  \item \textbf{\texttt{CLS}}: BERTの事前学習時に次文予測で用いられる\CLS の埋め込み表現を用いる\footnote{RoBERTaを用いる場合は\CLS が存在しないため，代替として文頭トークン\texttt{<s>}の埋め込み表現を用いる．
  }．
  \item \textbf{\texttt{Mean}}: 出力されたすべての文脈化単語埋め込みの平均を用いる．
  \item \textbf{\texttt{Max}}: 出力されたすべての文脈化単語埋め込みの次元ごとの最大値を用いる．
\end{itemize}

このとき，poolingにより得られる文ペアのそれぞれの文埋め込みを$\bm{u},\bm{v}$とする．
それらを組み合わせたベクトル$[\bm{u}; \bm{v}; |\bm{u}-\bm{v}|]$を含意関係ラベル予測層に入力し，文ペアに付与されている「含意」などのラベルを正しく予測できるようにfine-tuningを行う．
Reimersらは，Stanford NLI (SNLI) データセット\cite{SNLI}，および，Multi-Genre NLI (MNLI) データセット\cite{MNLI}を合わせた約100万文を用いてSBERTによるfine-tuningを行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法: DefSent}

本研究では，単語辞書において，単語とその定義文が同一の意味内容を表すことに着目し，定義文から単語予測を行うことで文埋め込みを構成する手法を提案する．
具体的には，BERTに定義文を入力して文埋め込みを構成し，その文埋め込みをもとに単語予測を行うことでBERTをfine-tuningする．
例えば，``a ball game played with a bat and ball between two teams of nine players''という文に対しては，``baseball''という語を答えとして単語予測を行う．
提案手法の概要を図\ref{fig:overview}右に示す．

DefSentによるfine-tuningの流れについて述べる．
ここで，ある定義文$X_k$に対応する単語を$w_k$と表す．
また，BERTの事前学習時にマスク穴埋めタスクで用いられる，\MASK の位置に対応する埋め込み表現から置き換え前の単語を予測する層を単語予測層と呼ぶ．
まず，$X_k$をBERTに入力し，出力された文脈化単語埋め込みの系列をPoolingすることで$X_k$の文埋め込み$\mathbf{u}_k$を構成する．
Pooling手法はSBERTと同様，\texttt{CLS}，\texttt{Mean}，\texttt{Max}の3種類を用いる．
次に，構成した文埋め込み$\mathbf{u}_k$を単語予測層に入力し，$X_k$を入力としたときの$w_k$の予測確率$P(w_k|X_k)$を得る．
損失関数に交差エントロピー誤差を用いて，$P(w_k|X_k)$を最大化するようにBERTのfine-tuningを行う．
したがって，訓練事例数を$N$としたときの訓練損失$\mathcal{L}$は次式のようになる．
\[
\mathcal{L} = -\sum_{k=1}^N \log P(w_k|X_k)
\]
この際，単語予測層には事前学習時のパラメータを固定して用いる．
事前学習時に既に獲得されている層を用いることで，SBERTのように追加の分類器のための新たなパラメータを学習する必要がなくなり，fine-tuningの効率化が期待できる．
また，事前学習済み言語モデルの単語埋め込みは，埋め込み空間上で類似した意味の単語が近くに分布するという性質が存在する．
DefSentは事前学習時の単語予測層をそのまま用いるため，得られる文埋め込みについても，類似した意味の文が埋め込み空間上で近くに分布することが期待できる．

本研究で提案する手法と類似した発想の研究として，Hillらの研究 \cite{hill-dictrep-eval,hill-dictrep}が挙げられる．
Hillらが提案したDictRepは，定義文と静的な単語埋め込みが近づくように学習を行うことで，句や文の埋め込みモデルを訓練する．
これに対してDefSentは，事前学習済み言語モデルの単語埋め込み空間と学習済みの単語予測層を用いることで，文埋め込みモデルを効率的に獲得する．
実際，DefSentのfine-tuningに要した時間は10--15分程度であり，同一の計算機環境でfine-tuningを実施した場合に120--130分程度を要するSBERTと比較して，高速である\footnote{実験環境とそれぞれのモデルの訓練時間を付録\ref{appendix:runtime-infra}に記載する．}．
また，DictRepと異なり，DefSentは事前学習時の単語意味空間を有効に活用する点も特徴的である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{単語予測タスクにおける評価}

提案手法による文埋め込みが，どの程度，文の意味を正しく推定できているかを検証するため，定義文から単語を予測するタスクにおける性能を評価した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{訓練に使用するデータセット}

提案手法は，単語と定義文のペアを用いて事前学習済み言語モデルのfine-tuningを行う．
本研究では，石渡ら\cite{Ishiwatari}が公開しているデータセットの中から，Oxford Dictionaryの見出しとなる単語と定義文を抽出して利用した．
各事例は単語と定義文のペアからなり，一つの単語が複数の定義文を持ち得る．
実験のため，全事例を単語ごとに訓練セット／開発セット／テストセットに8:1:1の割合で分割した．
提案手法は，単語予測層としてBERTまたはRoBERTaの事前学習時の単語予測層をそのまま用いる．
そのため，それぞれのモデルの語彙に含まれない単語の予測確率を，それらの単語予測層から直接得ることができない．
したがって，本実験ではデータセットの中からBERT，RoBERTaそれぞれの語彙に含まれる単語とその定義文のみを用いた\footnote{
語彙外単語に対する予測確率を得るため，予測対象に含めたい単語のサブワードの埋め込み表現の平均などを単語予測層に追加する等の処理が考えられる．
実際，予備実験としてこの処理を行った評価を実施したが，このような語彙外単語のための補完処理を行っても，性能に大きな変化は見られなかった．
本稿では簡単のため，これらの語彙外単語をデータセットから除去して実験を行った結果を示す．
}．
以後，作成したデータセットを定義文データセットと呼称する．
定義文データセットの統計値を表\ref{tab:d2w-dataset}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{05table01.tex}
\caption{定義文データセットの統計値．}
\label{tab:d2w-dataset}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{sec:d2w-eval-settings}

提案手法の評価にあたり，複数のモデル，Pooling手法について実験を行った．
モデルや実験プログラムの作成にはPyTorch \cite{PyTorch}を用いた．
事前学習済み言語モデルとして，Hugging Face\footnote{
\url{https://huggingface.co}
}が公開する深層学習モデル用ライブラリのTransformers \cite{Transformers}から，BERT-base (\texttt{bert-base-uncased})，BERT-large (\texttt{bert-large-uncased})，RoBERTa-base (\texttt{roberta-base})，RoBERTa-large (\texttt{roberta-large})の事前学習済みモデルを利用した\footnote{
BERT-baseとRoBERTa-baseはともに同規模のモデルであり，単語埋め込みの次元数は768，Transformerの層数は12層である．
BERT-largeとRoBERTa-largeも同様に同規模のモデルであり，単語埋め込みの次元数は1024，Transformerの層数は24層である．
また，それぞれのモデルのパラメータ数は，BERT-baseが1.1億，BERT-largeが3.4億，RoBERTa-baseが1.25億，RoBERTa-largeが3.55億である．
}．


提案手法による各事前学習済み言語モデルのfine-tuningには，バッチサイズを16，エポック数を1とし，最適化手法にAdam \cite{Adam}を用いた．
また，学習率スケジューリング手法として，学習の開始時点では学習率を0とし，全学習ステップのうち10\%を用い，設定した値まで学習率を線形に上昇させるLinear warm-up \cite{warmup}を用いた．
学習率は，各モデル，Pooling手法ごとに$x \times 10^{-6},\ x \in \{1, 2, 5, 10, 20, 50\}$の範囲で探索し，
開発データでの評価スコアが最も高くなった学習率を使用した．
提案手法の実装とfine-tuning済みモデルはGitHubにて公開している\footnote{
\url{https://github.com/hppRC/defsent}
}．

評価には，定義文を入力した際に出力される単語の予測確率から，定義文に対応する正解単語の予測確率における平均逆順位 (Mean Reciprocal Rank; MRR) と，予測確率の上位1, 3, 10位以内に正解単語が含まれる割合(Top-$k$ accuracy) を算出し，評価に用いた．
異なるシード値で10回実験を行い，その平均を評価スコアとした．
また，比較対象としてBERT-baseモデルをfine-tuningせずに評価した場合(\woft)の性能も算出した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{05table02.tex}
\caption{単語予測タスクの性能．}
\label{tab:d2w-eval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{05table03.tex}
\hangcaption{DefSentによってfine-tuningされたモデルに定義文が入力されたときの予測確率上位3位まで予測単語と正解単語．1列目が正解単語，2列目が定義文，3から5列目が順位予測確率上位1, 2, 3位の単語を表す．表に示す定義文には，記号を含めて編集を加えていない．予測単語のうち正解単語を\textbf{太字}で，入力文に含まれている単語を\shatai{斜体}で表す．}
\label{tab:d2w-actual-results}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
\label{sec:d2w-eval}

実験の結果を表\ref{tab:d2w-eval}に示す．
fine-tuningしなかった場合の性能は，Pooling手法として\texttt{Max}を選んだ場合が最も高かった．
しかし，そのTop-1 accuracyは0.0157と極めて低い値であり，高い性能を得るためにはfine-tuningの実施が必須であることが確認できた．
一方，定義文を用いてfine-tuingを行ったモデルでは，モデルサイズとしてbaseを用いたモデルよりlargeを用いたモデル，BERTを用いたモデルよりRoBERTaを用いたモデルの方が性能が高く，モデルとしてRoBERTa-largeを，pooling手法として\texttt{Mean}を用いた場合が最も高い性能を示した．
また，RoBERTa-large以外のモデルは，Pooling手法に\texttt{CLS}を用いたモデルが最も高い性能を示した．

定性的な議論のため，モデルに入力される文に対して実際にどのような単語が予測されるかを確認した．
表\ref{tab:d2w-actual-results}に，テストセットに含まれる定義文の一部と，それに対応する単語，及びそれらの定義文をモデルに入力した際の予測確率上位3位までの単語を示す．
この時，事前学習済み言語モデルとしてBERT-largeを用い，
\pagebreak
Pooling手法として\texttt{CLS}を用いてfine-tuningされたモデルを用いた．
実験の結果，訓練データセットに含まれない定義文の組に対しても，提案手法が意味的に妥当な文埋め込みを構成していることが確認できる．
また，単語予測の上位に現れる単語に，入力定義文中の単語が比較的多く出現するという傾向が見られた．

さらに，DefSentによりfine-tuningされたモデルが定義文以外の文に対してどのような埋め込み表現を構成するか観察するため，定義文以外の文をモデルに入力した際にどのような単語が予測されるかを確認した．
表\ref{tab:d2w-other-results}に，モデルに入力した文とその結果得られた予測確率上位5位までの単語を示す．
実験の結果，``royal man''から``king''や``prince''といった単語を予測できていることから，文中単語から適切に文の意味を構成できていると考えられる．
また，``not good''に対する予測結果として``bad''や``poor''といった単語が予測できていることから，否定表現に対しても妥当な意味を構成できていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{05table04.tex}
\caption{定義文以外の文に対する予測確率上位5位までの予測単語．}
\label{tab:d2w-other-results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{文類似度タスクでの評価}


提案手法による文埋め込みの意味的な品質を検証するため，文埋め込み評価に一般的に用いられる文類似度評価タスクのSemantic Textual Similarity (STS)タスクを用いた評価を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{STSタスク}

Semantic Textual Similarity (STS) タスクは，文ペアが与えられた時に，モデルを用いて文ペアの意味的な類似度を計算し，
それがどの程度人間による評価に近いかを検証することで，モデルが文の意味的類似性を正しく推定できるかを評価するタスクである．
STSタスクの評価には教師ありと教師なしの二つの設定が存在し，文埋め込みの品質評価には主に教師なし設定が用いられる．
教師なし設定の場合，STSデータセットを用いたモデルの学習は行わず，事前に用意したモデルを用いて文ペアの意味的類似度を計算し，モデルによる類似度と人手評価による類似度との相関係数を用いて評価を行う．
この時，文の意味的類似度としては，文ペアの文埋め込み同士の余弦類似度が用いられることが多い．

本研究では，提案手法が一般の文に対して妥当な文埋め込みを構成できているか評価するため，STSによる評価で一般的に用いられるデータセットであるSTS12--16 \cite{STS12,STS13,STS14,STS15,STS16}，STS Benchmark (STS-B) \cite{STSB}，SICK-Relatedness (SICK-R) \cite{SICK}を用い，教師なし設定のSTSタスクにより評価を行った．
これらのデータセットには文ペアとその意味的類似度が含まれており，意味的類似度は人手評価によって付与された0から5（SICK-Rのみ1から5）までの実数である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{sec:sts-eval-settings}

提案手法による文の類似度として，文ペアの文埋め込み同士の余弦類似度を用い，相関係数としてスピアマンの順位相関係数を用いた\footnote{
Reimersらにより，STSの評価にはスピアマンの順位相関係数が適していることが報告されており \cite{TaskOriented}，近年の文埋め込みの研究では評価にスピアマンの順位相関係数を用いるのが一般的となっている．
本研究でも慣例に従い，スピアマンの順位相関係数を評価指標として用いた．
}．
評価には，Reimersら \cite{SBERT}と同様に，Pooling手法として\texttt{CLS}, \texttt{Mean}, \texttt{Max}を用いた．
異なる乱数シード値で10回実験を行い，その平均を評価スコアとした．

提案手法との比較に用いる既存手法は以下の通りである．

\begin{description}
\item[GloVe]{
静的な単語埋め込み手法であるGloVe \cite{GloVe}の単語埋め込みの単純平均を用いる．
最も単純な文埋め込み手法の一つだが．文埋め込み評価における強力なベースラインとしてよく機能することが知られている \cite{SWEM}．
埋め込みの次元数は300である．
}
\item[InferSent]{
Conneauらによって提案された文埋め込み手法であるInferSent \cite{InferSent}による文埋め込みを用いる．
埋め込みの次元数は4096である．
}
\item[Universal Sentence Encoder (USE)]{
Cerらによって提案された文埋め込み手法であるUniversal Sentence Encoder (USE) \cite{USE}を用いる．
USEはマルチタスク学習によって文埋め込みモデルを訓練する手法であり，InferSentやSBERTと同様のNLIタスクが学習タスクに含まれる．
埋め込みの次元数は512である．
}
\item[SBERT]{
Reimersらによって提案された文埋め込み手法であるSBERT \cite{SBERT}を用いる．
埋め込みの次元数は，fine-tuningを適用する事前学習済み言語モデルとしてBERT-baseおよびRoBERT-baseを用いた場合は768，BERT-largeおよびRoBERTa-largeを用いた場合は1024である．
}
\end{description}

評価にあたり，SBERT以外の既存手法の性能はReimersら\cite{SBERT}の結果を引用した．
また，SBERTはReimersら \cite{SBERT}と同様の設定で再現実験を行い，評価した．
\ref{sec:d2w-eval-settings}節で述べた，提案手法によるfine-tuningの設定と同等の設定で評価実験を行い，その性能を評価スコアとした．
さらに，SBERTおよびDefSentによるfine-tuning前後での性能の変化を観察するため，fine-tuning前の各モデル，Pooling手法ごとの性能も評価した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
\label{sec:sts-eval}

実験の結果を表\ref{tab:sts-eval-all}に示す．
全体として，SBERTのRoBERTa-largeが高い性能を示し，特にPooling手法として\texttt{Mean}を用いた場合に最も高い平均性能を示した．
提案手法の中では，モデルとしてRoBERTa-baseを，Pooling手法として\texttt{CLS}を用いた場合が最も高い平均性能を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[p]
\input{05table05.tex}
\hangcaption{文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て100をかけたもの）．データセットごとに最も性能が高い結果を\textbf{太字}で示す．}
\label{tab:sts-eval-all}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各モデルごとにSBERTとDefSentによる性能を比較すると，BERT-baseおよびBERT-largeにおいては，常にDefSentがSBERTと同等かそれ以上の平均性能を示している．
また，BERT-baseおよびBERT-largeにおいては，Pooling手法ごとの性能の傾向も類似しており，いずれの手法も，Pooling手法として\texttt{Mean}を用いた場合に最も高い平均性能を示し，\texttt{CLS}および\texttt{Max}は\texttt{Mean}と比較して低い結果となっている．
DefSentによるfine-tuningで用いる学習データは，SBERTの学習に使用されているデータ量の$5\%$程度の規模であるにもかかわらず，BERT-baseおよびBERT-largeにおいて，DefSentはSBERTと同等以上の性能を示すことが確認できた．

一方で，RoBERTa-baseおよびRoBERTa-largeにおいては，SBERTとDefSentで異なる傾向が見られた．
まず，RoBERTa-baseに着目すると，SBERTはPooling手法に\texttt{Mean}を用いた場合が最も性能が高いものの，DefSentは\texttt{Mean}を用いた場合の性能が最も低く，\texttt{CLS}を用いた場合に最も高い性能を示した．
平均性能については，Pooling手法として\texttt{Mean}を用いた場合はSBERTの方が高い性能を示したが，\texttt{CLS}と\texttt{Max}を用いた場合は，DefSentの方が高い性能を示した．
また，RoBERTa-largeに着目すると，RoBERTa-baseと同様に，SBERTはPooling手法に\texttt{Mean}を用いた場合に最も高い性能を示したが，DefSentは\texttt{Max}を用いた場合に最も高い性能を示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}
\label{sec:comp-sts}

\ref{sec:sts-eval}節で，提案手法による文埋め込みが既存手法と比較して同等の性能を発揮することを示した．
本節では，STSタスクを用いた詳細な分析を通して，提案手法による文埋め込みの性質について分析する．
本研究では特に，
それぞれの手法による文埋め込みの性質は，それぞれの文埋め込みを得るにあたって用いられた教師信号によって異なる可能性が高いと考えられることから，
文埋め込みモデルの訓練に用いた教師信号の違いに着目した分析を行う．
例えば，定義文から単語予測をすることで訓練された文埋め込みは，文の構成的な意味を表現するのに適していることが期待できる．
一方で，NLIタスクを用いて訓練された文埋め込みは，表面的に類似した文の意味の違いを捉えることが重要であるというNLIタスクの性質から，
表面的に類似した文の意味の違いを区別した埋め込みを構成していることが期待できる．


本節では，提案手法であるDefSentによる文埋め込みと，SBERTによる文埋め込みの性質の違いを調査する．
SBERTはDefSentと同様，事前学習済み言語モデルを文埋め込みを介した予測タスクによってfine-tuningする手法であり，提案手法による文埋め込みの性質を分析する上で比較対象として適していると考えた．
分析は，STSデータセットを文ペアのソースと表層的類似度という二つの観点でそれぞれ分割し，分割されたサブデータセットごとにSTSタスクによる性能を評価することで行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ソースに基づき分割したSTSデータセットでの比較}
\label{sec:comp-sts-source}

文埋め込み手法は，その訓練に用いられたデータセットに含まれる文に類似する文の意味について，その他の文よりも適切に捉えられると考えられる．
すなわち，埋め込む文のソースが，文をどの程度適切に埋め込めるかに影響すると考えられる．
例えば，SBERTはNLIデータセットに含まれる文に類似した文の意味をより捉えやすく，DefSentは単語辞書の定義文に類似した文の意味をより捉えられると期待できる．
本研究ではこの傾向について調査するため，STSデータセットを文のソースによって分割し，得られたサブデータセットを用いて性能評価を行う．

評価にはSTS12--16を用いた．
STS12--16は，それぞれのデータセットが複数のデータセットから構成されており，このような文のソースごとの性能評価に適している．
STS12--16のサブデータセットごとの統計値を表\ref{tab:sts-source-statistics}に示す．
実験設定は\ref{sec:sts-eval-settings}節と同様である．
比較分析の対象の文埋め込み手法はDefSentとSBERTとした．
事前学習済み言語モデルとしてBERT-baseを用い，Pooling手法として\texttt{Mean}を用いた．
また，参考として，fine-tuningを行っていないBERT-base (\woft)も評価対象とした．
異なるシード値で10回学習を行い，その平均を評価スコアとした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{05table06.tex}
\caption{各STSデータセットに含まれるソースと，ソースによって分割されたデータセットごとの統計値．}
\label{tab:sts-source-statistics}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験の結果を図\ref{fig:sts-source}に示す．
比較のため，サブデータセットごとの評価に加えて，各STSデータセット全体での結果も記載する．
ここで，評価スコアとして相関係数を用いているため，一般にはサブデータセットを結合したデータセットのスコアはサブデータセットごとの評価スコアの平均に一致せず，極端な場合，全体での性能がサブデータセットごとの評価スコアの最小値を下回ることに注意されたい．
結果より，SBERTとDefSentの性能はともに，全体として\woft の性能を上回っていることがわかる．
DefSentは，STS13の\textsl{OnWN}と\textsl{FNWN}およびSTS14の\textsl{OnWN}にて，SBERTよりも顕著に高い性能を示した．
STS13の\textsl{OnWN}と\textsl{FNWN}は，ともにOntoNotes，FrameNet，およびWordNetの定義文から作成されており，事前の予測通りDefSentの訓練に用いられている定義文と類似した文に対するDefSentの性能が高いことが確認できる．
SBERTはSTS14の\textsl{deft-forum}および\textsl{headlines}と，STS15の\textsl{answer-students}にてDefSentよりも高い性能を示した．
中でも，STS15の\textsl{answer-students}はNLIデータセットに類似した形式のデータセットであるため，SBERTが文の意味の違いを比較的正しく推定できたと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia5f2.pdf}
\end{center}
\hangcaption{STS12--16をソースごとに分割して評価に用いた際の，スピアマンの順位相関係数の値に100をかけたもの．``STS\# ALL''は各STSデータセット全体での性能を示す．}
\label{fig:sts-source}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{表層的類似に基づき分割したSTSデータセットでの分析}
\label{sec:comp-sts-surface}

次に，文ペアの表層的類似度が，どのようにそれぞれの文埋め込み手法によって計算された意味的類似度に影響を与えるかを調査した．
SBERTは，表層的に類似した文の意味の違いを捉える必要があるNLIタスクを通して学習されているため，表層的に類似した文ペアの意味的類似度を比較的正しく推定できると期待できる．
一方で，提案手法はNLIタスクのように文同士の意味を識別するような訓練は行わないため，表層的に類似した文ペアの意味の違いを推定するうえで，NLIタスクに基づく手法とは異なる傾向を示す可能性がある．

このような性質について分析を行うため，STS Benchmarkを文ペアの表層的類似度によって分割し，それぞれのサブデータセットごとに性能評価を行った．
本研究では文ペアの表層的類似度として，単語集合同士のDice係数を用いた．
Dice係数は以下の式で示される．
\[
    \mbox{Dice}(S_1, S_2) = \frac{2 |W_1 \cap W_2|}{|W_1|+|W_2|}
\]
ここで，$S_1$および$S_2$はある文ペアに含まれるそれぞれの文を表し，$W_1$および$W_2$はそれぞれ$S_1$および$S_2$に含まれる単語の集合を表す\footnote{
単語集合は，文末のピリオドなどの記号を削除し，全文を小文字に変換した後，空白で分割することにより求めた．
}．
評価実験にはSTS Benchmarkの訓練／開発／テストセットに含まれる文ペアを全て用い，それらを表層的類似度によって並び替え，20\%ごとに分割して評価に用いるサブデータセットとした．
実験設定，評価対象は\ref{sec:comp-sts-source}節と同様である．

実験の結果を図\ref{fig:sts-dice}に示す．
結果から，すべての手法について，より大きなDice係数を持つサブデータセット，つまりより表層的に類似した文ペアで構成されているサブデータセットの方が評価スコアが低い傾向があることが確認できる．
特に，最も表層的類似度が高いサブデータセットにおける\woft の性能は極めて低く，\woft による文埋め込みでは，文の意味の違いを正しく識別できないと考えられる．
SBERTおよびDefSentの結果に注目すると，表層的類似度が高いサブデータセットにおいては，SBERTがDefSentの性能を上回った．
一方で，表層的類似度が低いサブデータセットにおいては，DefSentがSBERTの性能を上回った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{30-1ia5f3.pdf}
\end{center}
\hangcaption{STS Benchmarkを表層的類似度ごとに分割して評価に用いた際の，スピアマンの順位相関係数の値に100をかけたもの．図の右側にいくほど，文ペアの表層的類似度が大きいサブデータセットでの評価結果を表している．}
\label{fig:sts-dice}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{05table07.tex}
\hangcaption{STS Benchmarkに含まれる実際の文ペアと人手評価による類似度．``\woft''，``SBERT''，``DefSent''は，それぞれの手法を用いて構成された文埋め込み同士の余弦類似度を表す．この時，STS Benchmark全体での余弦類似度の平均は，\woft が0.816，SBERTが0.678，DefSentが0.809であった．また，SBERTとDefSentにおいて，人手評価の順位に対して相対的に大きな違いのある部分を\textbf{太字}で示す．}
\label{tab:sts-example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表層的類似度がどのように意味的類似度の推定に影響を与えているかについてさらに調査するため，実際の例を用いた定性的分析を行った．
表\ref{tab:sts-example}に，STS Benchmarkに含まれる実際の文ペアと，その人手評価による類似度およびDice係数，および\woft ，SBERT，DefSentによって計算された余弦類似度を示す．
表\ref{tab:sts-example}の上から2行目に示すように，文ペアのそれぞれの文がほとんど同じことを表現している場合でも，SBERTは他の例と比較して非常に小さな類似度を割り当てている．
これは，NLIタスクの「文ペアが同じ事実を表現しているか」を重視するタスクの性質が，SBERTによる文埋め込みに影響を与えているからだと考えられる．
この文ペアはDice係数が比較的小さい一方で人手評価が大きい文ペアとなっているが，SBERTによる類似度と異なり，DefSentは0.895と相対的に適切と考えられる類似度を出力できている．
表\ref{fig:sts-dice}の結果からも確認できる通り，DefSentは意味的に類似しているが表層的類似度が低いような文ペアについて，その意味の違いを比較的正しく推定できると考えられる．
上から3行目の例では，人手評価による類似度がそれほど高くない事例に対して，DefSentは比較的高い類似度を割り当てている．
これは，片方の文がもう片方の文の部分文字列であるため，DefSentが文中単語から意味を構成する能力が高いゆえに，文の表層的な類似度に意味的類似度が大きく影響を受けてしまった結果であると考えられる．
このような事例に対しては，意味の違いを識別するように訓練されているSBERTの方が，正しく文の意味の違いを推定できると考えられる．
これらの結果から，SBERTは表層的類似度が高い文ペアの意味的類似度を捉えることに長けており，一方で，提案手法であるDefSentは表層的類似度が低い文ペアの意味的類似度を捉えることに長けていると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{テキスト分類タスクを用いた評価}

提案手法による文埋め込みの一般的な有用性を評価するため，文埋め込み評価に広く用いられるSentEval \cite{SentEval}を用いて評価を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{SentEval}
\label{sec:senteval-eval}

SentEval \cite{SentEval}は，文の感情分類や主観性分類などを含む様々なタスクを集約した，文埋め込み評価のためのソフトウェアである．
SentEvalを用いた評価では，パラメータを固定した文埋め込みモデルを用いて，文埋め込みを入力とする分類器の学習を行い性能を評価することで，文埋め込みがどのような情報を捉えているかを評価する．
分類タスクで高い性能を達成できる文埋め込み手法は，文の多様な情報を捉え，種々のタスクに有用な文埋め込みを構成できると考えられる．
SentEvalには後段タスク (downstream tasks) とプロービングタスク (probing tasks) の二つが存在し，文埋め込みの有用性評価には主に後段タスクが用いられる．
本研究では提案手法であるDefSentの有用性を確認するため，まずReimersら \cite{SBERT}と同様，後段タスクを用いて実験を行った．
各タスクの概要を表\ref{tab:senteval-task-descriptions}に示す．
評価には，\ref{sec:d2w-eval-settings}節の設定でfine-tuningを行ったモデルを使用した．
SentEval内の各タスクについて，提案手法により構成した文埋め込みを入力とする分類器を学習し，性能を評価した．
分類器の学習および性能評価は，Reimersら \cite{SBERT}と同様，SentEvalの標準設定を用いた．
具体的には，分類器はロジスティック回帰分類器，バッチサイズは64，エポック数は4とし，最適化手法にAdamを用いて学習を行った．
10分割交差検証によってタスクごとに正答率を算出し，平均正答率を計算した．
提案手法によるfine-tuningと性能評価を異なるシード値で3回行い，その平均を評価スコアとした．
比較対象として\ref{sec:sts-eval-settings}節で述べたものと同様の手法を用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{05table08.tex}
\hangcaption{評価に用いたSentEvalの後段タスクの概要．各タスクの例はConneauら \protect\cite{SentEval}の例を引用した．}
\label{tab:senteval-task-descriptions}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験の結果を表\ref{tab:senteval-eval-all}に示す．
全体として，STSタスクでの評価と同様，SBERTのRoBERTa-largeが最も高い性能を示した．
提案手法の中では，モデルとしてRoBERTa-baseを，Pooling手法として\texttt{Max}を用いた場合が最も高い平均性能を示した．
各モデルごとにSBERTとDefSentの性能を比較すると，BERT-baseおよびRoBERTa-baseではすべてのPooling手法でDefSentがSBERTの性能を上回った．
また，BERT-largeにおいてPooling手法に\texttt{CLS}および\texttt{Mean}を用いた場合にも，DefSentはSBERTの性能を上回った．
一方で，BERT-largeにおいて\texttt{Max}を用いた場合，およびRoBERTa-largeにおいては，SBERTの方がDefSentよりも高い性能を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[p]
\input{05table09.tex}
\caption{SentEvalの後段タスクにおける正解率(\%)．}
\label{tab:senteval-eval-all}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}
\label{sec:comp-senteval}

\ref{sec:comp-sts}節と同様，提案手法による文埋め込みの性質を分析するため，
SentEvalの後段タスクとプロービングタスクを用いた性能比較と，タスクごとの特徴に着目した文埋め込みの性質分析を行った．
分析に用いた設定は\ref{sec:senteval-eval}節と同様である．
比較分析の対象はDefSentとSBERTとした．
事前学習済み言語モデルとしてBERT-baseを用い，Pooling手法として\texttt{Mean}を用いた．
また，参考として，fine-tuningを行っていないBERT-base (\woft)も評価対象とした．
異なるシード値で3回学習を行い，その平均を評価スコアとした．

まず，\ref{sec:senteval-eval}節で得られたSentEvalの後段タスクの性能を用いて，より詳細な分析を行った．
DefSent, SBERT, \woft の各タスクにおける性能を抜粋したものを図\ref{fig:comp-senteval-downstream}に示す．
SBERTに着目すると，MR, CR, SST2, MRPCにおいて最も高い性能を示していることがわかる．
これは，MR, CR, SST2が感情分類タスクであり，SBERTが文の感情についての情報をよりよく埋め込んでいることを示唆する．
また，MRPCは言い換え予測タスクであり，二つの文が同じ意味を持つかどうかを予測するタスクである．
MRPCはSBERTの訓練に用いられたNLIタスクと似ており，SBERTの性能が高かった理由もこのタスクの類似性によるものであると考えられる．

一方でDefSentはMPQAで最も高い性能を示し，SUBJとTRECの二つのタスクで\woft と同等の性能だった．
MPQAは句単位の極性分類タスクであり，句の意味を適切に構成する必要があるタスクである．
DefSentは定義文からその意味を適切に構成できるようにfine-tuningを行うため，DefSentはMPQAにおける性能が高かったと考えられる．

また，SUBJとTRECにおいては，DefSentがSBERTよりも高い性能を示した．
SUBJは主観性分類タスクであり，TRECは質問文の種別分類タスクであり，文中単語の情報が重要なタスクである．
そのため，SBERTはDefSentや\woft と比較して，文中単語の情報をより考慮していないと考えられる．
以上より，SBERTは主に文の意味的な情報を埋め込み，それゆえに文の意味が同じかどうかを識別するようなタスクに適していると考えられる．
一方で，DefSentは文の意味を構成することに長けており，またその埋め込み表現には文中単語の情報がより含まれているものと考えられる．

次に，SentEvalのプロービングタスクを用いて，各文埋め込み手法がどのような言語的特徴を捉えているか分析した．
SentEvalのプロービングタスクには文埋め込みが言語的な特徴をどの程度捉えているか評価するためのタスクがまとめられており，例えば文の長さや文中に含まれていた単語や，文の時制の分類タスクなどが存在する．

実験の結果を図\ref{fig:comp-senteval-probing}に示す．
全体として，プロービングタスクでは\woft, DefSent, SBERTの順に性能が高かった．
DefSentは，WordContent, Tense, およびSubjNumberにおいて比較的高い性能を示した．
これらは文中単語の情報が重要なタスクであり，DefSentによる文埋め込みが文中単語の情報を多く埋め込んでいることを示唆している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4 and 5
\begin{figure}[t]
\begin{minipage}[t]{196pt}
\setlength{\captionwidth}{196pt}
\begin{center}
\includegraphics{30-1ia5f4.pdf}
\end{center}
\hangcaption{SentEvalの各後段タスクにおける正解率 (\%)．}
\label{fig:comp-senteval-downstream}
\end{minipage}
\hfill
\begin{minipage}[t]{206pt}
\setlength{\captionwidth}{206pt}
\begin{center}
\includegraphics{30-1ia5f5.pdf}
\end{center}
\hangcaption{SentEvalの各プロービングタスクにおける正解率 (\%) ．}
\label{fig:comp-senteval-probing}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{異なる文埋め込みの統合}

前節で，提案手法であるDefSentとSBERTの性質の違いについて分析し，二つの手法が異なる性質を持つことを示した．
このような異なる性質を持つ文埋め込みを統合することによって，さらに高性能な文埋め込みを構成することが可能か調査する．
本研究では，以下に示す5つの統合手法について実験を行った．

\begin{description}
\item[\textsc{S+D}]{
SBERTによるfine-tuningを行ったモデルをさらにDefSentでfine-tuningする．
}
\item[\textsc{D+S}]{
DefSentによるfine-tuningを行ったモデルをさらにSBERTでfine-tuningする．
}
\item[\textsc{Multi}]{
マルチタスク学習によってモデルをfine-tuningする．
具体的には，SBERTのfine-tuningに用いるNLIデータセットとDefSentのfine-tuningに用いる定義文データセットの事例数の比はおおよそ19:1であるため，同じモデルに対し，SBERTによるパラメータ更新を19ステップ行ったのちDefSentによるパラメータ更新を1ステップ行う．
}
\item[\textsc{Average}]{
別々にfine-tuningされたSBERTとDefSentの文埋め込みの平均を用いる．
}
\item[\textsc{Concat}]{
別々にfine-tuningされたSBERTとDefSentの文埋め込みを連接したベクトルを用いる．
}
\end{description}

評価タスクとして，教師なしSTSタスクとSentEvalの後段タスクを用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文類似度タスクでの統合手法の評価}

まず，教師なしSTSタスクで5つの統合手法を評価した．
実験設定は\ref{sec:sts-eval-settings}節と同様である．
モデルとしてBERT-baseとBERT-largeを用い，Pooling手法に\texttt{Mean}を用いた．
RoBERTa-baseおよびRoBERTa-largeを用いた場合の結果は，付録\ref{appendix:comb-roberta}の表\ref{tab:comb-roberta-sts}に記載する．
実験では，それぞれの統合手法ごとに異なるシード値で10回モデルのfine-tuningと評価を行い，その平均を評価スコアとした．
比較のため，DefSentとSBERTそれぞれ単体，およびfine-tuningを行っていないモデル(\woft)も評価した．

実験の結果を表\ref{tab:comb-sts}に示す．
統合手法のうち，\textsc{S+D}, \textsc{Average}, \textsc{Concat}は常にDefSentおよびSBERT単体の性能を上回った．
特に，\textsc{S+D}はbaseおよびlargeモデルの双方で最も良い平均性能を示した．
一方で，\textsc{D+S}と\textsc{Multi}については，大きな性能向上を確認できなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{05table10.tex}
\hangcaption{各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て100をかけたもの）．データセットごとに最良の結果を\textbf{太字}で示す．}
\label{tab:comb-sts}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{後段タスクでの統合手法の評価}

次に，SentEvalの後段タスクで5つの統合手法を評価した．
実験設定は\ref{sec:senteval-eval}節と同様である．
モデルとしてBERT-baseとBERT-largeを用い，Pooling手法に\texttt{Mean}を用いた．
RoBERTa-baseおよびRoBERTa-largeを用いた場合の結果は，付録\ref{appendix:comb-roberta}の表\ref{tab:comb-roberta-senteval}に記載する．
実験では，それぞれの統合手法ごとに異なるシード値で3回モデルのfine-tuningと評価を行い，平均正答率を評価スコアとした．
比較のため，DefSentとSBERTそれぞれ単体，およびfine-tuningを行っていないモデル(\woft)も評価した．

実験の結果を表\ref{tab:comb-senteval}に示す．
表より，\textsc{Concat}が最も高い性能を示したことが確認できるが，SentEvalの評価では文埋め込みを入力とするロジスティック回帰分類器を教師あり学習するため，文埋め込みの次元数が大きい方が有利である点には注意されたい\footnote{
その他の文埋め込み評価の際の``落とし穴''に関しては，Egerらの研究 \cite{pitfalls}が参考になる．
}．
\textsc{Concat}以外の統合手法では，\textsc{Average}が比較的高い性能を示し，その性能は常に\textsc{S+D}, \textsc{D+S}, \textsc{Multi}を上回った．
これは，平均して\textsc{S+D}が最も高い性能を示した，教師なしSTSタスクでの評価結果とは異なる傾向である．
この原因として，一つのモデルに対して複数回fine-tuningを行う\textsc{S+D}などの手法が，事前学習済み言語モデルの汎化性能を悪化させている可能性が考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{05table11.tex}
\hangcaption{各統合手法による文埋め込みを用いた場合のSentEvalの各タスクにおける正解率 (\%)．タスクごとに最良の結果を\textbf{太字}で示す．}
\label{tab:comb-senteval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}


深層学習を用いた自然言語処理の基礎技術として文埋め込みは盛んに研究されており，様々なモデルやタスクが提案されている．

初期の文埋め込みモデルの研究では，特定のタスクではじめから文埋め込みモデルを訓練する手法が主流であった．
Kirosらによって提案されたSkipThought \cite{SkipThought}はLSTM \cite{LSTM}を基にしたエンコーダ・デコーダモデルを用い，エンコーダに入力された文の埋め込み表現から，デコーダを介して前後の文を生成することでモデルを訓練する．
Conneauらによって提案された \cite{InferSent}は，双方向LSTMとDual Encoderを基に，NLIタスクを解くことで文埋め込みモデルを訓練する．
Cerらによって提案されたUniversal Sentence Encoder (USE) \cite{USE}は，マルチタスク学習によって文埋め込みモデルを訓練する．

近年，事前学習済み言語モデルを用いた文埋め込み手法が多数提案されている．
BERT \cite{BERT}やRoBERTa \cite{RoBERTa}のような事前学習済み言語モデルは，大規模なテキストを用いた自己教師あり学習によって汎用的な言語知識を獲得し，後段タスクで高い性能を達成することができ，事前学習によってモデルに備わる言語学的知識は文埋め込みモデルを構築する際にも有用である．
これらの事前学習済み言語モデルを用いた文埋め込み手法は，教師なし手法と教師あり手法の二つに大別できる．

教師なし文埋め込み手法は，人手作成されたラベルなどの教師データは用いず，事前学習済み言語モデルの特性を活用するか，人工的に訓練データを作成することで文埋め込みモデルを獲得する．
Liらは，事前学習済み言語モデルの埋め込み空間が異方性を持つこと，すなわち埋め込み空間の一部の部分空間に埋め込み表現が偏って分布することを示し，等方的なガウス分布への写像を学習することで文埋め込みの異方性を解消し，教師なしで高い性能を持つ文埋め込みを獲得する手法であるBERT-flowを提案した \cite{BERT-flow}．
高性能な文埋め込みを獲得するため，最近では対照学習と呼ばれる訓練手法がよく用いられている．
対照学習を用いた文埋め込み手法は，学習時に正例および負例となる文ペアを用意し，正例文ペアの文埋め込み同士が近づくようにしつつ，負例文ペアの文埋め込み同士が離れるように学習を行う．
対照学習を用いた文埋め込み手法は，どのように正例または負例を作成するかで特徴づけることができる．
Giorgiらによって提案されたDeCLUTR \cite{DeCLUTR}は，同じ文書に含まれる文同士を正例として対照学習を行う．
Yanらによって提案されたConSERT \cite{ConSERT}は，ある文に対して単語の削除や置換等の加工を施した文を正例として対照学習を行う．
Gaoらによって提案されたUnsupervised SimCSE \cite{SimCSE}は，同じ文に対して異なるdropout maskを適用して得られる文埋め込み同士を正例として対照学習を行う．

教師あり文埋め込み手法は，より高度な意味情報を捉えるために，教師ラベルを用いてモデルを訓練する．
一般的に，教師あり文埋め込み手法は教師なし文埋め込み手法と比較して，性能の高い文埋め込みを構成することができる．
本研究で提案したDefSentおよび性質比較の対象としたSBERTは教師あり文埋め込み手法に分類できる．
Gaoらによって提案されたSupervised SimCSE \cite{SimCSE}，およびZhangらによって提案されたPairSupCon \cite{PairSupCon}は，NLIデータセット中の含意関係にある文ペアを正例として対照学習を行う．
Jiangらによって提案されたPromptBERT \cite{PromptBERT}は，NLIデータセット中の含意関係にある文ペアを正例とした対照学習を行うことに加え，テンプレートを用いた摂動を加えることで，より高性能な文埋め込みモデルを獲得する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，辞書の定義文を用いた文埋め込み手法であるDefSentを提案した．
DefSentは多くの言語において整備されている辞書に基づく手法であり，他の言語に応用する場合であっても新規の言語資源を作成する必要がない点が特徴的である．
教師なしSTSタスクとSentEvalを用いた実験を通して，提案手法であるDefSentの有効性，および，大規模なNLIデータセットを用いる既存手法と同等の性能を発揮することを示した．

さらに，文埋め込みの獲得に用いられる教師信号が文埋め込みの性質に与える影響について，実験的に調査した．
比較の対象として，提案手法であるDefSentと，DefSentと非常に類似した構造を持つが，NLIタスクによってモデルをfine-tuningするSBERTを用いて，教師なしSTSタスクとSentEvalに含まれる分類タスクを複数の観点に分けて評価した．
教師なしSTSタスクを用いた比較実験の結果，それぞれの手法は文のソースや文ペアの表層的類似度によって，文の意味的類似度を捉える能力に差があることがわかった．
NLIデータセットという細かな意味の違いを捉えることが重要なタスクで訓練されているSBERTは，表層的に類似した文ペアの意味の違いを捉えることに長けていることがわかった．
定義文からの単語予測タスクという文の意味を適切に構成することが重要なタスクで訓練されているDefSentは，文の意味的な構成性が重要になるタスクに適していることがわかった．
また，SentEvalを用いた比較実験の結果，SBERTは文の意味的な情報が重要なタスクで高い性能を示し，一方でDefSentは文中単語の情報が重要なタスクで高い性能を示した．
最後に，提案手法であるDefSentとSBERTの統合手法を検討し，評価した．
その結果，DefSentとSBERTによるfine-tuningを順に適用する手法，およびそれぞれの文埋め込みの平均を取る手法が，単純ながら非常に高い性能を示した．

\ref{sec:introduction}節で述べたように，提案手法は人手で作成されたNLIデータを必要とせず，辞書が整備されている多くの言語において適用可能であると考えられるが，本研究では英語のみを対象に実験を実施しており，英語以外の言語における有効性は示せていない．
他の言語でも提案手法が実際に有効であるかを示すためには，複数の言語での実験が必要となるが，言語ごとに，適切な辞書データ，事前学習済み言語モデルと評価データの選定が必要となることから，今後の課題とする．

また，提案手法と既存手法についてより深く分析するため，提案手法による定義文の埋め込み表現と，文脈化単語埋め込みの意味ベクトル空間上での関係の解析を行いたい．
さらに，より多様な文埋め込み手法との性質比較と統合手法の検討を行いたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部はJSPS科研費21H04901の助成を受けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{05refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{実験環境と訓練時間}
\label{appendix:runtime-infra}

DefSentによるBERT-baseおよびRoBERTa-baseのfine-tuningには，一つのNVIDIA GeForce GTX 1080 Tiを用いて約10分を要した．
DefSentによるBERT-largeおよびRoBERTa-largeのfine-tuningには，一つのNVIDIA Quadro GV100を用いて約15分を要した．
SBERTによるBERT-baseおよびRoBERTa-baseのfine-tuningには，一つのNVIDIA GeForce GTX 1080 Tiを用いて約120分を要した．
SBERTによるBERT-largeおよびRoBERTa-largeのfine-tuningには，一つのNVIDIA Quadro GV100を用いて約130分を要した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\vspace{-0.5\Cvs}
\input{05table12.tex}
\hangcaption{各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て100をかけたもの）．}
\label{tab:comb-roberta-sts}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[t]
\input{05table13.tex}
\caption{各統合手法による文埋め込みを用いた場合のSentEvalの各タスクにおける正解率 (\%)．}
\label{tab:comb-roberta-senteval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{RoBERTaを用いた統合手法の実験結果}
\label{appendix:comb-roberta}

表\ref{tab:comb-roberta-sts}に，モデルとしてRoBERTa-baseおよびRoBERTa-largeを用い，
\pagebreak
Pooling手法として\texttt{Mean}を用いた際の，各統合手法のSTSタスクにおける実験結果を示す．
また，表\ref{tab:comb-roberta-senteval}に，モデルとしてRoBERTa-baseおよびRoBERTa-largeを用い，Pooling手法として\texttt{Mean}を用いた際の，各統合手法のSentEvalの後段タスクにおける実験結果を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{塚越　　駿}{%
2021年名古屋大学情報学部コンピュータ科学科卒業．同大学院情報学研究科知能システム学専攻博士前期課程に進学．
}

\bioauthor{笹野　遼平}{%
2009年東京大学大学院情報理工学系研究科博士課程修了．京都大学特定研究員，東京工業大学助教を経て，2017年より名古屋大学准教授．博士（情報理工学）．2019年より理化学研究所AIPセンター客員研究員を兼任．
}

\bioauthor{武田　浩一}{%
1983年京都大学大学院工学研究科情報工学専攻修士課程修了．同年日本アイ・ビー・エム株式会社に入社．2017年より名古屋大学教授．博士（情報学）．
}
\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

