\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{multirow}
\usepackage{booktabs}
%%%%\renewcommand\UrlFont{\rmfamily}
\newcommand{\ba}{$\rm{_{base}}$}
\makeatletter
\newcommand{\figcaption}[1]{\def\@captype{figure}\caption{#1}}
\newcommand{\tblcaption}[1]{\def\@captype{table}\caption{#1}}
\makeatother
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{4}
\Month{December}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1290}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{EASE: Entity-Aware Contrastive Learning of Sentence Embedding}
\jauthor{西川　荘介\affiref{Author_1}}
\etitle{EASE: Entity-Aware Contrastive Learning of Sentence Embedding}
\eauthor{Sosuke Nishikawa\affiref{Author_1}} 

\headauthor{西川}
\headtitle{EASE: Entity-Aware Contrastive Learning of Sentence Embedding}

\affilabel{Author_1}{ヤフー株式会社}{Yahoo Japan Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

NAACL 2022に採択された``EASE: Entity-Aware Contrastive Learning of Sentence
Embedding''（以下，原論文）では，文とエンティティによる対照学習で文表現を学習する手法を提案した\footnote{本研究は筆者が東京大学大学院所属時に株式会社Studio Ousiaとの共同研究で行った．}．
本項では原論文の着想に至った背景や手法，実験内容について要点を押さえて解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

文をその文の持つ意味を表す固定長のベクトルとして表現する文表現は盛んに研究されている．
文表現は文間の意味的類似度計算や文検索タスク，文クラスタリングなど文を入力とする様々な自然言語処理タスクに活用されるため，より良い文表現の学習は自然言語処理の分野における重要な目標の一つである．
近年ではTransformer \cite{NIPS2017_3f5ee243}に基づく事前学習済み言語モデルをファインチューニングすることで文表現を学習する手法が盛んに研究されている．
特にあるデータに対して意味が近いデータ（正例）を近づけ，意味が異なるデータ（負例）を遠ざける対照学習 \cite{1640964}により文表現学習を行う研究が流行している．
この分野ではどのようなデータセットを利用するかが主な関心となっており，自然言語推論やデータ拡張，文-画像ペアなど様々なデータセットによる学習が提案されている \cite{gao-etal-2021-simcse,yan-etal-2021-consert,zhang-etal-2022-mcse}．
一方で知識ベースにおける文とエンティティの対応を活用して文の表現を学習する研究もいくつか提案されている \cite{yamada-etal-2017-learning,Ling2020LearningCE}．
また，知識ベースは言語を跨いで構築されているため，言語間を紐付ける教師データとして多言語の汎用言語モデルの改善に活用される事例もある \cite{nishikawa2021multilingual,ri2021mluke}．
以上の (1) 近年の汎用言語モデルに基づく対照学習を用いた文表現学習の流れに (2)文表現学習や多言語モデルの教師データとして活用されてきた知識ベースを導入することで高性能な文表現が学習できないかと考え，本研究の着想に至った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia24f1.pdf}
\end{center}
\caption{EASEの概要図}
\label{fg: ease}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法について}
\label{sec: approach}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データセットの構築} 
まず，EASEで利用する文－エンティティデータセットの構築法について述べる．
Wikipediaの各文においてハイパーリンクが存在する場合，その文と文中のハイパーリンクに対応するエンティティを文－エンティティペアとして抽出する．
それらのWikipediaに基づくエンティティは言語間リンク辞書 \cite{nishikawa2021multilingual}を用いてWikidataで定義されたエンティティ (e.g. Q7842) に変換する．
また後述するハードネガティブエンティティを利用するため， エンティティの型をWikidataから取得する \cite{DBLP:conf/iclr/XiongDWS20}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文とエンティティの対照学習}

次に，提案手法の要となる文とエンティティの対照学習について述べる．EASEでは図\ref{fg: ease}に示されるようにある文に対して，文中にハイパーリンクとして登場するエンティティを正例とし，
ミニバッチ内の正例以外のランダムなエンティティを負例として対照学習を行う．
また，正例データとの区別が難しいが実際は負例であるデータ（ハードネガティブ）を対照学習の負例として導入することでタスクの難易度を上げ，表現学習の性能を向上する手法が報告されている \cite{DBLP:conf/iclr/RobinsonCSJ21}．
我々は以下の二つの条件を満たすエンティティをハードネガティブとして導入した．
\begin{itemize}
 \item 正例エンティティと同じ型を持つ（目的: 正例エンティティと区別しづらい）
 \item 正例エンティティと同じWikipediaのページ上に現れない（目的: 正例エンティティと関連性が薄い）
\end{itemize}
すなわちある文$s$と正例エンティティ$e$，ハードネガティブエンティティ$e^{-}$を含むデータセット$\mathcal{D} = \{(s_i, e_i, e^{-}_i) \}_{i=1}^m$が与えられた際，$s_i$に対応するBERTなどの符号化器から得られる文表現$\bf{s_i}  \in \mathbb{R}^{\rm{d_{s}}}$と$e_i$, $e^{-}_i$に対応するWikipedia2Vec \cite{yamada-etal-2020-wikipedia2vec}から得られるエンティティ表現$\bf{e_i}  \in \mathbb{R}^{\rm{d_{e}}}$, $\bf{e^{-}_i}  \in \mathbb{R}^{\rm{d_{e}}}$を用いると，文とエンティティを用いた対照学習の目的関数は以下のようになる．
\begin{equation}
        l^e_i = -\log \frac{e^{\rm{sim}(\bf{s}_i, W\bf{e}_i)/\tau}}{\sum_{j=1}^N (e^{\rm{sim}(\bf{s}_i, W\bf{e}_j)/\tau} + e^{\rm{sim}(\bf{s}_i, W\bf{e^{-}}_j)/\tau})},
    \label{eq:ease_entity_objective}
\end{equation}

また，Dropoutノイズを用いて自己教師あり対照学習を行うSimCSE \cite{gao-etal-2021-simcse}の目的関数$ l^s_i$と組み合わせ，最終的な目的関数は以下のようになる．
\begin{equation}
    l^{ease}_i = \lambda l^e_i + l^s_i
    \label{eq:ease_full_objective}
\end{equation}

ここで$\lambda$はエンティティを用いた対照学習と自己教師あり対照学習のバランスを定めるハイパーパラメータである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\resizebox{\textwidth}{!}{%
\begin{tabular}{l|ccccccccccc}
\toprule
\multicolumn{1}{c|}{Model} & EN-EN  & AR-AR  & ES-ES  & EN-AR & EN-DE & EN-TR & EN-ES & EN-FR & EN-IT & EN-NL & Avg. \\
\midrule
mBERT\ba{} (avg.)  & 54.4& 50.9 & 56.7 & 18.7 & 33.9 & 16.0 & 21.5 & 33.0 & 34.0 & 35.3 & 35.4 \\
SimCSE-mBERT\ba{} & 78.3&62.5&76.7&26.2&55.6&23.8&37.9&48.1&49.6&50.3&50.9  \\
\textbf{EASE-mBERT\ba{}} & \textbf{79.3} & \textbf{62.8} & \textbf{79.4}& \textbf{31.6}& \textbf{59.8} & \textbf{26.4} & \textbf{53.7} & \textbf{59.2} & \textbf{59.4} & \textbf{60.7} & \textbf{57.2} \\
\hline
XLM-R\ba{} (avg.) & 52.2 & 25.5 & 49.6 & 15.7 & 21.3 & 12.1 & 10.6 & 16.6 & 22.9& 23.9& 25.0 \\
SimCSE-XLM-R\ba{} & 77.9&63.4&\textbf{80.6}&\textbf{36.3}&56.2&28.9&38.9&\textbf{51.8}&52.6&54.2&54.1  \\
\textbf{EASE-XLM-R\ba{}} & \textbf{80.6} & \textbf{65.3} & 80.4 & 34.2 &\textbf{59.1} & \textbf{37.6} & \textbf{46.5} & 51.2 & \textbf{56.6} & \textbf{59.5} & \textbf{57.1}\\
\bottomrule
\end{tabular}
}%
\caption{多言語設定におけるSTSの結果}
\label{tab: msts}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\resizebox{\textwidth}{!}{%
\begin{tabular}{l|ccccccccccccccccc}
\toprule
\multicolumn{1}{c|}{Model} &  ar & ca & cs  & de & en & eo & es & fa & fr & ja & ko & pl & pt  & ru & sv & tr & Avg. \\ \hline
mBERT\ba{} (avg.) & 27.0&27.2&\textbf{44.3}&36.2&37.9&25.6&\textbf{41.1}&35.0&25.9&44.2&31.0&35.0&30.1&23.4&28.9&34.9&33.0\\
SimCSE-mBERT\ba{} & 30.1&26.9&41.3&32.5&37.3&27.2&36.2&\textbf{36.9}&29.0&48.9&33.9&37.6&37.9&\textbf{27.1}&26.9&35.3&34.1 \\
\textbf{EASE-mBERT\ba{}}& \textbf{31.9}&\textbf{29.6}&38.8&\textbf{38.5}&\textbf{30.2}&\textbf{34.5}&37.2&36.7&\textbf{30.4}&\textbf{49.3}&\textbf{36.2}&\textbf{40.0}&\textbf{41.0}&27.0&\textbf{30.5}&\textbf{44.7}&\textbf{36.0} \\ \hline
XLM-R\ba{} (avg.)  & \textbf{26.0}&24.7&28.2&29.4&23.0&23.5&22.1&36.6&23.6&38.8&22.0&24.2&32.8&18.0&\textbf{33.2}&26.0&27.0 \\
SimCSE-XLM-R\ba{}& 24.6&26.3&34.6&28.6&33.4&31.7&32.9&35.9&29.1&41.1&31.1&33.1&30.0&26.0&32.9&37.2&31.8 \\
\textbf{EASE-XLM-R\ba{}} & 25.3&\textbf{26.7}&\textbf{43.2}&\textbf{37.0}&\textbf{34.9}&\textbf{34.2}&\textbf{37.2}&\textbf{42.4}&\textbf{32.0}&\textbf{46.0}&\textbf{32.8}&\textbf{41.6}&\textbf{33.4}&\textbf{31.3}&27.2&\textbf{41.8}&\textbf{35.4}\\
\bottomrule
\end{tabular}
}%
\caption{多言語設定におけるSTCの結果}
\label{tab: mstc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{多言語文表現学習への拡張}

さらに，EASEは多言語での学習が容易に可能である．
上述したデータセットはどのような言語の入力文であっても対応するエンティティは言語非依存に定義されたものである．
従って，EASEでは多言語BERT \cite{devlin-etal-2019-bert}などの多言語文符号化器を利用することで，入力文の言語に依存しない文表現学習が可能となる．
また，使用するエンティティ表現も単言語Wikipediaから学習されたものを使用（実験では英語を使用）するため，言語ごとに学習する必要はない．

従来，多言語表現の学習には対訳コーパスなどの言語間資源が必要とされてきた．
しかし，それらの言語間資源は多言語話者によるアノテーション作業の必要等，構築コストがかかり言語によっては十分に手に入らない．
従って，多言語文表現の新たな学習資源として，
幅広い言語で豊富に定義されたWikipedia知識ベースの利用を提案した点は原論文の重要な貢献の一つである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験について}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3 and fig. 2
\begin{figure}[t]
\noindent\begin{minipage}[b]{200pt}
\resizebox{200pt}{!}{%
\begin{tabular}{l|c|c}
\toprule
Model & 7 STS avg. & 8 STC avg.  \\ \midrule
GloVe embedding (avg.) & $61.3^\dagger $ & 56.4  \\
BERT (avg.)  & 52.6 & 50.9  \\
CT-BERT\ba{}  & 72.1 & 61.6 \\
SimCSE-BERT\ba{}  & 76.3 & 57.1 \\
\textbf{EASE-BERT\ba{}} & \textbf{77.0} & \textbf{63.1} \\
\hline
RoBERTa (avg.)  & 53.5 & 40.9  \\
DeCLUTR-RoBERTa\ba{} & 70.0 & \textbf{60.0}  \\
SimCSE-RoBERTa\ba{}  & 76.6 & 57.4  \\
\textbf{EASE-RoBERTa\ba{}} & \textbf{76.8} & 58.6  \\
\bottomrule
\end{tabular}
}%
\tblcaption{単言語設定におけるSTSとSTCの結果}
\label{tab: mono-sts-stc}
\end{minipage}
\hfill
\begin{minipage}[b]{210pt}
\setlength{\captionwidth}{210pt}
\begin{center}
\includegraphics{29-4ia24f2.pdf}
\end{center}
\hangcaption{LaBSEをEASEでファインチューニング \\ する実験の結果}
\label{fg: tune-labse}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文表現評価タスクでの検証}

実験では文表現を多面的な側面から評価を行うために，意味的類似度計算タスク (Semantic Textual Similarity, STS)，文クラスタリングタスク (Short Text Clustering, STC)での評価を行っている．さらに，多言語設定では対訳コーパスマッチングと言語間文書分類での評価も行っている．
また，本研究では多言語文表現評価用に16言語・13カテゴリからなる多言語文クラスタリングデータセットMewsC-16を構築した．
実験では学習データ・評価データの言語を英語のみとする単言語設定と複数言語を使用する多言語設定においてEASEの有効性を検証した．

表\ref{tab: msts}，\ref{tab: mstc}，\ref{tab: mono-sts-stc}に各設定におけるSTS, STCの結果を示す．
単言語設定・多言語設定共に既存の文表現学習手法と比較し，優れた性能を発揮した．
特にEASEによる多言語文表現の性能改善は著しく，例えば多言語BERTに基づくSTSではSimCSEベースラインの平均スコアが50.9であるのに対し，EASEモデルは57.2と大幅な改善に成功している\footnote{なお，対訳コーパスマッチングと言語間文書分類においても，提案手法が既存手法を上回る性能を発揮した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{EASEの活用事例}

ここでEASEの活用事例を一つ紹介する．大規模な対訳コーパスで学習済みの多言語文表現は学習に利用していない言語に対して性能を十分に発揮できない場合がある．
一方，EASEでは300以上の比較的多くの言語で豊富に存在するWikipedia知識ベースを活用するため，低資源言語における既存の多言語文表現の性能を補う効果が期待される．
この点を検証するため，約60億対の対訳コーパスを用いて既に学習済みのLaBSE多言語文表現モデル \cite{roy-etal-2020-lareqa}に対してEASEモデルにより該当言語のWikipediaを用いて追加のファインチューニングを行い対訳コーパスマッチングにて評価を行った．

この実験の結果を図~\ref{fg: tune-labse}に示す．対象の低資源言語群において性能の改善に成功している．
この結果は特に対訳コーパスが少ない低資源言語において， 知識ベースを活用することで高性能な多言語文表現を学習できる可能性を示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本項では，エンティティと文を利用した対照学習により文表現を学習するモデルEASEについて紹介した．
実験では，いくつかの文表現評価タスクでEASE文表現は単言語・多言語設定共に既存の文表現を超える性能を発揮した．さらに，EASEは多言語表現の学習に特に有効であり，知識ベースが対訳コーパス等の既存の言語間資源と組み合わせて多言語文表現学習に活用できる可能性が示唆された．
本研究で開発したEASEで文表現学習を行うPythonライブラリや多言語文クラスタリングデータセットMewsC-16はGithubレポジトリにて公開している\footnote{\url{https://github.com/studio-ousia/ease}}． 本レポジトリが文表現学習のさらなる研究の助けとなれば幸いである．


\vspace{-0.25\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本記事の執筆にあたり，東京大学大学院の李 凌寒さん，株式会社 Studio Ousiaの山田 育矢さんには
的確なご意見をいただきました．深く感謝致します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{24refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{西川　荘介}{2020年 東京大学工学部電子情報工学科卒業．2022年 東京大学情報理工学系研究科 電子情報学専攻 博士前期課程修了．同年ヤフー株式会社入社．
自然言語処理の研究開発に従事．
}


\end{biography}



\end{document}



