\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{3}
\Month{September}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1395}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Sentence Representations via Gaussian Embedding}
\jauthor{陽田　祥平\affiref{Author_1}}

\etitle{Sentence Representaions via Gaussian Embedding}
\eauthor{Shohei Yoda\affiref{Author_1} } 

\headauthor{陽田}
\headtitle{Sentence Representations via Gaussian Embedding}

\affilabel{Author_1}{名古屋大学情報学研究科}{Graduate School of Informatics， Nagoya University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\vspace{0.5\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，EACL2024に採択された論文``Sentence Representations via Gaussian Embedding'' \cite{GaussCSE}について解説する．
この論文は文の意味を実数ベクトルで表現する文埋め込みという手法に対し，実数ベクトルの代わりに多次元ガウス分布を用いる手法を提案し，従来の文埋め込みでは困難であった文同士の非対称な関係を捉えることを目的としている．
以降では，研究の概要や，EACL2024採択へ至る研究の経緯を述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究概要}

文の持つ情報を実数ベクトルで表現する文埋め込みは，文書分類や類似文検索，質問応答など様々な自然言語に関するタスクで用いられている．
近年ではBERT \cite{BERT}を始めとする事前学習済み言語モデルを微調整する機械学習ベースの手法が主流であり，2文の意味的な類似度を予測するSemantic Textual Similarity (STS)タスクなどで高い性能を発揮している．
しかし，従来の文埋め込み生成手法は，文の意味的類似度を的確に捉えた文埋め込みを生成できる一方，2文間の包含関係や階層構造といった関係を捉えることができないという問題がある．
そこで本研究では，図1に示すように，文埋め込みを実数ベクトルではなく多次元ガウス分布で表現する手法を提案した．
ガウス分布とは一般に正規分布と呼ばれる確率分布のことであり，平均と分散の 2 つのパラメータで一意に定めることができる．
多次元ガウス分布はガウス分布を多次元に拡張したものであり，平均ベクトルと，全ての次元間の分散を表した分散共分散行列で定めることができる．
しかし本研究では計算の軽量化のために異なる次元間の分散を無視したことにより，実質的に各次元の平均と分散をそれぞれ表した 2 つのベクトルによって多次元ガウス分布が定義される．
これを用いて文の意味を表現することで，平均ベクトルで意味そのものを捉えつつ，分散ベクトルで意味の広がりを捉えることを試みた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia24f1.pdf}
\end{center}
\hangcaption{従来の点埋め込み（左図）と提案手法による埋め込み（右図）の概要図．点埋め込みでは包含関係にある文1と文2のうちどちらが他方を包含するかを表現できない一方，提案手法では包含関係を表現できる．}
\label{fig:fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，文同士の類似度指標として，分布同士の距離として多用されるKLダイバージェンスを用いた独自の指標$\mbox{sim}$を導入した．
2つの文$s_i$，$s_j$に対するガウス埋め込みを$N_i$，$N_j$としたとき，提案手法による類似度指標は以下の式で表される．
ここで$D_{\mathit{KL}}$はKLダイバージェンスを表す．
\begin{equation}
\mbox{sim}(s_i||s_j)=\frac{1}{1+D_{\mathit{KL}}(N_i||N_j)}\label{eq:wm}
\end{equation}

KLダイバージェンスは非対称的な指標であるため，引数の順序を入れ替えた$\mbox{sim}(s_i||s_j)$と$\mbox{sim}(s_j||s_i)$は一般的に異なる値となる．
これを用いて，本研究では以下が成立するような埋め込み空間を理想とした．
\begin{itemize}
\item{$s_i$が$s_j$を含意する関係がある場合，$\mbox{sim}(s_i||s_j)$の値が小さく，$\mbox{sim}(s_j||s_i)$の値が大きくなる．}
\item{$s_i$と$s_j$が意味的に類似していない場合，$\mbox{sim}(s_i||s_j)$と$\mbox{sim}(s_j||s_i)$はともに値が小さくなる．}
\end{itemize}

モデルの学習には，近年の文埋め込み学習で広く用いられている対照学習を適用した．
対照学習とは，データセットから正例と負例と呼ばれるデータのペアを構築し，それぞれで異なる処理をすることでモデルを学習する手法であり，本研究では文ペア($s_i$，$s_j$)が正例であれば$\mbox{sim}(s_i||s_j)$の値を大きくし，負例であれば小さくするという処理を行った．
学習データには，前提文，前提文が含意する仮説文（含意），前提文と矛盾する仮説文（矛盾）の3つ組からなるNLIデータセットを用いて，（前提文，含意の仮説文）のペアを正例，（前提文，矛盾の仮説文）および（含意の仮説文，前提文）のペアを負例と定義した．
これにより，意味的に類似している文同士の類似度を大きくすると同時に，含意関係の向きも捉えることを可能にしている．

評価実験の結果，従来の文埋め込みタスクではベクトルベースのモデルと同等の性能を達成したことに加え，含意関係のある文ペアにおいてどちらが含意する側であるかを判定する包含の向き推定タスクでは，93$\%$以上の精度を達成した．
このことから，ガウス埋め込みを基にした文埋め込みモデルが文の意味的類似度だけでなく，文間の含意関係という非対称な関係を捉えることが可能であることが示された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の経緯}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection*{研究のきっかけ}

本研究は筆者が自然言語処理の研究室に配属されて間も無い学部4年の頃に取り組んだ研究であり，当時は機械学習のライブラリすらまともに触れたこともなく，常に四苦八苦していた印象が強く残っている．
研究の発端は同じ研究室に所属する（後に本論文の共著者となる）先輩に原案を共有頂いたことに由来する．
いくつかの原案があった中で，当時何となく興味を持っていた文埋め込みと，ガウス埋め込みを始めとする領域的埋め込みを掛け合わせた本テーマに魅力を感じ，取り組むこととなった．
原案は最終的な手法とはかなり異なるもので，連続する2文からなる文章はそれを構成する文を含意していると見做せることから，文$s_i$と$s_j$を連結させた文章を$s_{ij}$とすると，$\mbox{sim}(s_i||s_{ij})$および$\mbox{sim}(s_j||s_{ij})$を大きくするよう学習するという教師なしの手法であった．
この設定で学習を行ったところ，STSタスクにおいて学習前より劣る性能となってしまい，文埋め込みモデルとして機能しているとは言えない結果が得られた．
しかし，NLIデータセットの 1 つであるSNLIデータセット中の含意関係が存在する文ペア（前提文，含意の仮説文）について，$\mbox{sim}(仮説文||前提文)$が$\mbox{sim}(前提文||仮説文)$より大きくなる傾向（以降，大小関係の偏りと呼称）が見られたことから，この類似度指標を基に含意関係を捉えられる可能性があると考察し，本格的にこのテーマで研究を進めていくこととなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection*{教師あり学習の検討}

上記の実験結果に対し，性能が出ない原因を，学習データの文ペア内で語彙の重複が大きすぎるために表層的な情報しか捉えられていないことであると仮定し，アノテートされたデータセットを用いる教師あり学習も同時進行で検討することとなった．
ここで，共著者となる先輩から，教師あり学習を用いる文埋め込みモデルとして当時代表的であったSimCSE \cite{SimCSE}を紹介して頂き，これを参考に学習手法を考えていった．
まずはとりあえずの実装練習も兼ねて，ナイーブにSimCSEと同様の学習フレームワークを構築し，そこにこれまで使用していた類似度指標$\mbox{sim}$を導入し，学習を行ってみた．
具体的には，NLIデータセットを用いて，（前提文，含意の仮説文）を正例，（前提文，矛盾の仮説文）を負例とし，文ペア($s_i$，$s_j$)が正例である場合，$\mbox{sim}(s_j||s_i)$の値を大きくし，負例であれば小さくするという手法であり，かなり最終的な提案手法に近いものであった．
これを基に学習したモデルはSTSタスクやNLIタスクにおいてSimCSEと同等の性能を達成したものの，以前の連接した文を用いた教師なし手法で見られていた，含意関係が存在する文ペアにおいての$\mbox{sim}$の大小関係の偏りが見られなくなってしまった．
従来の文埋め込みタスクでの性能とこの偏りを両立できれば当初の目標達成となるが，この問題への対処が本研究で最も苦慮した部分であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection*{分析と試行錯誤}

まずは，なぜ以前の教師なし手法では含意関係のある文ペアにおいての$\mbox{sim}$の大小関係の偏りが見られたのか調べることから始めた．
試しに他のNLIデータセットであるSICKデータセットで同様に$\mbox{sim}$の大小関係の偏りを調べたところ，偏りがほとんど見られないことを発見した．
これを受けてSNLIとSICKの違いを観察してみると，SNLIは前提文が仮説文より長い傾向が強いものの，SICKでは2文の文長がほとんど等しいという違いがあり，結果的に以前の教師なし手法では，二文のうち文が長い方を含意する側と判定しているだけで文の含意関係を認識できてはいないという結論となった．
それまで，とりあえず以前の教師なし学習を用いれば含意関係は捉えられると思っていたために，この事実を発見したときは振り出しに戻された気分だった．
しかし同時に，これが教師なし学習を用いるアプローチに完全に見切りをつけるきっかけとなり，教師あり学習を改善する方向にシフトできたため，今となっては重要な転換点であったと感じる．

続いて，教師あり学習を用いたモデルが生成する埋め込みを分析してみると，入力した文に関わらず，各次元の分散の値が極端に小さいことが観察された．
これは埋め込みが実質的に従来のベクトルベースのものと同一になっていることを表していた．
KLダイバージェンスは計量の対象となる分布の分散が極端に小さい場合に対称的な指標と同等の振る舞いをするため，$\mbox{sim}$の大小関係の偏りが見られなかったのもこれで説明がついた．
しかしこれは言い換えると，正例の文ペア（前提文，仮説文）に対して$\mbox{sim}(仮説文||前提文)$を大きくする際に，$\mbox{sim}(前提文||仮説文)$も大きくなってしまっているという事実を表しており，$\mbox{sim}(前提文||仮説文)$を明示的に小さくすることが有効であることを示唆するヒントとなっていた．
これを基に，負例の集合に，正例の文ペアの順序を入れ替えた（含意の仮説文，前提文）を追加したところ，NLIタスクの性能を保ちつつ，含意関係のある文ペアに対しての$\mbox{sim}$の大小関係の偏りがSNLI，SICKの両方のデータセットで見られ，それが評価実験で定量的に示された．
以上より，目標としていた，従来の文埋め込みの性能を保ちつつ，含意関係を捉えられる文埋め込みモデルの構築についに成功したのである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection*{EACL採択に至るまで}

本論文は最初にNLP2023へ投稿することになるのだが，提案手法や実験結果が固まったのが12月の下旬と投稿締め切りまで1ヶ月を切っており，かなり急ぎ足で論文を執筆した．
以前の投稿論文を参考に見よう見まねで執筆していたが，その過程で，研究背景の説明の重要性や，分かりやすく伝えるための書き方など多くの事を学んだ．
NLP2023では僭越ながら若手奨励賞を受賞することができた．
自身の取り組みが初めて目に見える形で評価され，とても嬉しく思ったのを覚えている．
これを受けて，EMNLP2023への投稿に向けての執筆が始まった．
当然論文は全編英語なのだが，日本語と違い，論文としてどのような表現が適切なのかが全く分からず，かつ査読があるために表現にこれまで以上に気をつけなければならず，ひたすらに苦労した．
何とか内容をまとめ投稿するも，査読結果は芳しくなく，残念ながら不採択となってしまった．
査読結果は端的に言うとLong Paperの割に内容が薄いというものであったため，ワンアイデアを提案するというモチベーションでShort PaperとしてEACL2024に投稿することとなった．
今回は既に英語のLong Paperがあるから内容を削ればすぐShort Paperにできるだろう，と高を括っていたが，これが案外難しい．
不要な節を省くだけでは章ごとの文量のバランスなどが悪くなってしまうため，結局全編を大幅に見直す形となった．
こうして投稿した論文は，アイデアの面白さを評価され見事採択となった．
研究の取り掛かりから国際学会発表まで実に1年半もかかってしまったが，無事に自身の取り組みを世界に発信することができて，一安心である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究を国際会議採択に至るまで仕上げることが出来たのは，指導教員や共著者を始め，研究室や査読者の方々など，沢山の方の助力によるものである．
この場をお借りして深く感謝申し上げる．
また研究の過程で得た，上手くいっていると思っていたものが別の要因でそう見えていただけであったり，現状の問題点に対して様々な視点から分析することで原因が見えたりといった経験から，常に事象を懐疑的に見る，問題に対し仮説を立てて徹底的に分析するということが研究において重要であると強く感じた．
本稿が読者の皆様にとって研究の一助となれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{24refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{陽田　祥平}{%
2023年名古屋大学情報学部コンピュータ科学科卒業．現在，同大学情報学研究科博士前期課程に在籍．
}

\end{biography}




\end{document}



