\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{bm}
%%%%\usepackage{subcaption}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1299}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport}
\jauthor{岸野　　稜\affiref{Author_1}}
\etitle{Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport}
\eauthor{Ryo Kishino\affiref{Author_1}} 

\headauthor{岸野}
\headtitle{Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport}

\affilabel{Author_1}{京都大学}{Kyoto University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，ACL2025 に採択された論文 ``Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport'' \cite{DBLP:conf/acl/KishinoYNYS25} （以下，原論文）について，研究の経緯や内容を解説し，併せて学会現地の様子を報告する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の紹介}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{概要}

単語の意味は時代とともに変化する場合がある．特に，新旧 2 つの時代を比較すると，元ある語義が消失したり，新たな語義が出現することがある．
例えば，意味変化検出用のデータセット DWUG \cite{DBLP:conf/emnlp/SchlechtwegTHDM21} において，\textit{record} という単語は旧時代 (1810--1860) では記録の意味で使用されていたが，新時代 (1960--2010) では音楽 (``\textit{record} label'') や偉業 (``world \textit{record}'') といった新たな意味で使用されるようになる．このような単語の通時的な意味変化を定量化することを考える．

対象単語自体がどれだけ意味変化したかを定量化することに関する研究は多くある．一方原論文の目標は，対象単語の中でどの事例が消失／出現した語義をもつかを同定することである．より正確には，単語の使用事例ごとに Sense Usage Shift (SUS) という量を定義し，その事例の語義での単語使用頻度の変化を定量化する．さらに，対象単語の事例ごとの SUS を集約することで，その単語の意味変化度も定量化する．

原論文の採択までの経緯について述べる．2024 年 4 月の学部 4 年次に筆者が下平研究室に配属され，当時 D3 であった山際さんが進めていた意味変化検出の研究を引き継ぐ形で開始した．元々埋め込み表現に興味があったため，意味変化検出のように2つの異なる埋め込み集合を比較する研究は魅力的であった．特に，年代ごとに静的埋め込みを学習し，直交行列でアラインメントをとることで通時的な単語埋め込みを得る論文 \cite{DBLP:conf/acl/HamiltonLJ16}を意味変化の分野において初めて読み，その興味深さからこの分野の研究をしてみようと思った．
さて，埋め込み集合の比較をする際に最適輸送 (OT) を用いることができる．しかし，通常の OT を用いた場合は，意味変化検出のタスク性能が既存手法と同等であった．そこで共著者の横井さんからいただいていた，UOT を用いると語義の消失・出現を捉えられるのではないかという提案に関して筆者が実験を進め，同年 9 月の YANS2024 で結果を発表した．その後，論文化に向けて複数の定量評価の実験を追加し，12 月の ARR に投稿した．共著者の永田さんによる実験結果の詳細な解析や，下平先生からいただいた実験計画全般や原稿の書き方に関する多大な助言により，査読結果は良好であった．その後 ACL2025 にコミットした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題設定}

対象単語 $w$ を含む文脈で旧コーパスに属
するものを $\{s_i\}_{i=1}^m$，新コーパスに属する文を $\{t_j\}_{j=1}^n$ とする．$w$ の各文に関する文脈付き埋め込みをそれぞれ $\{\bm u_i\}_{i=1}^m$，$\{\bm v_j\}_{j=1}^n \subset \mathbb R^d$ とする．ただし，埋め込みは XL-LEXEME \cite{DBLP:conf/acl/CassottiSGSB23} を用いて計算し，次元は $d=1024$ である．
新旧の対象単語の埋め込み集合 $\{\bm u_i\}$, $\{\bm v_j\}$ を比較することで，その単語の意味変化度を定量化できる．例えば，新旧の埋め込み間のペアワイズのコサイン距離の平均値などが使える．

ここで，最適輸送 (OT) を用いた埋め込み集合間の比較を考える：
\begin{align}
\label{eq:OT}
    \min_{\bm{T} \in \mathbb{R}_+^{m \times n}} \sum_{i,j} T_{ij} C_{ij}\quad 
    \mathrm{s.t.}\quad \bm{T}\bm{1}_n = \bm{a}, \quad \bm{T}^\top \bm{1}_m = \bm{b}.
\end{align}
ただし，$n \in \mathbb{N}$に対して，$\bm{1}_n$ は全ての要素が1である $n$ 次元のベクトルで，$\mathbb{R}_+ = [0, \infty)$ である．また，$\bm a = (\frac{1}{m},\ldots,\frac{1}{m})$，$\bm b = (\frac{1}{n}, \ldots, \frac{1}{n})$，$C_{ij} = 1 - \cos(\bm u_i, \bm v_j)$ である．
%%%%$\bm{T}$は輸送行列と呼ばれ，2つの埋め込み集合間のアラインメントを与えていると考えることができる（図~\ref{fig:ot-uot-illust} の左側を参照）．
    $\bm{T}$は輸送行列と呼ばれ，2つの埋め込み集合間のアラインメントを与えていると考えることができる（図~\ref{fig:all}a の左側を参照）．
さらに，カップリング制約$\bm{T}\bm{1}_n = \bm{a}, \bm{T}^\top\bm{1}_m = \bm{b}$は，埋め込み集合間のアラインメントに過不足がないことを表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[tb]
\begin{center}
\includegraphics{32-4ia31f01.eps}
\end{center}
%%%%\label{fig:ot-uot-illust}
%%%%\label{fig:ot-uot-matrix}
\caption{最適輸送 (OT) と不均衡最適輸送 (UOT) の比較\protect\cite{DBLP:conf/acl/KishinoYNYS25}}
\vspace{8pt}
(a) OT, UOT の概念図．OT は過不足のないアラインメントをとるのに対し，UOT はアラインメントをとらない事例の存在を許容する．\\
(b) \textit{record} について，OT, UOT の輸送行列．各マスがある旧事例とある新事例間のアラインメントを表す．語義の境界を灰色の線で示し，新旧で同一語義をもつ事例のペアの集合を薄赤の領域で表す．
\label{fig:all}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%しかし，図~\ref{fig:ot-uot-matrix} の左側に示すように，
    しかし，図~\ref{fig:all}b の左側に示すように，
OT は異なる語義間のアラインメントを頻繁に行う．このように，OTの完全なアラインメントでは，語義の消失／出現といった大規模な意味変化を十分に捉えることができない場合がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法}

OT の異なる語義間のアラインメントは，\eqref{eq:OT} のカップリング制約によるものである．そこでカップリング制約を緩和した以下の最適化問題を考える：
\begin{align}
\label{eq:UOT}
        \min_{\bm T\in\mathbb R_+^{m\times n}}  \sum_{i,j} T_{ij}C_{ij}+ \lambda \| \bm a-\bm T\bm 1_n\|^2 
        + \lambda \|\bm b-\bm T^\top \bm 1_m\|^2.
\end{align}
ここで，$\lambda$ はペナルティの大きさを制御するハイパーパラメータである．この問題 \eqref{eq:UOT}は不均衡最適輸送 (UOT) 問題と呼ばれる．
%%%%UOTは，一定のコストを負担することでアラインメントをとらない点の存在を許容する（図~\ref{fig:ot-uot-illust} の右側を参照）．
    UOTは，一定のコストを負担することでアラインメントをとらない点の存在を許容する（図~\ref{fig:all}a の右側を参照）．
特に，新事例で旧事例からの輸送がないものは出現した語義をもつことが想定される．
%%%%実際，図~\ref{fig:ot-uot-matrix} の右側に示すように，
    実際，図~\ref{fig:all}b の右側に示すように，
輸送は薄赤の領域に制限され，新しく出現した語義をもつ事例は旧事例から輸送がされていない．

そこで，各事例 $s_i$， $t_j$ の語義での単語使用頻度が他の語義での使用頻度と比較してどのように変化したかを測る指標として，Sense Usage Shift (SUS) を次のように定義する：
\[
   \mathrm{SUS}(s_i) = - (a_i - \sum_j T_{ij}) / a_i, \quad
\mathrm{SUS}(t_j) = (b_j - \sum_i T_{ij}) / b_j .
\]
すなわち SUS は，アラインメントの過不足を元の重みで正規化した量である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[tb]
\begin{center}
\includegraphics{32-4ia31f02.eps}
\end{center}
%%%%\label{fig:record-tsne}
%%%%\label{fig:ball-tsne}
\hangcaption{対象単語の新旧の事例に関する文脈付き埋め込みの t-SNE による可視化\protect\cite{DBLP:conf/acl/KishinoYNYS25}．各事例の色はその Sense Usage Shift (SUS) を表す．SUS が大きい／小さいほど，その事例の語義での単語使用頻度が増加／減少する．}
  \label{fig:tsne-plot}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{fig:tsne-plot}は，対象単語\textit{record}と\textit{ball}の新旧 100 個ずつの文脈付き埋め込みをt-SNEを用いて2次元に可視化したものである\footnote{t-SNEの設定では，scikit-learnの実装におけるデフォルト値である $\text{perplexity}=30$を使用した．また，UOT については $\lambda=100$ とした．}．この図において，クラスタは対象単語の語義を表す．
使用頻度が増加または出現した語義をもつ事例のSUS値は大きく，使用頻度が減少または消失した語義をもつ事例のSUS値は小さいことが確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{学会の様子}

ACL2025 の本会議は 7 月 28 日から 30 日にオーストリアのウィーンで開催された．ドナウ川の近くの Austria Center Vienna が会場であった．
原論文の発表は，学会初日の午前にポスターで行った．

初めて国際会議に参加したが，国内会議と比較しても規模が格段に大きく，その迫力に圧倒された．例えば，ポスター会場は2つの部屋に分かれており，1つの時間帯に百数十の発表が行われていた．
また，口頭発表は，会議室のような比較的小規模の部屋であれば，どこも立ち見の人で溢れていた．その他にも，国際的に著名な研究者によるチュートリアルや，参加者同士の交流を深めるソーシャルイベントなどがあり，どれも刺激的であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，ACL2025 に採択された論文の解説を行い，学会の様子を報告した．本稿を通して，意味変化検出という研究分野に多くの方が関心を寄せていただければ幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{31refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{岸野　　稜}{2025 年京都大学工学部情報学科卒業．現在，京都大学大学院情報学研究科博士前期課程に在籍中．}

\end{biography}




\end{document}



