\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{bm}
%%%%\usepackage{comment}
%%%%\usepackage{subfigure}
%%%%\usepackage{amsfonts}
%%%%\usepackage{setspace}
\usepackage{multirow}
\usepackage{booktabs}
%%%%\usepackage{enumitem}
%%%%\usepackage{color} % 査読コメント反映箇所
% definitions
%%%%\renewcommand{\UrlFont}{\ttfamily\small}
%%%%\def\tc#1{\multicolumn{1}{c}{#1}}
%%%%\newlength\savedwidth
\def\vM{\mathbf{M}} % SPPMI matrix
\def\vR{\mathbf{R}} % rotate matrix
\def\vU{\mathbf{U}} % SVD
\def\vV{\mathbf{V}} % SVD
\def\vW{\mathbf{W}} % word vector matrix
\def\vC{\mathbf{C}} % context vector matrix
\def\vX{\mathbf{X}}
\def\vY{\mathbf{Y}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{8}{25}
\revised{2022}{12}{1}
\accepted{2022}{12}{28}

\setcounter{page}{275}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{異なる時期での意味の違いを捉える単語分散表現の結合学習}
\jauthor{相田　太一\affiref{Author_1} \and 小町　　守\affiref{Author_1} \and 小木曽智信\affiref{Author_2} \and  高村　大也\affiref{Author_3} \and 持橋　大地\affiref{Author_4}}
\jabstract{%
\vspace{-3pt}単語は時期や分野の違いによって異なる意味や用例を持つことがあり，自然言語処理の分野では単語分散表現を用いた検出が行われている．最近では文脈の情報を考慮した単語分散表現を生成できる BERT などを用いた研究も盛んに行われているが，大規模な計算資源のない言語学者や社会学者などはこのような手法を適用するのが難しい．本稿では，既存の文書間で同時に単語分散表現を学習する手法を拡張して，2つの文書間における単語の意味の違いを検出するタスクに取り組んだ．実験の結果より，我々の手法が英語での実験や SemEval-2020 Task 1 だけでなく，これまで行われていない日本語の実験においても既存手法と同等またはそれ以上の性能を示した．また，各手法が単語分散表現の獲得までにかかる訓練時間の比較を行った結果，提案した手法が既存手法よりも高速に学習できることを示した．さらに，提案した単語分散表現獲得手法を用いて，日本語のデータにおいて意味変化した単語や意味変化の種類，傾向などの網羅的な分析も行った．
\renewcommand{\thefootnote}{}
\footnote[0]{本稿の一部の内容は，The 35th Pacific Asia Conference on Language, Information and Computation \cite{aida-etal-2021-comprehensive} および言語処理学会第27回年次大会 \cite{aida-etal-2021-diachronic} にて発表したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{意味変化，単語分散表現}

\etitle{A Comprehensive Analysis of PMI-based Models \\for Measuring Semantic Differences}
\eauthor{Taichi Aida\affiref{Author_1} \and Mamoru Komachi\affiref{Author_1} \and Toshinobu Ogiso\affiref{Author_2} \and\\ Hiroya Takamura\affiref{Author_3} \and Daichi Mochihashi\affiref{Author_4}} 
\eabstract{%
\vspace{-3pt}The task of detecting words with semantic differences across corpora is primarily addressed by word representations such as Word2Vec or BERT. However, there are no abundant computing resources available in the real world where linguists and sociologists apply these techniques. In this paper, we extend an existing CPU-trainable model which trains vectors of all time periods simultaneously. Experimental results demonstrate that the extended models achieved comparable or superior results to strong baselines in English corpora, SemEval-2020 Task 1, and Japanese. Furthermore, we compared the training time of each model and conducted a comprehensive analysis of Japanese corpora.
}
\ekeywords{Semantic Change, Word Representation}

\headauthor{相田，小町，小木曽，高村，持橋}
\headtitle{異なる時期での意味の違いを捉える単語分散表現の結合学習}

\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}
\affilabel{Author_2}{国立国語研究所}{National Institute for Japanese Language and Linguistics}
\affilabel{Author_3}{産業技術総合研究所}{National Institute of Advanced Industrial Science and Technology}
\affilabel{Author_4}{統計数理研究所}{The Institute of Statistical Mathematics}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}\label{sec:introduction}

単語は異なる時期間や分野間で異なる意味や用法を持つことがある．
例えば，\textit{meat} は古英語で「食べ物全般」
を意味していたが，近代英語では「動物の肉」という狭い意味で使われるようになった．
また，\textit{interface} は一般的に「物体の表面」という意味で使われるが，情報科学の分野では「利用者とコンピュータを結びつけるシステム」という意味で使われている．
上記のような時期間や分野間で意味や用法の変わる単語を自動で検出する手法は，言語学・社会学や辞書学だけでなく，情報検索においても有用である\cite{kutuzov-etal-2018-diachronic}．
本稿ではこれ以降，時期の違いによる意味の変化に焦点を絞って言及する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f1.pdf}
\end{center}
\hangcaption{1900年代から1990年代にかけて，学習した単語 \textit{coach} のベクトルとその周辺単語のベクトルが変化する様子．}
\label{fig:difference}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

近年，このような変化を検出する方法として，単語を周辺単語との共起情報を基にベクトルで表現する単語分散表現が広く用いられている．
例として，1900年代と1990年代における単語 \textit{coach} の単語ベクトルとその周辺単語ベクトルを図\ref{fig:difference}に示す．
図より，\textit{coach} の周辺単語が乗り物関連からスポーツ関連に変化していることがわかる．
最終的な意味変化の度合いについては，学習した単語ベクトル $\overrightarrow{coach}_{1900s}$ と $\overrightarrow{coach}_{1990s}$ のユークリッド距離や余弦類似度などの尺度を用いられることが多い．
上記のように異なる時期の文書情報を考慮した単語分散表現は，各時期で独立に訓練した単語分散表現に対応づけを行うなどをして獲得する\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic}．
対応づけによる手法は主に Word2Vec \cite{mikolov-etal-2013-efficient}などの文脈を考慮しない単語分散表現を対象としているため，実装が容易で計算コストも低いことから，大規模な計算資源を持たない研究者でも導入することができる\cite{sommerauer-fokkens-2019-conceptual,zimmermann-2019-studying}．
しかし，対応づけによる手法は「各文書で学習したベクトル空間を線形変換で対応づけできる」という強い仮定をおいている．
そこで近年，対応づけを回避する2つの手法が提案された\cite{yao-etal-2018-dynamic,dubossarsky-etal-2019-time}．%が，現在も以下の問題が残されている．

まず，\citeA{yao-etal-2018-dynamic} は各時期の単語分散表現を同時に学習する Dynamic Word Embeddings を提案した．
この手法は回転行列などによる対応づけが不要だが，%後
\ref{subsubsec:non-contextual-word-embed}節式\eqref{eqn:dynamic-embed}に示すように，設定に敏感な3つのハイパーパラメータが存在するため，膨大な組み合わせ数の設定から最適なハイパーパラメータを探索する必要がある．

次に，\citeA{dubossarsky-etal-2019-time} は全ての時期の文書をただ1つの文書とみなし，事前に用意したリストに載っている単語だけ時期を区別してベクトルを学習する Temporal Referencing を提案した．
この手法は1つに結合した文書で単語分散表現を学習すれば良いことから非常に導入しやすいが，リストに載っていない単語は文書間で変化しないと仮定しているため，事前によく選定された対象単語のリストを用意する必要がある．

また，時期を考慮した単語分散表現を獲得する手法だけでなく，それらを用いた分析においてもいくつかの問題がある．
1つ目は，時期を考慮した単語分散表現を獲得する手法が数多く提案されているにも関わらず，それらの性能の定量的な比較があまり行われていないことである\cite{schlechtweg-etal-2019-wind,shoemark-etal-2019-room,tsakalidis-liakata-2020-sequential,schlechtweg-etal-2020-semeval}．
これは主に評価で対象の文書間で意味の変化した単語を用意する必要があるためである．
比較が行われていても，多くが英語やドイツ語などのヨーロッパ圏の言語を対象としており，複数の言語での比較は少ない\cite{schlechtweg-etal-2020-semeval}．
2つ目は，意味変化が自明な単語に絞った定性的な分析が多いことである．
特に英語においては，「陽気な」という意味から「同性愛者」という意味を持つようになった \textit{gay} という単語についての分析が多く\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic,hu-etal-2019-diachronic}，意味の変化が自明でない単語に注目されることは少ない\cite{gonen-etal-2020-simple}．

そこで本研究では，これらの問題に対して以下のように取り組む．
まず，手法の問題を解消するために，\citeA{dubossarsky-etal-2019-time} の Temporal Referencing に対して2つの拡張を行う．
1つ目は，単語ベクトルの学習の際に選定した語彙に含まれるすべての単語を対象単語とすることである．
このように拡張することで，対象単語のリストを事前に用意する必要が無くなり，リストに載っていない単語の意味が変化することによる分析漏れなども避けることができる．
また，単語ベクトルの変化量から，自明でない単語の意味変化を検出することが可能になる．
2つ目は，周辺単語ベクトルも文書間での変化を考慮することである．
一般的に動的な単語分散表現\cite{yao-etal-2018-dynamic}でない限り，学習した単語分散表現の対象単語ベクトルは文書間で獲得されるが，一緒に学習される周辺単語ベクトルは文書間で固定されているか，対応が取れていないことが多い\cite{kim-etal-2014-temporal,kulkarni-etal-2015-statistically,hamilton-etal-2016-diachronic,dubossarsky-etal-2019-time}．
そこで，Dynamic Word Embeddings のように周辺単語ベクトルも文書間での変化を考慮するような拡張を行う．

次に，実験において，複数の言語での性能比較および網羅的な分析を行った．
定量的な分析においては，各手法で意味変化した単語の検出性能を評価した．
SemEval-2020 Task 1 \cite{schlechtweg-etal-2020-semeval}で4つの言語において提案した拡張方法による効果を検証した後に，英語と日本語の2つの言語において先行研究と提案した拡張手法の性能を比較した．
先行研究との比較の際には，意味変化を検出する性能だけでなく，単語分散表現の学習に要する計算時間も比較した．
定性的な分析においては，先行研究によって意味の変化が報告されている単語だけでなく，意味の変化が自明でない単語についても，網羅的な分析を行った．

本稿の構成を示す．
第\ref{sec:relatedwork}節では時期を考慮した単語分散表現を獲得するための先行研究および既存手法の問題点について述べる．
第\ref{sec:proposal}節では既存手法の問題点を解消するための拡張方法を提案する．
第\ref{sec:preexperiment}節と第\ref{sec:experiment}節では提案手法と既存手法について，意味変化した単語の検出性能を比較する．
第\ref{sec:qualitative}節では各手法が検出した単語や，意味変化の種類・傾向について分析を行う．
最後に，第\ref{sec:conclusion}節で本研究の結論を述べる\footnote{実験に使用したコードは以下で公開している．\url{https://github.com/a1da4/pmi-semantic-difference}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}\label{sec:relatedwork}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文脈を考慮しない単語分散表現を用いた手法}\label{subsubsec:non-contextual-word-embed}

初期の段階では，各時期の頻度情報を用いた分析・検出が行われていた\cite{sagi-etal-2009-semantic,cook-stevenson-2010-automatically-identifying,gulordava-baroni-2011-distributional}．
しかし，意味の変化が頻度の増減によって決まるとは限らないため，単語の意味を直接表現する必要がある．
そのような状況の中で，\citeA{mikolov-etal-2013-efficient} が単語の意味をベクトル空間上で表す Word2Vec を提案し，数多くの研究で用いられるようになった．
この手法では一般的に1つの文書に対して1つの単語分散表現を学習するため，時期の異なる複数の文書で学習を行うと文書ごとに異なるベクトル空間が得られ，直接比較することができない．
図\ref{fig:difference}のように通時的な単語分散表現を獲得するには，各時期でのベクトル空間を対応させる必要がある．
そのために，\citeA{kim-etal-2014-temporal} は時期 $t$ の単語分散表現の初期値を時期 $t-1$ の単語分散表現で初期化することで，時期間で対応の取れた単語分散表現の獲得手法を提案した．
近年では \citeA{kaji-kobayashi-2017-incremental} によって Word2Vec の動的な学習方法が提案され，より効率的に学習を行えるようになった．
その後，\citeA{kulkarni-etal-2015-statistically} と \citeA{hamilton-etal-2016-diachronic} は各文書で独立に学習した単語分散表現を線形変換で対応づける手法を提案した．
\citeA{kulkarni-etal-2015-statistically} は対象単語以外のほとんどの単語は意味が変化しないという仮定のもと，ある対象単語 $w$ の時期 $t$ での単語ベクトル $\vW_{t}(w)$ と時期 $t+1$ での単語ベクトル $\vW_{t+1}(w)$ を対応づける線形変換 $\vR(w)_{t \mapsto t+1}$ を以下のように獲得した
\begin{equation}
\mathop{\vR(w)}_{t \mapsto t+1}=
\mathop{\rm argmin}_{\vR}\kern-1em
\sum_{\makebox[4em][l]{$s \in k\text{-NN}(\vW_t(w))$}}
||\vW_t(s)\vR - \vW_{t+1}(s)||^2_F.
\label{eqn:linear-transformation}
\end{equation}
ここで，$k\text{-NN}(\vW_{t}(w))$ は $\vW_{t}(w)$ における上位 $k$ 個の近傍単語であり，$||\cdot||_F$ はフロベニウスノルムである．
\citeA{hamilton-etal-2016-diachronic} も同様の仮定のもと，時期 $t$ の単語分散表現 $\vW_t$ と時期 $t+1$ の単語分散表現 $\vW_{t+1}$ を対応させる回転行列 $\vR_{t \mapsto t+1}$ を以下のように獲得した
\begin{equation}
\mathop{\vR}_{t \mapsto t+1}=\mathop{\rm argmin}_{\vR:~\vR\vR^\mathsf{T}\!=\!1}
||\vW_t\vR - \vW_{t+1}||^2_F.
\label{eqn:alignment}
\end{equation}
この回転行列を用いた手法は，時期の異なる2つの文書において意味の変化した単語を検出するタスクにおいて，頻度による手法を上回ることが報告されている\cite{schlechtweg-etal-2019-wind}．
しかし，これらの線形変換に基づく対応づけによる手法は，異なる文書で学習したベクトル空間を線形変換で対応づけすることができるという強い仮定をおいている．
このような仮定は時期の近い文書を比較する際には有用かもしれないが，時期が大きく離れている場合には，それぞれのベクトル空間を正しく対応づけできない可能性がある．

そこで，上記の線形変換による問題を避けるため，\citeA{yao-etal-2018-dynamic} は Dynamic Word Embeddings (DWE) を提案した．
この手法は各時期の単語分散表現を同時に学習するため，線形変換による対応づけを必要としない． 
ある時期 $t$ の単語ベクトルの集合 $\vW_t$ は以下の目的関数を最小化することで獲得できる
\begin{align}
&\frac{1}{2} \sum_{t=1}^T ||\vM_t-\vW_t\vC_t||^2_F 
+\frac{\gamma}{2}\sum_{t=1}^T ||\vW_t-\vC_t^\mathsf{T}||^2_F \notag \\[-.5ex]
&\quad {} +\frac{\lambda}{2}\sum_{t=1}^T ||\vW_t||^2_F 
+\frac{\tau}{2}\sum_{t=1}^{T-1} ||\vW_{t+1}-\vW_t||^2_F \notag \\[-.5ex]
&\quad {} +\frac{\lambda}{2}\sum_{t=1}^T ||\vC_t||^2_F
+ \frac{\tau}{2}\sum_{t=1}^{T-1} ||\vC_{t+1}-\vC_t||^2_F.
\label{eqn:dynamic-embed}
\end{align}
ここで $\vM_t$ は時期 $t$ の positive pointwise mutual information (PMI) 行列，$\vC_t$ は時期 $t$ の周辺単語ベクトル集合を示す．
訓練では，学習パラメータである $\vW_t$, $\vC_t$ をランダムに初期化し，各時期の PMI 行列をもとに行列分解に適したブロック座標降下法で更新する\footnote{ブロック座標降下法では一度に更新するブロックの数（ここでは単語数）のハイパーパラメータがあるが，\citeA{yao-etal-2018-dynamic} の研究ではブロック数を全単語数とし，全ての単語ベクトルを同時に更新している．}．
また，$\gamma, \lambda, \tau$ はそれぞれハイパーパラメータであり，$\gamma$ は同じ時期における単語ベクトルと周辺単語ベクトルの対応づけの強さ， $\tau$ は各ベクトルにおける隣接する時期間での対応づけの強さを制御し，$\lambda$ は正則化の強さを制御する．
この手法は同じ単語の同じ時期におけるベクトル ($\vW_t, \vC_t^\mathsf{T}$) および同じ単語の隣接する時期におけるベクトル｛($\vW_t, \vW_{t+1}$), ($\vC_t, \vC_{t+1}$)｝は近いことを仮定している．
したがって，この手法には設定に敏感な3つのハイパーパラメータがあり，膨大な組み合わせ数の設定から適切なハイパーパラメータを探索する必要がある．

線形変換や動的な単語分散表現の問題を回避するために，\citeA{dubossarsky-etal-2019-time} は各文書を1つの大きな文書とみなして単語分散表現を同時に学習する Temporal Referencing を提案した．
時期の異なる文書を1つの大きな文書とみなし，事前に与えられた対象単語のリスト $L = \{w^1, w^2, ..., w^{|L|}\}$ に載っている単語のみ時期ごとに区別して単語分散表現の学習を行う．
\begin{equation}
\begin{cases}
\vW_1(w^i), ..., \vW_t(w^i), ..., \vW_T(w^i) & w^i \in L \\
\vW(w^i) & w^i \notin L
\end{cases}
\label{eqn:temporal-referencing}
\end{equation}
しかし，実際に任意の文書間で分析を行う場合において，適切に選定された対象単語リストを事前に用意するのは労力を要する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文脈を考慮した単語分散表現を用いた手法}\label{subsubsec:contextual-word-embed}

\ref{subsubsec:non-contextual-word-embed}節で取り上げた Word2Vec などの単語分散表現は1つの文書において1単語に1つのベクトルを割り当てているが，近年提案された BERT \cite{devlin-etal-2019-bert}などに代表される事前訓練済み言語モデルは文ごとに単語のベクトルを獲得できるため，主に多義語の通時的な分析に用いられている．
\citeA{hu-etal-2019-diachronic} は各意味における辞書の例文から各意味の教師ベクトルを獲得して，文書に含まれる各文における対象単語の意味を教師ベクトルとの類似度に基づいて分類する手法を提案し，\textit{gay} や \textit{tape} などの多義語について，主要な意味の時間変化を分析した．
\citeA{giulianelli-etal-2020-analysing} は辞書の代わりに \textit{k}-means を用いて単語の意味のクラスタリングを行う手法を提案し，辞書のような教師情報なしに多義語における通時的な意味の時間変化を分析した．
一般的に，BERT のような文脈を考慮した単語ベクトルを獲得できる手法は，意味変化検出タスク SemEval-2020 Task 1 において Word2Vec などの文脈を考慮しない単語分散表現より劣ることが報告されている\cite{kutuzov-giulianelli-2020-uio,martinc-etal-2020-discovery,laicher-etal-2021-explaining,montariol-etal-2021-scalable}．
しかし，最近では，文に $\langle2022\rangle$ などの時期トークンを付与したり，時期ベクトルを学習する注意機構を追加したりして事前訓練済み言語モデルに時期を考慮した調整を加えることで意味変化検出の性能が向上し，SemEval-2020 Task 1 で最高性能を獲得することが報告された\cite{rosin-etal-2022-time,rosin-radinsky-2022-temporal}．

上記で取り上げた手法は，調査対象の言語において事前訓練済みの言語モデルが存在する前提だが，mBERT \cite{devlin-etal-2019-bert} や XLM-R \cite{conneau-etal-2020-unsupervised} などの多言語モデルでも対応しているのはせいぜい100言語である．
しかし，対応外の言語で分析を行うためにモデルを一から訓練するには膨大な計算資源を必要とするため，潤沢な計算資源を持たない言語学者や社会学者には困難である．
したがって，本研究では，少ない計算資源でも手軽に学習できる\ref{subsubsec:non-contextual-word-embed}節のような文脈を考慮しない単語分散表現に基づいた手法に着目する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案法}\label{sec:proposal}

本研究では，先行研究である Temporal Referencing に対して，2つの拡張手法を提案する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f2.pdf}
\end{center}
\hangcaption{PMI-SVD \protect\cite{levy-2014-neural}の概要図．対象単語 \textit{apple} とその周辺単語 \textit{eat}, \textit{computer} の共起情報から自己相互情報量を計算して次元削減を行うことで，Word2Vec と等価な対象単語ベクトルの集合 $\vW$ と周辺単語ベクトルの集合 $\vC$ を獲得できる．}
\label{fig:sppmi-svd}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ベースとなる単語分散表現：PMI-SVD}

最初に，本研究の基盤となる \citeA{levy-2014-neural} による研究について説明する．
彼らは図\ref{fig:sppmi-svd}のように，対象単語-周辺単語のPMI行列を Singular Value Decomposition (SVD) で次元削減した結果が Word2Vec の Skip-Grams with Negative Sampling (SGNS) モデル\cite{mikolov-etal-2013-efficient} と等価であることを示した．
具体的には対象単語 $w$，周辺単語 $c$，及びそれらの共起する確率を $p(w)$, $p(c)$, $p(w, c)$ とすると，単語分散表現は以下の手順で獲得できる．
最初に，PMI 行列 $\vM \in \mathbb{R}^{W \times C}$ （$W$ と $C$ はそれぞれ対象単語数，周辺単語数を示す）を以下のように求める
\begin{equation}
\mathrm{M}[w,c] = \max\left(\log\frac{p(w,c)}{p(w)p(c)}, 0\right).
\label{eqn:pmi}
\end{equation}
\citeA{levy-2014-neural} の研究では SGNS は Shifted Positive PMI と等価であることを示していた．
しかし，その後の彼らの研究により，Shifted Positive PMI は情報を減らしてしまうばかりで性能に貢献しないことが示された\cite{levy-etal-2015-improving}ため，本研究では標準的な Positive PMI を使用した．
次に，PMI 行列 $\vM$ を SVD で以下のように行列分解する
\begin{equation}
\vM=\vU\bm{\Sigma}\vV^\mathsf{T}.
\label{eqn:svd}
\end{equation}
ここで $\vU$ と $\vV$ は直交行列を示し， $\bm{\Sigma}$ は $\vM$ の固有値が大きい順に格納された対角行列を示す．
最終的に，目的の $d$ 次元の対象単語ベクトルの集合 $\vW \in \mathbb{R}^{W \times d}$ と周辺単語ベクトルの集合 $\vC^{\mathsf{T}} \in \mathbb{R}^{C \times d}$ は以下のようにして獲得できる
\begin{equation}
\vW\!=\!\vU\bm{\Sigma}^{1/2},\ \vC^{\mathsf{T}}\!=\!\vV
\bm{\Sigma}^{1/2}.
\label{eqn:pmi-svd}
\end{equation}
この手法をもとに，Temporal Referencing に対して2つの拡張を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{拡張1：語彙に含まれる全ての単語を対象語とする PMI-SVD$_\mathrm{joint}$}

Temporal Referencing に対する1つ目の拡張として，語彙に含まれる全ての単語を対象単語とした．
ここで先行研究と同様に，周辺単語ベクトルの集合 $\vC$ が文書 A と B において変化しないと仮定すると，各文書の PMI 行列 $\vM_\mathrm{A}$, $\vM_\mathrm{B}$ を結合した $\vM=[\vM_\mathrm{A};\vM_\mathrm{B}]$ をまとめて次元削減することで，文書間の対応の取れた単語分散表現を獲得できる（図\ref{fig:sppmi-svd_joint}）
\begin{equation}
\begin{bmatrix} \vM_\mathrm{A} \\ \vM_\mathrm{B} \end{bmatrix}
=
\begin{bmatrix} \vW_\mathrm{A} \\ \vW_\mathrm{B} \end{bmatrix} 
\raisebox{1.3ex}{$\begin{bmatrix} \,\vC\,  \end{bmatrix}$}.
\label{eqn:extended-matrix-factorization}
\vspace{1ex}
\end{equation}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f3.pdf}
\end{center}
\hangcaption{PMI-SVD$_\mathrm{joint}$ の概要図．各文書 A，B で対象単語 \textit{apple} とその周辺単語 \textit{eat}, \textit{computer} の自己相互情報量を計算し，同時に次元削減を行うことで，文書間で対応の取れた単語分散表現を獲得できる．}
\label{fig:sppmi-svd_joint}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{拡張2：文書間における周辺単語ベクトルの変化を考慮する PMI-SVD$_c$}

2つ目の拡張として，周辺単語ベクトルの文書間の変化を考慮する（図\ref{fig:sppmi-svd_c}）． 
各文書の周辺単語ベクトル $\vC_\mathrm{A}$, $\vC_\mathrm{B}$ を獲得する単純な方法として各文書で計算した PMI 行列をそれぞれ独立に行列分解する方法が挙げられるが，そのように獲得した単語分散表現は文書間での対応がとれない．
そこで，本研究では各文書の周辺単語ベクトルに制約条件を与えることによって，DWE のように文書間で対応のとれた単語分散表現を獲得する．
訓練において最小化する目的関数を以下に示す
\begin{equation}
\label{eqn:constrained-svd}
\sum_{y \in \{A, B\}} \|\vM_{y} - \vW_{y}\vC_{y} \|_F + \tau \|\vC_\mathrm{B} - \vC_\mathrm{A}\|_F.
\end{equation}
ここで，$\tau$ は対応づけの強さを制御するハイパーパラメータである．
DWE と同様に，各時期の PMI 行列をもとにランダムに初期化した学習パラメータ $\vW_t, \vC_t$ をブロック座標降下法で更新する\footnote{ブロック座標降下法における一度に更新するブロックの数は DWE と同様に全単語数とし，全ての単語ベクトルを同時に更新した．}．
この手法は DWE に似ているが，DWE と比較して単語ベクトルと周辺単語ベクトルの対応づけの強さおよび正則化の強さを制御するハイパーパラメータを持たず，探索すべきハイパーパラメータの数が2つ少ない．
\ref{subsubsec:quantitative-real}節の実験2で，PMI-SVD$_\textit{c}$ と DWE の性能及び訓練に必要な時間の比較を行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia1f4.pdf}
\end{center}
\hangcaption{PMI-SVD$_\textit{c}$ の概要図．Dynamic Word Embeddings \protect\cite{yao-etal-2018-dynamic} のように制約条件を加え，周辺単語ベクトルの文書間での変化を考慮しながら文書間で対応の取れた単語分散表現を獲得する．}
\label{fig:sppmi-svd_c}
\end{figure}  
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験1}\label{sec:preexperiment}

本節では，提案した拡張手法による効果を検証するため，
2つの拡張手法 PMI-SVD$_\textrm{joint}$，PMI-SVD$_\textit{c}$ と既存手法 Temporal Referencing の性能の比較を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{概要}

SemEval-2020 Task 1 \cite{schlechtweg-etal-2020-semeval} で性能の比較を行った．
SemEval-2020 Task 1 は時期の離れた2つの文書間で与えられた単語の意味変化を検出する共通タスクであり，分類と順位付けの2つのサブタスクに分かれている．
分類タスクでは，2つの文書間で与えられた単語の意味が変化したかどうかを分類し，分類の精度を評価する．
順位付けタスクでは，与えられた単語を意味変化の度合いで並び替えを行い，スピアマンの順位相関係数で評価を行う．

上記の2つのサブタスクについて，英語・ドイツ語・ラテン語・スウェーデン語の4つの言語で評価を行う．
各言語における時期の区別とデータ量を表\ref{tab:semeval2020-data}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{01table01.tex}%
\hangcaption{SemEval-2020 Task 1 のデータセット．時期の離れた2つの文書 $C_1, C_2$ から与えられた単語の意味変化を検出し，4つの言語で性能を評価する．\#tokens は延べ語数，\#types は異なり語数を示す．}
\label{tab:semeval2020-data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

今回の実験では，与えられた対象単語と両方の文書で100回以上出現した単語を語彙とし，頻度行列を作成する際の文脈窓幅は前後4単語，PMI行列の次元削減で得る単語ベクトルは100次元とした．
開発用の単語セットが存在しないため，PMI-SVD$_\textit{c}$ のハイパーパラメータ $\tau$ は $\{10^{-3}, 10^{-2}, \ldots, 10^3\}$ のうち4つの言語全てで最も安定して学習した $\tau = 1$ とした．
予測では，与えられた対象単語に対して時期間のベクトルの余弦類似度を使用した．
分類タスクでは，先行研究と同様に対象単語の類似度の平均を閾値として分類を行った\cite{prazak-etal-2020-uwb}．
順位付けタスクでは，時期間の類似度が低い順に対象単語の順位付けを行った．
以上の条件で，既存手法 Temporal Referencing を PMI-SVD に適用した PMI-SVD$_\textrm{tr}$，語彙に含まれる全ての単語を対象語とする拡張を施した PMI-SVD$_\textrm{joint}$，そして周辺単語ベクトルの変化を考慮した PMI-SVD$_\textit{c}$ の性能を比較した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果と考察}

分類タスクの結果を表\ref{tab:semeval2020-subtask1}に示す．
表\ref{tab:semeval2020-subtask1}より，提案した2つの拡張を施したモデル PMI-SVD$_\textrm{joint}$，PMI-SVD$_\textit{c}$ はどちらも既存手法 PMI-SVD$_\textrm{tr}$ の性能を上回っていることがわかる．
また，PMI-SVD$_\textrm{tr}$，PMI-SVD$_\textrm{joint}$ はデータ量の少ないラテン語での性能が他の言語に比べて低いが，PMI-SVD$_\textit{c}$ では他の言語と同等の性能を獲得し，言語間の平均で最も高い性能であることが確認できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{01table02.tex}%
\hangcaption{SemEval-2020 Task 1 の Subtask 1 意味変化の有無を分類するタスクの結果．En，De，La，Sv，Avg. はそれぞれ英語，ドイツ語，ラテン語，スウェーデン語および4つの言語の平均を示す．}
\label{tab:semeval2020-subtask1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，順位づけタスクの結果を表\ref{tab:semeval2020-subtask2}に示す．
英語では既存手法 PMI-SVD$_\textrm{tr}$ の性能が高いが，それ以外の言語では提案した拡張手法 PMI-SVD$_\textrm{joint}$，PMI-SVD$_\textit{c}$ が既存手法の性能を上回っていることがわかる．
このタスクでは特に既存手法および PMI-SVD$_\textrm{joint}$ のラテン語での性能が低いが，PMI-SVD$_\textit{c}$ が大幅に性能を向上した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{01table03.tex}%
\hangcaption{SemEval-2020 Task 1 の Subtask 2 対象単語の順位づけタスクの結果．En，De，La，Sv，Avg. はそれぞれ英語，ドイツ語，ラテン語，スウェーデン語および4つの言語の平均を示す．}
\label{tab:semeval2020-subtask2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{01table04.tex}%
\hangcaption{PMI-SVD$_\textrm{joint}$ で時期間の余弦類似度が低い順に並べた意味変化の可能性が高い上位10単語．（）の中はその単語の品詞であり，（名），（動），（形），（副），（代），（接）はそれぞれ名詞，動詞，形容詞，副詞，代名詞，接続詞を示す．また，太字は固有名詞を示す．}
\label{tab:semeval2020-top10}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上の結果より，提案した2つの拡張手法によって文書間における単語の意味変化の検出性能を向上させることが確認できた．
1つ目の拡張「語彙に含まれる全ての単語を対象語にする」が性能を向上させた理由として，与えられた対象単語以外にも意味や用法の変化した単語が存在したことが挙げられる．
今回の SemEval-2020 Task 1 では人手で選択されたいくつかの単語だけが評価の対象となっているが，それ以外の単語が大規模なデータ内で意味や用法が変化している可能性がある．
既存手法 PMI-SVD$_\textrm{tr}$ では対象単語以外の単語について文書間で比較ができないため，代わりに対象単語を語彙全体に拡張した PMI-SVD$_\textrm{joint}$ で時期間の余弦類似度が低い順に意味変化の可能性が高い単語を出力した結果を表\ref{tab:semeval2020-top10}に示す．
表\ref{tab:semeval2020-top10}より，英語・ドイツ語・スウェーデン語では固有名詞が上位に多く出現していることが確認できる．
ラテン語では固有名詞が2つしか出現していないが，それ以外の単語はほとんど副詞であった．
ここで検出した固有名詞や副詞は与えられた対象単語に含まれていないが，時代によって周辺文脈が異なるため，上位に出現したのだと考える．
Temporal Referencing では与えられた対象単語だけが意味変化すると仮定し，それ以外の単語は複数の文書でまとめて1つのベクトルのみ学習するため，今回の固有名詞や副詞のように対象から外れているが用例の異なる単語のベクトルがノイズとなっていたのだと考える．

2つ目の拡張「周辺単語ベクトルの変化を考慮する」が主にラテン語での性能を大幅に向上させた要因として，時間経過に伴う周辺単語の変化が挙げられる．
従来の手法を基にしている PMI-SVD$_\textrm{tr}$ や PMI-SVD$_\textrm{joint}$  では各時期に対応した単語ベクトルの学習時に周辺単語ベクトルを固定していた（図\ref{fig:sppmi-svd_joint}）ため，ラテン語のような時期が大きく離れている文書間での性能が低くなっていたのだと考える．
そこで，周辺単語ベクトルも各時期で作成することで上記の問題を回避し，時間が大きく離れて周辺単語が大きく変わったラテン語のような状況でも他の言語と同様の性能を獲得したのだと考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{まとめ}

本節では，提案した2つの拡張手法 PMI-SVD$_\textrm{joint}$，PMI-SVD$_\textit{c}$ と既存手法 Temporal Referencing の性能の比較を行った．
時期の異なる2つの文書間で与えられた対象単語の意味変化を検出する SemEval-2020 Task 1 において4つの言語で性能を比較したところ，提案した2つの拡張手法が既存手法の性能を上回ることを示した．
今回のデータでは与えられた対象単語以外の固有名詞や副詞といった単語が時期によって周辺文脈が異なるため，文書間でただ1つのベクトルにまとめるのではなく，全ての単語を対象単語として考慮することで性能が向上することを確認した．
また，周辺単語ベクトルの変化を考慮することによって，データ量の少ないラテン語における性能を大幅に改善することがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験2}\label{sec:experiment}

本節では，提案した2つの拡張手法といくつかの代表的な先行研究について，意味変化を検出する性能を比較した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ} \label{subsec:data}

ここでは，日本語と英語の2つの言語で比較を行った．
実験に使用したコーパスの統計量を表\ref{tab:chj_coha_dataset}に示す．
英語では，Corpus of Historical American English (COHA)\footnote{\url{https://www.english-corpora.org/coha/}}を用いた．
COHA は10年ごとに文書が分かれているため，1900年代と1990年代の文書を対象にした．
\citeA{hamilton-etal-2016-diachronic} と同様に，ストップワードと固有名詞を取り除き，両方の文書で100回以上出現する名詞・動詞・形容詞・副詞を対象単語とした．
日本語では，日本語歴史コーパス\footnote{\url{https://clrd.ninjal.ac.jp/chj/index.html}}を用いた．
実験では第二次世界大戦の前後で文書を分け，英語と同様に両方の文書で100回以上出現する名詞・動詞・形容詞（形状詞は除く）・副詞を対象単語とした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{01table05.tex}%
\hangcaption{データセットの統計量．時期の離れた2つの文書 $C_1, C_2$ から単語の意味変化を検出する．\#tokens は延べ語数，\#types は異なり語数を示す．}
\label{tab:chj_coha_dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

今回の実験では，提案した2つの拡張手法 (PMI-SVD$_\mathrm{joint}$，PMI-SVD$_\textit{c}$) と以下の代表的な先行研究を比較した．

\begin{itemize}
\item \textbf{Word2Vec}$_\textit{vi}$ \cite{kim-etal-2014-temporal}: 古い時期の文書（戦前，1900年代）の文書で Word2Vec SGNS モデルを訓練し，その結果を新しい時期の文書（戦後，1990年代）の文書のモデルの初期値にして学習を行った．
\item \textbf{Word2Vec}$_\textit{incr}$ \cite{kaji-kobayashi-2017-incremental}: 文書を与える度に動的にモデルを学習する incremental skip gram\footnote{\url{https://github.com/yahoojapan/yskip/}} を適用し，最初に古い時期の文書を，次に新しい時期の文書を与えて学習を行った．
\item \textbf{Word2Vec}$_\mathbf{align}$ \cite{hamilton-etal-2016-diachronic}: 各文書で Word2Vec SGNS モデルを訓練し，式\eqref{eqn:alignment}の回転行列で対応づけを行った．
\item {\textbf{PMI-SVD}$_\mathbf{align}$ \cite{hamilton-etal-2016-diachronic}:} 各文書で PMI-SVD を訓練し，$\text{Word2Vec}_\text{align}$ と同様に回転行列で対応づけを行った．
\item {\textbf{DWE} \cite{yao-etal-2018-dynamic}:} 先行研究と同様に，ブロック座標降下法で式\eqref{eqn:dynamic-embed}を最小化し，単語分散表現を獲得した．この手法および PMI-SVD$_\textit{c}$ のハイパーパラメータ探索は， $\{10^{-3}, 10^{-2}, \ldots, 10^3\}$ の中からグリッドサーチで探索し，Area Under the Curve の最も高い設定を採用した．
\item {\textbf{BERT} \cite{martinc-etal-2020-leveraging}:} 各時期の対象単語ベクトルは，各時期の中における対象単語の全ての出現から文脈を考慮した対象単語のベクトルを獲得し，その平均を使用した．両言語において，Huggingface\footnote{\url{https://github.com/huggingface/transformers}} で公開されている事前訓練済みの \textit{bert-base-uncased} モデルを使用した．
\end{itemize}

文脈を考慮しない単語分散表現を使った手法は，文脈窓幅を前後4単語，100次元，contextual distributional smoothing を 0.75とした．
その後，先行研究と同様に，2つの時期の単語分散表現に対して同時に all-but-the-top \cite{mu-and-viswanath-2018-all}の後処理を行った \cite{kaiser-etal-2021-effects}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価}\label{subsec:evaluation}

評価には，先行研究と同様に平均逆順位 (mean reciprocal rank; MRR) を使用した\cite{kulkarni-etal-2015-statistically,yao-etal-2018-dynamic}．
具体的には，時期間のベクトルの余弦類似度に応じて語彙中の単語を並べ替え，評価に使う意味の変化が報告されている単語の逆順位の平均を求める．
平均逆順位は主に検索システムの評価に用いられ，目的の Web サイトを上位で検出できているほど値は大きくなり，優れたシステムであると評価される．
また，各手法が意味の変化した単語を検出する様子を可視化するために，再現率でも評価を行った\cite{kulkarni-etal-2015-statistically}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果と考察}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{疑似データでの評価実験}\label{subsubsec:quantitative-artificial}

まず，2つの時期で完全に意味が変化する場合の性能を確認するため， \citeA{shoemark-etal-2019-room} と同様に，意味変化する単語を擬似的に生成して評価を行った．
具体的には，新しい時期の文書で単語 $\beta$ （例：「景色」）が含まれる全ての文に対して単語 $\alpha$ （例：「友」）で置き換え，本来の単語 $\alpha$ が出現する全ての文に対して単語 $\alpha$ を削除することで，$\alpha$ の出現文脈集合から $\beta$ の出現文脈集合へと変化する単語 $\alpha'$ を擬似的に生成した．
\begin{description}
\item [（置換：変更前）] その辺りは，フランスの國道にそった\underline{景色}のよいところですから，
\item \begin{flushright}（1947年，文部省『小学校国語6期』, 国語 第五学年）\footnote{コーパス検索アプリケーション『中納言』 (\url{https://chunagon.ninjal.ac.jp/}) で閲覧可能なID：60T小読1947\_65A02}\end{flushright}
\item [（置換：変更後）] その辺りは，フランスの國道にそった\underline{友}のよいところですから，
\end{description}
\begin{description}
\item [（削除：変更前）] 世界の\underline{友}よ，手をつなぎ，なかよくとんであそぼうよ．
\item \begin{flushright}（1947年，文部省『小学校国語6期』, 国語 第三学年）\footnote{中納言のID：60T小読1947\_65A06}\end{flushright}
\item [（削除：変更後）] 世界の\underline{（削除）}よ，手をつなぎ，なかよくとんであそぼうよ．
\end{description}
置換する単語ペアの意味が似ている場合，擬似的に生成した単語の意味変化の度合いが小さくなってしまうため，単語ペアはなるべく意味が離れているか無関係であることが望ましい．そこで本研究では，両方の時期でそれぞれ獲得した PMI 行列の各行の余弦類似度の絶対値が 0.01 以下である単語ペアの中からランダムに50ペア抽出し，文脈が完全に変化する単語を擬似的に生成した．
実験では，10単語をハイパーパラメータ探索に，残りを評価に使用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f5.pdf}
\end{center}
\hangcaption{各手法が擬似的に意味の変化した単語を検出する様子．縦軸は上位 $k$ 単語における再現率 (Recall@$k$)，横軸は考慮する上位の単語数 $k$ を示す．}
\label{fig:5}
%%%%\label{fig:en_pseudo_cos}
%%%%\label{fig:ja_pseudo_cos}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{01table06.tex}%
\hangcaption{擬似的に生成した単語における平均逆順位 (MRR)． *は事前訓練で外部のデータを使用していることを示す．}\label{tab:mean-reciprocal-rank_replace}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%図\ref{fig:en_pseudo_cos}，\ref{fig:ja_pseudo_cos} は疑似データにおける各手法の Recall@$k$ を示す．
    図\ref{fig:5}(a)，\ref{fig:5}(b) は疑似データにおける各手法の Recall@$k$ を示す．
提案した2つの拡張手法は DWE のように，擬似的に生成した意味の変化する単語をほぼ正確に検出できていることがわかる．
これらの図及び平均逆順位（表\ref{tab:mean-reciprocal-rank_replace}）より，提案した拡張手法は先行研究と同等またはそれ以上の性能であることを示した．

線形変換で対応づけを行う手法 PMI-SVD$_\mathrm{align}$，Word2Vec$_\mathrm{align}$ は今回のように2つの時期で意味が完全に変わる場合では性能が低いことが確認できた．
このことから，学習した単語分散表現を線形変換で対応づけができるという仮定は強すぎるのではないかと考える．

また，先行研究より，古い時期で訓練した単語ベクトルを新しい時期の単語ベクトルの初期値とする手法 Word2Vec$_\textit{vi}$, Word2Vec$_\textit{incr}$ は線形変換で対応づけを行う手法 PMI-SVD$_\mathrm{align}$，Word2Vec$_\mathrm{align}$ に劣ると報告されていた\cite{schlechtweg-etal-2019-wind,schlechtweg-etal-2020-semeval}が，今回の実験設定では提案手法 PMI-SVD$_\mathrm{joint}$, PMI-SVD$_\textit{c}$ と同等の高い検出性能を示した．
この結果及び\ref{sec:preexperiment}節での結果（表\ref{tab:semeval2020-subtask2}）より，意味変化検出の性能は分析対象の言語や時期によって大きく変わる可能性があるため，多様な言語や時期間を対象とする言語学や社会学へ応用するためには
任意の言語や時期間で安定する手法の検討が必要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実データでの評価実験}\label{subsubsec:quantitative-real}

次に，実際に意味の変化が報告されている単語を用いて評価を行った．
英語では word sense change testset\footnote{\url{https://zenodo.org/record/495572}} をハイパーパラメータ探索に，\citeA{kulkarni-etal-2015-statistically} が作成したリストを評価に使用した．
日本語では，\citeA{mabuchi-ogiso-2021-attempt}が作成したリストをハイパーパラメータ探索と評価に使用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f6.pdf}
\end{center}
\hangcaption{各手法が実際に意味の変化した単語を検出する様子．縦軸は上位 $k$ 単語における再現率 (Recall@$k$)，横軸は考慮する上位の単語数 $k$ を示す．}
\label{fig:6}
%%%%\label{fig:en_real_cos}
%%%%\label{fig:ja_real_cos}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%再現率を図\ref{fig:en_real_cos}，\ref{fig:ja_real_cos}に，平均逆順位を表\ref{tab:mean-reciprocal-rank_true}に示す．
    再現率を図\ref{fig:6}(a)，\ref{fig:6}(b)に，平均逆順位を表\ref{tab:mean-reciprocal-rank_true}に示す．
結果より，提案した2つの拡張手法は Word2Vec$_\textit{vi}$, Word2Vec$_\textit{incr}$, 
BERT 以外の手法の性能を上回っていることを確認した．
また，表\ref{tab:mean-reciprocal-rank_true} より英語のデータにおける訓練時間を比較すると，PMI-SVD$_\mathrm{joint}$ は非常に高速に動作し，PMI-SVD$_\textit{c}$ は DWE に比べてハイパーパラメータ探索の時間を大幅に削減していることがわかる\footnote{訓練時間は 2 CPU（Intel Xeon 2.60 GHz，全56コア）， 512 GB の RAM を備えた計算機で計測した．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{01table07.tex}%
\hangcaption{実際に意味の変化が報告されている単語での平均逆順位 (MRR)．訓練時間の列は英語のデータにおける各手法の訓練に要する時間を示す．*は事前訓練で外部のデータを使用していることを示す．BERT-tiny，BERT-mini は今回の実験で対象にしたデータのみを使用して訓練したものである．}\label{tab:mean-reciprocal-rank_true}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これまでの実験では，外部の大規模なデータで事前訓練された BERT-base モデル（12層768次元）を使用してきた．
ここでは，データを揃えて性能を比較するために，実験で対象にした通時データ（\ref{subsec:data}節）だけを使用して BERT モデルを再訓練する．
BERT-base の事前訓練に使用されたデータと比べると通時データの量は非常に少ないため，今回は BERT-tiny （2層128次元）と BERT-mini （4層256次元）を訓練した\footnote{どちらのモデルも1,000,000回の train step を訓練終了とし，訓練時間は他の単語ベクトル手法と同様に 2 CPU（Intel Xeon 2.60 GHz，全56コア）， 512 GB の RAM を備えた計算機で計測した．}．
表\ref{tab:mean-reciprocal-rank_true}より，提案した2つの拡張手法が同じデータで訓練された BERT-tiny と BERT-mini の性能を上回ることを確認した．
さらに，訓練時間を比較すると，BERT-tiny，BERT-mini は膨大な計算資源で2週間程度の訓練時間を要するのに対し，提案手法は軽量で高速に動作することがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{まとめ}

本節では，提案した2つの拡張手法といくつかの代表的な先行研究について，英語と日本語の2つの言語で定量的な比較を行った．
意味の変化する単語を擬似的に生成した場合では，提案した2つの拡張手法がほぼ完璧に意味の変化する単語を検出し，先行研究と同等またはそれ以上の平均逆順位を示した．
実際に変化が報告されている単語を用いた場合でも，提案した2つの拡張手法が先行研究と同等またはそれ以上の平均逆順位を示した，
また，単語分散表現の学習に必要な訓練時間を比較した結果，提案手法 PMI-SVD$_\mathrm{joint}$ が高速に動作し，PMI-SVD$_\textit{c}$ は先行研究 Dynamic Word Embeddings と比較してハイパーパラメータ探索に必要な時間を大幅に削減していることがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}\label{sec:qualitative}

本節では最初に，定量的な比較実験（\ref{subsubsec:quantitative-real}節）で優れた性能を示した BERT と提案手法の1つである PMI-SVD$_\textit{c}$ について，定性的な分析を行った．
次に，単に意味変化の有無を予測するだけでなく，意味変化の種類について先行研究の指標を用いて分析を行った．
最後に，単語の意味変化の傾向について，単語ベクトルの空間上で分析を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{01table08.tex}%
\hangcaption{各手法において時期間の余弦類似度が低い順に並べた上位10単語と，各時期における単語の意味の分析結果．1文字の単語は除外している．}
\label{tab:ja_pred_changed_words}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化の可能性が高い上位10単語}\label{subsec:top10_words}

まず，各手法が時期間の余弦類似度に基づいて語彙中の単語を並べ替え，意味変化の可能性が高いと予測した上位10単語を比較した．
具体的には，各手法で時期間の余弦類似度が低い順に並べた単語について，その単語が出現する文を各時期のコーパスから50文抽出し，各時期における意味について人手でアノテーションを行い，代表的な意味を集計した．
日本語における結果を表\ref{tab:ja_pred_changed_words}に示す．
どちらの手法も「行い」や「欠け」といった2つの時期間で意味が変化した単語を検出できている事がわかる．
また，BERT は「若く」，「公明」，「参議」，「幼稚」のように概念が追加・削除されることで意味が大きく変化する単語を，PMI-SVD$_\textit{c}$ は「おまけ」，「反面」のように元の概念が拡張されることで意味が多少変化する単語を捉えている．
BERT は与えられた文全体を考慮して単語ベクトルを算出し，PMI-SVD$_\textit{c}$ は周辺数単語の頻度情報から単語ベクトルを算出していることから，単語ベクトルを獲得する際の文脈窓幅の違いによるものであると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化した単語に対する近傍単語の変化}\label{subsec:neighbors}

次に，意味変化をした単語の近傍単語の変化を分析した\cite{kim-etal-2014-temporal,hamilton-etal-2016-diachronic}．
ここでは，\citeA{mabuchi-ogiso-2021-attempt}によって意味の変化が報告されている単語「了解（理解$\rightarrow$承諾）」及び表\ref{tab:ja_pred_changed_words}で今回検出した単語「欠け（物理的$\rightarrow$概念的）」について，BERT と PMI-SVD$_\textit{c}$ の近傍単語を比較した．
%%%%それぞれの単語における近傍単語の変化を表\ref{tab:non-fanous}\subref{tab:ryokai}，\ref{tab:non-fanous}\subref{tab:kake}に示す．
    それぞれの単語における近傍単語の変化を表\ref{tab:non-fanous}(a)，\ref{tab:non-fanous}(b)に示す．
%%%%意味変化が自明な単語「了解」は理解から承知へと意味が変化しており，表\ref{tab:non-fanous}\subref{tab:ryokai}からどちらの手法も適切に両方の意味を検出できているが，
    意味変化が自明な単語「了解」は理解から承知へと意味が変化しており，表\ref{tab:non-fanous}(a)からどちらの手法も適切に両方の意味を検出できているが，
BERT は変化後の意味を持つ単語「承諾」，「承知」を変化前（戦前）に検出してしまっていることが分かる．
今回の分析で検出した単語「欠け」は物理的な欠損から概念的な欠損へと変化していることを確認した．
%%%%表\ref{tab:non-fanous}\subref{tab:kake}より，どちらの手法も変化の前後で適切に近傍単語を検出できていることがわかる．
    表\ref{tab:non-fanous}(b)より，どちらの手法も変化の前後で適切に近傍単語を検出できていることがわかる．
以上の結果より，提案手法 PMI-SVD$_\textit{c}$ は意味変化が自明な単語だけでなく，そうでない単語についても適切に意味の変化を捉えられることが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{01table09.tex}%
\caption{各時期における対象単語ベクトルの近傍5単語．1文字の単語は除外している．}
\label{tab:non-fanous}
%%%%\label{tab:ryokai}
%%%%\label{tab:kake}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化の種類}\label{subsec:global_local}

これまでの分析では，2つの時期間で意味が変化した単語を検出していたが，それがどのような変化であるかまでは予測できていない．
\citeA{hamilton-etal-2016-cultural}は，調査対象単語が緩やかに変化する言語的な変化または何らかの拍子に急激に変化する文化的な変化のどちらかを予測する指標を提案した．
最初に，global な指標として，分析対象の時期 $t, t+1$ における対象単語 $w^i$ のベクトル $\vW_t(w^i), \vW_{t+1}(w^i)$ を以下のように直接比較する
\begin{equation}
\mathrm{global}_{t, t+1}(w^{i}) = 1 - \cos (\vW_t(w^i), \vW_{t+1}(w^i)).
\end{equation}
次に，local な指標を以下のように算出する．
まず，各時期 $t, t+1$ で対象単語 $w^i$ の上位 $k$ 個の近傍単語 $k\mathchar`-\mathrm{NN}(\vW_t(w^i)), k\mathchar`-\mathrm{NN}(\vW_{t+1}(w^i))$ を獲得する．
その後，各時期の近傍単語を結合し
\begin{equation}
L_{t, t+1}(w^{i}) = k\mathchar`-\mathrm{NN}(\vW_t(w^i)) \cup k\mathchar`-\mathrm{NN}(\vW_{t+1}(w^i)), \notag
\end{equation}
時期 $t$ における対象単語 $w^i$ と $L_{t, t+1}(w^{i})$ に含まれる近傍単語 $w^j$ のベクトルの類似度を $|L_{t, t+1}(w^{i})|$次元のベクトル $\mathbf{s}_t$ に格納する
\begin{equation}
\mathrm{s}_t[j] = \cos (\vW_{t}({w}^{i}), \vW_{t}({w}^{j})), \forall w^j \in L_{t, t+1}(w^{i}).
\end{equation}
最終的に，得られた類似度ベクトル $\mathbf{s}_t, \mathbf{s}_{t+1}$ の変化を算出する
\begin{equation}
\mathrm{local}_{t, t+1}(w^{i}) = 1 - \cos (\mathbf{s}_t, \mathbf{s}_{t+1}).
\end{equation}
以上の global と local の2つの指標の差を計算したところ，英語において，言語的に変化する副詞などの単語は global の値が大きく，文化的に変化する名詞や動詞などの単語は local の値が大きいことが報告されている\cite{hamilton-etal-2016-cultural}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{01table10.tex}%
\caption{言語的 ($\mathrm{global} > \mathrm{local}$)，文化的 ($\mathrm{global} < \mathrm{local}$) な意味変化の度合いが高い上位5単語．}
\label{tab:global_local_change}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで，この指標を用いて，言語的・文化的それぞれの変化が強い単語を日本語のデータで分析する．
結果を表\ref{tab:global_local_change}に示す．
言語的な変化と予測された単語の中には，「老婆」や「心情」のように，時間経過とともに限定的な使われ方をするようになる単語が見られた．
一方，文化的な変化と予測された単語の中には，「氾濫」のようにより広い使われ方に拡張された単語や「分離」のようにある用法が急激に使われるようになった単語が見られた．
以上の結果より，先行研究とは異なるが，global と local の2つの指標を組み合わせることで，限定的な使われ方をする単語と拡張された意味で使われるようになる単語を検出できることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化しやすいベクトルの特徴}\label{subsec:shift_regression}

ここでは，どのような単語ベクトルが変化しやすいのか，
\pagebreak
また，変化しやすい単語ベクトルには空間的な特徴があるのかについて分析を行った．
日本語のデータにおいて，古い時期（戦前）の単語ベクトルを入力として与え，そのベクトルの変化量を予測する回帰問題として定式化を行った．
今回は，PMI-SVD$_\textit{c}$ のベクトルを訓練に4,000単語，評価に1,000単語使用した．
実験に使用した回帰モデルを以下に示す．
\begin{itemize}
\item \textbf{線形回帰}：二乗の正則化項を持つリッジ回帰を採用した．正則化パラメータは\\ $\{10^{-3}, 10^{-2}, \ldots, 10^3\}$ から探索した．
\item \textbf{多層パーセプトロン}：3層のネットワークを用い，線形回帰と同様に正則化パラメータの探索を行った．
\item \textbf{ガウス過程回帰}：確率に基づいた予測を得られるため，ガウス過程による回帰モデルを用いた．カーネルは RBF カーネルを採用し，ハイパーパラメータはガウス過程回帰で一般的なスケーリング共役勾配法で最適化を行った．
\end{itemize}
ガウス過程回帰では，カーネルを用いることで，与えられた単語ベクトル間の類似度を考慮して変化量を予測することが可能である．
RBF カーネルでは類似度にユークリッド距離が用いられているため，ガウス過程回帰は単語ベクトルからそのノルムも考慮していることになる．
そこで，線形回帰と多層パーセプトロンの特徴量には，単語ベクトルだけを使用した場合と単語ベクトルとそのノルムを使用した場合の2種類を用いた．
予測する変化量は平均0，分散1に標準化したユークリッド距離とし，評価には予測した変化量と実際の変化量との平均二乗誤差を採用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{01table11.tex}%
\hangcaption{古い時期（戦前）の単語ベクトルから，その変化量（ユークリッド距離）を予測した結果．異なる seed 値で5回評価した平均と標準偏差を示す．}
\label{tab:shift_regression}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

訓練・評価用データの分割方法を変え，5回実験を行った結果を表\ref{tab:shift_regression}に示す．
表より，ガウス過程回帰が最も正解からの誤差が低く，適切な予測ができていることがわかる．
また，線形回帰において，単語ベクトルのノルムを特徴量に追加することで予測性能の向上が確認できる．
このため，単語ベクトルのノルムが意味変化のしやすさに関係していると考える．

そこで，単語ベクトルのノルムと意味変化の関係について調査するため，評価に用いた単語ベクトルを TSNE で2次元に圧縮して正解のユークリッド距離とガウス過程回帰の予測値を描画した．その結果を図\ref{fig:tsne_gpr}に示す．
図より，中央にある単語ほど変化量が小さく，中央から離れた位置にある単語ほど変化量が大きいことが確認できる．
ガウス過程回帰による予測結果は，図の外側に分布する人名や地理名などの固有名詞に対して，正解の値と同様に大きな変化量を示している．
\ref{sec:preexperiment}節で行った分析でも同様の結果が現れており，表\ref{tab:semeval2020-top10}では意味変化の度合いが大きい順に並べた単語の多くが固有名詞であった．
また，\ref{subsec:top10_words}節における分析結果の表\ref{tab:ja_pred_changed_words}でも，BERT と PMI-SVD$_\textit{c}$ の両方が組織名や人名を含む単語を上位に検出していることから，この現象はモデル固有ではないことが言える．
ここで，単語ベクトルのノルムを調べたところ，外側に位置する変化量の大きい固有名詞はベクトルのノルムが大きく，中央に位置する変化量の小さい単語はベクトルのノルムが小さいことがわかった．
先行研究においても，固有名詞は他の品詞と比べてベクトルのノルムが大きく\cite{schakel-2015-measuring}，特定の文脈で出現しやすい\cite{ohyama-etal-2022-vector}ことが示されている．
これらの結果より，ベクトルのノルムが大きい固有名詞のような単語ほど意味が変化しやすいと考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia1f7.pdf}
\end{center}
\hangcaption{正解のユークリッド距離（左）とガウス過程回帰の予測結果（右）を TSNE で2次元に圧縮し，可視化した結果．}
\label{fig:tsne_gpr}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\input{01table12.tex}%
\hangcaption{ガウス過程回帰のエラー分析の結果．「出版・報道」，「貿易」，「工学」，「軍事」のグループから単語を選択し，用例の変化を調査した．}
\label{tab:gpr_false_positive}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方で，図\ref{fig:tsne_gpr}に示した「出版・報道」，「貿易」，「工学」，「軍事」のグループに含まれる単語は，実際にはあまり変化していないが回帰モデルは大きな変化量であると予測していた．
そこで，各グループから単語を選択し，戦前と戦後での用例の違いを分析した．
表\ref{tab:gpr_false_positive}より，「特派」と「電力」は人名や地名，企業名などと一緒に共起していることが確認できる．
また，「製造」や「作戦」は単語自体の意味は変わらないものの，戦前・戦後の時代の特徴を反映していることが確認できる．
以上から，これらのグループに含まれる単語は，変化量の大きい人名や地名などの固有名詞に影響されていると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{まとめ}

本節では，いくつかの定性的な分析を行った．
まず，BERT と提案手法の1つである PMI-SVD$_\textit{c}$ について比較を行った結果，PMI-SVD$_\textit{c}$ は意味変化が自明な単語だけでなく，自明でない単語についても適切に意味変化を捉えられることがわかった．
次に，意味変化の種類を予測する先行研究の指標を用いて，日本語のデータに対して分析を行った．
その結果，限定的な使われ方をするようになった単語と拡張された意味で使われるようになった単語を分けて検出できることが確認できた．
最後に，単語の意味変化のしやすさについて，回帰モデルを用いてベクトル空間の観点から分析を行った．
その結果，単語ベクトルのノルムが意味変化量の予測に影響していることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}\label{sec:conclusion}

本研究では，時期や分野の異なる文書間で意味や用例の異なる単語を検出するタスクにおいて，既存の単語ベクトル学習手法に対して2つの拡張を提案した．
この手法は従来の手法の問題点を解消し，大規模な計算資源を必要とする BERT と比べ CPU のみで軽量かつ高速に学習可能である．
SemEval-2020 Task 1 での事前実験の結果，提案した2つの拡張手法によって意味変化した単語の検出性能を向上させることを確認した．
また，日本語と英語での実験より，提案した拡張手法は従来の手法よりも効果的に学習し，優れた性能を発揮する事を示した．
網羅的な分析の結果，提案した拡張手法は意味変化が既知である単語だけでなく，自明でない単語についても検出可能である事を示した．
意味変化の種類について先行研究の指標を用いて日本語で分析した結果，限定的な意味で使われるようになった単語と拡張された意味で使われるようになった単語を区別して検出できることがわかった．
最後に，回帰モデルを用いて意味変化のしやすさをベクトル空間の観点から分析した結果，単語ベクトルのノルムが意味変化量の予測に影響していることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」，同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{01refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{相田　太一}{%
2020年長岡技術科学大学工学部電気電子情報工学課程卒業．
2022年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了．
同年同大学同研究科同学域博士後期課程進学．
}

\bioauthor{小町　　守}{% 小林さんの執筆途中の論文誌から
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2008年より日本学術振興会特別研究員 (DC2)を経て，2010年同研究科博士後期課程修了．
博士（工学）．
同年同研究科助教．
2013年首都大学東京（現東京都立大学）システムデザイン学部准教授，2022年より教授．
2023年より一橋大学ソーシャル・データサイエンス研究科教授．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}

\bioauthor{小木曽智信}{% 白井さんの論文誌から
1995年東京大学文学部日本語日本文学（国語学）専修課程卒業．
1997年東京大学大学院人文社会系研究科日本文化研究専攻修士課程修了．
2001年同博士課程中途退学．
2014年奈良先端科学技術大学院大学情報科学研究科博士課程修了．
博士（工学）．
2001年明海大学講師，2006年独立行政法人国立国語研究所研究員を経て，2009年人間文化研究機構国立国語研究所准教授，2016 年より教授．
言語処理学会，日本語学会各会員．
}

\bioauthor{高村　大也}{% 馬蝶さんの論文誌＋古山さんの論文誌
1997年東京大学工学部計数工学科卒業．
2000年同大学大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学で研究）．
2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．
博士（工学）．
2003年東京工業大学助手，のち助教，准教授を経て，2017年から2021年まで同教授．
2017年より産業技術総合研究所人工知能研究センターチーム長．
言語処理学会，ACL 各会員．
}

\bioauthor{持橋　大地}{% 2007年情報処理学会論文誌＋profileより
1998年東京大学教養学部基礎科学科第二卒業．
2005年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（理学）．
2003年ATR音声言語コミュニケーション研究所研修研究員/専任研究員．
2007年よりNTTコミュニケーション科学基礎研究所リサーチアソシエイト．
2011年より統計数理研究所准教授．
ACL 各会員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

