\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage[subrefformat=parens]{subcaption}
\usepackage{multirow}
%%%%\usepackage{enumitem}
\usepackage{bm}
%%%%\usepackage{tabularx}
\usepackage{booktabs}
\usepackage[dvipdfmx]{xcolor} % 自分で追加
% \newcommand{\red}[1]{\textcolor{red}{#1}}
%%%%\newcommand{\red}[1]{\textcolor{black}{#1}}
    \newcommand{\red}[1]{#1}
% aida
%%%%\usepackage{booktabs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2025}{5}{1}
\revised{2025}{7}{28}
\accepted{2025}{8}{26}

\setcounter{page}{1189}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{通時的な類似度行列に基づく単語の意味変化の分析}
\jauthor{木山　　朔\affiref{Author_2} \and 相田　太一\affiref{Author_1} \and 小町　　守\affiref{Author_2} \and 小木曽智信\affiref{Author_3} \and \\
	高村　大也\affiref{Author_4} \and 持橋　大地\affiref{Author_3}\affiref{Author_5} }
\jabstract{%
単語の意味や関係性は時間とともに変化する．この現象を単語の通時的な意味変化という．複数時期にわたってどのように意味が変化するのかの理解を目的とした研究は，意味変化の詳細な分析にとって重要である．しかし，隣接する時点間の変化点のみを検出する方法では，詳細な意味変化の分析には不十分である．また，BERTに基づく手法を用いて語義の割合を解析する方法には，計算コストが高くなるという問題が生じる．これらの課題に対処するために，本研究では軽量かつ高速な単語埋め込みを使用し，単語埋め込みに基づく単語の通時的な類似度行列を利用することで，複数の時系列にわたって意味変化のパターンを捉えるフレームワークを提案する．任意の単語に対して，時系列の各時点間で埋め込み間の類似度を算出することで，その類似度の変化パターンを意味変化のパターンとみなし，分析を行うことが可能となる．また，得られた複数の単語の類似度行列をクラスタリングすることにより，教師なしで類似度行列のパターンが似ている単語を算出できる．分析結果より，意味変化している単語と同じパターンである単語や，社会的な要因によって変化したと考えられる単語と同じパターンである単語をグループ化できることを示した．また，英語と日本語のデータセットに対して，複数の時期間隔において実験を行い，フレームワークの有効性とその限界について議論した．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，情報処理学会第262回自然言語処理研究発表会で発表した論文\cite{kiyama-etal-2025-nl}および The 31th International Conference on Computational Linguistics (COLING 2025) で発表した論文\cite{kiyama-etal-2025-analyzing} をもとに和訳と加筆，修正を行ったものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{意味変化，単語埋め込み，類似度行列，クラスタリング}

\etitle{Analyzing Word Semantic Shifts with Diachronic Similarity Matrices}
\eauthor{Hajime Kiyama\affiref{Author_2} \and Taichi Aida\affiref{Author_1} \and Mamoru Komachi\affiref{Author_2} \and Toshinobu Ogiso\affiref{Author_3}  \and \\
	Hiroya Takamura\affiref{Author_4} \and Daichi Mochihashi\affiref{Author_3}\affiref{Author_5} }
\eabstract{%
The meanings and relationships of words shift over time. This phenomenon is referred to as semantic shift. Research focused on understanding \textit{how} semantic shifts occur over multiple time periods is essential for gaining a detailed understanding of semantic shifts. However, detecting change points only between adjacent time periods is insufficient for analyzing detailed semantic shifts, and using BERT-based methods to examine word sense proportions incurs a high computational cost. To address those issues, we propose a simple yet intuitive framework for \textit{how} semantic shifts occur over multiple time periods by utilizing similarity matrices based on word embeddings. We calculate diachronic word similarity matrices using fast and lightweight word embeddings across arbitrary time periods, enabling a deeper analysis of continuous semantic shifts. By clustering these similarity matrices, we can further categorize words that exhibit similar patterns of semantic shift in an unsupervised manner. To assess the effectiveness of our framework and explore its limitations, we conducted experiments on both English and Japanese datasets across multiple time intervals.
}
\ekeywords{Semantic Shift, Word Embedding, Similarity Matrix, Clustering}

\headauthor{木山，相田，小町，小木曽，高村，持橋 }
\headtitle{通時的な類似度行列に基づく単語の意味変化の分析}

\affilabel{Author_2}{一橋大学}{Hitotsubashi University}
\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}
\affilabel{Author_3}{国立国語研究所}{National Institute for Japanese Language and Linguistics}
\affilabel{Author_4}{産業技術総合研究所}{National Institute of Advanced Industrial Science and Technology}
\affilabel{Author_5}{統計数理研究所}{The Institute of Statistical Mathematics}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

単語の意味や関連性が時間の経過により変化する事象を意味変化\cite{kutuzov-survey-2018,Periti-survey-2024,desa-2024-surveycharacterizationsemanticchange}と呼ぶ．
意味変化の例として，単語「horn」が挙げられる．当初は動物の角という意味を持っていたが，時間の経過により楽器に関する意味を獲得した \cite{stern-semantic-change}\footnote{このような，意味変化が起きる単語は多義語が主に分析されている．同音異義語についても意味変化に関連するが，多義語として語の意味を分析する方が適切である，という立場にのっとり本研究では意味変化の分析を行う \cite{stern-semantic-change}．}．
従来は意味変化を人手で検出・分析していたが\cite{kutuzov-survey-2018}，膨大なデータから単語の意味変化を網羅的に分析するのは困難である．
そこで意味変化を計算的に検出するために，自然言語処理において単語埋め込みを用いた多くの研究が存在している．
ここで，単語埋め込みは分布仮説 \cite{distributional-harris,distributional-firth}に基づくため，単語埋め込みの変化は文脈の変化に対応し，単語の意味を捉えているとみなす．

意味変化の研究において，(i) \textgt{2つの期間で意味が変化したのはどの単語かの検出}，(ii) \textgt{複数の時期で単語の意味はどのように変化したかの分析}，の2つの問題が存在する \cite{periti-tahmasebi-2024-towards}．
前者の問いに対しては，2つの時期間における意味変化の度合いを測り人手との相関を定量的に評価している \cite{laicher-etal-2021-explaining,10.1145/3488560.3498529,rosin-radinsky-2022-temporal,cassotti-etal-2023-xl,aida-2023-joint,periti-tahmasebi-2024-systematic,aida2024semanticdistancemetriclearning,periti2024analyzingsemanticchangelexical}．
定量的に分析するために人手で2つの時期間の意味変化度合いがアノテーションされたデータセット \cite{schlechtweg-etal-2020-semeval,ling-etal-2024-jasemchange}が存在する．
しかし，意味変化の有無やその大きさに関する情報しか付与されていないため，どのような意味変化が起きたか，という意味変化のパターンを分析するのは困難である\footnote{2つの時期間の意味変化の有無（2値）や意味変化の大きさ（スカラー）のみでは，意味の良化や悪化，出現，消失といった意味変化のパターン（多クラス分類）を分析するには不十分である．}．
後者の問いについては，隣り合う時期同士での変化点検出を行う研究 \cite{change-detection-2014,yao-evolving-2018}やBERTに基づく埋め込みを用いて時期ごとの単語の語義の割合を分析した研究 \cite{hu-etal-2019-diachronic,giulianelli-etal-2020-analysing,kobayashi-etal-2023-bert}が存在する．
しかし，隣接する時期間での単語埋め込みの変化点を特定できるものの，変化点が複数回あった場合に，最初の時期の埋め込みとどのように違うかがわからず，変化のパターンが詳細に分析できない．
また，BERTといったトークンベースの埋め込みを用いることで複数の単語埋め込みをクラスタリングすることは可能であるが，計算資源の制約により，調査可能な単語数には限りがある．
さらに，2つより多い複数の時期にわたって意味変化度合いがアノテーションされたデータが存在せず，教師なしで分析する必要がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\vspace*{-1\Cvs}
\begin{center}
\includegraphics{32-4ia5f01.eps}
\end{center}
\hangcaption{単語の通時的な意味変化を類似度行列を用いて分析するフレームワーク：フレームワークの入力として，時期ごとにアライメントされた単語埋め込みを用いる．(i) 各期間で学習された単語埋め込みを用いて，対象単語の通時的な類似度行列を計算する．(ii) すべての単語の類似度行列に対してクラスタリングを実行する．}
\label{fig:intro}
\vspace*{-1\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究では，後者の問いに取り組むため，単語の通時的な類似度行列を用いたフレームワークを提案する．
図\ref{fig:intro}に概要を示す．
このフレームワークは2つのステップで構成される．
\begin{itemize}
    \item[(i)]
\emph{単語の通時的な類似度行列の計算．}単語埋め込みの通時的な類似度行列をそれぞれの単語ごとに計算する．類似度行列のパターンを意味変化のパターンとみなすことができる．
    \item[(ii)]
\emph{全ての単語の類似度行列をクラスタリング．}クラスタリングにより意味変化のパターンが似ている単語を教師なしで獲得できる\footnote{本研究では，分布仮説に基づき単語の埋め込みの変化を分析しているが，これで分析できる変化は共起単語（用例）の変化であり，意味の変化とは限らない点に注意する．この点は第7節にて議論する．}．
\end{itemize}
単語埋め込みの通時的な類似度行列を用いることで任意の時期間を考慮した意味変化の分析を可能にした．
また，入力に用いる単語埋め込みとして 軽量な埋め込み手法である PPMI-SVD joint \cite{aida-2023-joint}を採用することで，対象単語を数千のオーダーに増やし分析が可能となった．
さらに，英語と日本語の複数のデータセットでフレームワークの有効性を検証した．
本研究の貢献は以下の3つである\footnote{本研究の実装をGitHubで公開した．\\
\url{https://github.com/kiyama-hajime/acss-simmat}}．
\begin{itemize}
    \item[(i)]単語の通時的な類似度行列を用いた意味変化の分析フレームワークを提案した．高速かつ軽量な単語埋め込みを用いることで，幅広い単語に対して網羅的な分析が可能となった．また，単語の通時的な類似度行列を用いることで，任意の時期間での意味変化の分析が可能となった．さらに単語の類似度行列をクラスタリングすることで，似たパターンとなる類似度行列をグループ化した．加えて，関連する時期の領域間で自己相互情報量の差分を計算することで，意味変化の詳細な分析を可能にした．
    \item[(ii)]実データと擬似データに対し提案する分析フレームワークを用いた分析を実施した．実データでは英語と日本語の複数データセットに対してフレームワークを適応し，類似度行列の中から高い類似度を示す時期の特定や，共起単語の遷移，似た類似度行列のパターンについて分析した．加えて，擬似データを用いて変化パターンの分類タスクを実施し，提案するフレームワークの妥当性を定量的に検証した．
    \item[(iii)]複数時期の意味変化の分析に対する本研究の限界や応用性について議論した．英語と日本語の複数のデータセットに対し，時期の間隔を変えた場合の類似度行列の考察や，計算時間，埋め込み手法，類似度行列，クラスタリング，変化パターンといった本研究の限界を説明し，言語学への応用に向けた問題点について議論した．特に，分布仮説に基づく意味のモデル化の限界について指摘した．
\end{itemize}

本研究の構成を示す．
第2節では，複数時期の意味変化に関する研究と類似度行列を時系列データに適応した研究に関する問題点や差分について述べる．
第3節では，既存の問題点を解決するための類似度行列を用いた意味変化の分析フレームワークについて述べる．
第4節と第5節では，提案手法に対して英語と日本語のデータセットにおいて，単語の通時的な類似度行列における可視化や分析結果について述べる．
第6節では，擬似データから得られた類似度行列による変化パターン分類手法の性能を調査し，第4節と第5節で用いる実データの分析手法の妥当性を述べる．
第7節では，第4節から第6節までから得られた知見や今後の展望を述べる．
最後に，第8節で本研究のまとめを述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

本節では，複数時期の意味変化に関連する研究を2.1節で，類似度行列を一般化したグラム行列を時系列データに用いた研究を 2.2節で説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{複数時期の意味変化}
\label{subsec:related-multi}

複数時期の意味変化の分析の研究は特定の意味変化パターンを仮定するものと変化パターンを仮定しないものの2つが存在する．

特定の意味変化パターンを明らかにする，あるいは分類する研究について紹介する．
\citeA{mitra-etal-2014-thats}は，隣接時期間で単語の共起グラフをクラスタリングし，意味の分裂や統合，誕生，消滅といった意味変化のパターンを分析している．
意味変化の統計的法則として，\citeA{hamilton-etal-2016-diachronic}は頻度と多義性について，\citeA{feltgen-freq-pattern-2017}は初期と終期になだらかに上昇し，中期に急激に上昇するS字型の頻度増加パターンについて分析している．
意味変化の変化パターンの分類では，\citeA{shoemark-etal-2019-room}は意味変化検出の評価フレームワークとして7つの変化パターンを定義し，\citeA{cassotti2024usingsynchronicdefinitionssemantic}は文単位の意味変化の種類を分類するタスクを定式化している．
\citeA{baes-etal-2024-multidimensional}は，意味変化を引き起こす要因や次元を用意することで意味変化を分析している．

次に，特定の意味変化パターンを仮定せず教師なしの手法で意味変化のパターンを分析する研究について紹介する．
\citeA{change-detection-2014}は，隣接する時期間の単語埋め込みの距離を計算することで，意味変化が発生した時期を検出する方法を提案している．
これを受け，\citeA{yao-evolving-2018}は，時期ごとに単語埋め込みを逐次的に学習することで，社会的要因によって引き起こされる意味の変遷を分析している．
上記の手法とは別に語義の割合を計算し分析する手法も存在する．
\citeA{hu-etal-2019-diachronic}や\citeA{giulianelli-etal-2020-analysing}は，BERTを用いて語義の割合に対して，生態学的な視点から意味変化パターンを分析している．
\citeA{inoue-etal-2022-infinite}は，トピックモデルを用いたベイズによる手法を提案し，複数の時期にわたる語義数の推定およびその変遷の追跡を行っている．
\citeA{kobayashi-etal-2023-bert}は，日本語の単語を対象にBERTの埋め込みから語義の割合を複数時期にわたって分析している．

上記で述べた手法には以下の限界がある．
\begin{itemize}
    \item[(i)]分析において特定のパターンの意味変化を仮定している\cite{mitra-etal-2014-thats,hamilton-etal-2016-diachronic,feltgen-freq-pattern-2017,shoemark-etal-2019-room,cassotti2024usingsynchronicdefinitionssemantic,baes-etal-2024-multidimensional}．
    \item[(ii)] 隣接する時期間における意味変化のみを分析している\cite{change-detection-2014,yao-evolving-2018}．
    \item[(iii)] 対象単語を限定し分析している\cite{hu-etal-2019-diachronic,giulianelli-etal-2020-analysing,inoue-etal-2022-infinite,kobayashi-etal-2023-bert}．
\end{itemize}
これらの課題に対処するために，本研究では単語の通時的な類似度行列を用いた意味変化を分析するフレームワークを提案する．
このフレームワークは特定の意味変化パターンを仮定せず，任意の時期間における分析を行い，幅広い意味変化パターンが獲得できる．
さらに，軽量かつ高速な単語埋め込みを使用することで，語彙に含まれる単語を網羅的に選択できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{時系列データのためのグラム行列}
\label{subsec:related-sim}

類似度行列の計算は，カーネル法における内積を類似度として扱うグラム行列の計算に相当する．
時系列データを分類するためにグラム行列に変換する研究は数多く存在し，3次元の人間動作 \cite{zhang-gram-3d,kacem-gram-matrix-3d}，眼球運動 \cite{qiu-gram-nystagmography}，音声イベント \cite{antonio-gram-sound-2021}などの様々なデータに使用されている．
得られたグラム行列は，サポートベクターマシンや畳み込みニューラルネットワークといった教師あり手法による分類の特徴として使用されることが多い．

自然言語処理においても，特定の時期に微調整された言語モデルの傾向を調査するためにグラム行列が用いられている．
\citeA{nylund-etal-2024-time}は，元々のT5モデル\cite{T5}と各時期に対応するデータセットでファインチューニングしたT5モデルの重みの差分を時間ベクトルとみなし，モデルの特徴が時間と共にどのように変化するかを追跡している．
本研究では，異なる時期の単語埋め込みを用いて通時的な単語の類似度行列を計算し，これらの類似度行列をクラスタリングする．
モデルのパラメータの時間ベクトルではなく，各時期の単語ベクトルを利用している点が異なっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{意味変化分析のための単語の通時的な類似度行列}

本節では，類似度行列を用いた意味変化分析のためのフレームワークを説明する（図\ref{fig:intro}）．
まず，各時期の単語埋め込みを用いて単語の通時的な類似度行列を計算する．
続いて，自己相互情報量の差分を用いて得られた類似度行列が用例や意味の変化を反映しているかを分析する．
最後に，全単語について計算された類似度行列を用いてクラスタリングを行う．
クラスタリングにより，類似した類似度行列を示す単語をグループ化することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{入力：単語埋め込み}
本フレームワークへの入力は，各時期の単語埋め込みから構成される．
これらの埋め込みは，異なる時期同士で単語埋め込みを比較可能にするために，各時期で一貫性を確保するために同一のモデルから取得するか，あるいは異なる時期間で次元がアライメントされる必要がある．
本研究では，大量の対象単語を効率的に計算・準備するためにPPMI-SVD joint \cite{aida-2023-joint}\footnote{PPMI-SVD joint の計算効率については，第 7 節にて議論する．}を用いる．
正の自己相互情報量 (Positive Pointwise Mutual Information; PPMI) は，2つの単語間の関連度を測定する指標である．
PPMI-SVD jointは，全ての時期のPPMI行列に対して特異値分解 (Singular Value Decomposition; SVD) による圧縮を同時に行うことで，各時期間にわたりアライメントのとれた次元の埋め込みを取得できる．

ここで，対象単語を$w$，文脈単語を$c$とし，それぞれの（共起）確率を$p(w)$，$p(c)$，および$p(w,c)$とする．
対象単語数を$W$，文脈単語数を$C$とすると，PPMI行列$\bm{M} \in \mathbb{R}^{W \times C}$は次のように定義される：
\[
\bm{M}_{wc} = \max \left( \log \dfrac{p(w,c)}{p(w)p(c)}, 0 \right).
\]

ここで得られるPPMI行列は，特異値分解によって圧縮されると，$\bm{M}=\bm{U}\bm{\Sigma} \bm{V}^\mathsf{T}$の形になり，スキップグラムに負例サンプリングを用いた単語埋め込みと等価になる \cite{levy-2014-matrix}．
ここで，$\bm{U}$および$\bm{V}$は直交行列，$\bm{\Sigma}$は$\bm{M}$の特異値を含む対角行列である．
単語埋め込みの次元数を$D$とすると対象単語埋め込みに相当する行列$\bm{E}\in \mathbb{R}^{W \times D}$は$\bm{E} = \bm{U}\bm{\Sigma}^{1/2}$で，文脈単語埋め込みに相当する行列$\bm{C}\in \mathbb{R}^{D\times C}$は$\bm{C} = \bm{\Sigma}^{1/2}\bm{V}^\mathsf{T}$と表される．
PPMI-SVD jointでは異なる時期の文章で変化しないことを仮定し，各時期のPPMI行列$\bm{M}^{(t)}$を結合した行列$\bm{M}_{all} = [\bm{M}^{(1)};\bm{M}^{(2)};\dots;\bm{M}^{(T)}]$をまとめて次元圧縮する:
\[
\begin{bmatrix}
    \bm{M}^{(1)} \\ \bm{M}^{(2)} \\ \dots \\ \bm{M}^{(T)}
\end{bmatrix}
=
\begin{bmatrix}
    \bm{E}^{(1)} \\ \bm{E}^{(2)} \\ \dots \\ \bm{E}^{(T)}
\end{bmatrix}
\begin{bmatrix}
    \bm{C}
\end{bmatrix}.
\]
これより時期間のアライメントがされた単語埋め込み$\bm{E}^{(t)} \in \mathbb{R}^{W \times D} ,t \in \{1, 2, \dots, T\}$が得られる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{単語の通時的な類似度行列の計算}
\label{subsec:frame-sim}
複数の時期間にわたる類似度を計算するために（図\ref{fig:intro}(i)），まず各時期$t \in \{1, 2, \dots, T\}$における単語$w$に対する$D$次元の単語埋め込み$\bm{e}^{(t)}(w) \in \mathbb{R}^D$を取得する．
ここで，関数$sim(\cdot,\cdot)$を類似度スコアを返す関数とすると，単語$w$の類似度行列$\bm{S}(w) \in \mathbb{R}^{T \times T}$は次のように定義される：
\[
\bm{S}_{ij}(w) = sim(\bm{e}^{(i)}(w),\bm{e}^{(j)}(w)), i,j \in \{1, 2, \dots, T\}.
\]
本研究では類似度としてコサイン類似度を採用する．
任意の時期間にわたる類似度行列を用いる利点として，意味変化がどのように発生したかを分析しやすくする点が挙げられる．
この手法により，隣接する時期のみを対象とする従来の変化点検出手法と比較して，意味変化がより解釈しやすくなる（4.2節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{PPMIの差分による類似度行列の分析}
得られた類似度行列が実際の用例や意味の変化を反映しているかを確認するため，時期集合間の PPMI の差分を用いて分析を行う．
対象単語$w$に対する時間領域$\mathcal{T}_1$と時間領域$\mathcal{T}_2$におけるPPMI 行の差分 $\Delta \bm{M}^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$ は，ある単語が時間領域$\mathcal{T}_1$には共起するが時間領域$\mathcal{T}_2$には共起しない度合いを表す：
\begin{align*}
\bm{M}^{(\mathcal{T}_1)}_{w*} &= \dfrac{1}{|\mathcal{T}_1|} \sum_{t \in \mathcal{T}_1}\bm{M}^{(t)}_{w*} \\
\bm{M}^{(\mathcal{T}_2)}_{w*} &= \dfrac{1}{|\mathcal{T}_2|} \sum_{t \in \mathcal{T}_2}\bm{M}^{(t)}_{w*} \\
\Delta \bm{M}^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)} &= \bm{M}^{(\mathcal{T}_1)}_{w*} - \bm{M}^{(\mathcal{T}_2)}_{w*}, \\
\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)} &= \{c \mid c \in \mathrm{argsort}(\Delta \bm{M}^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)})_{[:k]}\}.
\end{align*}
したがって，この差分を計算し，対象単語における上位の単語集合$\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$を調べることで，特定の時間領域$\mathcal{T}_1$に共起する単語を特定し，用例や意味の変化の要因が分析可能となる\footnote{PPMI の定義により，時期間の PPMI の差分における正の値に着目する．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{単語の通時的な類似度行列のクラスタリング}
類似度行列のクラスタリング（図\ref{fig:intro}(ii)）は，以下の手順で行う．
まず，類似度行列の上三角部分をシリアライズし，ベクトル表現として獲得する．
次に要素ごとにロジット変換を行う．
ロジット変換とは入力となるスカラー$x (0 < x < 1)$に対して，次のようなスカラー$y$に変換するものである．
\[
y = \log (\dfrac{x}{1-x})
\]
最後にクラスタリングを行う．
本研究では階層型クラスタリングを採用する．
類似度行列から得られたベクトルをクラスタリングすることで，各クラスタには類似度行列のパターンが格納されることを期待しこの分析を実施している．
この分析から，特徴的な単語のパターンと似ている単語を教師なしで算出できる．
また，各クラスタ内の類似度行列の代表的なパターンを分析することで，クラスタのパターンが明らかとなり，クラスタリング結果の解釈が容易になる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実データでの実験：英語}
\label{chap:simmat}

単語の通時的な類似度行列が\textbf{英語の}意味変化の分析に有用であることを示す．
まず，英語コーパスの実験設定について4.1節で説明する．
次に，実際の類似度行列を可視化し，隣接する時期間のみを用いる場合と比較してより詳細な分析が可能であることを4.2.1 節で示す．
さらに，類似度行列自体が PPMI を用いて分析可能であることを 4.2.2節で示す．
最後に，英語コーパスにおける類似度行列のクラスタリング結果を 4.3 節で提示する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{subsec:simmat-set}

本研究では，データセットとして Corpus of Historical American English (COHA) \cite{coha,alatrash-etal-2020-ccoha}，Corpus of Contemporary American English (COCA) \cite{coca}およびNews on the Web Corpus (NOW)\footnote{\url{https://www.english-corpora.org/now/}}を使用する．
COHA は，1820年から2010年までのアメリカの英語の歴史コーパスであり，10年ごとに区切られて19時期のサブコーパスが構成されている\footnote{COHA では，TV/MOVIE，FICTION，POPULAR MAGAZINES，NEWSPAPER，NON-FICTION BOOKS の5つのカテゴリが存在しており，全てのカテゴリのデータを用いている．}．
なお，1820年代のデータはデータ量が小さすぎるため使用していない．
COCA は1990年から2019年までのアメリカの英語の現代コーパスで，1年ごとに区切られて30時期のサブコーパスが構成されている\footnote{COCA では，ウェブとブログのデータカテゴリは時間固有の情報が含まれていないため使用していない．}．
NOW は2010年から2025年までのウェブのニュースや雑誌のコーパスで，1ヶ月ごとにコーパスが分かれている．本研究では2010年の1月から2012年の12月までの36時期を対象として分析する．
今回は全てのデータセットで，各時期において100回以上出現する単語を対象単語とした．
その結果，COHA は3,231語，COCA は2,805語，NOW は4,140語となった．
単語埋め込みには100次元の PPMI-SVD joint を使用し，類似度にはコサイン類似度を用いた．
文脈窓の大きさは前後10単語とした．
それぞれのデータセットに対し，Cleaned COHA のクリーニング手法 \cite{alatrash-etal-2020-ccoha}を適用した．
空のトークンやnullトークン，不正なトークン，品詞タグの除去，レンマタイズや文境界の明確化を行った．
その後，サブサンプリングによるクリーニングを行った．
COHA には$1e^{-4}$，COCA には$1e^{-5}$，NOWには$1e^{-4}$のサブサンプリングしきい値を使用した．
これらの値は，100回以上出現する対象単語が削除されないように設定した\footnote{サブサンプリングの値は単語を間引く確率に関係し，この値が大きいほど間引かれる単語が多くなる．COCA はデータセットのサイズが COHA や NOW と比べ小さいため，小さいしきい値を採用した．実装に使用したコードは以下である．\\ \url{https://github.com/a1da4/sppmi-svd/blob/master/subsample.py}}．
COHA，COCA および NOW の統計情報は表\ref{tab:app-coha}，表\ref{tab:app-coca}および表\ref{tab:app-now}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1 and 2
\begin{table}[t]
\begin{minipage}{190pt}
\input{05table01.tex}%
\caption{COHAの統計量．}
\label{tab:app-coha}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\input{05table02.tex}%
\caption{COCAの統計量．}
\label{tab:app-coca}
\end{minipage}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{05table03.tex}%
\caption{NOWの統計量.}
\label{tab:app-now}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

クラスタリングでは，類似度の計算方法としてコサイン類似度を，特徴量として類似度行列の上三角成分をしロジットに変換しさらに標準化したものを，アルゴリズムとして階層型クラスタリングを用いている\footnote{最も高い分類性能を持つ手法を決定するために，類似度の計算方法，類似度行列の要素，クラスタリング手法，および標準化の有無を擬似データを用いた分類実験 6.2 節で検討している．}．
クラスタリングのしきい値は，COHA では8，COCA では30，NOW では20に設定している\footnote{クラスタリングにおける最適なクラスタ数やしきい値の設定は難しい問題であり，この点については第 7 節で論じる．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語の通時的な類似度行列の分析}
\label{subsec:exp-pseudo_embed_v_simmat}

類似度行列の可視化による定性的な結果（4.2.1 節）と，PPMI の差分に基づく定量的な分析結果（4.2.2 節）について説明する．
単語の通時的な類似度行列を可視化することで，似た類似度の領域を特定し（4.2.1 節），領域ごとの PPMI の差分を計算することで，特定の時期のみ共起する単語が分析できること（4.2.2 節）を示す．
 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{類似度行列の可視化}
\label{subsec:vis-sim}

COHA，COCA および NOW における単語の通時的な類似度行列を可視化する．
類似度行列を可視化することで，隣接する時期のみに注目する場合と比べて，任意の時期間にわたる意味変化や用例変化が分析可能であることを示す．
また，異なる時期スライス（10年や1年，1ヶ月）でも類似度行列による分析が可能であることを示す．

図\ref{fig:cos_coha}は，COHAから得られた単語「record」の類似度行列を示している．
「record」は「物事や出来事を保存する」という意味から「音を再生するメディア，スポーツの記録」として意味に変化した単語である\cite{schlechtweg-etal-2020-semeval}．
この類似度行列から，1910年代を境に高類似度となる領域が2つ（1830--1910年，1920--2010年）確認でき，「record」の用例が1920年頃に変化したことを示唆している．
単語「record」の意味変化を類似度行列で表現できていることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2 and 3
\begin{figure}[b]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f02.eps}
\end{center}
\hangcaption{COHAにおける「record」の単語埋め込みの類似度行列．}
\label{fig:cos_coha}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f03.eps}
\end{center}
\hangcaption{COCAにおける「president」の単語埋め込みの類似度行列．}
\label{fig:cos_coca}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:cos_coca}は，COCAから得られた単語「president」の類似度行列を示している．
「president」は，特にアメリカ大統領選挙に関連した社会的要因によって意味や用例が変化した可能性があるとして選択した．
類似度行列の分析から，類似度行列は大きく2つの領域に分かれている．
1つは1991--2016年まで，もう1つは2017--2019年までである．
これより，2017年を境に用例が変化したことが示唆される．
2017年以降はトランプ政権下における「president」の用例が増え，用例が変化したものと考える．
さらに，1998年および2012年には急激に類似度が低下する変化が見られ，これは1998年の42代大統領ビル・クリントンに関わるスキャンダルや，2012年の大統領選挙\footnote{Barack Hussein Obama II vs Willard Mitt Romney}に関連した変化が文書に反映されていることを示唆している．
この分析は，隣接する時期間のみを比較することでは得られない情報を提供する．
隣接する時期間のみに注目すると，1998年と2017年に変化が生じていることが確認できるが，用例が元に戻るケース（1998年の変動）や完全に異なる用例に変わるケース（2017年の変動）の2つの違いを区別することができない．
このような2つのケースを識別できることは，任意の時期間にわたる意味変化の分析の利点である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4 and 5
\begin{figure}[t]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f04.eps}
\end{center}
\hangcaption{NOWにおける「remind」の単語埋め込みの類似度行列．}
\label{fig:cos_now1}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f05.eps}
\end{center}
\hangcaption{NOWにおける「nuclear」の単語埋め込みの類似度行列．}
\label{fig:cos_now2}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:cos_now1}は，NOWから得られた単語「remind」の類似度行列を示している．
単語「remind」は類似度行列を分析している際に特徴的な変化をしているため選択した．
類似度行列の分析から，類似度行列は大きく2つの領域に分かれている．
1つは2010年1月--2010年10月と2012年9月--2012年12月まで，もう1つは2010年11月--2012年8月である．
後者の領域（2010年11月--2012年8月）では特に高い類似度を示しており，この時期間における用例が似ていることがわかる．
しかし，どのような用例の変化なのかの分析は類似度行列だけでは不十分である\footnote{\ref{subsec:simmat-ppmi} 節で共起単語の変化について詳細に分析する}．
図\ref{fig:cos_now2}は，NOWから得られた単語「nuclear」の類似度行列を示している．
「nuclear」は東日本大震災における原発事故の影響が英語のコーパスにも表れているのではと考え選択した．
類似度行列の分析から，類似度行列は途中の時期で急激に小さくなり，元に戻るようなパターンを示している．
急激に小さくなる時期は2011年3月と4月であり，東日本大震災が起きたタイミングと一致している．
また，2011年3月と4月間の類似度が高いことから，この2ヶ月間は震災に関連した単語の使い方がされていると考える．
このように時期の間隔が異なっていても類似度行列による用例の変化のパターンの分析ができる．
しかし，用例が変化しても意味が変わるとは限らない点に注意する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{PPMIによる類似度行列の分析}
\label{subsec:simmat-ppmi}

各単語の変化点や高類似度の領域を\ref{subsec:vis-sim} 節で特定した後，
\pagebreak
各時期における詳細な意味変化を調査する．
\ref{subsec:vis-sim}  節より単語の通時的な類似度行列から，高類似度の領域を特定することで，同じ単語の使われ方をする時期を人手で解釈できた．
本節では，これらの領域から適切な時期を選び，PPMI の差分を計算することで，変化が発生した時期間において共起した単語がどのように変化したかを調査する\footnote{PPMI の差分を計算する際は PPMI-SVD joint 作成時の PPMI 行列を用いる．PPMI行列を再計算する必要はない．}．

類似度の差が実際に用例や意味の変化を説明しているかを，PPMI の差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) を調べることで確認する．
表\ref{tab:record}は，COHA における単語「record」の領域1（1830--1910年）と領域2（1920--2010年）の間での PPMI 差分が大きい上位10語を示している．
これは，図\ref{fig:cos_coha}における，2つの高類似度の領域を選んだ．
1830--1910年と1920--2010年の PPMI の差分から，1830--1910年に特有の共起語が明らかになる一方，1920--2010年から1830--1910年の PPMI を引くことで，1920--2010年に特有の共起語が明らかになる．
1830--1910年において「record」は出来事を保存・記録する意味で使用され，「chapter」や「event」のような共起語がこの使用を反映している．
一方，1920--2010年には「record」は音声を記録するメディアやスポーツの記録に関連した意味で使用され，「music」や「track」，「league」，「season」といった共起語がこの使用を示唆している．
「record」は意味変化した単語であるため，このような共起語の変化によって意味変化を引き起こしたものと分析できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{05table04.tex}%
\hangcaption{COHA から学習された単語「record」に対する領域1（1830--1910年）と領域2（1920--2010年）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:record}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:president}は，COCA における単語「president」の領域1（1991--1997と1999--2011と2013--2016年），領域2（1998年），領域3（2012年），領域4（2017--2019年）における PPMI 差分が大きい上位10語を示している．
これは，図\ref{fig:cos_coca}における，2つの高類似度の領域（1991--1997と1999--2011と2013--2016年による領域と2017--2019年による領域）とスパイクが起きた年（1998年と2012年）を選んだ．
1991--1997と1999--2011と2013--2016年には「marketing」「proposal」といった単語が「president」と共起しており，一般的な政策や大統領が行う行動に関連する使用を反映している．
1998年には「lawyer」「sexual」「investigation」といった単語が現れており，元アメリカ大統領クリントンの弾劾裁判に関連していると考える\footnote{Bill Clintonによる性のスキャンダルが1998年に起きている．}．
2012年には「ohio」「economy」「immigration」などが出現し，2012年の大統領選挙の主要な争点を反映していると考える．
2017--2019年には「border」や「moon」といった単語が現れ，その年に始まったトランプ政権の政策と関連している可能性が高い．
これらの観察結果は，「president」という単語が特に大統領選挙や重要な政治的出来事に応じて政治的・社会的文脈の変化に応じて単語の使用が変化していることを示唆している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{05table05.tex}%
\hangcaption{COCA から学習された単語「president」に対する領域1（1991--1997年と1999--2011年と2013--2016年），領域2（1998年），領域3（2012年），領域4（2017--2019年）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:president}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:remind}は，NOW における単語「remind」の領域1（2010年1月--2010年10月，2012年9月--2012年12月）と領域2（2010年11月--2012年8月）の間における PPMI 差分が大きい上位10語を示している．
これは，図\ref{fig:cos_now1}における左上と右下の領域（2010年1月--2010年10月，2012年9月--2012年12月）と中央の領域（2010年11月--2012年8月）から選んだ．
2010年1月--2010年10月，2012年9月--2012年12月では，「mum」や「dad」，「listener」，といった単語と共起しており，人物を対象とした使用が考えられる．
2010年11月--2012年8月では，「warrant」や「media」，「journal」，「responsible」といったメディアや保険に関連する単語と共起しており，社会的な用語としての使用が考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{05table06.tex}%
\hangcaption{NOW から学習された単語「remind」に対する領域1（2010年1月--2010年10月と2012年9月--2012年12月）と領域2（2010年11月--2012年8月）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:remind}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{05table07.tex}%
\hangcaption{NOW から学習された単語「nuclear」に対する領域1（2010年1月--2011年2月と2011年5月--2012年12月）と領域2（2011年3月--2011年4月）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:nuclear}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:nuclear}は，NOW における単語「nuclear」の領域1（2010年1月--2011年2月，2011年5月--2012年12月）と領域2（2011年3月--2011年4月）における PPMI 差分が大きい上位10語を示している．
これは，図\ref{fig:cos_now2}におけるスパイクが起きた時期（2011年3月--2011年4月）とそれ以外の時期（2010年1月--2011年2月，2011年5月--2012年12月）から選んだ．
2010年1月--2011年2月，2011年5月--2012年12月には「israeli」や「weapon」，「regime」といった国や軍といった単語と共起しており，政治の交渉の場としての核兵器に関連した使用を反映している．
2011年3月--2011年4月には「crisis」や「leak」，「cool」といった自身や原発に関連する単語と共起しており，東日本大震災における原発事故に関連した使用を反映している．
単語「nuclear」は意味変化は起こしてはいないものの，1ヶ月単位の社会情勢の変化を示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{類似度行列のクラスタリング}
\label{subsec:real-class}

類似度行列の分布を可視化し，どのようなパターンが取れたかについて説明する．
次に類似度行列をクラスタリングし，単語間で類似したパターンを示す単語群を特定する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f06.eps}
\end{center}
\hangcaption{階層型クラスタリングによる COHA の全単語の類似度行列の可視化．クラスタ数は20とし，クラスタのセントロイドとセントロイドに一番近い単語，その類似度行列を可視化している．}
\label{fig:cluster-all-coha}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

全単語の類似度行列を階層型クラスタリングを適用した時の結果を提示し，類似度行列のパターンとしてどのようなものが得られたかを示す\footnote{クラスタリングにおける類似度行列はロジット変換を行ったものを可視化している．対角成分は使用していない点に注意する．}．
図\ref{fig:cluster-all-coha}では COHA における全単語の類似度行列を階層型クラスタリングでクラスタ数を20とした時の結果を示す．
各クラスタを代表する単語とその通時的な類似度行列，各クラスタのセントロイドに対応する類似度行列，各クラスタ内の単語の数を示している．
各クラスタの代表となる単語の類似度行列はクラスタ内のセントロイドに一番近い単語を選んでいる．
代表単語とセントロイドの類似度行列のパターンをみると，隣接する時期間での類似度が高くなる，時期間の差の大きさが大きいほど類似度が低下する，概ね2つの高類似度の領域に分かれるようなパターンが確認された\footnote{COCA や NOW における全単語の類似度行列を階層型クラスタリングした場合の結果は付録の図\ref{fig:cluster-all-coca}，図\ref{fig:cluster-all-now}に示す．また，COHAとCOCA，NOWの全単語の類似度行列を階層型クラスタリングした場合の単語例については，表\ref{tab:cluster-top5-coha}，表\ref{tab:cluster-top5-coca}，表\ref{tab:cluster-top5-now}に示す．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7 and 8
\begin{figure}[b]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f07.eps}
\end{center}
\hangcaption{COHA において，階層型クラスタリングを適用した際の単語「record」と同じクラスタに含まれる単語の可視化．}
\label{fig:coha-cluster}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f08.eps}
\end{center}
\hangcaption{COCA において，階層型クラスタリングを適用した際の単語「president」と同じクラスタに含まれる単語の可視化．}
\label{fig:coca-cluster}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

全体の類似度行列のパターンが確認できたのち，詳細な分析のために特定の単語を含むクラスタの分析を行う．
図\ref{fig:coha-cluster}には，COHAにおいて「record」と同じクラスタに含まれる単語の階層型クラスタリングの結果を示している．
「record」が「government」や「wrong」といった単語とクラスタ化されていることが観察される．
このクラスタに含まれる単語は，「record」と類似した類似度行列を示しており，「record」と同じ時期での用例の変化を示唆している．
意味の変化が実際に発生したかを確認するには PPMI の差分を分析し詳細なアノテーションが必要である．

図\ref{fig:coca-cluster}には，COCA において「president」と同じクラスタに含まれる単語の階層型クラスタリングの結果を示している．
「president」が「lie」や「investigation」といった単語とクラスタ化されていることが確認できる．
このクラスタに含まれる単語は「president」と類似した類似度行列であり，同じ要因により用例が変化を示唆している．
これらのクラスタ内の単語に共通する特徴は，時期8（1998年）にスパイクが観察されることであり，これはビル・クリントンのスキャンダルに起因している可能性がある．
クラスタリングにより1998年の社会的要因に影響を受けた可能性のある1998年に類似度が低下するクラスタを検出できる．


図\ref{fig:now-cluster1}には，NOW において「remind」と同じクラスタに含まれる単語の階層型クラスタリングの結果を示している．
「fully」や「journal」，「relation」と同じクラスタに属しているが，同じ要因で用例が変化したかは不明である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9 and 10
\begin{figure}[t]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f09.eps}
\end{center}
\hangcaption{NOW において，階層型クラスタリングを適用した際の単語「remind」と同じクラスタに含まれる単語の可視化．}
\label{fig:now-cluster1}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f10.eps}
\end{center}
\hangcaption{NOW において，階層型クラスタリングを適用した際の単語「nuclear」と同じクラスタに含まれる単語の可視化．}
\label{fig:now-cluster2}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:now-cluster2}には，NOW において「nuclear」と同じクラスタに含まれる単語の階層型クラスタリングの結果を示している．
「nuclear」が「japan」や「radiation」といった単語とクラスタ化されていることがわかる．
「nuclear」は2011年3月に変化した類似度行列のパターンを持ち，東日本大震災における原発事故という要因によって用例が変化した単語が取れていると考える．
上記の分析より，異なる時間単位において，類似度行列のクラスタリングによる分析が有効であることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実データでの実験：日本語}

単語の通時的な類似度行列が\textbf{日本語の}意味変化の分析に有用であることを示す．
まず，日本語コーパスの実験設定について 5.1 節で説明する．
次に，実際の類似度行列を可視化とPPMIによる分析を 5.2 節で示す．
最後に，日本語コーパスにおける類似度行列のクラスタリング結果を 5.3 節で提示する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

本章ではデータセットとして日本語歴史コーパス (CHJ)\footnote{国立国語研究所 (2024) 『日本語歴史コーパス』バージョン2024.4 \url{https://clrd.ninjal.ac.jp/chj}}，
\pagebreak
昭和・平成書き言葉コーパス (SHC) \cite{shc}と毎日新聞コーパス\footnote{\url{https://mainichi.jp/contents/edu/03.html}}を用いる．
日本語歴史コーパスとは，奈良時代から明治大正時代までの日本語の歴史コーパスである．この中から，明治・大正編における雑誌記事である太陽コーパスを用いる．
太陽コーパスでは，1895年，1901年，1909年，1917年，1925年の5つの時期が存在する．
昭和・平成書き言葉コーパスは，昭和時代と平成時代の日本の歴史コーパスであり，1933年から2013年までの8年単位で区切られている．
1933年から1957年までは雑誌「中央公論」から，1965年から2013年までは雑誌「文藝春秋」からコーパスが構築されている．
日本語歴史コーパスと昭和・平成書き言葉コーパスは2つのコーパスを繋げた計16時期を用いる（以下 CHJ-SHC と表記）．
毎日新聞コーパスは，日本の新聞コーパスであり，2003年から2020年までの1年間隔で区切られ，18時期の埋め込みが得られている．
CHJ-SHC では各時期のコーパスのサイズが小さいため50回以上出現する単語を対象単語としている．
毎日新聞コーパスでは，各時期において100回以上出現する単語を対象単語としている．
日本語のテキストはMeCab\footnote{\url{https://taku910.github.io/mecab/}}とUniDic\footnote{CHJ-SHC では近代文語の UniDic-kindai\_1603 を，毎日新聞では現代書き言葉の unidic-cwj-202302 を用いている．\\ \url{https://clrd.ninjal.ac.jp/unidic/}}を用いて形態素解析されている．
対象単語数は，CHJ-SHC で891語，毎日新聞では7,228語であった．
それぞれのコーパスの統計情報は表\ref{tab:app-chjshc}, \ref{tab:app-mai}に示す．
サブサンプリングのしきい値として全てのデータセットで$1e^{-4}$を使用した．
単語埋め込みには100次元の PPMI-SVD joint を使用し，類似度にはコサイン類似度を用いた．文脈窓の大きさは前後10単語とした．
クラスタリングのしきい値は，CHJ-SHC では 13 に，毎日新聞では 10に設定している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{05table08.tex}%
\caption{日本語歴史コーパスと昭和・平成書き言葉コーパスの統計量.}
\label{tab:app-chjshc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{05table09.tex}%
\caption{毎日新聞データセットの統計量.}
\label{tab:app-mai}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語の通時的な類似度行列の分析}

日本語においても単語の通時的な類似度行列の可視化と 
\pagebreak
PPMI 差分における分析を行い，どのような分析が可能であるかを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 11 and 12
\begin{figure}[tb]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f11.eps}
\end{center}
\hangcaption{CHJ-SHC における「資本」の単語埋め込みの類似度行列．}
\label{fig:cos_chj1}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f12.eps}
\end{center}
\hangcaption{CHJ-SHC における「軍」の単語埋め込みの類似度行列．}
\label{fig:cos_chj2}
\end{minipage}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{類似度行列の可視化}

日本語でも類似度行列を可視化することで，用例変化や意味変化のパターンが分析できることを示す．
図\ref{fig:cos_chj1}は，CHJ-SHC から得られた「資本」の類似度行列を示している．
類似度行列が特徴的なパターンを持っておりこの単語を選定した．
1895--1917年と1933--1957年に高類似度の領域が存在する．
この類似度行列から，「資本」の用例の変化がいつ起きたのかを分析することができる．
しかし高類似度となる領域は，CHJ-SHCにおける雑誌「太陽」の時期（1895--1925年）と雑誌「中央公論」の時期（1933--1957年）と雑誌記事の変遷と合致しており，雑誌記事の変化が類似度の変化として取れていることが示唆される．

図\ref{fig:cos_chj2}は，CHJ-SHC から得られた「軍」の類似度行列を示している．
戦前と戦後，戦時中において，単語の用例や意味が大きく変化すると考え選定した．
1949年のみ類似度が小さくなっている類似度行列のパターンを持っていることがわかる．
1949年は第二次世界大戦直後のデータであるため，「軍」という単語の使用がこの時期だけ変化したこと（アメリカのGHQによる情報統制等）が示唆される．

図\ref{fig:cos_mai1}は，毎日新聞コーパスから得られた「復興」の類似度行列を示している．
「復興」は2011年の東日本大震災以降，用例が大きく変化をしたと考えこの単語を選定した．
高い類似度を示す3つのクラスタ（2003--2004，2005--2010，2012--2020）が存在し，2011年と他の期間との類似度が低いことがわかる．
これにより，「復興」には4つの異なる用法が存在することが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 13 and 14
\begin{figure}[b]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f13.eps}
\end{center}
\hangcaption{毎日新聞における「復興」の単語埋め込みの類似度行列．}
\label{fig:cos_mai1}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f14.eps}
\end{center}
\hangcaption{毎日新聞における「流行」の単語埋め込みの類似度行列．}
\label{fig:cos_mai2}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:cos_mai2}は，毎日新聞コーパスから得られた「流行」の類似度行列を示している．
「流行」はコロナ禍において用例が変化したと考え選定した．
2020年において類似度が急激に低下している．
コロナ禍の流行時期が2019年12月初旬であることを考えると，コロナ禍の影響を受け変化したことが示唆される．
COHA や COCA における英語での分析と比較して，日本語においても異なる時期間隔で類似度行列の分析が可能であることが確認できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{05table10.tex}%
\hangcaption{CHJ-SHC から学習された単語「資本」に対する領域1（1805--1917年）と領域2（1933--1957年）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:chj1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{PPMIによる類似度行列の分析}

日本語でも PPMI の差分による分析が有効であることを示す．
表\ref{tab:chj1}は，CHJ-SHC における「資本」の領域1（1805--1917年）および領域2（1933--1957年）に対する PPMI 差分が大きい上位の10単語を示している．
年の選定理由として，1805--1917年は図\ref{fig:cos_chj1}の右上の領域として，1933--1957年は右下の領域として選択した．
1805--1917年には，「金」「銀行」「会社」といった金銭や会社の経営といった意味で「資本」という単語が使用されている．
1933--1957年には，「主義」「帝国」「人民」といった第二次世界大戦直
後の思想としての「資本」という単語が使用されている．
このような単語の使用を分析できるが，CHJ-SHC は雑誌記事が異なっているため，これが雑誌の違いによる用例の変化なのか，雑誌に影響されない用例の変化なのかを分析することは困難である．
また雑誌の影響の有無がわかったとしても意味が変化したかどうかは詳細な分析が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{05table11.tex}%
\hangcaption{CHJ-SHC から学習された単語「軍」に対する領域1（1949年）と領域2（1895--1941と1957--2013年）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:chj2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:chj2}は，CHJ-SHC における「軍」の領域1（1949年）および領域2（1895--1941と1957--2013年）に対する PPMI 差分が大きい上位の10単語を示している．
年の選定理由として，1949年は図\ref{fig:cos_chj2}のスパイクが確認された時期の代表として選んだ．
1949年では「攻撃」「連合」「車」といった戦争に関係する用例として「軍」が用いられている．
1895--1941と1957--2013年では「子」「代表」「何」といった共起単語が確認されたが，共起単語から文脈を解釈できなかった．
1949年は第二次世界大戦直後のコーパスであり，連合国軍下による日本占領の影響を受けたものと考える
このように特定の時期にのみ用例が変化するものは意味の変化とは言えないが，社会情勢による用例の変化を分析できる．

表\ref{tab:hukkou}は，毎日新聞データセットにおける「復興」の領域1（2003--2004年），領域2（2005--2010年），領域3（2011年）および領域4（2012--2020年）に対する PPMI 差分が大きい上位10語を示している．
2003--2004年には，「復興」は「主権」，「統治」，「仏」といった共起語から外交的な文脈で使用されていることがわかる．
2005--2010年には，「復興」は「噴火」，「地震」，「瓦礫」といった共起語と関連し，国内の自然災害からの復興に関する文脈が反映されている．
2011年には，東日本大震災後，「復興」は「ビジョン」，「増税」，「原案」など政治的な議論と関連づけられた文脈で使用されている．
2012--2020年には，「復興」は「帰還」，「資材」，「解除」といった共起語と関連し，災害後の政策結果を反映した文脈で使用されていることが示されている．
このように意味の変化ではないものの，用例の変化を分析することができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{05table12.tex}%
\hangcaption{毎日新聞データセットから学習された単語「復興」に対する領域1（2003--2004年），領域2（2005--2010年），領域3（2011年），領域4（2012--2021年）の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:hukkou}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[t]
\input{05table13.tex}%
\hangcaption{毎日新聞から学習された単語「流行」に対する領域1（2003--2019年）と領域2（2020年）の間の PPMI 差分 ($\mathcal{N}_k^{(\mathcal{T}_2 \rightarrow \mathcal{T}_1)}$) に基づく上位10語とその語義の解釈．$\mathcal{T}_1$は対象時間領域を表す．}
\label{tab:ryuko}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:ryuko}は，毎日新聞データセットにおける「流行」の領域1（2003--2019年）および領域2（2020年）に対する PPMI 差分が大きい上位10語を示している．
2003--2019年には，「流行」は「破綻」，「警鐘」，「IMF（国際通貨基金）」，「FRB（米連邦準備制度）」といった共起語から経済や金融の危機や変動を説明するものとしての流行という使用がわかる．
2020年には，「流行」は「ウイルス」，「ワクチン」，「乳幼児」といった共起語と関連し，コロナ禍におけるウイルスの流行を反映した文脈で使用されていることが示されている\footnote{単語「コロナ」が出現しなかったのは，対象単語に含まれていないためである．各時期で100回以上は出現しないため対象単語に含まれていない．}．
上記のような社会的な影響を分析する上でも類似度行列による分析が役立つことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 15 and 16
\begin{figure}[b]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f15.eps}
\end{center}
\hangcaption{CHJ-SHCにおいて，階層型クラスタリングを適用した際の単語「資本」と同じクラスタに含まれる単語の可視化．}
\label{fig:sihon-cluster}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f16.eps}
\end{center}
\hangcaption{CHJ-SHCにおいて，階層型クラスタリングを適用した際の単語「軍」と同じクラスタに含まれる単語の可視化．}
\label{fig:gun-cluster}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 17 and 18
\begin{figure}[b]
\setlength{\captionwidth}{190pt}
\begin{minipage}{190pt}
\begin{center}
\includegraphics{32-4ia5f17.eps}
\end{center}
\hangcaption{毎日新聞において，階層型クラスタリングを適用した際の単語「復興」と同じクラスタに含まれる単語の可視化．}
\label{fig:hukko-cluster}
\end{minipage}
\hfill
\begin{minipage}{190pt}
\begin{center}/
\includegraphics{32-4ia5f18.eps}
\end{center}
\hangcaption{毎日新聞において，階層型クラスタリングを適用した際の単語「流行」と同じクラスタに含まれる単語の可視化．}
\label{fig:ryuko-cluster}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{類似度行列のクラスタリング}

日本語においても，特定の単語に含まれるクラスタの分析を行う\footnote{CHJ-SHCや毎日新聞における全単語の類似度行列の階層型クラスタリングの結果を図\ref{fig:cluster-all-chj}，図\ref{fig:cluster-all-mai}に，そのクラスタの単語例を表\ref{tab:cluster-top5-chj}，表\ref{tab:cluster-top5-mai}に示す．}．
図\ref{fig:sihon-cluster}では，CHJ-SHC における「資本」と同じクラスタに含まれる単語を示している．
「市場」や「政治」といった単語が同じクラスタに含まれており，資本と関係のある単語が取れている．
図\ref{fig:gun-cluster}では，CHJ-SHC における「軍」と同じクラスタに含まれる単語を示している．
「発見」や「派」といった単語が1949年に急激に類似度が小さくなっており，戦時直後の変化が反映されたクラスタと解釈できる．
図\ref{fig:hukko-cluster}では，毎日新聞における「復興」と同じクラスタに含まれる単語を示している．
「給与」や「支援」といった単語が2011年を境に類似度が変化しており，東日本大震災の変化が反映されたクラスタと解釈できる．
図\ref{fig:ryuko-cluster}では，毎日新聞における「流行」と同じクラスタに含まれる単語の階層型クラスタリングの結果を示している．
「流行」が「従事」，「確認」，「宣言」，「拡大」といった単語とクラスタ化されていることが確認できる．
このクラスタは，最後の時期である2020に類似度が急激に下がるパターンであり COVID-19 の影響による用例の変化を反映していると解釈できる．
上記の分析から日本語においても，似た類似度行列のパターンとなる単語が同一クラスタに属することがわかった．
閾値を増やすと同じパターンとはみなせない単語も増える点に注意する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{擬似データでの実験}
\label{chap:pseudo}

提案するフレームワークの有効性を定量的に示すために，\citeA{shoemark-etal-2019-room}によって提案された7つの擬似的な変化パターンの分類性能を評価する．
\textbf{擬似データを用いた実験は，実データにおけるクラスタリングの最適な実験設定を見つけるために実施する．}実データは擬似データよりノイズが多いため，どのクラスタリング手法が良いかを決めるのが困難である．そこで，擬似データを用いて擬似的かつ綺麗な変化パターンの分類性能から実データの最適な実験設定を決める．
まず，実験設定および7つの変化パターンについて 6.1 節で説明する．
7つの変化パターンに対する類似度行列の分析について 6.2 節で述べる．
次に，7つのパターンに対する分類タスクの結果を提示し，すべての時期間にわたる類似度を使用することで分類性能が向上することを 6.3 節で示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 19
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f19.eps}
\end{center}
\hangcaption{擬似データによる評価に用いる擬似単語の7つの変化パターン(Shoemark et al. 2019)．オレンジの線は$sense_1$，黒の破線は$sense_2$，その他の線は残りの$senses$に対応する．}
\label{fig:schema}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{subsec:pseuod-set}

\citeA{shoemark-etal-2019-room}によって提案された7つの変化パターンを図\ref{fig:schema}に示す．
彼らは3つの意味変化パターン (C1--C3) と4つの意味変化ではない変化パターン (D1--D4) を定義している．
各パターンの擬似単語に対し，コーパスから抽出した2つの単語$word_1$および$word_2$が擬似単語の\textbf{主要な意味}とされ，それぞれ$sense_1$および$sense_2$を表す．一方，7つのランダムに抽出された単語$words \in \{word_3, \dots, word_9\}$は\textbf{その他の意味} ($senses$) とされる．
これらの単語を擬似単語に置き換えることで，7つのパターンを再現する．

\begin{description}
\item \textbf{C1}: $sense_1$は一定で，$sense_2$が時間とともに増加する（新しい意味の獲得）
\item \textbf{C2}: $sense_1$が時間とともに減少し，$sense_2$が増加する（意味の転移）
\item \textbf{C3}: $sense_1$が時間とともに増加し，時期ごとに7つの$senses$がランダムに選択される（ノイズの中での意味の定着）
\item \textbf{D1}: $sense_1$が時間とともに増加する（ある意味の増加）
\item \textbf{D2}: $sense_1$は一定で，$sense_2$が一度だけスパイクする（特定の時期間に敏感）
\item \textbf{D3}: $sense_1$は一定で，$sense_2$が定期的にスパイクする（周期的に敏感な変化）
\item \textbf{D4}: 各時期間ごとに7つの$senses$がランダムに選択される（純粋なノイズ）
\end{description}

各擬似単語の確率は以下のように計算される．
\begin{description}
\item \textbf{C1}: $sense_1$は0.7で一定に保たれ，$sense_2$は対数スケールで0.1から1に増加する．
\item \textbf{C2}: $sense_1$は対数スケールで1から0.1に減少し，$sense_2$は0.1から1に対数スケールで増加する．
\item \textbf{C3}: $sense_1$は対数スケールで0.1から1に増加し，その他の$senses$は7つの意味に対してディリクレ分布からサンプリングされる．
\item \textbf{D1}: $sense_1$は対数スケールで1から0.1に減少する．
\item \textbf{D2}: $sense_1$は0.7で一定に保たれ，$sense_2$は期間4および6で0.55のスパイクを示し，それ以外の期間では0.1である．
\item \textbf{D3}: $sense_1$は0.7で一定に保たれ，$sense_2$は期間1と3，7と9，13と15で周期的にスパイクを示し，それ以外の期間では0.1である．
\item \textbf{D4}: 各$senses$はディリクレ分布からサンプリングされる．
\end{description}

2010年の毎日新聞データセットを使用して擬似データを作成する．
データセットは70\%をサンプリングし，20時期を作成する．
日本語テキストは MeCab と UniDic\footnote{現代書き言葉の unidic-cwj-202302 を用いている．}を用いて形態素解析され，50回以上出現する単語を対象単語とする．
頻度集合は4分位に分けられ，各頻度集合に対して5つの擬似単語を用意する．
頻度が高いものから順に0，1，2，3と頻度集合を定義している，
7つのパターンに対して20の擬似単語を準備し，合計140の擬似単語が生成される．
単語埋め込みには100次元の PPMI-SVD joint を使用する．
文脈窓の大きさは前後10単語とした．

分類性能は，類似度の計算方法，特徴抽出方法，クラスタリング手法，ロジット変換の有無，標準化の有無を変化させて評価する．
クラスタリングへの入力は140の擬似単語の類似度行列である．
7つのクラスタを用いて分類を行い，線形和割当アルゴリズム\footnote{SciPy の linear\_sum\_assignment 関数を使用して計算を行った．}を用いて最適なラベルとクラスタの対応を求め，正解率を算出する．


対数スケールおよびディリクレ分布の実装には Numpy を使用した\footnote{\url{https://numpy.org/}}．クラスタリング手法としては，階層型クラスタリングと K-means++ を検討した\footnote{scikit-learn の AgglomerativeClustering および kmeans を使用した．DBSCAN は，7つのクラスタに分類するためのクラスタ数を指定できないため使用していない．}．
また，標準化の影響についても検討を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 20
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f20.eps}
\end{center}
\hangcaption{各変化パターンに対する類似度行列の可視化の結果．いくつかの類似度行列はパターンの特徴を概ね捉えている．``C1-0-4''は変化パターンがC1で，頻度集合が0（一番頻度の高い集合），頻度集合の中にある単語番号が4の擬似単語を示す．}
\label{fig:pseuod-cos}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語の通時的な類似度行列の分析}

各変化パターンに対する類似度行列を擬似データを用いて可視化し，分析を行った．
図\ref{fig:pseuod-cos}は，各変化パターンに対応する擬似単語の単語埋め込みのコサイン類似度行列を示している．
C1やD3のように変化が検出しにくいものもある一方で，C2やD1のように類似度が増減するパターンや，D2に見られるように特定の期間でスパイクが発生するパターンは明確に示されている．
また，C3やD4のようなランダムノイズを含む変化も検出可能であり，類似度行列の高い解釈可能性を示している．

しかし，頻度バイアスの完全な除去は困難であることにも注意が必要である．
例えば，C2とD1を比較した場合，C2の時間軸を逆転させると，その類似度行列はD1のものに非常に似ている．
これは，頻度の高い期間ほど埋め込みにおける類似度が大きくなる傾向があることを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{変化パターンの分類}
\label{subsec:pseudo-class}

様々な実験設定での変化パターンの分類結果について議論する．
類似度の計算方法，特徴抽出方法，クラスタリング手法，ロジット変換の有無および標準化の有無について検討を行った．
類似度の尺度としてコサイン類似度とユークリッド距離を使用する．
類似度行列からの特徴抽出方法として以下の3つを検討した：
\begin{itemize}
    \item[(i)]隣接時期．類似度行列$S(w)$の要素$S_{i(i+1)}(w)$を使用する.
    \item[(ii)]時期0との類似度．類似度行列$S(w)$の要素$S_{0j}(w)$を使用する.
    \item[(iii)]上三角成分．類似度行列$S(w)$の要素$S_{ij}(w)$ ($i < j$) を使用する.
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 14
\begin{table}[b]
\input{05table14.tex}%
\hangcaption{擬似データにおける変化パターンの分類性能．「+ stand.」は特徴を標準化した場合の精度を示す．「logit」は特徴をロジット変換した場合の精度を示す．「logit+stand」は特徴をロジット変換し，標準化した場合の精度を示す．}
\label{tab:pseudo}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{結果}
表\ref{tab:pseudo}に各手法の分類性能結果を示す．
4,5 節における実データ実験は，上記の実験で最も高い分類性能を達成した組み合わせ（コサイン類似度＋上三角行列＋階層型クラスタリング＋ロジット変換＋標準化）を使用して実施した．
類似度計算方法に関して，コサイン類似度を用いると良い性能を示している．
これは，パターンを分類するためにノルムの正規化が重要であることを示している．
特徴量は上三角成分を用いた場合は一番性能が良く，任意の時期間の類似度が変化パターンの分類に有用であることを示唆している．
クラスタリング手法に関しては，標準化前では K-means++ が若干優れているが，標準化後には階層型クラスタリングがわずかに性能向上を示している．
コサイン類似度を使用した場合， K-means++ と階層型クラスタリングの間で性能の差はほとんど見られない．
標準化の有無を比較すると，標準化によって性能が向上することがわかった．
このタスクは変化パターンの分類であるため，類似度自体の大小よりも類似度の変化の仕方を捉えることが有益であると考える．
ロジット変換の有無を比較すると，標準化なしではロジット変換をかけた方が良い傾向となり，標準化ありでは決まった傾向はみられなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 21
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f21.eps}
\end{center}
\hangcaption{t-SNE で擬似データにおける擬似単語の類似度行列を2次元に可視化した結果.コサイン類似度を用いて，類似度行列の上三角成分をロジット変換し標準化したものを入力としている．}
\label{fig:tsne-pseudo}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{分析}
\red{提案するフレームワークが実データでの複数時期の意味変化の分析に有用であることを示すために，t-SNEによる擬似単語の分布の可視化と分類結果の混同行列の分析を行う．
擬似データで定義された変化パターンは必ずしも実データの変化パターンに該当するとは限らないが，これらの分析からどの変化パターンがどの程度分類できたか，という情報は複数時期の意味変化の研究の発展に寄与すると考える．
}
図\ref{fig:tsne-pseudo}に擬似単語の類似度行列を t-SNE で2次元に可視化した結果を示す．
一部の変化パターン (C2，C3，D1，D4) は t-SNE 上でも明確なクラスタとして分かれている．
対象単語が少なく変化パターンごとに20個の擬似単語が用意されているため，t-SNE 上でクラスタが明確に分かれていると考える．
次に，分類結果の混同行列を可視化し，どの変化パターンが識別可能かを分析する．
図\ref{fig:conf}は，上三角行列をロジット変換し標準化を行った状態で階層型クラスタリングを実施した際に得られた混同行列を示している．
図\ref{fig:conf}から，C2，C3，D1，D4のパターンは良好に分類される傾向があるが，C1，D2，D3のパターンは識別できなかった．
C1のパターンは，多義語が新しい意味を獲得するモデルである．
$word_1$の割合が一定に保たれているため，類似度が増加し，類似度に基づく分析が困難であり，埋め込み手法の限界を示している可能性がある．
また，D2とD3のパターンはスパイクを含むが，スパイクのタイミングがランダムであるため，類似度の変動がクラスタリングで効果的に捉えられなかった可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 22
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f22.eps}
\end{center}
\hangcaption{上三角行列を入力としロジット変換と標準化をし階層型クラスタリングを用いた場合の変化パターンの混同行列．}
\label{fig:conf}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{議論}

これまでに得られた結果に基づき，計算時間，データセット，埋め込み手法，類似度行列，クラスタリング手法，変化パターン，言語学への応用について考察する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{計算時間}
\red{
本研究では，高速な埋め込み手法として PPMI-SVD joint を用いている．
以下では，PPMI-SVD joint と BERT ベースの手法での計算時間の比較について述べる．
\citeA{aida-2023-joint}では，2つの時期間での意味変化の検出タスクにおいて PPMI-SVD joint と BERT ベースの手法との検出性能と計算時間の比較をしている．
表\ref{tab:time-simu}に\citeA{aida-2023-joint}の設定における計算時間と意味変化の検出性能を示す\footnote{BERTの計算時間は，2 CPU（Intel Xeon 2.60~GHz，全 56 コア）512~GB の RAM を持つ計算機で計測された\cite{aida-2023-joint}．}．
分析対象単語数は 22 単語で，英語の意味変化した単語の平均逆順位を用いて性能評価をしている．
検出性能は BERT ベースの手法が良いが計算時間は PPMI-SVD joint の方が良い結果であった．
特に PPMI-SVD joint の訓練時間は2分58秒，BERT ベースの訓練時間は2時間23分であったことから PPMI-SVD joint が軽量で高速な埋め込み手法であることがわかる．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 15
\begin{table}[t]
\input{05table15.tex}%
\hangcaption{PPMI-SVD joint と BERTベースの平均逆順位の性能と計算時間のシミュレーション．相田 他（2023）の計算結果（上部）を元に，本研究のCOHAの実験設定における時期数や分析対象単語数に変えた場合の埋め込みモデルの予測計算時間を算出する（下部）．PPMI-SVD jointは時期数に比例し，BERTは分析対象単語数に比例する．}
\label{tab:time-simu}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\red{しかし，2つの時期間の意味変化検出タスクでの計算時間であるため，これが複数時期に拡張される場合や単語数のオーダーが増加する場合には計算時間が増加することに注意が必要である．
以下では，本研究のCOHAの実験設定を仮定した際にどの程度の埋め込みの計算時間がかかるかをシミュレートする．
ここでPPMI-SVD joint は時期数のオーダーだけ，BERT ベースは対象単語数のオーダーに線形比例することを示す．
PPMI-SVD joint の計算時にボトルネックとなるのは特異値分解する部分である．
特異値分解の計算量は，行列$\bm{A} \in \mathbb{R}^{M \times N}$において$K$次元に圧縮する際は$O(MNK)$となる．
ここで，本研究では，時期数$T$の数だけPPMI行列が連結された行列$\bm{M}_{all} \in \mathbb{R}^{TW \times C}$を埋め込み次元数$D$に圧縮するので計算量は$O(TWCD)$となる．
時期数$T$以外は固定されるので，時期数のオーダーに比例することがわかる．
BERT の埋め込みの計算時にボトルネックとなるのは，各単語の用例を動的に計算する部分である．
分析対象単語数を$W_{target}$，単語の用例数を$U$とすると計算量は$O(W_{target}U)$となる．
時期数に関係なく，全ての用例に対して動的な単語埋め込みを計算することから，分析対象単語数のオーダーに比例することがわかる．
表\ref{tab:time-simu}に\citeA{aida-2023-joint}の計算時間を元に本研究の計算にかかる時間をシミュレートする．
本研究のCOHAの実験設定にならい時期数を19に，分析対象単語数を3,231にした場合を計算している．
表\ref{tab:time-simu}より本研究のCOHAの実験設定では，PPMI-SVD joint では28分30秒，BERTでは14日14時間と計算時間に大きな差があることがわかる．
\citeA{aida-2023-joint}らと比較して時期数が約10倍になるとPPMI-SVD jointの計算時間は10倍に，分析対象単語数が約150倍になるとBERTの計算量は150倍となり，それぞれの構成要素に対して線形比例に増加することがわかる．
特にPPMI-SVD jointは30分で計算が完了するのに対し，BERTでは14日程度計算に時間がかかるため，PPMI-SVD jointの方が計算の効率が良いことがわかる．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データセット}
本研究では，COHA や COCA のように同一ドメイン内で複数の時期間にわたるデータを含むコーパスを分析した．
しかし，異なるドメインにまたがる複数の時期間を扱う場合，ドメインの違いが類似度行列に反映され，意味変化の分析が難しくなる可能性がある．
例えば，CHJ-SHC における類似度行列（図\ref{fig:cos_chj1}）において，元の雑誌記事の違いによって類似度の変化が起きている可能性がある．
したがって，ドメインが異なる場合にも適用可能な頑健な手法の開発が，今後の意味変化の研究において重要であると考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 23
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f23.eps}
\end{center}
\hangcaption{単語「record」に対して類似度のスケールを統一した際の異なるデータセットでの類似度行列の比較．}
\label{fig:record-scale}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 24
\begin{figure}[b]
\begin{center}
\includegraphics{32-4ia5f24.eps}
\end{center}
\hangcaption{単語「russia」に対して類似度のスケールを統一した際の異なるデータセットでの類似度行列の比較．}
\label{fig:russia-scale}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，時期の分割には COHA で10年，CHJ-SHC で7--8年，COCA と毎日新聞で1年，NOW で1ヶ月の間隔を用いた．
ここで，意味変化を分析するための最適な時期の分割について議論するために，英語のコーパス (COHA，COCA，NOW) において同じ単語の類似度行列を類似度のスケールを統一して比較を行う．
図\ref{fig:record-scale}に単語「record」の，図\ref{fig:russia-scale}に単語「russia」の各英語のデータセットにおける類似度行列を示す．
図\ref{fig:record-scale}では，COHA での類似度行列であれば，類似度行列の変化を分析できるが，COCA や NOW では類似度の変化が見られず，類似度の分析ができなくなる．
これは「record」という単語は10年や100年単位で意味が変化した単語であるため，1年や1ヶ月といった短い単位では用例の変化が現れなかったと考える．
図\ref{fig:russia-scale}では，COHA や COCA の類似度行列であれば，類似度の変化を分析できるが，NOW では類似度の変化は分析できない．
これは「russia」という単語が10年や1年単位で用例が変化した単語であり，1ヶ月という短い単位では用例の変化が現れなかったと考える．
今回は NOW のデータセットの時期が2010年1月から2012年12月までであることを考慮すると，この時期における「russia」の社会的情勢に変化がなかった可能性も考えられる\footnote{1ヶ月単位の分析でも社会的情勢を分析できる例も存在する（図\ref{fig:cos_now2}）ため必ずしも1ヶ月単位が分析に使えないとは言い切れない．}．
また，間隔が短くなるほど（1年単位や1ヶ月単位のコーパス）極端に変化する類似度行列が見られることが多かった．
以上より，最適な時期間隔については分析対象のコーパスに依存するが，
中長期的な変化を追いたい場合は10年や7--8年といった広い時間間隔を，短期的な変化を追いたい場合は1年や1ヶ月といった狭い時間間隔を用いるのが望ましいと考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{埋め込み手法}
本研究では，PPMI-SVD joint による埋め込み手法を使用したため，埋め込み手法自体の限界が存在する可能性がある．
例えば，BERT ベースの埋め込み \cite{cassotti-etal-2023-xl,aida2024semanticdistancemetriclearning,periti2024analyzingsemanticchangelexical}を用いる場合，分析結果が変わる可能性がある．
BERTなどの動的埋め込みを用いる場合は，異なる時期にわたる単語ベクトルのクラスタリング結果から解釈が導けると考えられる\cite{hu-etal-2019-diachronic,giulianelli-etal-2020-analysing}．
ただし，BERT ベースのアプローチは計算コストが高いため，対象単語を絞り込む必要がある．
類似度行列の分類に関して，どの単語を含め，どの単語を除外するかの明確な基準を引くのは困難な問題である\footnote{\citeA{liu-etal-2021-statistically}や\citeA{aida-bollegala-2023-swap}は並べ替え検定を用いた単語の意味変化の有無の判定について議論しているが，1単語あたりに膨大な回数の演算が必要となるため，今回のように数千から数万の規模の単語全てに適用するのは困難である．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{類似度行列}
本研究では，類似度の計算方法としてコサイン類似度を用いている．
擬似データでの分類実験において最適な手法が単語埋め込み同士のコサイン類似度であったが，別の類似度を採用することや単語埋め込みの部分的な成分を用いた類似度計算といった考察は不十分である．
意味変化の有効な次元のみを用いて類似度を計算する方法\cite{aida2024semanticdistancemetriclearning,aida-bollegala-2025-investigating}や，単語埋め込みではない別の意味変化の要因\cite{baes-etal-2024-multidimensional}を用いた類似度行列の算出手法などが今後の研究方針として挙げられる．
また擬似的な類似度行列を生成するなどして，類似度行列に存在する構造を明らかにできれば，類似度行列のパターンの理解が深まると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{クラスタリング}
本研究では擬似データの実験から特徴量を標準化した方が変化パターンの分類性能が良いことがわかった．
しかし，類似度のスケールを無視して分類を行っているため，小さな類似度の変化と大きな類似度の変化を区別できていない．
意味変化を分析する上では大きな類似度の変化に着目したいため，特徴量の標準化については議論の余地がある．

また，クラスタリングのしきい値を人手で設定した．
これは，シルエットスコアの計算結果から，最適なクラスタ数が2であり，その後スコアが減少する傾向が見られたためである．
COHA と COCA ，NOWにおいて階層型クラスタリング計算したシルエットスコアは図\ref{fig:sil}に示している．
シルエットスコア以外の指標を用いて，最適なクラスタ数やしきい値を検討する必要がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 25
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f25.eps}
\end{center}
\hangcaption{ 英語のデータセット（COHAとCOCA，NOW）における階層型クラスタリングを用いた場合のシルエットスコア．}
\label{fig:sil}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{変化パターン}
本研究では，\citeA{shoemark-etal-2019-room}が提案した7つの変化パターンに基づき，擬似データを用いた分類タスクを評価した．
しかし，これら7つのパターンはすべての意味変化のタイプを網羅しているわけではない．
例えば「record」や「president」といった実データの単語の類似度行列を分析する中で，擬似データで定義されたパターンに当てはまらない変化が観察された．図\ref{fig:cos_coha}や図\ref{fig:cos_coca}は擬似データの7つのパターンでは説明できない変化パターンである．
図\ref{fig:cos_coha}では類似度が高い領域が2つある変化パターンを，\ref{fig:cos_coca}では類似度が高い領域が2つありスパイクが2回起きる変化パターンを示しているが，これらの変化パターンは擬似データの変化パターンでは定義されていないパターンである．
今後の研究方針として，複数期間にわたる意味変化タスクの定式化を通じて，実データをより反映する変化パターンの定義拡張が考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{言語学への応用}
言語学への応用例として，自動的に意味変化した単語を見つけることが挙げられる \cite{cook-stevenson-2010-automatically}．
計算的な手法を用いて，意味変化したと思われる単語を特定することで，言語学者は分析単語を効率的に探索でき，新たに意味変化した単語の発見につながることが期待できる．
本フレームワークを用いることで，意味変化した単語を検出するのみならず，\textgt{どのように変化したのか}という意味変化のパターンを\textgt{複数時期にわたって分析可能}となる．
さらにクラスタリングにより意味変化パターンが似ている単語を教師なしでまとめることが可能となった．
しかし，4つの問題点が存在する．
\begin{itemize}
    \item[(i)]分析対象の単語の選択基準が明確でない.
    \item[(ii)]類似度の変化は必ずしも意味変化ではない．
    \item[(iii)]自動的に語義を解釈する方法が確立されていない.
    \item[(iv)]複数時期にわたる意味変化度合いを定量化する方法が確立されていない.
\end{itemize}
本研究では分析対象単語として各時期で100回，あるいは50回以上出現した単語を用いた．
この選択方法では，対象単語が多過ぎてしまうため，分析の指針となる単語の選択方法が必要となる．
また，図\ref{fig:cos_coca}や図\ref{fig:cos_now2}，図\ref{fig:cos_chj2}，図\ref{fig:cos_mai2}のように単語の類似度は変化しているが，その意味については変化はしていない単語もある．
単語埋め込みは共起する単語の変化を反映しているが，これらの単語は単語の意味ではなく，単語の使われるドメインや社会的情勢による変化が取れているものと考えられる．
これは分布仮説の限界を示しているものであり，単語埋め込みではない別の手法で単語の意味を表現する必要がある．
語義の解釈についても自動化が必要である．
本研究ではPPMIの差分を用いて人手で解釈しているが，大規模言語モデルに解釈させる方針 \cite{giulianelli-etal-2023-interpretable,periti-etal-2024-automatically}なども考えられる．
いくつかの単語は従来の意味変化のパターンには存在しないパターンが存在しており，複数の時期間における意味変化度合いの定量化が難しいことが挙げられる．
これらの問題に取り組むことで，言語学への応用ができ意味変化という事象の深い理解が得られると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，単語の通時的な類似度行列を用いて任意の時期間にわたる意味変化を分析し，クラスタリングするフレームワークを提案した．
各時期の単語埋め込みを入力として，各単語の類似度行列を分析することで，任意の時期間を考慮した意味変化の詳細な分析を可能にした．
また，単語の類似度行列を入力としてクラスタリングを行うことで，教師なしの設定で似た類似度行列のパターンを示す単語群を特定可能にした．
実データを用いた実験では，英語と日本語のデータを対象に提案するフレームワークから特定できる意味変化の分析を行った．
類似度行列を可視化することで，意味が似ている時期のまとまりや急激に類似度が低下し元の類似度に戻るようなスパイクが起きる時期を明らかにできることを示した．
また PPMI の差分に基づく分析を行い，特定の時期にしか出現しない単語からその時期の語義の解釈を試みた．
そして単語の類似度行列のクラスタリングを行い，実データにおける似た類似度のパターンとなる単語群をまとめることができた．
また，擬似データを用いた実験では，提案するフレームワークが擬似的な変化パターンの分類に適していることが確認された．
加えて，フレームワークの構成要素ごとの限界についても分析し，分布仮説に対する問題点を指摘した．
本研究が複数時期にわたる意味変化の研究を進展させることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{倫理的配慮}

本研究は新たなデータやモデルの作成・公開を含まないため，直接的な倫理的懸念は予想されないが，単語ベクトルの学習に使用した公開コーパスには，内在するバイアスが含まれている可能性がある．
研究結果が誤解を招いたり差別的にならないよう，これらのバイアスの理解と軽減に努めることが求められる．

また，提案手法は入力の類似度行列の構築に特定の単語ベクトルを指定していないが，BERT のような事前学習済みモデルを使用する場合，これらのモデルが潜在的に持つバイアスが結果に影響を与える可能性がある\cite{anantaprayoon-etal-2024-evaluating}．
研究成果の公正性と信頼性を確保するためには，こうしたバイアスに対処することが必要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，国立国語研究所共同研究プロジェクト「開かれた共同構築環境による通時コーパスの拡張」およびJSTさきがけ「文理融合による人と社会の変革基盤技術の共創」JPMJPR2366および産総研--一橋大学文理共創プログラムおよびJST 次世代研究者挑戦的研究プログラム JJPMJSP2174 の成果の一部を含むものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{05refs}


\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 16
\begin{table}[h]
\input{05table16.tex}%
\caption{COHAのクラスタの代表単語とクラスタ内の単語例．}
\label{tab:cluster-top5-coha}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 17
\begin{table}[t]
\input{05table17.tex}%
\caption{COCAのクラスタの代表単語とクラスタ内の単語例．}
\label{tab:cluster-top5-coca}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 18
\begin{table}[t]
\input{05table18.tex}%
\caption{NOWのクラスタの代表単語とクラスタ内の単語例．}
\label{tab:cluster-top5-now}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 19
\begin{table}[t]
\input{05table19.tex}%
\caption{CHJ-SHCのクラスタの代表単語とクラスタ内の単語例．}
\label{tab:cluster-top5-chj}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 20
\begin{table}[t]
\input{05table20.tex}%
\caption{毎日新聞のクラスタの代表単語とクラスタ内の単語例．}
\label{tab:cluster-top5-mai}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 26
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f26.eps}
\end{center}
\hangcaption{階層型クラスタリングによる COCA の全単語の類似度行列の可視化．クラスタ数は20とし，クラスタ内の単語数とセントロイド，セントロイドに一番近い単語の類似度行列を可視化している．特定の時期から急激に変化する類似度行列のパターンが多くみられる．}
\label{fig:cluster-all-coca}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 27
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f27.eps}
\end{center}
\hangcaption{階層型クラスタリングによる NOW の全単語の類似度行列の可視化．クラスタ数は20とし，クラスタ内の単語数とセントロイド，セントロイドに一番近い単語の類似度行列を可視化している．特定の時期のみや特定の時期から変化する類似度行列のパターンが多くみられる．}
\label{fig:cluster-all-now}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 28
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f28.eps}
\end{center}
\hangcaption{階層型クラスタリングによる CHJ-SHC の全単語の類似度行列の可視化．クラスタ数は20とし，クラスタ内の単語数とセントロイド，セントロイドに一番近い単語の類似度行列を可視化している．}
\label{fig:cluster-all-chj}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 29
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia5f29.eps}
\end{center}
\hangcaption{階層型クラスタリングによる毎日新聞の全単語の類似度行列の可視化．クラスタ数は20とし，クラスタ内の単語数とセントロイド，セントロイドに一番近い単語の類似度行列を可視化している．}
\label{fig:cluster-all-mai}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\clearpage


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{木山　　朔}{%
2023年東京都立大学システムデザイン学部情報科学科卒業．2025年東京都立大学システムデザイン研究科情報科学域博士前期課程修了．同年一橋大学ソーシャル・データサイエンス研究科博士後期課程進学．現在に至る．
}

\bioauthor{相田　太一}{%
2020年長岡技術科学大学工学部電気電子情報工学課程卒業．2022年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了．2025年同大学同研究科同学域博士後期課程修了．博士（情報科学）．同年日本電気株式会社．現在に至る．
}

\bioauthor{小町　　守}{%
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（工学）．同年同研究科助教．2013年首都大学東京（現東京都立大学）システムデザイン学部准教授．2022年同大学同学部教授．2023年より一橋大学大学院ソーシャル・データサイエンス研究科教授．
言語資源構築や評価などの自然言語処理基盤技術とその応用の研究に従事．
}

\bioauthor{小木曽智信}{%
1995年東京大学文学部日本語日本文学（国語学）専修課程卒．1997年同大学院人文社会系研究科日本文化研究専攻修士課程修了．2001年同博士課程中途退学．2014年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．明海大学講師，独立行政法人国立国語研究所研究員などを経て，2016年より人間文化研究機構国立国語研究所教授．
}

\bioauthor{高村　大也}{%
1997年東京大学工学部計数工学科卒業．2000年同大大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学にて研究）．2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．2003年から2010年まで東京工業大学精密工学研究所助教．2006年にはイリノイ大学にて客員研究員．2010年から2016年まで同准教授．2017年から2021年3月まで同教授．2017年から産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長．2016年から2020年にかけて科学技術振興機構さきがけ研究員を兼務．
}

\bioauthor{持橋　大地}{%
1998年東京大学教養学部基礎科学科第二卒業. 2005年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了.
博士（理学）. ATR音声言語コミュニケーション研究所, NTTコミュニケーション科学基礎研究所を経て,
2011年より統計数理研究所数理・推論研究系准教授, 2024年より統計基盤数理研究系教授.
統計的自然言語処理と機械学習の研究に従事.
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate






\end{document}

