\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow} % 自分で追加
\usepackage{udline}
\renewcommand{\unnami}[1]{\setnami\unc{#1}}
% 以下自分で追加した useackage
\usepackage{subfigure} % 図1(a)~(b)
% 丸数字
\newcommand{\ctext}[1]{\raise0.2ex\hbox{\textcircled{\scriptsize{#1}}}}
% 外字
%%%%\usepackage[utf8]{inputenc}
%%%%\usepackage[T1]{fontenc}
%%%%\usepackage{textcomp}
%%%%\usepackage{otf}
    \usepackage[scale=1]{otf}
% p.3 の脚注7,8が 78 と出力されないように
%%%%\usepackage[multiple]{footmisc}
% チェックマーク
%%%%\usepackage{bbding}
%%%%\usepackage{pifont}
%%%%\usepackage{wasysym}
%%%%\usepackage{amssymb}
% 色
%%%%\usepackage[dvipdfmx]{color}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{11}{1}
\revised{2023}{2}{8}
\accepted{2023}{3}{9}

\setcounter{page}{713}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{BERT を用いた日本語の意味変化の分析}
\jauthor{小林　千真\affiref{Author_1} \and 相田　太一\affiref{Author_1} \and 岡　　照晃\affiref{Author_1} \and 小町　　守\affiref{Author_1}}
\jabstract{%
単語が持つ意味や用法は時代とともに変わっていく．
BERT から獲得した単語ベクトルをグルーピングし，時期ごとの使用率を算出することで意味変化を分析する方法がある．英語の意味変化分析では既にいくつかこの類の手法が導入されているが，日本語への適用はまだない．また，英語での分析では手法ごとの比較が行われていない．そのため，日本語に適用した際の性能や各手法がどのような条件で有効か明らかになっていない．そこで本研究では日本語を対象に，以下の実験を行なった．現代語で事前訓練された BERT の文脈依存ベクトルに，辞書を使った教師ありのグルーピング手法とクラスタリングを使った教師なしのグルーピング手法を適用し比較した．また BERT を通時的なコーパスで fine-tuning し， BERT の文脈依存ベクトルが捉える通時的な特徴を分析した．比較と分析の結果，充実した辞書がない場合，クラスタリングを使った手法が意味変化を捉えるのに適していることが分かった．さらに，現代語 BERT を通時的なコーパスで fine-tuning することで古い時期特有の表現により適した意味変化の分析が可能になることが分かった．一方で，古い時期に出現しない現代特有の用法がある場合には，意味変化を捉えられないケースも存在した．
\renewcommand{\thefootnote}{}
\footnote[0]{本研究は言語学会年次大会2021及び，PACLIC 2021 で発表した内容を拡張したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{意味変化, 日本語, BERT, 単語ベクトル}

\etitle{Analysis of Semantic Changes\\ in Japanese Words Using BERT}
\eauthor{Kazuma Kobayashi\affiref{Author_1} \and Taichi Aida\affiref{Author_1} \and Teruaki Oka\affiref{Author_1} \and Mamoru Komachi\affiref{Author_1}} 
\eabstract{%
The meaning and usage of words change over time. One method of analyzing these changes is to group word tokens by their meanings in each period and compare their usage rates. Several methods of this kind have been used to analyze semantic changes in English, but they have not yet been applied to Japanese. In addition, the methods have not been compared. Therefore, the performance of this method on Japanese and the conditions under which each method is effective have not been clarified. Thus, we conducted the following experiments on Japanese words. We applied a supervised grouping method using a dictionary and an unsupervised grouping method using clustering to context-dependent vectors in the BERT model and compared them. We also pre-trained BERT on a diachronic corpus and analyzed the diachronic features captured by the context-dependent vectors in BERT. The results of the comparison and analysis showed that in the absence of a well-developed dictionary, the clustering-based method was better able to capture semantic change. Furthermore, it was found that fine-tuning with a diachronic corpus can be used to capture semantic changes in older periods. However, it was also found that some words with usages that did not appear in the older period could not always be captured.
}
\ekeywords{Semantic Change, Japanese, BERT, Word Embeddings}

\headauthor{小林, 相田, 岡, 小町}
\headtitle{BERT を用いた日本語の意味変化の分析}

\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

「渋滞」という単語はもともと\mbox{\ctext{1}\ctext{2}}のように「物事が停滞する」の意味で使用されていた．
しかし自動車交通網の発展に伴い，1960年代頃から\ctext{3}\ctext{4}のように「交通渋滞」を意味する単語となった．
\begin{itemize}
    \item[\ctext{1}] 英國ハ年來斯好慣アリテ内閣ノ更迭セルタメ\underline{國務ノ{\bf 澀滯}}ヲ來シタル\UTF{30FF}甚ダ少シト雖モ
    \item[]\begin{flushright}（1862年, 朝比奈知泉『政黨内閣は果して國家永久の長計なるか』, 国民之友$\langle$29$\rangle$）\footnote{中納言ID: 60M国民1888\_29005（コーパス検索アプリケーション『中納言』(\url{https://chunagon.ninjal.ac.jp/})でこのサンプルIDを指定すると当該の用例を閲覧できる）}\end{flushright}
    \item[\ctext{2}] 課長の一人や局長の半分ぐらゐ缺けてゐたとて\underline{事務に{\bf 澁滯}を來たす}やうな憂ひもあるまいが、
    \item[]\begin{flushright}（1925年,古島一雄『役人となつての感想』, 太陽$\langle$1925-9$\rangle$）\footnote{中納言ID: 60M太陽1925\_09013}\end{flushright}
    \item[\ctext{3}] 出勤したニューヨーク市民は、ふだんより多いくらいで、\underline{道路は大{\bf 渋滞}}、という有様になったのです。
    \item[]\begin{flushright}（1975年, 磯村尚徳『ちょっとキザですが』）\footnote{中納言ID: OB0X\_00030}\end{flushright}
    \item[\ctext{4}] 高速道路入口付近で\underline{{\bf 渋滞}}にまき込まれた。
    \item[]\begin{flushright}（1984年, 安部公房『方舟さくら丸』）\footnote{中納言ID: OB2X\_00207}\end{flushright}
\end{itemize}

単語の意味や用法は時代や社会環境とともに現在も変化し続けている．
\textbf{意味変化}と呼ばれるこの現象には，さまざまなパターンがある．
前述の「渋滞」は意味する対象が狭くなる変化（物事が停滞する→交通渋滞）だったが，より広い対象を意味するように変わるパターンもある．
例えば明治・大正期の用例を見ると「柔軟」は「羊の毛の柔軟」や「柔軟なるゴム」のように物理的な柔軟性を表していた．
しかし現代に向かうにつれ「柔軟な姿勢」のように概念的なやわらかさを表す用例が増加する．
さらに，良い意味・中立的な意味だった言葉が悪い意味で使われる変化もある．
「貴様」は中・近世では敬意で用いられていたが，近世末になると目下の者への罵りの言葉に変化した．

\citeA{Bloomfield-1933}によると意味変化の要因には{\bf 文化的な要因}と{\bf 言語的な要因}の\mbox{2つ}がある．
文化的な要因は，新技術の登場や病気の大流行など社会的・文化的な事柄に起因し，急激な変化となることが多い．
近年の例では，自然現象，ビールの銘柄や会社の名前だった「コロナ」が数年で「新型肺炎」としての用例を急増させた．
一方，言語的な要因は特定の事柄に起因しない規則的な変化で，比較的ゆっくりと起こる．
例えば\ctext{5}\ctext{6}に示す「やばい」のように，否定の意味を持っていた単語が反対の肯定的な意味で使われ出すパターンが言語的な要因である．
こうした意味変化は特定の言語に限らず，さまざまな言語で起こっている\cite{hamilton-etal-2016-cultural,hou-etal-2020-language,rodina-kutuzov-2020-rusemshift}．
\begin{itemize}
    \item[\ctext{5}] 物色時間は，長いと\underline{\bf やばい}ので３分くらいだ。
    \item[]\begin{flushright}（1977年, 警察庁『警察白書』）\footnote{中納言ID: OW1X\_00102}\end{flushright}
    \item[\ctext{6}] \underline{\bf やばい}ぐらい可愛くて、かっこよくて・・あなたのしぐさ、言葉、表情一つ一つにトキメイてしまう。
    \item[]\begin{flushright}（2008年, Yahoo!ブログ）\footnote{中納言ID: OY14\_29685}\end{flushright}
\end{itemize}

上記の\ctext{1}～\ctext{6}は語義が変化した典型的な意味変化である．
本研究では，語義の変化と意味変化という単語を使い分ける．
語義の変化は文字通り，ある語義から別の語義への変化であるが意味変化は語義の変化に限らない．
例えば「尋常」という単語の変化を見ると，語義は「普通」のままだが否定的な文脈で出現する用法の変化が起きている．
このように{\bf ある単語特有（または少数の単語で特有）の用法の変化}も含めた広い概念として意味変化を扱う．
一方で，{\bf ある単語特有でない用法の変化}は意味変化としない．
例えば，「複合名詞としての出現が増加（減少）」や「近代から現代にかけて動詞の基本形を名詞的に扱う用法\footnote{「支払うをす」（支払いをする，の意味）が例である．}が消失」のような変化は意味変化としない．
本研究における意味変化前後の語義や用法の判断基準は\ref{eval}節で述べる．
以降，意味変化前の語義や用法を{\bf 原義}，意味変化後の語義や用法を{\bf 転義}とよぶ．


意味変化は主に言語学や辞書学で研究されてきた．
また，言語を社会的な観点から捉える点で社会学でも扱われる\cite{10.1093/oxfordhb/9780199641604.013.026}．
工学分野では自然言語処理が情報工学的知見を活かし，\linebreak
意味変化している単語の自動検出（{\bf 意味変化検出}）手法の開発や，
意味変化を分析する統計的手法を提案している．
これらの手法を使えば，これまで認知されてこなかった過去に意味変化していた語の発見，現在起こりつつある変化の捕捉，未来に起り得る変化の予測が可能になる．

意味変化検出の研究では，出現文脈に依存しない単語ベクトルを用いた手法と出現文脈に依存した単語ベクトルを用いた手法が提案されている\footnote{「文脈」という表現は非常に曖昧であるが，本稿ではベクトル化の際にモデルへ入力する対象単語を含む文や文書を「文脈」とよぶ．モデルへの入力が文であればその文全体が文脈であり，文書であればその文書全体が「文脈」である．}$^{,}$\footnote{陽にベクトル化を使わない意味変化検出手法もあるが，単語を数理モデルで扱う都合，一般化すると文脈非依存もしくは文脈依存なベクトル化として定式化できる．}．
出現文脈に依存しない単語ベクトル獲得手法の代表例は word2vec である．
word2vec は1つの単語を出現文脈によらず1つのベクトル値で表現する．
出現文脈に依存しない単語ベクトルを用いた手法を本稿では{\bf 文脈非依存}の手法とよぶ．
一方，出現文脈に依存した単語ベクトルの獲得手法では BERT や ELMo が代表的である．
BERT や ELMo は同じ単語でも出現文脈が変われば，文脈に応じた異なるベクトル値で表現する．
出現文脈に依存する単語ベクトルを用いた手法を本稿では{\bf 文脈依存}の手法とよぶ．


意味変化の検出が目的であれば，文脈非依存の手法でも問題ない．
しかし文脈非依存の手法は対象単語のあらゆる出現（語義・用法）をまとめて1つのベクトルで表現する．
そのため，個々の出現を十分に議論できず，意味変化を語義や用法ごとに観察する{\bf 意味変化の分析}（$\neq$検出）には適さない．
一方，文脈依存の手法では対象単語のすべての出現に1つずつ異なる値のベクトルを作成する．
これを何かしらの手法でグルーピングすれば，出現文脈に応じた語義や用法のクラスタが形成されることが期待できる．
それらのクラスタの出現比率を時期ごとに算出することで語義レベルで意味変化を観測できる．
本稿の目的は意味変化の分析であるため，文脈依存の手法を採用する．

意味変化の分析手法として\citeA{hu-etal-2019-diachronic}と\citeA{giulianelli-etal-2020-analysing}は英語ドメインで文脈依存の手法を提案している．
いずれの研究でも対象単語の文脈依存ベクトルを集めてグルーピングし，各グループの時期別出現比率を比較することで意味変化の分析を行なっている．
両者の違いはグルーピング手法である．
\citeA{hu-etal-2019-diachronic}は辞書に書かれた語義と例文を教師データとし，近傍法で語義クラスタの形成を試みた．
\citeA{giulianelli-etal-2020-analysing}は教師データを使わず，教師なしクラスタリングのみで用法クラスタの形成を試みた．
いずれも英語が対象のため，他言語での有効性は検証されていない．

自然言語処理における意味変化の研究には，通時的なコーパスと対応する期間中に意味変化した語のリストおよび実際に意味変化したことを示す論拠が必要であるが，計算機上で利用できる資源の整備が進んでいないのが現状である．
意味変化検出の研究は\citeA{schlechtweg-etal-2020-semeval}が公開したデータセットに含まれる英語，ラテン語，ドイツ語，スウェーデン語が主流であるが，日本語では共通に研究利用できる言語資源が限られ，利用範囲にも制限があるため，研究も前述の語族に比べて少ない．
日本語で意味変化検出を行なった研究として\citeA{aida-etal-2021-paclic}があり，数単語の分析を行なっているが，単語の各語義や用法を中心とした包括的な分析は行われていない．

以上を踏まえ，本研究では日本語を対象とし，以下の実験と分析を行なった．
意味変化の分析の観点で，
\citeA{hu-etal-2019-diachronic}の辞書を用いた手法と\citeA{giulianelli-etal-2020-analysing} のクラスタリングを用いた手法の日本語ドメインでの有効性を複数条件下で比較・検証した．
また，BERT や ELMo の文脈依存の手法の意味変化検出では，fine-tuning で検出精度が向上する報告があるため\cite{kutuzov-giulianelli-2020-uio}，現代語で事前学習された BERT を fine-tuning し，その影響を検証した．
以上の結果，日本語では辞書を使った手法よりも教師なしクラスタリング，特に $k$-means 法を使った手法が意味変化の分析に適していることが分かった．
また，現代語 BERT を fine-tuning することで，現代では使わないような古い用法でも意味変化を捉えるようになること，その一方で古い時期では使われていなかった現代の用法がノイズになるケースがあることが分かった．


本研究の貢献は以下の3つである．

\begin {itemize}

  \item 2つの意味変化分析手法（辞書ベースの教師ありグルーピング手法\cite{hu-etal-2019-diachronic}と教師なしのクラスタリング手法\cite{giulianelli-etal-2020-analysing}）の比較と適用方法の検討
  
  \item 日本語を対象とした BERT によるベクトル化を用いた意味変化の詳細な分析

  \item fine-tuning が文脈依存の手法に及ぼす影響の調査
  
\end {itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文脈依存の単語ベクトル化}

現在までに様々な単語のベクトル化手法が提案されているが，単語タイプごとに1つのベクトル値を与える方法と単語トークンごとに出現文脈に応じたベクトル値を与える方法の2つに大別できる．
単語タイプごとにベクトル化する方法としてword2vec \cite{mikolov-2013}や fastText\footnote{\url{https://fasttext.cc/}} があるが，これらの手法は単語の出現文脈に応じたベクトル化をしない文脈非依存な手法である．
本研究では語義や用法の変化を扱うために出現文脈ごとに異なる値のベクトルを得る必要があり，単語タイプごとのベクトル化手法（文脈非依存の手法）は適さない．
以降，本節では単語トークンごとに出現文脈に応じたベクトルを与える手法（文脈依存の手法）について先行研究を紹介する．

\citeA{schutze-1998-automatic}では，単語の共起情報を利用して文脈依存ベクトルを獲得する手法を提案した．
彼らはそのベクトルをクラスタリングすることで語義クラスタを形成し，語義曖昧性解消や情報検索での利用を試みた．
\citeA{erk-pado-2010-exemplar}の事例ベースモデル (Exemplar-Based Models) や\citeA{melamud-etal-2016-context2vec}のLSTM と多層パーセプトロンを使用した手法も提案されている．

近年では，深層学習を用いた事前学習済み言語モデルから文脈依存な単語ベクトルを獲得する手法が注目されている．
代表的な事前学習済み言語モデルとして，ELMo \cite{peters-etal-2018-deep}，BERT \cite{devlin-etal-2019-bert}，GPT \cite{Radford2018ImprovingLU}などがある．
GPT では前の文脈のみを考慮した学習が行われるのに対し，ELMo や BERT では前後の文脈を考慮した学習が行われる．
本研究の実験は，文全体を利用できる設定で行うため，文脈依存な単語ベクトルを獲得する手法として，ELMo や BERT がより適している．
ELMo は双方向の LSTM を用いたモデルであり，BERT は Transformer \cite{vaswani2017attention}のエンコーダ部分を用いたモデルである．
最近の研究では ELMo や BERT から獲得した文脈依存な単語ベクトルが語義曖昧性解消タスクで有効であり，特に BERT が良い性能を発揮することが示されている\cite{pilehvar-camacho-collados-2019-wic}．
本研究で用いる意味変化の分析手法では，単語を語義や用法ごとにグルーピングする必要があるため，語義曖昧性解消タスクで有効な BERT を用いた文脈依存の手法が効果的であると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語の意味変化検出}

本研究では単語の意味変化の分析が主目的であるが，盛んに研究されているのは意味変化検出である．
初期には単語の頻度情報を用いたナイーブな検出手法\cite{cook-stevenson-2010-automatically}が提案され，その後，深層学習モデルを使った手法が数多く提案された．
深層学習モデルを用いた意味変化検出手法は大きく文脈非依存の手法と文脈依存の手法に分けられる．
文脈非依存の手法では，word2vec \cite{mikolov-2013}を用いた手法がある．
この手法では word2vec の「学習データ全体の特徴に応じて入力単語をベクトルに変換する」という性質を利用する．
通時的なコーパスを時期ごとに分け，時期ごとの学習データを作り，各時期でモデルを構築することで，各モデルは各時期の特徴を捉えた単語ベクトルを獲得する．
そして，各時期のモデルから対象単語の単語ベクトルを獲得し，比較することで意味変化検出を実現する．
時期ごとにモデルを作るため，モデル間でベクトル空間に対応がなく，ベクトルを直接比較できない．
この問題を解決するいくつかの方法が提案されている．
ある時期$p$のモデルを訓練する際，初期値として時期$p-1$のモデルを使う手法\cite{kim-etal-2014-temporal}，線形変換によって各時期の間でベクトル空間の対応付けを行う手法\cite{hamilton-etal-2016-diachronic}，全時期同時に学習することで対応付けを必要としない手法\cite{yao-etal-2018-dynamic}である．
手法により捉えられる意味変化の傾向や得意不得意の差はあるものの，共通して多義語を語義別に観察できない問題がある．

文脈依存の意味変化検出手法では ELMo \cite{peters-etal-2018-deep}や BERT \cite{devlin-etal-2019-bert}を用いる．
ELMo や BERT の「入力文字列の文脈に応じた単語ベクトルを獲得する」という性質を利用する．
この性質により，対象単語のベクトルそのものから語義や用法を区別することが期待できるため，時期を無視して1つの事前学習済みモデルに対象単語が出現する文脈を入力する方法を取ることができる．
1つの事前学習済みモデルだけを用いるので，文脈非依存の手法で行なったようなモデルごとのベクトル空間の対応を取る必要はない．
この文脈依存の単語ベクトルを用いた手法として，ベクトルをクラスタリングする手法\cite{martinc-2020,kutuzov-giulianelli-2020-uio,giulianelli-etal-2020-analysing,montariol-etal-2021-scalable,karnysheva-schwarz-2020-tue}，
クラスタリングは行わず，ベクトル同士のコサイン距離をペアワイズで計算する手法\cite{kutuzov-giulianelli-2020-uio}，ベクトルを平均化して単語タイプのベクトルとしてコサイン類似度を計算する手法\cite{martinc-etal-2020-leveraging}がある．
意味変化検出タスクではペアワイズでの比較や単語ベクトルを平均化する手法が高い性能を報告しているが，
クラスタリングのようなグルーピングを用いる手法以外では数値結果が出力されるのみであり，解釈が困難である．
そのため本稿の対象とする意味変化の分析には単語ベクトルのグルーピングを使った手法が適している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{意味変化の分析手法の手順}

本稿で用いた意味変化分析の手順を述べる．
手順は大きく4つの段階に分けられる．
まず BERT を用いて対象単語のすべての出現をベクトル化する（\ref{word_vector}節）．
得られたベクトル集合を辞書を用いた手法とクラスタリングを用いた手法のそれぞれでグルーピングする（\ref{word_vector_grouping}節）．
通時的なコーパスに付与された年代情報から，どの年代にどのクラスタがどの程度現れるのか，割合の変化を算出することで変化を観察する（\ref{modeling}節）．
JSD を用いた意味変化度合いのスコアリングによって定量的な評価を行う（\ref{jsd_scoring}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{BERTによる単語ベクトルの獲得}
\label{word_vector}

文脈依存の単語ベクトル（以下，単に{\bf 単語ベクトル}と呼ぶ）の獲得方法として，本研究では BERT を用いる．
入力は文字列をトークナイズしたトークン列である．
トークナイザでは，まず文字列を単語区切りに分割する．
その後，単語をサブワード単位に分割し，最終的なトークン列へと変換する．
複数文を入力する場合，文間に [SEP] という特殊トークンを置く．
BERT の訓練は Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) によって行われる．
MLM では入力するトークン列の一部を [MASK] という特殊なトークンで置き換えて BERT に入力し， [MASK] に置き換えられた元のトークンを当てるタスクを行う．
NSP では2文を入力し，それらが連続した文か否かを当てるタスクを行う．
BERT は注意機構とこれらの訓練（特に MLM）により，前後文脈を考慮したトークンのベクトル化を実現している．

文脈依存の単語ベクトルは，対象単語を含む文字列を BERT に入力し，対象単語に対応するトークンの隠れ層の最終層から獲得する．
対象単語が複数のトークンからなるときには，対象単語を構成するトークンのベクトルの平均を使用する．

本研究において，コーパスは文章とその文章が出現した時期がセットで記述された状態を想定する（詳細は\ref{corpus}節）．
ある単語$w$を含む文$i$を BERT に入力して得られるベクトルを$v^w_i$とする（簡単のため同一文内に同一単語が1度しか現れない前提で定式化している）．
$v^w_i$と文$i$に付与された出現時期の情報$p$で，タプル$t_i=(v^w_i, p)$を作る．
コーパス全体から網羅的に$t_i$を作成し，$t_i$を要素とする集合を$S^w = \{t_1, t_2,...,t_m\}$とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語ベクトルのグルーピング}
\label{word_vector_grouping}

グルーピング手法として，\citeA{hu-etal-2019-diachronic}の辞書を用いた教師あり手法と，\citeA{giulianelli-etal-2020-analysing}の$k$-means 法を用いた教師なしクラスタリング手法を使用する．
ここで述べるグルーピングは，前述した対象単語$w$の集合$S^w$を部分集合$\{S^w_1, S^w_2,... ,S^w_k\}$に分割する操作として定式化できる（$k$はグループ数）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia16f1.pdf}
\end{center}
\hangcaption{ジャパンナレッジ『日本国語大辞典』に掲載されている「渋滞」の単語説明の一部 (\protect\url{https://japanknowledge.com/lib/display/?lid=20020204d764juQSrN9p})．}
\label{jk_jutai}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{辞書を用いた教師ありのグルーピング}

\citeA{hu-etal-2019-diachronic}の辞書を用いた手法を説明する．
\mbox{図\ref{jk_jutai}}のように，
辞書には各単語の語義に対応する例文が付与されていることが期待される\footnote{実際には，語義に例文が付与されていない場合もあり，その語義に関してはこの手法は適用できない．\ref{dictionary_vs_clustering}節の冒頭で辞書の手法が適用できなかった単語について述べる．}．
辞書において$n$個の語義を持つ単語$w$に対して，語義に対応する語義ベクトル集合$\{g_{語義1}^w, g_{語義2}^w, ..., g_{語義n}^w\}$を作る．
語義ベクトルは，語義に付与された例文を BERT に入力し\ref{word_vector}節のベクトル化と同様の手法で対象単語のベクトルを作成する．
ただし，1つの語義に複数の例文が付与されている場合は各例文から作成した対象単語のベクトルの平均を語義ベクトルとする．
そして，$S^w$の各要素$t_i = (v^w_i,p)$の$v^w_i$と集合$\{g_{語義1}^w, ..., g_{語義n}^w\}$の全要素とのユークリッド距離を計算し，最も近い語義ベクトルの語義に$t_i$を割り当てていくことで，グルーピングを行う．
この操作を対象単語$w$ の1つずつ（1単語タイプごと）に行う．

図\ref{jk_jutai}の「渋滞」を具体例にとると，「(1)ものごとがすらすらとはかどらないこと。」（語義1）に5つの例文が付与されており，これらを用いて\footnote{本研究で実際に用いたのは漢文の例文を除いた4文．詳細は\ref{dictionary_exp}節．}「(1)ものごとがすらすらとはかどらないこと。」（語義1）の語義ベクトル$g_{語義1}^{渋滞}$が作られ，「(2)道路が混雑して、車両などがなかなか先へ進めないこと。」（語義2）も付与された1つの例文から語義ベクトル$g_{語義2}^{渋滞}$が作られる．
以降，この手法を{\bf 辞書ベース}の手法と呼ぶ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{単語ベクトルのクラスタリング}

\citeA{giulianelli-etal-2020-analysing}のクラスタリングによるグルーピング手法について述べる．
$k$-means 法ではあらかじめクラスタ数$k$を指定する必要があるが，適切なクラスタ数は自明ではない．
そこで，クラスタ数$k$を2～10として計9回，$S^w$の各要素$t_i = (v^w_i,p)$の$v^w_i$に対して$k$-means 法を適用する．
その後，各クラスタリング結果のシルエットスコア\cite{silhouette}を算出し，シルエットスコアが最大となるクラスタリング結果1つを最終的なクラスタリング結果とする．
シルエットスコアは，クラスタリングの結果を評価する指標であり，次のように算出する．
ある1つのベクトル$v^w_i$に対して，$v^w_i$が属するクラスタの$v^w_i$以外のベクトルとの距離平均をクラスタ内凝集度$a_i$とする．
$v^w_i$が属するクラスタ以外で$v^w_i$に最も近いクラスタ内の全ベクトルと$v^w_i$との距離の平均を乖離度$b_i$とする．
ここで$v^w_i$に最も近いクラスタとは，各クラスタの全ベクトルと$v^w_i$の距離平均が最も小さいクラスタである．
$v^w_i$のスコア$s_i$を以下の式で算出する．
\[
s_i = \frac{b_i-a_i}{\max\{b_i,a_i\}}
\]
以上の方法で算出されるスコア$s_i$を全$v^w_i$で求め，平均した値がシルエットスコアである．
\mbox{$k$-means} 法とシルエットスコアの距離関数はどちらもユークリッド距離を用いた．
辞書ベースの手法と同様に，この操作を対象単語$w$の1つずつ（1単語タイプごと）に行う．
以降，この手法を{\bf クラスタリングベース}の手法と呼ぶ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化の観測}
\label{modeling}

$S^w$の各要素に付与されている時期の情報$p$とグルーピング結果を用いて，時期ごとのクラスタの割合を算出できる．
図\ref{method_example}は，グルーピング結果から時期ごとのクラスタ割合への変換の簡略図である．
図\ref{method_example}（左）では\ref{word_vector_grouping}節で述べたグルーピングの結果に加え，時期の情報を点の形状で明示的に図示している．
これらの情報から各時期でのクラスタの割合が算出できる．
図\ref{method_example}（右）は各時期でのクラスタの割合を示した積み上げ棒グラフである．
図\ref{method_example}では，クラスタAの比率が減少し，クラスタCの比率が増加していることがわかる．
クラスタAが原義に対応し，クラスタCが転義に対応しているならば，意味変化を捉えたとみなす．
このようにグルーピングの結果と時期ごとのクラスタの割合の変化によって意味変化を分析していく．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f2.pdf}
\end{center}
\hangcaption{単語ベクトルのグルーピング結果と時期の情報から，各クラスタの時期ごとの割合を示す棒グラフへの変換を示した図．BERT から獲得した単語ベクトルをグルーピングし（左），各時期でのクラスタの割合を算出する（右）．}
\label{method_example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{JSD を用いた意味変化度合いのスコアリング}
\label{jsd_scoring}

分析に定量的観点を取り入れるため Jensen-Shannon divergence (JSD) \cite{Lin91divergencemeasures} を用いて意味変化度合いのスコアを求める．
JSD は2つの確率分布の類似度を測る指標であり，確率分布$Q$，$R$に対して，以下のように定義される．
\[
JSD(Q\parallel R)={\frac{1}{2}}KLD(Q\parallel M)+{\frac{1}{2}}KLD(R\parallel M)
\]
ただし，$M=\frac{1}{2}(Q+R)$である．
JSD は2つの確率分布が似ているほど小さく，似ていないほど大きな値となる．
また2つの確率分布が全く同じとき0をとる．
意味変化度合いのスコア$CS$を以下のように定義する．
\[
CS=\max_{P}{JSD(u_p \parallel u_{p-1})}
\]
ただし，$P$は対象とした時期の列（図\ref{method_example}では$(時期1, 時期2, 時期3)$に対応）であり，$u_p$は時期$p$における各クラスタの比率（図\ref{method_example}では図\ref{method_example}（右）の各時期の積み上げ棒グラフに対応）である\footnote{$JSD$の計算において，最初の時期と最後の時期の計算は行わない．図\ref{method_example}を例にとると，時期1（最初の時期）と時期3（最後の時期）の計算は行わない．つまり，時期2と時期1，時期3と時期2の2つの組み合わせでのみ$JSD$を算出する．}．

JSD は文脈依存の意味変化検出で多く用いられるスコアである\cite{martinc-2020,kutuzov-giulianelli-2020-uio,montariol-etal-2021-scalable}．
JSD はクラスタの比率の変化を捉えることができるが，捉えたい語義や用法ごとにクラスタが形成されているかを捉えることはできない．
そのため「意味変化を捉えているならば JSD が高い」とはいえても，「JSD が高いならば意味変化を捉えている」とはいえないことに注意されたい．
例えば，ある2つのクラスタの出現比率が隣り合う時期間で大きく変化しているが，その2つのクラスタは原義と転義に対応していないとする．
このような場合でも JSD は大きな値を取るが各クラスタが原義と転義に対応していないので意味変化は捉えられていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
\label{experimental_settings}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対象コーパス}
\label{corpus}

日本語の意味変化分析を行うため，幅広い年代にわたる日本語コーパスとして，国立国語研究所の『日本語歴史コーパス』\footnote{\url{https://clrd.ninjal.ac.jp/chj/}}の一部である近代雑誌コーパスと『昭和・平成書き言葉コーパス』\footnote{\url{https://clrd.ninjal.ac.jp/cmj/woman-mag/}}として構築中の雑誌（『中央公論』『文藝春秋』）データを追加したものを用いた．
コーパス全体は1874年から1997 年までに刊行された雑誌からなるが，本研究では文量のバランスを考慮し， 1898年から1997年の100年間を 25年区切りで分割し，全体を4つの時期に分けた．

複数時代にまたがるため，コーパス内で同じ単語でも表記が異なる単語（例：新字体vs旧字体）がある．
これらの単語をまとめて処理するために，コーパス全文を語形代表表記出現形に変換した．
国語研が整備するコーパスは出現形（表層形），語形，語彙素（辞書見出し）の階層構造を持つが，語形代表表記出現形は活用語の変形を保ったまま表記を統一できるレイヤーで，日本語歴史コーパスでは語形の下で管理されている．
例えば，「栄える」の仮定形「栄えれ（ば）」が旧字で「榮えれ」と表記されていた場合，語彙素にまとめると「栄える」になるが活用の情報が失われる．
語形（出現形）に変換した場合「サカエル」と「サカエレ」といった活用の違いは区別されるが，語形はカタカナ表記のため同音異義語が区別されないままBERTの入力となる．
語形代表表記はカタカナ表記で管理されている語形の下で当該語形の代表的な出現形表記情報を基本形で1つ保持しており，それを活用展開したのが語形代表表記出現形である．
書字形出現形を語形代表表記出現形に置換することで，書字上の差異を統一しつつ活用変化を残した正規化が行える．
「栄えれ」の例であれば「栄えれ」も「榮えれ」も語形代表表記出現形に置き換えれば「栄えれ」に正規化される．

以上の処理を施したコーパスを以降{\bf 対象コーパス}と呼ぶ．
対象コーパスは7:1に分割し，それぞれ学習データとテストデータとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{使用したBERT}
\label{bert_model}

本研究では，現代語で訓練を行なった現代語 BERT と，対象コーパスで現代語 BERT を fine-tuning した近代語 BERT の2種類の BERT を使用した．

\begin{description}

\item[現代語 BERT]
Hugging Face で公開されている東北大の日本語版 BERT\footnote{\url{https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking }}（以下，現代語 BERT）を使用した．
\footnote{この BERT モデルは Hugging Face でダウンロード数が300万を超える．我々が確認した中で次いでダウンロード数が多いのは同じく東北大の BERT モデル (v2) で18万ダウンロード程度である（2023年1月28日時点）．このことから，このモデルは代表的な日本語 BERT であり，このモデルでの分析は有益であると考える．ただし，どの事前学習済みモデルでも常に同じ結果になる保証はなく，このモデルのみを用いていることは，本研究のリミテーションである．}
この BERT モデルは12層からなり，hidden states は768次元，attention heads は12個という構成である．
学習は元の BERT \cite{devlin-etal-2019-bert}と同様，1インスタンスあたり512トークン，1バッチあたり256インスタンスで100万ステップ学習されている．
マスク言語モデルは whole word masking を使用して，トークン単位ではなく単語単位で学習が行われている．
単語区切りは MeCab を用いており，辞書は mecab-ipadic-NEologd\footnote{\url{https://github.com/neologd/mecab-ipadic-neologd}}である． 
MeCab による単語分割の後， WordPiece アルゴリズムによってサブワード化することでトークナイズしている． 学習は TensorFlow Research Cloud が提供する Cloud TPU の v3-8 instance を使用して行われている．
対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.578 である．

\item[近代語 BERT]
対象コーパスの学習データを用いて，我々が現代語 BERT を fine-tuning したモデルである．
fine-tuning のタスクは事前学習と同様である．

主な実験結果を報告する近代語 BERT の fine-tuning は，1インスタンスあたり512トークン，1バッチあたり32インスタンス，学習率は1e-4で310万ステップ行なった．
訓練で使用したGPUは NVIDIA Tesla P40 である．
対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.652 であり，現代語 BERT よりも 0.08 高い．
\end{description}

近代語BERTは fine-tuning の学習環境の違いで結果に差が出る可能性がある．
この点を考慮して，fine-tuning に関する分析（\ref{kindai_vs_gendai_analysis}節）では，パラメータや学習環境を変えて学習したモデルを6種類も作成し，5種類以上のモデルで同じ傾向が確認できた分析結果のみ報告する．
各 fine-tuning の学習条件は学習率と使用 GPU を変えた6パターンで行なった．
学習率は2e-5，3e-5，5e-5の3パターン，GPU は NVIDIA Tesla P40 と NVIDIA TITAN RTX の2種類である．
また学習は15万ステップ行なった．
主な実験結果を報告する近代語 BERT と比べ学習ステップ数が少ないが，学習データを$2\sim3$ epoch 学習するため，十分と判断した\cite{kutuzov-giulianelli-2020-uio}．
これら以外の条件は主な実験結果を報告する近代語 BERT と同様である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{辞書}
\label{dictionary_exp}

辞書ベースの手法では，日本で最大規模の辞書の一つである『日本国語大辞典』（ジャパンナレッジ版）\footnote{\url{https://japanknowledge.com/}}を使用した．
語義に付与されている例文に漢文が含まれていた場合は，漢文を削除し，その他の文を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ツール}
\label{clustering_exp}

本研究での $k$-means 法の実装には scikit-learn (version 0.24.2)\footnote{\url{https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html}}を用いた．
$k$-means 法は初期値に依存して結果が異なる手法であるが，scikit-learnのデフォルトの実装として初期値依存性を軽減するため以下の配慮がなされている．
各$k$で，$k$-means 法を10回適用する．
10個の結果のうち，各ベクトルから最近傍のセントロイドへの距離の合計が最も小さいクラスタリング結果を最終的な結果として採用する．
セントロイドの初期値は $k$-means++ \cite{vassilvitskii2006k}を用いて決定する．
$k$-means++ はセントロイドを選ぶ際に，セントロイドの初期位置が離れるように選ばれる確率が高くなる手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対象単語}

近代コーパス\footnote{本研究で用いたコーパスとほぼ同等のコーパス．}で意味変化した単語のリスト\cite{mabuchi-ogiso-2021-dataset}から対象単語を選定した．
ただし，対象コーパス内のそれぞれの時期で10回以上出現していることを条件とし，最終的に34単語を選定した．
漢語が30単語，外来語が3単語，和語が1単語である．
これらは全て，活用がない単語で，具体的には以下である．
普段，障害，柔軟，結構，要領，免許，優勝，非常，全然，渋滞，ポイント，管制，故障，精々，教養，教授，適当，心持ち，普通，尋常，広告，了解，住居，設備，風俗，愛人，自然，女性，モデル，貴族，ボタン，情報，主婦，婦人．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価}
\label{eval}

2つの意味変化分析手法と JSD によるスコアリングをそれぞれ以下の方法で評価した．
\begin{description}
\item[意味変化分析の定性評価]
以下の2点を確認することで定性判断を行なった．
ただし，主な定性判断は第一著者1人で行い，解釈が難しいと判断した一部の単語では共著者の複数人で判断を行なった．
\begin{enumerate}
\item 原義と転義に対応するクラスタがそれぞれ存在するか
\item (1)の結果に基づき，図\ref{method_example}（右）の積み上げ棒グラフにおいて，原義と転義の増減は妥当か
\end{enumerate}
判定の具体的な手順と基準は以下の通りである．
\pagebreak
まず単語ベクトル集合に PCA を適用して2次元空間にプロットする．
2次元空間上で各クラスタの全体像を把握するように要素を選出する．
選出した要素に対応する文を読み，文内での対象単語の用例を「原義」，「転義」，「原義または転義とは別の用例」，「意味解釈が困難」の4種類に分類し，確認した用例の中で最も多かったものをクラスタのラベルとする．
ただし，選出する要素数は各クラスタで最低10とする．
意味の理解が困難な用例が多い場合や複数のラベルが拮抗している場合には著者が十分であると判断するまで要素を選出する．
(2)では(1)の結果，原義と転義のラベルが存在した時に，隣り合う時期間で原義のクラスタの出現比率が10\%以上減少し，かつ，転義のクラスタの出現比率が10\%以上増加した際に，妥当な増減と判断する．
原義と転義は\citeA{mabuchi-ogiso-2021-dataset}の付録「近現代日本語意味変化分析のための単語データセット頻度表」に掲載されている「原義」と「転義」を基準とする．
\item[JSD を用いた意味変化度合いのスコアリングの評価]
日本語では意味変化の度合いをスコアリング・順位付けしたデータセットが存在しないため，英語やドイツ語などの意味変化検出タスクで使用されている相関係数による評価ができない．
そこで本研究では，意味変化した単語に加え，意味変化していない単語にも\ref{jsd_scoring}節の手法を適用し，recall@$k$を求めることで評価した．
recall@$k$は，モデルの予測結果の上位$k (> 1)$個にいくつ正解が含まれるかを算出する (recall) 手法である．
さまざまな$k$で recall を算出することで，特定の$k$でrecallを算出するよりもモデルの予測の全体像が把握できる．
本研究では，意味変化した34単語と意味変化していない34単語\footnote{対象コーパスから出現頻度が30～10,000，かつ4つの時期それぞれで出現回数が10回以上の単語をランダム抽出し，それらを意味変化していない単語とした．}の計68単語に辞書ベースとクラスタリングベースの手法を適用し，意味変化度合いのスコア CS を算出，そして recall@$k$ を求めた．
ここで間淵らのリストに含まれる意味変化した単語を正解，コーパスからランダムに選択した単語を不正解とした．
\end{description}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{辞書ベースの手法とクラスタリングベースの手法の比較}
\label{dictionary_vs_clustering}

本節では意味変化の定性判断による結果と JSD を用いた意味変化度合いのスコアを評価した結果を辞書ベースの手法とクラスタリングベースの手法で比較する．
BERT モデルには現代語 BERT を用いた．
意味変化していない単語の 1 つである「羞恥」は，本研究で用いた BERT のトークナイザでは未知語として処理されたため，どちらの手法も適用できなかった．
辞書の例文のうち漢文を含む例文を削除した上で2つ以上の語義で例文が存在する場合のみ，辞書ベースの手法を適用できる．
この条件を満たさない単語が対象単語で6単語，意味変化していない単語で14単語存在した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{16table01.tex}%
\hangcaption{辞書ベースの手法とクラスタリングベース手法の比較結果．意味変化を捉えることができた単語は「\checkmark 」，意味変化を捉えることができなかった単語は「×」とした．辞書ベースの手法が適用できなかった単語には\underline{下線}を引いた．}
\label{summary_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験}
\label{dict_vs_clustering_result}

\begin{description}

\item[定性判断による意味変化の判定]
意味変化していない単語への意味変化の判定は意味をなさないため，意味変化の判定は対象単語34単語のみで行なった．
定性判断による意味変化の判定結果を表\ref{summary_result}に示す．
辞書ベースの手法が適用できない単語を除いた場合，意味変化を捉えられた単語は辞書ベースの手法では18単語，クラスタリングベースの手法では17単語であった．

一方で辞書ベースの手法を適用できなかった単語も含めると，意味変化を捉えることができた単語は辞書ベースの手法では18単語，クラスタリングベースの手法では20単語であった．

意味変化を捉えることができた単語は，辞書ベースの手法が適用可能な場合，辞書ベースの方が多く，適用できない場合ではクラスタリングベースの方が多くなった．

\item[JSD を用いた意味変化度合いのスコアリング]
意味変化した単語と，していない単語のうち，辞書ベースの手法が適用できない20単語を除いた48単語で CSを算出した．
この設定では辞書ベースの手法で扱えない単語は取り除いているので，辞書ベースの手法を優遇した設定である．
その結果を図\ref{dict_vs_clus_jsd_fig1}に示す．
図\ref{dict_vs_clus_jsd_fig1}から，辞書ベースの手法を適用できなかった単語を全て除いた場合，全ての$k$で辞書ベースの手法がクラスタリングベースの手法と同等かそれ以上の結果となっていることが分かる．

次に，辞書ベースの手法が適用できない単語のうち意味変化していない単語（14単語）を除いた54単語で CS を算出した．
この設定では辞書の手法を適用できない単語も対象としているため，適用可能性も性能に含まれる．
その結果を図\ref{dict_vs_clus_jsd_fig2}に示す．
図\ref{dict_vs_clus_jsd_fig2}から，$k$の値が小さい時はほぼ同等だが，全体としてはクラスタリングベースの手法がより高い recall 値となっている．
\end{description}

以上の結果から，全体としてはクラスタリングベースの手法が優れた結果となった．
ただし，辞書ベースの手法が適用可能な単語に絞ることで辞書ベースの手法がより優れているといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f3.pdf}
\end{center}
\subfigure{\label{dict_vs_clus_jsd_fig1}}
\subfigure{\label{dict_vs_clus_jsd_fig2}}
\vspace{-14pt}
\hangcaption{辞書ベースの手法とクラスタリングベースの手法のrecall@kの比較結果．対象単語のうち辞書の手法を適用できなかった7単語を除いた27を $k$ の最大値とした．}
\label{dict_vs_clus_jsd_fig_whole}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}

どちらの手法でも形成されたクラスタは用法の違いを捉えているケースが多かった．
「尋常」のように，その単語特有の用法の変化が起きた単語ではクラスタが原義や転義を直接捉えていたが，語義の変化が起きた単語では用法の特徴でクラスタが形成され，クラスタ内の用例を解釈すると\citeA{mabuchi-ogiso-2021-dataset}の原義や転義に当てはまるというケースがほとんどであった．

\label{clus_vs_dict_analysis}
また\ref{dict_vs_clustering_result}節の結果から，クラスタリングベースの手法が有効であることが分かった．
しかし，それぞれの手法で意味変化を捉えられる単語は異なった．
この違いを表\ref{summary_result}のブロックごとの特徴に注目し分析した結果，以下のことが分かった．
$k$-means 法を用いたクラスタリングベースの手法では，対象コーパスにおいて原義と転義の出現頻度に大きな差がある時に，意味変化を捉えられない．
辞書ベースの手法では，使用した辞書の語義分類が原義や転義に対応していないケースや語義に付与されている例文に問題があるケースで意味変化を捉えられない．
また人間でも原義と転義の違いを判断するのが難しい単語や，コーパス内で片方の語義や用法がごくわずかしか出現しない単語ではどちらの手法でも意味変化を捉えることができない．
以下では，上記の分析について具体例を交えつつ紹介する．

図\ref{kyoyo_tekito_results}～図\ref{fuzoku_sizen_results}の散布図において，丸印は1898～1922年，四角印は1923～1947年，十字印は1948～1972年，星印は1973～1997年であることを示している．
辞書ベースの手法ではクラスタを構成する要素が必ずしも辞書の語義と一致していなかった．
その場合でも辞書の語義通りのラベルを付与した．
クラスタリングベースでは，クラスタを主に構成する要素の語義や用法をラベルとして付与した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f4.pdf}
\end{center}
\subfigure{\label{kyoyo_nikkoku_scatter}}
\subfigure{\label{kyoyo_nikkoku_bar}}
\subfigure{\label{kyoyo_kmeans_scatter}}
\subfigure{\label{kyoyo_kmeans_bar}}
\subfigure{\label{tekito_nikkoku_scatter}}
\subfigure{\label{tekito_nikkoku_bar}}
\subfigure{\label{tekito_kmeans_scatter}}
\subfigure{\label{tekito_kmeans_bar}}
\vspace{-14pt}
\caption{「教養」と「適当」の結果．}
\label{kyoyo_tekito_results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{辞書ベースの手法で意味変化を捉えるケース}
辞書ベースの手法でのみ意味変化を捉えられた単語は，「教養，教授，適当，精々」の4単語だった．
どの単語も原義と転義の出現頻度に大きな差があった単語である．
「教養」と「適当」を例として紹介する．

\begin{description}

\item[教養]
「教養」は「教育する」という語義から「広い知識（教養がある・ない）」という語義へ変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{kyoyo_nikkoku_scatter}の語義0が転義であり，語義1が原義である．
図\ref{kyoyo_nikkoku_bar}から語義1の出現頻度が減少し，語義0の出現頻度が増加していることが分かる．

次にクラスタリングベースの手法の結果を述べる．
図\ref{kyoyo_kmeans_scatter}のクラスタ1は「教養学部」や「教養課程」のような複合名詞で構成されており，クラスタ0は主に複合名詞以外の用例で構成されている．
図\ref{kyoyo_kmeans_bar}をみてもどちらかのクラスタが増減した様子は確認できない．

\item[適当]
「適当」は「適切・妥当」という語義から「いい加減」という語義に変化した．

まずは辞書ベースの手法の結果を述べる．
図\ref{tekito_nikkoku_scatter}の語義2が転義で，語義0が原義である．
図\ref{tekito_nikkoku_bar}から語義0が減少し，語義2が増加していることが分かる．

次にクラスタリングベースの手法の結果を述べる．
図\ref{tekito_kmeans_scatter}のクラスタ0は主に「適当な」や「適当に」のような後ろに被修飾語が続く用例で構成されており，「適切・妥当」という語義の用例が多く，わずかに「いい加減」という語義の用例もあった．
クラスタ1は主に「適当する」という形で出現した「適切・妥当」という語義の用例から構成されていた．
クラスタ2は「不適当」という形の用例から構成されていた．クラスタ3は主に「適当である」や「が適当。」のように後ろに被修飾語が続かない形の用例で構成されており，これらは「適切・妥当」という語義だった．
図\ref{tekito_kmeans_bar}から，クラスタ1とクラスタ3が減少し，クラスタ0が増加する傾向が見られた．
クラスタ0は原義と転義の両方からなるが，原義が圧倒的に多いため，意味変化を捉えられていないと判断した．

\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f5.pdf}
\end{center}
\subfigure{\label{futsu_nikkoku_scatter}}
\subfigure{\label{futsu_nikkoku_bar}}
\subfigure{\label{futsu_kmeans_scatter}}
\subfigure{\label{futsu_kmeans_bar}}
\subfigure{\label{koukoku_nikkoku_scatter}}
\subfigure{\label{koukoku_nikkoku_bar}}
\subfigure{\label{koukoku_kmeans_scatter}}
\subfigure{\label{koukoku_kmeans_bar}}
\vspace{-14pt}
\caption{「普通」と「広告」の結果．}
\label{futsu_koukoku_results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f6.pdf}
\end{center}
\subfigure{\label{syougai_nikkoku_scatter}}
\subfigure{\label{syougai_nikkoku_bar}}
\subfigure{\label{syougai_kmeans_scatter}}
\subfigure{\label{syougai_kmeans_bar}}
\subfigure{\label{kansei_nikkoku_scatter}}
\subfigure{\label{kansei_nikkoku_bar}}
\subfigure{\label{kansei_kmeans_scatter}}
\subfigure{\label{kansei_kmeans_bar}}
\vspace{-14pt}
\caption{「障害」と「管制」の結果．}
\label{syougai_kansei_results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{クラスタリングベースの手法で意味変化を捉えるケース}

クラスタリングベースの手法では意味変化を捉えられたが，辞書ベースの手法では意味変化を捉えられなかった単語は「普通，尋常，ボタン，広告，了解，住居，設備」の7単語だった．
これらの単語は原義または転義に対応する語義が辞書に存在しなかったケース，原義と転義に対応する語義は存在したが例文が十分・適切でなかったケースである．
具体例として「普通」と「広告」を紹介する．
\begin{description}
\item[普通]

「普通」は「広く一般に通ずる」という語義から「通常・並」という語義に変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{futsu_nikkoku_scatter}の語義0は転義であり，語義1が原義である．
各クラスタにはかならずしも辞書の各語義が示す用例が属しておらず，各クラスタの違いは不明瞭だった．
明確な違いとして，「普通選挙」や「普通教育」といった「普通+名詞」の形で出現する用例のほとんどは語義0に属していたが，語義1にはそれ以外の用例も同程度属していた．
図\ref{futsu_nikkoku_bar}をみても語義0がやや減少し，語義1がやや増加しており，意味変化を捉えられていない．

次にクラスタリングベースの手法の結果を述べる．
図\ref{futsu_kmeans_scatter}のクラスタ2は「普通選挙」や「普通教育」といった「普通+名詞」という形の用例で構成され，これらは「広く一般に通ずる」の語義である．
クラスタ0と1はどちらも「通常・並」の語義であったが，それぞれ用法に特徴があった．
クラスタ0は「普通の」や「普通は」という形の用例で，クラスタ1は主に「～のが普通」という形の用例で構成されていた．
図\ref{futsu_kmeans_bar}からクラスタ2が減少し，クラスタ0とクラスタ1が増加していることがわかる．
このことからクラスタリングの手法では意味変化を捉えたと判断した．
複合名詞以外で「広く一般に通ずる」の語義の出現がほとんど見られなかったため，用法の変化（複合名詞か否か）を捉えることでことで意味変化を捉えたといえる．

\item[広告]
「広告」は「世間に広く知らせること」の語義から「商業広告」の語義に変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{koukoku_nikkoku_scatter}の語義0は原義で，語義1が転義である．
語義1に属している用例は全て「商業広告」の語義だが，語義0にも「商業広告」の語義の用例が多く属している．
図\ref{koukoku_nikkoku_bar}をみても意味変化を捉えている様子は確認できない．

次にクラスタリングベースの手法の結果を述べる．
図\ref{koukoku_kmeans_scatter}のクラスタ1は「世間に広く知らせること」の語義と「商業広告」の語義の両方の用例が同程度属していた．
クラスタ0はほとんど「商業広告」の語義の用例で構成されていた．
図\ref{koukoku_kmeans_bar}からクラスタ1が減少し，クラスタ0が増加していることがわかる．
クラスタ1は「商業広告」の用例を多く含んでいたが，「世間に広く知らせること」の用例も十分に含んでいると判断し，意味変化を捉えたと判断した．

\end{description}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{どちらの手法でも意味変化を捉えるケース}

クラスタリングベースの手法と辞書ベースの手法のどちらでも意味変化を捉えたのは「普段，障害，柔軟，結構，要領，免許，優勝，非常，全然，渋滞，ポイント，管制，故障，心持ち」の14単語である．
これらの単語は，上で述べた辞書や出現頻度の問題がない単語である．
具体例として，「障害」と「管制」を紹介する．

\begin{description}

\item[障害]
「障害」は「妨げること」という語義から「精神・身体に支障があること」という語義に変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{syougai_nikkoku_scatter}の語義1は原義で，語義0は転義である．
語義1には主に「妨げること」の語義の用例，語義0には主に「精神・身体に支障があること」の語義の用例がそれぞれ属しており，どちらも適切な割り当てがなされている．
図\ref{syougai_nikkoku_bar}から語義1が減少し，語義0が増加していることがわかる．

次にクラスタリングベースの手法の結果を述べる．
図\ref{syougai_kmeans_scatter}のクラスタ1は主に「妨げること」の語義の用例で構成されており，クラスタ0は主に「精神・身体に支障があること」の語義の用例で構成されている．
図\ref{syougai_kmeans_bar}からクラスタ1が減少し，クラスタ0が増加していることがわかる．

\item[管制]
「管制」は「管理統制」という語義から「航空管制」という語義に変化した．

まず，辞書ベースの手法を説明する．
図\ref{kansei_nikkoku_scatter}の語義1は「制限すること」，語義2は「支配すること」の語義であり，これらは原義である．
語義0は「航空機への指示」の語義であり，転義である．
各語義に割り当てられた用例も概ね語義に従うものだった．
図\ref{kansei_nikkoku_bar}から語義1と語義2を合わせた割合が減少し，語義0が増加していることがわかる．

次にクラスタリングベースの手法を説明する．
図\ref{kansei_kmeans_scatter}のクラスタ2は「灯火管制」，クラスタ0とクラスタ1は主に「管制官」，クラスタ3は「報道管制」，クラスタ5は「軍事管制」，クラスタ6は「火器管制装置」や「管制領域」など上記以外の複合名詞，クラスタ4には「管制する」という動詞的な用法，クラスタ7はその他の用例でそれぞれ構成されていた．
このように各クラスタはほとんど用法ごとに形成されていた．
また複合名詞が一括りにならず，特定の複合名詞ごとにクラスタ化されるケースが多かった．
原義・転義に注目すると，クラスタ0，1は転義に対応する語義の用例がほとんどだった．
クラスタ6にも「航空管制」や「管制塔」といった転義に該当する語義の用例がやや見られたが，原義に該当する語義の用例も多く見られた．
一方クラスタ2，3，4，5は原義に相当する．
図\ref{kansei_kmeans_bar}からクラスタ2，3，4，5，を合わせた割合が減少し，クラスタ0，1を合わせた割合が増加していることがわかる．
このことから意味変化を捉えたと判断した．

\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f7.pdf}
\end{center}
\subfigure{\label{fuzoku_nikkoku_scatter}}
\subfigure{\label{fuzoku_nikkoku_bar}}
\subfigure{\label{fuzoku_kmeans_scatter}}
\subfigure{\label{fuzoku_kmeans_bar}}
\subfigure{\label{sizen_nikkoku_scatter}}
\subfigure{\label{sizen_nikkoku_bar}}
\subfigure{\label{sizen_kmeans_scatter}}
\subfigure{\label{sizen_kmeans_bar}}
\vspace{-14pt}
\caption{「風俗」と「自然」の結果．}
\label{fuzoku_sizen_results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{どちらの手法でも意味変化を捉えられなかったケース}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

辞書ベースの手法とクラスタリングベースの手法のどちらでも意味変化を捉えられなかった単語は「精々，風俗，愛人，自然，女性，モデル，貴族，情報，主婦」の9単語であった．
これらの単語は上で述べた辞書や出現頻度の問題がどちらもある単語や，対象コーパスで意味変化を捉えるのが難しい単語であった．
具体例として，「風俗」と「自然」を紹介する．

\begin{description}

\item[風俗]
「風俗」は「風習・習俗」という語義から「風俗営業」という語義に変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{fuzoku_nikkoku_scatter}の語義0は「風習」の語義で原義に対応する．
語義1は「身振りや態度」の語義で，語義2は「みなり」の語義，語義3は「風俗歌」の略である．
これらは今回対象とした年代よりも前に使われていた古い語義であり，コーパス内ではほとんど存在しない．
辞書には「風俗営業」の略という語義が掲載されていたが，その例文は載せられていなかった．
そして語義0と語義1に属する用例に明確な違いは見つけることができなかった．
図\ref{fuzoku_nikkoku_bar}から語義0が減少し，語義1が増加していることがわかる．
しかし，各語義が原義や語義に対応しておらず，割り当てられている用例にもクラスタを説明する特徴が見られないため意味変化を捉えたとはいえない．

次にクラスタリングベースの手法の結果を述べる．
図\ref{fuzoku_kmeans_scatter}のクラスタ0は原義に対応する用例がほとんどである．
クラスタ1はわずかに転義に対応する用例を含んでいたが，ほとんど原義に対応する用例で構成されていた．
図\ref{fuzoku_kmeans_bar}からクラスタ0が減少し，クラスタ1が増加しているが，意味変化は捉えていないと判断した．

\item[自然]
「自然」は「自ずから」という副詞や形容詞としての用法を持つ語義から名詞としての用法を持つ「nature」の訳語へと変化した．

まず辞書ベースの手法の結果を述べる．
図\ref{sizen_nikkoku_scatter}の語義0は「誰にも抵抗なく受け入れられるさま、わざとらしくないさま」，語義1は「もしかして、ひょっとして」，語義2は「おのずから、ひとりでになるさま」，語義3は「物事が偶然に起こるさま」，語義4は「人の作為によらずに存在するものや現象」，語義5は「自然の事、自然の時、の略。」，語義6は「物事がうまくはかどるさま」，語義7は「天からうけた性。物の本来の性。」という語義である．
語義0，2，4が転義，語義5が原義，にそれぞれ該当し，それ以外の語義は今回対象としているコーパスで注目していない語義である．
図\ref{sizen_nikkoku_bar}から，語義0が減少し，語義4と語義5がわずかに増加していることがわかる．
語義の割り当てと実際の用例が対応しておらず，割合が変化した語義と原義・転義が対応していない．
よって意味変化を捉えていない．

次にクラスタリングベースの手法の結果を述べる．
図\ref{sizen_kmeans_scatter}のクラスタ0は名詞として出現する用例が多く，転義に対応している．
クラスタ1は副詞や形容詞の用例が多く，原義に対応している．
しかし，図\ref{sizen_kmeans_bar}から明確な増減は確認できないため，意味変化を捉えていないと判断した．
1898年～1923年の段階で転義に対応する用例も十分に出現したため，語義の割合の変化が生じなかったと考える．

\end{description}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価の信頼性の検証}
\label{eval_verif}

人手評価の信頼性を検証するために評価の検証実験を行なった．
実験協力者には著者を含めず，日本語がネイティブの情報科学専攻の大学院生2名に依頼した．
対象単語は「障害，貴族，教養，広告，普段，尋常，風俗，適当」の8単語とした．
表\ref{summary_result}における4つのブロックから2単語ずつランダムに抽出した単語である．
クラスタへのラベル付けの判断は\ref{eval}節よりも簡易化した．
具体的には，クラスタのセントロイド（辞書の手法では語義ベクトル）の近傍10個のベクトルを抽出し，そのベクトルに対応する文で対象単語の意味を解釈することで各クラスタのラベルの判定を行なった．
その他の条件は\ref{eval}節と同様である．

評価実験の結果，実験協力者の二者間では最終的な結果は全ての単語で一致し，著者が\ref{eval}節「意味変化分析の定性評価」で述べた方法で行なった結果と比較すると，8単語中7単語で一致した．
著者との結果が異なった単語は「広告」であり，実験協力者は辞書ベースでもクラスタリングベースでも意味変化を捉えていないと判断し，著者は辞書ベースでは捉えていないが，クラスタリングベースでは捉えたたと判断した．
「広告」は転義を原義で読み変えても文脈的におかしくないケースが多く，判断が難しい単語である．
\ref{clus_vs_dict_analysis}節の分析でも「広告」のクラスタリングの結果は明瞭でなく，判断が難しい単語であるといえる．
この実験結果から人手評価は必ず一致すると言えないものの，8単語中7単語で一致することが確認でき，本研究による評価にはある程度の妥当性があることを検証した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{辞書ベースとクラスタリングベースの手法の妥当性の検討}
\label{discussion}

\ref{dictionary_vs_clustering}節から，日本語の意味変化分析では，
\pagebreak
辞書ベースの手法よりもクラスタリングベースの手法のほうが有効であることが分かった．
しかし，辞書やクラスタリング手法の違いが結果に影響することが考えられる．
そこで本節では，辞書及びクラスタリング手法を変えて追加実験を行い，\ref{dictionary_vs_clustering}節での辞書とクラスタリング手法の選択の妥当性について検討した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{辞書ベースの手法における辞書の違いによる影響}

\ref{dictionary_vs_clustering}節で辞書ベースの手法は，辞書の語義分類が原義や転義に対応していない場合や語義に付与されている例文が十分・適切でない場合に意味変化を捉えられないという結果になった．
先行研究で対象としていた英語では，例文が豊富で大規模な辞書である Oxford English Dictionary (OED)があるが，全ての言語でそのような辞書が存在するとは限らない．
日本語では，\ref{dictionary_vs_clustering}節の実験で使用した「日本国語大辞典」が最も大規模な辞書の1つだが，古い年代の例文が付与されているケースが多かったり，例文が付与されていない語義があったり，そもそも原義または転義に対応する語義が載っていないといった問題があった．
そこで，辞書の影響を確認するためにデジタル大辞泉（ジャパンナレッジ版）\footnote{\url{https://japanknowledge.com/}}を用いて辞書ベースの手法を適用し，日本国語大辞典を用いた場合と比較した．
その結果を表\ref{nikkoku_vs_jisen}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{16table02.tex}%
\hangcaption{日本国語大辞典とデジタル大辞泉の比較．日本国語大辞典で辞書ベースの手法を適用できなかった単語は\protect\unl{下線}，デジタル大辞泉で適用できなかった単語は\protect\unnami{波線}を引いた．どちらの辞書でも適用できなかった単語は載せていない．}
\label{nikkoku_vs_jisen}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{nikkoku_vs_jisen}から，使用する辞書を変えることで同じ辞書ベースの手法でも結果が異なることがわかる．
日本国語大辞典では18単語，デジタル大辞泉では14単語で意味変化を捉えた．
日本国語大辞典でのみ意味変化を捉えた単語は5単語あり，デジタル大辞泉でのみ捉えた単語は1単語だった．
この結果から，日本国語大辞典の方が辞書ベースの手法に適していることが分かる．
デジタル大辞泉は，日本国語大辞典に比べ新しい例文が多かったが，語義の種類や例文の数は日本国語大辞典が豊富だったため，このような結果になったと考える．
ここで，デジタル大辞泉を使うことで新たに検出できた単語「自然」を紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{自然}
「自然」は「自ずから」という語義から「nature」の訳語へと変化した．
図\ref{sizen_jisen_scatter}の語義0，3，5，7が転義に対応し，語義2が原義に対応する．
図\ref{sizen_jisen_bar}から語義0が転義の中で大部分を占め，単調ではないが，増加していることがわかる．
原義は徐々に減少していることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f8.pdf}
\end{center}
\subfigure{\label{sizen_jisen_scatter}}
\subfigure{\label{sizen_jisen_bar}}
\subfigure{\label{setubi_dbscan_scatter}}
\subfigure{\label{setubi_dbscan_bar}}
\subfigure{\label{sizen_setubiesults}}
\vspace{-14pt}
\caption{「自然」と「設備」の結果．}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラスタリングベースの手法における $k$-means 法の有効性の確認}

\ref{dictionary_vs_clustering}節の結果，$k$-means 法を用いたクラスタリングベースの手法では，コーパス内での原義と転義のどちらかの出現頻度が極端に少ない場合に意味変化を捉えられないことが分かった．
そこで，原義と転義の出現頻度に大きな差がある場合にも適切にクラスタリングが期待できる手法として，密度ベースのクラスタリング手法である DBSCAN \cite{dbscan}を用いた実験を行なった．

DBSCAN の簡単な説明を述べる．
DBSCAN では $\epsilon$ と $minPts$ という2つのハイパーパラメータを設定する．
$\epsilon$ はクラスタ形成のための捜索半径で，$minPts$ はクラスタ形成のために必要な最低要素数と考えることができる．
次に DBSCAN で用いる操作について述べる．
あるベクトル$p$から半径$\epsilon$以内にあるベクトルの数が$p$自身を含め$minPts$個以上である場合に，$p$の半径$\epsilon$以内にあるベクトルのうち，まだクラスタに属していないベクトルを$p$と同じクラスタに属させる．
この処理を操作Aとよぶ．
操作Aを踏まえ，アルゴリズムの説明に移る．
まずランダムにベクトルを選び，操作Aを行う．
操作Aが条件を満たし，クラスタを形成した場合，そのクラスタ内で操作Aが行われていないベクトルに対して操作Aを行う．
クラスタ内の全てのベクトルで操作Aが行われたとき，そのクラスタでの処理は終了する．
その後，全ベクトルの中から操作Aが行われていないベクトルをランダムで選び，同様の処理を行うことで新たなクラスタを形成していく．
全てのベクトルで操作Aが行われたとき，どのクラスタにも属していないベクトルを外れ値（クラスタを構成しないベクトル）とし，アルゴリズムは終了する．

DBSCAN においても$k$-means 法と同様に，シルエットスコアが最大になるようにハイパーパラメータを調整した．
実験結果を表\ref{kmeans_vs_dbscan_results}
に示す．
$k$-means 法では20単語，DBSCAN では10単語，意味変化を捉えた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{16table03.tex}%
\hangcaption{クラスタリングベースの手法における$k$-means 法と DBSCAN の比較結果．意味変化を捉えた単語は「\checkmark」，意味変化を捉えなかった単語は「×」とした．}
\label{kmeans_vs_dbscan_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このことからクラスタリングベースの手法において DBSCAN よりも $k$-means 法が適切であることが分かる．
これは，DBSCAN で外れ値として除外される用例が過剰に出現したことが大きな原因である．
DBSCAN は，ハイパーパラメータに敏感であり，シルエットスコアによる調整が適切に機能しなかった可能性がある．
また，DBSCAN に期待していた原義と転義で出現頻度に極端な差がある単語でも意味変化を捉えられていない．
DBSCAN が形成したクラスタを確認すると，用法の中でも複合名詞でクラスタ化する傾向が強かった．
DBSCAN でうまくいかなった単語の具体例として「設備」を紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{設備}
設備は「設置，整備」から「建物，機器」へと意味変化した単語である．
図\ref{setubi_dbscan_scatter}(d)から外れ値が圧倒的に多いことがわかる．
クラスタ0が「設備投資」という出現形の用例からなり，クラスタ1は「生産設備」，クラスタ2は「遊休設備」「過剰設備」からなるクラスタである．
形成されたクラスタに原義のクラスタはない．
また，そもそも複合名詞以外の用例は全て外れ値となっており，半分以上の用例が外れ値となっており，意味変化を捉えられていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{現代語 BERT と近代語 BERT の比較}
\label{bert_comparison}

前節までの結果から，単語ベクトルの性質がクラスタリング結果に大きな影響を与えていることがわかる．
特にクラスタリングベースの手法では複合名詞か否かという違いでクラスタを形成する傾向が強く出ていた．
そこで本節では，公開モデルである事前訓練済みの現代語 BERT と現代語 BERT を対象コーパスで fine-tuning して作成した近代BERTのそれぞれから獲得した単語ベクトルに対してクラスタリングベースの手法を適用し，比較を行なった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{定性判断による意味変化の判定結果}
定性判断による意味変化の判定の結果を表\ref{kindai_vs_gendai}に示す．
現代語 BERT で意味変化を捉えた単語は20単語，近代語 BERT では16単語である．
よって，定性判断に基づく意味変化の判定の観点では，現代語 BERT が近代語 BERT よりも優れた結果である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{16table04.tex}%
\hangcaption{クラスタリングベースの手法における，現代語 BERT と近代語 BERT の意味変化の定性判断の比較結果．意味変化を捉えた単語は「\checkmark 」，意味変化を捉えられなかった単語は「×」とした．}
\label{kindai_vs_gendai}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JSD によるスコアリングの結果}
JSD によるスコアリングを現代語 BERT と近代語 BERT のそれぞれから獲得した単語ベクトルに対して行い，recall@$k$を算出した．
その結果を図\ref{gen_vs_kin_jsd_fig}に示す．
図\ref{gen_vs_kin_jsd_fig}から，全ての $k$ の値で近代語 BERT が 現代語 BERT と同等かそれ以上の recall 値であることがわかる．
よって，JSD のスコアに対する recall@$k$ の観点では，近代語 BERT が現代語 BERT よりも優れた結果であるといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia16f9.pdf}
\end{center}
\hangcaption{クラスタリングベースの手法における，現代語 BERT と近代語 BERT の recall@kの比較結果．意味変化した単語数である34を $k$ の最大値とした．}
\label{gen_vs_kin_jsd_fig}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析}
\label{kindai_vs_gendai_analysis}

実験の結果，現代語 BERT と近代語 BERT で違いが生じている．
また，定性判断による評価と JSD スコアによる評価で逆の結果になっている．
本節ではこれらの違いについて分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{現代語 BERT と近代語 BERT が捉える特徴の違い}
\label{gendai_vs_kindai_analysis}

現代語 BERT と近代語 BERT でクラスタリングの結果に大きな違いが生じた単語として，意味変化した単語では「非常，主婦」，意味変化していない単語では「伴う，支払う」がある．
これらの単語のクラスタリング結果を用例レベルで確認した．
現代語 BERT では，現代語で使われないような表現（例えば，文語表現）を1つのクラスタにまとめる傾向があった．
一方で，近代語 BERT では古い時期で現れない用法を1つのクラスタにまとめる傾向があった．
特に近代語 BERT では古い時期に出現が少ない複合名詞をまとめるケースが特に多かった．

以上のことから対象コーパスで fine-tuning することで，文語表現のような現代にはない用法で用いられる用例がある単語で意味変化を捉えやすくなることが分かった．
一方で fine-tuning によって，古い時期で現れない用法がある単語では，その用法をクラスタ化してしまう傾向があることが分かった．
特に複合名詞をクラスタ化するケースが多かった．
具体例として「非常」と「支払う」を紹介する．

\begin{description}
\item[非常]
「非常」は「いつもと異なる」という語義から「程度が高い」という語義へ変化した．

まず現代語 BERT の結果を述べる．
図\ref{hijou_gendai_scatter}のクラスタ0には，「非常時」や「非常な」のような「いつもと異なる」の語義の用例が属していた．
クラスタ1には，「非常に」のような「程度が高い」の語義の用例が属していた．

次に近代語 BERT の結果を述べる．
図\ref{hijou_kindai_scatter}のクラスタ0には「非常時」や「非常事態」のような複合名詞の用法の用例が属していた．
クラスタ1には，「非常な」や「非常に」のような複合名詞以外の用法の用例が属していた．

現代語 BERT はクラスタを解釈すると原義や語義に対応するクラスタを形成したが，近代語 BERT は複合名詞か否かという単語固有ではない用法でクラスタを形成して
おり，クラスタを解釈すると，クラスタ0は原義に対応するが，クラスタ1は原義と転義が混在している（「非常な」は原義に対応した用例が多く，「非常に」は転義に対応した用例が多い）．

\item[支払う]
「支払う」は意味変化していない単語である．
まず現代語 BERT の結果を述べる．
図\ref{shiharau_gendai_scatter}のクラスタ0には「支払うをす。」のような文語表現が多く属していた．
クラスタ1には「支払う事」のような「支払う＋名詞」という用法の用例と「支払う。」のように後ろに名詞を伴わない
用法の用例が属していた．
クラスタ2には「支払う金」のような「支払う＋名詞」という用法の用例が属していた．
図\ref{shiharau_gendai_bar}からクラスタ0が徐々に減少していることがわかる．

次に近代語 BERT の結果を述べる．
図\ref{shiharau_kindai_scatter}のクラスタ0には文語表現，「支払う＋名詞」，後ろに名詞を伴わない用法の用例が属していた．
クラスタ1には「支払う＋名詞」という用法の用例だけが属していた．

現代語 BERT では文語表現か否かという特徴でクラスタを形成したが，近代語 BERT では文語表現のクラスタは形成されていない．

\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia16f10.pdf}
\end{center}
\subfigure{\label{hijou_gendai_scatter}}
\subfigure{\label{hijou_gendai_bar}}
\subfigure{\label{hijou_kindai_scatter}}
\subfigure{\label{hijou_kindai_bar}}
\subfigure{\label{shiharau_gendai_scatter}}
\subfigure{\label{shiharau_gendai_bar}}
\subfigure{\label{shiharau_kindai_scatter}}
\subfigure{\label{shiharau_kindai_bar}}
\vspace{-14pt}
\caption{「非常」と「支払う」の結果．}
\label{hijou_shiharau_results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{定性判断と JSD スコアの乖離}

現代語 BERT と近代語 BERT で異なる結果となった単語に注目し，分析を行う．
まず意味変化していない単語に注目する．
意味変化していない単語のうち「伴う」，「支払う」の JSD スコアのランキングは現代語 BERT では高く，近代語 BERT では低かった．
「伴う」，「支払う」は\ref{gendai_vs_kindai_analysis}節で述べたように，現代では出現しないような用法をクラスタ化したケースであった．
逆に，ランキングが現代語 BERT では低く，近代語 BERT では高い単語は「存在」の1単語である．
この単語も\ref{gendai_vs_kindai_analysis}節で述べたように，古い時期には出現していなかった用法がクラスタ化されている．
これらの単語は JSD スコアが高いことから，クラスタの比率の変化は起きている．
このことから，手法はこれらの単語の意味変化ではなく，その単語特有ではない用法の変化を捉えたと考える．

次に意味変化した単語に注目する．
表\ref{kindai_vs_gendai}に示されているように「非常」は近代語 BERT において定性判断では意味変化を捉えていないが JSD のスコアは高い．
「非常」は近代語 BERT で複合名詞の用法のクラスタと複合名詞以外の用法のクラスタに分けられた．
これは「非常」特有の用法の変化や語義の変化を捉えておらず，意味変化していない単語と同様に，その単語特有ではない用法の変化を捉えたといえる．


以上のことから，クラスタリングベースの手法が意味変化ではなく，その単語特有ではない用法の変化を捉えたケースがあり，JSD スコアによる評価では，それらの違いを識別できないため2つの評価手法の結果に乖離が生じたと考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，意味変化の分析手法として，辞書による教師ありのグルーピングを用いた手法とクラスタリングによる教師なしのグルーピングを用いた手法の比較を行なった．
その結果，適用可能性を考慮するとクラスタリングを用いた手法が意味変化の分析において有効であることが分かった．
さらに，辞書ベースの手法で用いる辞書とクラスタリングベースの手法で用いるクラスタリング手法を変更する追加実験を行なった．
その結果，辞書ベースの手法では辞書によって結果が大きく変わることを確認し，
クラスタリングベースの手法では $k$-means 法がシンプルかつ有効であることを確認した．
また，単語ベクトルの獲得方法として，現代語で学習した BERT と対象コーパスで fine-tuning をした BERT を比較した．
fine-tuning を行うことで文語のような古い表現でも意味変化を捉えられるケースがある一方で，古い時期で出現が少ない用法がある場合には意味変化を捉えられないケースが生じることが分かった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は国立国語研究所の共同研究プロジェクト「通時コーパスの構築と日本語史研究の新展開」及びJSPS科研費19H00531の助成を受けたものです．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{16refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{小林　千真}{%
2021年法政大学理工学部創生科学科卒業．
同年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了．
現在に至る．
}

\bioauthor{相田　太一}{%
2020年長岡技術科学大学工学部電気電子情報工学課程卒業．
2022年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了．
同年同大学同研究科同学域博士後期課程進学．
現在に至る．
}

\bioauthor{岡　　照晃}{%
2010年豊橋技術科学大学情報工学課程卒業．
2012年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2013年より日本学術振興会特別研究員 (DC2) を経て，
2015年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（工学）．
同年京都大学大学院情報学研究科特定研究員．
2016年国立国語研究所言語変化研究領域プロジェクト非常勤研究員．
同年同研究所コーパス開発センター特任助教．
2021年東京都立大学システムデザイン学部特任助教．
2023年一橋大学大学院ソーシャル・データサイエンス研究科特任助教．
現在に至る．
}

\bioauthor{小町　　守}{%
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2008年より日本学術振興会特別研究員 (DC2) を経て，2010年同研究科博士後期課程修了．
博士（工学）．
同年同研究科助教．
2013年首都大学東京（現東京都立大学）システムデザイン学部准教授．
2022年同大学同学部教授．
2023年より一橋大学大学院ソーシャル・データサイエンス研究科教授．
現在に至る．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}
\end{biography}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

