\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
\usepackage{multirow}
%%%%\usepackage{amsmath}
%%%%\usepackage{supertabular}
%%%%\usepackage{subcaption}
%%%%\usepackage{amssymb}
%%%%\usepackage{comment}
%%%%\usepackage[dvipdfmx]{color}
%%%%\usepackage[jis2004]{otf} % aida added
    \usepackage[scale=1]{otf}
\usepackage{acronym} % aida added to define acronym
\acrodef{JaSemChange}[JaSemChange]{Japanese lexical Semantic Change detection dataset}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{3}{29}
\revised{2024}{7}{1}
\accepted{2024}{8}{5}

\setcounter{page}{1487}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{日本語意味変化検出のための評価データセットの構築と分析}
\jauthor{凌　　志棟\affiref{Author_1} \and 相田　太一\affiref{Author_1} \and 岡　　照晃\affiref{Author_1} \and 小町　　守\affiref{Author_2}}
\jabstract{%
時代とともに意味が変化する単語をコーパスから自動的に検出・分析する研究は，自然言語処理の研究者から注目を集めている．英語やドイツ語などの言語では，時期の異なる学習用コーパス（通時コーパス）の公開や評価用単語セットの作成が進んでいるため，盛んに研究が行われているが，日本語では不十分である．そこで本研究では，日本語の評価用単語セット JaSemChange を作成した．作成にあたり，近代から現代までを扱う3つの通時コーパスを使用し，対象単語の用例ペアをサンプリングした．19個の対象単語に関する合計2,280の用例ペアに対して4人の専門家が意味類似度をアノテーションし，それらを用いて単語の意味変化度合を算出した．その後，本評価セットを用いて，単語ベクトルに基づく意味変化検出手法の性能評価を行った．頻度に基づく手法をベースラインとし，タイプベースとトークンベースの代表的な手法の性能を比較し，それぞれの手法の特徴を議論した．本研究で作成した，意味変化度合が付与された単語セット，および用例ペアに対するアノテーションスコアはGitHubで公開した．
\renewcommand{\thefootnote}{}
\footnote[0]{本研究は Pacific Asia Conference on Language, Information and Computation (PACLIC 37) 及び，言語処理学会第30回年次大会 (NLP2024) で発表した内容 \cite{ling-etal-2023-construction,凌-etal-2024-拡張}を拡張したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{意味変化，データセット，日本語，単語ベクトル}

\etitle{Construction and Analysis of Evaluation Dataset for Japanese Lexical Semantic Change Detection}
\eauthor{Zhidong Ling\affiref{Author_1} \and Taichi Aida\affiref{Author_1} \and Teruaki Oka\affiref{Author_1} \and Mamoru Komachi\affiref{Author_2}} 
\eabstract{%
Research in natural language processing has seen growing interest in automatically detecting and analyzing words whose meanings evolve over time from corpora. While diachronic corpora and evaluation word lists have been established for languages like English and German, such resources are lacking for Japanese. This study addresses this gap by introducing the Japanese Lexical Semantic Change Detection Dataset (\textit{JaSemChange}), which has a list of evaluation words for Japanese. Leveraging three diachronic corpora spanning near modern to contemporary Japanese, we sampled usages of target words as pairs. A team of four experts annotated a total of 2,280 usage pairs of target words with semantic similarity to gauge the degree of semantic change. Furthermore, we assessed the performance of word embedding-based methods in detecting semantic change using this dataset. In addition to using frequency-based methods as a baseline, we compared the effectiveness of typical type-based and token-based methods and explored their respective characteristics. The dataset, covering the list of words assigned a degree of semantic change and the annotation scores for the usage pairs, is publicly available on GitHub.
}
\ekeywords{Semantic Change, Dataset, Japanese, Word Embeddings}

\headauthor{凌，相田，岡，小町}
\headtitle{日本語意味変化検出のための評価データセットの構築と分析}

\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}
\affilabel{Author_2}{一橋大学}{Hitotsubashi University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

単語の意味は時代とともに変化することがある．
単語の意味変化（以降意味変化と呼ぶ）については，従来は言語学者が手作業で検出と分析を行っていたが，通時コーパスの公開や単語の意味表現の研究の発展により，近年では意味変化の自動的な検出および分析が自然言語処理の分野で注目を集めている．
代表的な例として，時間の経過とともに意味が変化した単語をテキストデータから自動的に検出する，意味変化検出というタスクがある \cite{hamilton-etal-2016-diachronic,schlechtweg-etal-2019-wind,giulianelli-etal-2020-analysing,kutuzov-etal-2021-grammatical}．
意味変化検出に関する先行研究では，対象の通時コーパスの中で意味が変化した単語・変化していない単語の集合を評価セットとしていた．
このとき，手法の性能は，評価セット内の単語を意味変化度合で並べ替えたときに，意味が変化した単語がどの程度上位に含まれるか，という基準で評価されてきた．
しかし，意味変化の有無に関する情報だけでは，意味が変化した単語・変化していない単語を全て等しく扱うため，各単語の意味変化の程度を考慮した詳細な評価や分析を行うことはできない．
また，先行研究では通時コーパスや評価セットが統一されておらず，さまざまなデータを使って学習と評価を行っていたため，性能を直接比較することは困難である \cite{Kulkarni-etal-2015-Statistically,hamilton-etal-2016-diachronic,yao-2018-dynamic}．

この問題に対処するため，\citeA{schlechtweg-etal-2018-diachronic}は，単語の意味変化度合を計算するフレームワークであるDiachronic Usage Relatedness (DURel) を提案した．
DURel では，各対象単語に対して，通時コーパスから得られた用例ペアに人手で付与した意味類似度を用いて，時間経過に伴う意味変化度合を計算する．
用例ペアとは，ルールに従ってコーパスから抽出された同一単語の2つの異なる用例を含むものである．
このフレームワークに基づいて評価セットを作成することで，意味変化の度合を考慮した，より詳細な評価と分析を行うことが可能となる．
DURel が公開されてから，ロシア語や中国語などのさまざまな言語について，DURel を採用した評価用単語セットが作成・公開されている \cite{rodina-kutuzov-2020-rusemshift,giulianelli-etal-2020-analysing,kutuzov-pivovarova-2021-three,chen-etal-2022-lexicon}．
最近では，\citeA{schlechtweg-etal-2020-semeval}が DURel フレームワークを拡張し，英語やドイツ語をはじめとする4つの言語の評価用単語セットを作成した．
そして，\citeA{schlechtweg-etal-2020-semeval}はデータセットを通時コーパスとあわせて提供して，意味変化検出の共有タスクである SemEval-2020 Task 1 を開催した．
さまざまな言語で通時コーパスの公開・評価用単語セットの作成が進んでいるが，日本語では通時コーパスの作成が進んでいるものの，評価用単語セットは十分にない．
\citeA{mabuchi-ogiso-2021-dataset-jp}は近代から現代にかけて意味が変化した単語のリストを作成したが，リスト内の単語の意味がどの程度変化したのか，という意味変化度合は付与されていない．

そこで本研究では，DURel フレームワークを用いて，近代から現代における日本語の意味変化度合を算出して，評価用の単語セット\ac{JaSemChange}を構築した．
明治時代から平成時代にかけて，日本語は社会的・言語的要因によって大きく変化した \cite{永澤済2010変化パターンからみる近現代漢語の品詞用法,田中佑2015近現代日本語における新たな助数詞の成立と定着}ため，今回は明治・大正時代，昭和時代，平成時代をカバーするコーパスを用いて，単語の意味変化を評価した．
このとき，明治・大正時代と平成時代を比較するだけでなく，より短い時間間隔である昭和時代と平成時代でも比較を行い，単語に時期間の意味変化度合を付与した．
これにより，異なる時間間隔をもつ時代間で意味変化の検出の性能評価や分析が可能になる．
最終的に，我々の評価用単語セットには19単語が含まれており，それぞれの単語の意味変化度合は，最大4人のアノテータが2,280個の用例ペアに対して付与した計5,520個の意味類似度スコアから算出されている．

本研究の貢献は以下の通りである．
\begin{itemize}
      \item 日本語の通時的な意味変化を研究するための評価用単語セット JaSemChange を構築した\footnote{この評価用単語セットはGitHubで公開した(\url{https://github.com/tmu-nlp/JapaneseLSCDataset})．著作権の関係上，本研究で使用したコーパスの用例を公開することはできない．その代わり，コーパス検索アプリケーションである中納言 \url{https://chunagon.ninjal.ac.jp/} を使ってダウンロードできる各用例のサンプルIDを公開した．}．
      DURelフレームワークを用いて，4人の専門家を集めてアノテーションを実施することにより，日本語の通時コーパスから抽出した用例を用いて対象単語の意味変化度合を定量化した．
      \item 日本語の近現代語および現代語の非専門家にも同じアノテーションを依頼し，その結果を専門家の結果と比較した．専門家と非専門家の間に一致率の差は見られなかったが，用例ペアを詳しく調査することで，判断が困難な用例ペアに対しては非専門家よりも専門家の方が正確性が高く，専門知識が必要であることを確認できた．
      \item 作成したJaSemChangeで，単語ベクトルを用いた2種類の意味変化の検出手法に対する評価実験を行った．
      その結果，どちらの手法も単語頻度に基づく手法を上回る性能を示し，手法間の性能差は他の言語の評価データと同じ傾向があることが分かった．
      また，異なる時間間隔によって，意味変化を検出する難しさが異なることもわかった．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化の検出手法}

単語の通時的な意味変化の検出とその分析は自然言語処理において広く研究されている．
近年では単語ベクトルを用いた意味変化検出が主流となっているが，単に時期ごとで独立に単語ベクトルを学習してもそれぞれで全く異なるベクトル空間が得られるため，時期間での比較ができない．
そのため，複数の時期で比較可能な単語ベクトルを学習するための手法が数多く提案された．

最初の段階では，word2vec \cite{Mikolov-2013-EfficientEO,mikolov-2013-sgns}に代表される文脈非依存（タイプベース）の単語ベクトルを用いた検出手法が数多く提案された．
\citeA{kim-etal-2014-temporal}は，word2vecのSkip-gram with Negative Sampling (SGNS)で学習した単語ベクトルを時系列で追加学習することで複数時期のベクトル空間を獲得し，意味変化の検出を行った．
異なる時期のコーパスで学習する際に，古い時期で学習したモデルのパラメータを初期値に設定し，次の時期のコーパス上で追加学習した．
その後，同じ単語の異なる時期の単語ベクトル同士のCosine Similarityを計算することで，単語の意味変化を検出した．
\citeA{Kulkarni-etal-2015-Statistically}では，各時期で単語ベクトルを学習し，時期間で線形変換による対応付けを行うことで，複数時期のベクトル空間を獲得し，意味変化の検出を行った．
\citeA{hamilton-etal-2016-diachronic}は，各時期の単語ベクトルを学習し，それらのベクトル空間を対応付けすることで意味変化を検出した．
各時期で独立に学習した単語ベクトルに対して Orthogonal Procrustes (OP) で回転行列を獲得し，時期間のベクトル空間の対応づけをして，単語ベクトルの比較を行った．
この手法は，\citeA{schlechtweg-etal-2019-wind}が行った通時的な意味変化と共時的な意味変化の検出タスクにおいて，多くの手法の中で最もよい性能を示した．
\citeA{yao-2018-dynamic}は，正則化項を組み込むことで，ベクトルの変化の時間的遷移を滑らかにしながら，全ての時期にわたって同時に単語のベクトルを学習した．
この手法の性能を評価するために，彼らは既知の変化を持つ技術関連の単語を選択し，提案手法によってそれらを検出できることを示した．

近年では，BERT \cite{devlin-etal-2019-bert} などに代表される事前学習済みの言語モデルによって，対象単語の個々の用例から文脈依存（トークンベース）の単語ベクトルを獲得できるようになった．
文脈非依存の単語ベクトルに比べて，文脈依存の単語ベクトルでは，単語の意味変化を検出できるだけでなく，用例単位で単語の意味変化の観察・分析も可能である \cite{hu-etal-2019-diachronic}．
そのため，文脈依存の単語ベクトルを活用した手法が提案された．
\citeA{giulianelli-etal-2020-analysing}は，BERTを用いて各単語の用例集合から文脈依存ベクトルの集合を取得し，クラスタリングの結果を時期間で比較することで意味変化度合を予測した．
この手法では，まず，全ての時期のベクトル集合に対して同時にクラスタリングを行い，各クラスタを語義の集合とみなした．
次に，2つの異なる期間におけるクラスタ分布を比較することで，意味の通時的変化を定量化した．
\citeA{rosin-etal-2022-time}は，文脈とその時期情報をエンコードするBERTモデルを提案した．
提案された手法では，追加学習用データである通時コーパスにおいて，各用例に対してその年代を表す特殊トークンを追加した．
その後，マスクされた単語／特殊トークンを，特殊トークンと周辺文脈／周辺文脈から推測できるように調整を行った．
このようなマスキングを加えることで，異なる時期に特有の単語表現を学習することができる．
従来の BERT などを用いたトークンベースの手法は，意味変化検出タスクにおいて SGNS などのタイプベースの手法の性能には及ばなかったが，実験よりその性能を上回ることを示した．
\citeA{rosin-radinsky-2022-temporal}は，時期情報が組み込まれている注意機構を提案した．
モデルの自己注意機構に対して時期に関する行列を加えることで，注意機構は各単語の重み計算の際に時期も考慮することができるようになり，意味変化検出タスクでも非常に高い性能を示した．
\citeA{cassotti-etal-2023-xl}は，2つの文の中にある同一単語が同じ意味かどうかを判定するタスク \cite{pilehvar-camacho-collados-2019-wic}で学習した多言語モデルを提案した．
提案された手法は意味変化検出の共通タスクSemEval-2020 Task 1 \cite{schlechtweg-etal-2020-semeval}とロシア語の評価データセットRuShiftEval \cite{kutuzov-pivovarova-2021-three}において，時期情報をエンコードしたBERTや注意機構を上回り，現時点での最高性能を示した．
したがって，現在は事前学習済みの言語モデルを用いた手法が主流となっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化の検出手法の評価}

手法の性能を定量的に評価する場合，従来の研究では，意味変化した特定の単語を選択し，バイナリの評価を行っていた \cite{kim-etal-2014-temporal,Kulkarni-etal-2015-Statistically,hamilton-etal-2016-diachronic}．
しかし，これらの研究では単語選択の基準が異なっており，異なる手法間で直接比較するのが困難であった．
また，バイナリの評価は単語ごとの意味変化の有無に関する情報のみを扱っているため，各単語の意味変化度合を考慮することができない．
そこで，より詳細な評価を行うためには，意味変化の有無だけではなく，意味変化度合についての情報も必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\vspace{-0.5\Cvs}
\input{03table01.tex}%
\caption{アノテーションで使用する意味類似度に基づくスコアリング．}
\label{table:rate point}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このような問題に対して，\citeA{schlechtweg-etal-2018-diachronic}は，通時的な意味類似度を付与するための言語に依存しないフレームワークであるDURelを発表した．
このフレームワークでは，用例ペアにおける対象単語に対して，\mbox{表 \ref{table:rate point}}に示した意味的類似度を無関係 (1) から同一 (4) まで人手で付与し，その類似度をもとに単語の意味変化度合を算出する．
SemEval-2020 Task 1では，共有タスクのベンチマークとして，英語，ドイツ語，スウェーデン語，ラテン語の評価データセット\footnote{これらのデータセットは，DURel フレームワークを拡張した Diachronic Word Usage Graph (DWUG) \cite{schlechtweg-etal-2021-dwug}を使って作成された．}が提供された \cite{schlechtweg-etal-2020-semeval}．
その後も，DURel フレームワークに基づいて，ロシア語 \cite{rodina-kutuzov-2020-rusemshift,kutuzov-pivovarova-2021-three}，英語 \cite{giulianelli-etal-2020-analysing}，中国語 \cite{chen-etal-2022-lexicon}，ノルウェー語 \cite{kutuzov-etal-2022-nordiachange}，スペイン語 \cite{d-zamora-reina-etal-2022-black}など，多くの言語のデータセットが作成されてきた．
これらのデータセットは検出手法の評価基準として使われ，検出手法について様々な言語のデータセットでの性能評価が可能になった\cite{giulianelli-etal-2022-fire,cassotti-etal-2023-xl}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語の意味変化検出}

これまでに述べてきたように，さまざまな言語で意味変化の検出手法の開発，通時コーパスの公開や評価用単語リストの作成が行われている．
しかし，日本語では公開された通時コーパスが限られているため，日本語の意味変化検出に関する研究は少ない．ここでは，その中でもいくつかの研究を紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{03table02.tex}%
\caption{\protect\citeA{mabuchi-ogiso-2021-dataset-jp}が作成した近現代日本語の意味変化分析のための単語リスト．}\label{table:mabuchi-wordlist}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\citeA{aida-journal-2023}は，意味変化を捉えるため，Pointwise Mutual Information (PMI) ベースの手法を提案し，英語と日本語のコーパスに適用した．
対象語を分析する際，\citeA{mabuchi-ogiso-2021-dataset-jp}が作成したリストに載っている単語（表\ref{table:mabuchi-wordlist}）は意味が変化した単語であり，リストに含まれていない単語は意味が変化していないものと仮定した．
このリストには意味変化度合が付与されていないため，意味の変化した単語を一律に扱う平均逆順位に基づいて，提案手法とタイプベース・トークンベースの手法の性能を評価・比較した．
\citeA{kobayashi-journal-2023}は，日本語の語義レベルの意味変化を分析するために，辞書ベース \cite{hu-etal-2019-diachronic}とクラスタリングベース \cite{giulianelli-etal-2020-analysing}の2つの異なるBERTベースの手法を意味変化の検出に適用し，両者の性能を比較した．
どちらも分析のための手法であったため，性能の定量的な比較は行われなかったが，\citeA{mabuchi-ogiso-2021-dataset-jp} によって作成された意味変化した単語セットに着目し，定性的な評価を行った．
このように，日本語における意味変化の研究では，意味変化した単語のリストしかないため，バイナリの評価や定性評価に留まっている．
他の言語と同様に詳細な評価を行うためには，日本語でも意味変化度合が付与された評価用の単語セットの構築が必要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{03table03.tex}%
\hangcaption{実際のアノテーションタスクでの例．用例中の対象語は**で囲む．\text{\textless  \textgreater} 内は用例の中納言のサンプルID，開始位置，連番である． }
\label{table:An annotation example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{JaSemChangeの構築}

日本語の意味変化度合が付与された評価用単語セットを作成するために，DURel フレームワークを適用した．
このフレームワークでは，単語の意味変化度合は，対象コーパスの用例ペアにある単語の意味類似度によって定義される．
対象単語の意味類似度は人手でアノテーションされ，用例ペアの対象単語に対して，意味が似ているペアは高得点となり，意味が離れているペアは低得点となる．
\mbox{表 \ref{table:rate point}}に示すように，DURel と同じ手順で意味類似度を4段階のスコアでアノテーションした．
実際のアノテーション例を\mbox{表 \ref{table:An annotation example}}に示す．

まず，サンプリング対象となるコーパスの調査対象期間を基準にして初期$C_{earlier}$と後期$C_{later}$の2つに分ける．
次に，対象単語ごとに，コーパスから3つのグループの用例ペアをサンプリングする．
ここでは，それぞれを$Earlier$，$Later$，$Compare$と呼ぶ．
$Earlier$のペアには$C_{earlier}$の用例が2つ，$Later$のペアには$C_{later}$の用例が2つ，$Compare$のペアには$C_{earlier}$と$C_{later}$の用例がそれぞれ含まれる．
その後，各グループの用例ペアに対して対象単語の意味類似度をアノテーションする．
最終的に，得られた用例ペアのアノテーション結果を用いて，単語の意味変化度合を算出する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテータ}

各グループの用例ペアの評価には，日本語を母語とし，日本語に関連する豊富な知識を持つ4人のアノテータが参加した．
アノテータは近代の日本語に詳しい国立国語研究所\footnote{\url{https://www.ninjal.ac.jp}}の研究員またはプロジェクトの技術／作業補佐員である．
\citeA{schlechtweg-etal-2018-diachronic}と同様に，アノテーション作業に入る前に，アノテータには図\ref{fig:annotation guideline}に示すガイドラインを読み，チュートリアルを完了するよう指示した．
このチュートリアルはGoogle Formsで提供し，実際のアノテーションと同じ環境である．
チュートリアルの正解は第一著者が作成し，共著者がチェックした上で提供した．
チュートリアル完了後，著者の判断を正解として提供し，アノテータに確認させたところ，参加者全員がほぼ満点を獲得し，不合理なミスもなかった．
チュートリアルの画面は付録\ref{fig:tutorial}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia3f1.pdf}
\end{center}
\caption{アノテーションタスクを説明するために作業開始前アノテータに見せるガイドライン．}
\label{fig:annotation guideline}
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{コーパス}

今回は，古い時期のコーパス $C_{earlier}$ として日本語歴史コーパス (CHJ)\footnote{\url{https://clrd.ninjal.ac.jp/chj/index.html}}と昭和・平成書き言葉コーパス (Showa-Heisei Corpus of written Japanese; SHC)\footnote{\url{https://clrd.ninjal.ac.jp/shc/index.html}}を，新しい時期のコーパス $C_{later}$ として現代日本語書き言葉均衡コーパス (BCCWJ)\footnote{\url{https://clrd.ninjal.ac.jp/bccwj/index.html}} \cite{bccwj-paper}を使用した．
\mbox{表 \ref{table:corpora}}に3つのコーパスの統計量を示す．
ジャンルの影響を避けるため，全てのコーパスにおいて雑誌部分のみを使用した．
CHJは，奈良時代（800年代～）から明治・大正時代（1860年代～1920年代）までの長期にわたる日本語テキストをカバーする通時コーパスである．
我々の設定では，明治・大正時代のテキストを使用した．
SHCは昭和から平成まで広くカバーする書き言葉コーパスである．
今回はCHJとBCCWJを接続するように，1933年から2000年までのテキストを使用した．
そのため，SHCの使用部分には平成初期の1989年から2000年までの文を含む．
BCCWJは，昭和後期（1970年代～1980年代）から平成（1980年代～2010年代）までをカバーする書き言葉均衡コーパスである．
今回はSHCとも比較を行うため，2001年以降のテキストを使用した．
これらのコーパスを用いて，時間間隔が長い明治大正時代と平成時代（$C_{earlier}$：CHJ，$C_{later}$：BCCWJ，本稿では\textbf{長期間}と呼ぶ），時間間隔が短い昭和時代と平成時代（$C_{earlier}$：SHC，$C_{later}$：BCCWJ，本稿では\textbf{短期間}と呼ぶ）における単語の意味変化度合を評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{03table04.tex}%
\caption{コーパスの概要．ドメインは全て雑誌を使用した．}
\label{table:corpora}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{03table05.tex}%
\hangcaption{評価セットの対象単語．意味変化ありの単語の下は原義と転義である．カッコ内は単語が短単位の品詞タグの略であり，大分類としては[名]名詞・[形状]形状詞・[形容]形容詞・[副]副詞がある．短単位品詞体系の「形状詞」は学校文法の「形容動詞」と日本語教育における「な形容詞」と同等である．短単位が採用する可能性に基づく品詞体系における名詞という大分類のもとに，「する」や「いたす」などを付けることでサ変動詞として使用可能な名詞は「名-サ変」とし，形状詞として使用可能な名詞は「名-形状」としている．}
\label{table:target-word}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対象単語}

アノテーションの対象単語として，表\ref{table:target-word}に示す計19単語を選定した．
19単語のうち，意味が変化した単語を10単語，意味が変化しなかった単語を9単語とした．
意味変化した単語は，先行研究をもとに専門家が選定した単語リストを使用した\cite{mabuchi-ogiso-2021-dataset-jp}．
\citeA{mabuchi-ogiso-2021-dataset-jp}は頻度の変化と語義の分類を調査し，データセット構築のための予備作業の一環として，不適切な単語を除外することで，意味が変化したと想定される34単語を獲得した．
我々はその中の10単語をランダムに選定し，今回の対象単語とした．
今回の対象期間において，意味変化が起こらなかった単語を調べた研究を見つけられなかったため，意味が変化していない9単語の選定はデジタル大辞泉\footnote{\url{https://japanknowledge.com/contents/daijisen/}}を参考にした．
このとき，辞書の中から，1つの説明文しか持たない単語を意味が変化していない単語とみなし，ランダムに9単語選定した\footnote{今回選定した意味が変化していない9単語について，デジタル大辞泉では単一の説明文だけを持つにもかかわらず，日本国語大辞典\url{https://japanknowledge.com/contents/nikkoku/}では複数の説明文を持つ単語も存在した．そのような単語に対して，今回サンプリングした用例集合内の語義割合を調査した．その結果，日本国語大辞典では複数の語義説明文を持つ単語でも，用例集合内ではほとんど1つの語義しか出現せず，意味が変化しない単語として適していることを確認した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{サンプリング}

今回の対象単語はコーパスの形態論解析単位である短単位\cite{BCCWJ-mopho-2011}と同形であるため，対象単語の用例は中納言を使って対象のコーパスから語彙素を用いた短単位検索で収集した．
短単位検索では，対象単語の書字形または語彙素を検索することで，コーパス中の対象単語の用例を収集可能である．
中納言では，対象単語の書字形で検索できるが，明治時代や大正時代では現代日本語とは異なる漢字表記を採用していた可能性があるため，書字形検索では表記が変わった単語の用例を収集できない．
例えば，平成時代の「適当」という単語には，明治・大正時代では異なる表記の「適當」が存在する．
そこで，書字形ではなく語彙素で検索することで，語彙素に属するすべての書字形の用例を収集することができる．
また，語彙素だけで検索をすると，語彙素の表記は同じだが読みが異なる単語の用例が取得されることがある．
例えば語彙素「生物」で検索すると，「生物（せいぶつ）」と「生物（なまもの）」の用例が同時に取れてしまう．
この問題に対処するためには，語彙素（「生物」）だけでなく語彙素読み（「せいぶつ」・「なまもの」）や語種（和語・漢語）などの情報も指定すればよい．
今回は選択した対象単語が1つの短単位から構成されており，「生物」のような読みの曖昧性を持たなかったため，語彙素のみを使用して用例のサンプリングを行った．
他の言語の研究では，名詞，動詞，形容詞など品詞ごとに対象単語を分けていたが，本研究で用いる短単位は可能性に基づく品詞体系を採用するため，対象単語の品詞によって対象単語の用例を区別しなかった．
例えば対象単語「教授」の場合，サ変動詞の語幹としての「教授（する）」という用法の用例も，名詞としての「（大学）教授」という用法の用例も全て用例サンプリングの対象である．

収集した各用例は，対象単語の両側に最大50個の文脈トークンを持ち，最大用例長は101トークン列となる．
また，サンプリングした用例はすべて中納言で固有のサンプルIDが付けられている．
今回はDURelに基づき，長期間 ($C_{earlier}$：CHJ，$C_{later}$：BCCWJ) と短期間 ($C_{earlier}$：SHC，$C_{later}$：BCCWJ) の各期間において，2つのコーパスからランダムサンプリングした用例より対象単語の用例ペアを作成した．
$Earlier$グループには$C_{earlier}$（CHJかSHC）から20ペア，$Later$グループには$C_{later}$ (BCCWJ) から20ペアを選び，$Compare$グループには$C_{earlier}$と$C_{later}$からそれぞれ1つの用例をランダムサンプリングして20個の用例ペアを作成した．
その後，それぞれのグループの各用例ペアに対して，アノテータによって対象単語の意味類似度が付与された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味変化度合の算出}

アノテーション終了後，各対象単語$w$の意味変化を定量化するために，各グループの全スコアの平均$\mathrm{Mean}(groupname_w)$を計算する．
この時，判断できないペア (N/A) は無視する．
$\mathrm{Mean}(groupname_w)$が高い場合は，グループ内の用例ペアの対象単語の意味類似度が高いことを示し，$\mathrm{Mean}(groupname_w)$が低い場合は，グループ内のいくつかの用例ペアにおける対象単語の意味類似度がかけ離れていることを示す．
これを3つのグループ $Earlier$，$Later$，$Compare$に適用すると，$\mathrm{Mean}(Earlier_w)$ と $\mathrm{Mean}(Later_w)$ はそれぞれ単独の時期のコーパス $C_{earlier}$ と $C_{later}$ における意味類似度を表し，$\mathrm{Mean}(Compare_w)$ は両方の時期のコーパスにおける通時的な意味類似度を表す．

最終的に，DURel フレームワークに基づいて，対象単語$w$における各グループの平均値から，2種類の意味変化度合を計算する．
\begin{description}
    \item $\Delta{}Later_w = \mathrm{Mean}(Later_w) - \mathrm{Mean}(Earlier_w)$: これは，$Later$の全アノテーションスコアの平均から，$Earlier$のアノテーションスコアの平均を引いたものである．この指標は，$Earlier$グループから$Later$グループへの意味類似度の変化を表す．この指標によって計算された正の値は対象単語の語義が減少したことを示し，負の値は語義が増加したことを示す．
    \item $\mathrm{Mean}(Compare_w)$: $Compare$グループのアノテーションスコアの平均である．この指標では，スコアが高い／低いほど，変化の種類に関係なく，2つの時期間の変化の度合が弱い／強いことを示す．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{03table06.tex}%
\hangcaption{最終的に得られた評価データの内訳である．1回目のアノテーションで得られた部分は\textbf{v1}であり，その上に2回目のアノテーションで追加して得られたのは\textbf{v2}である．}
\label{table:2 annotations}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーション依頼}

今回は，表\ref{table:2 annotations}に示したように，二段階に分けてアノテーションを行った\footnote{1段階目に取り組んだ際に，まず部分的なデータを作成して結果を確認した．その際に，SHCがまだ公開されていないため，BCCWJとCHJでアノテーションを行った．1段階目の結果としては，予想通りに意味が変化した単語と変化しなかった単語にそれぞれふさわしい変化度合を得られた．そのため，2段階目ではデータセットの拡張を目的として，対象単語を追加し，昭和時代をカバーするSHCを取り入れて追加のアノテーションを行った．}．
最初の段階では，8単語における長期間 ($C_{earlier}$：CHJ，$C_{later}$：BCCWJ) の比較を3人のアノテータに依頼した (\textbf{v1})．
このとき，対象単語は意味変化のある6単語（結構，優勝，教授，免許，椅子，適当）と意味変化のない2単語（主張，林檎）とした（表\ref{table:target-word}）．
これらの結果から，長期間の意味変化においては，算出した意味変化度合と実際の意味変化あり／なしの情報との対応が取れていることを確認した \cite{ling-etal-2023-construction}．
次の段階では，単語を19単語に増やし，長期間だけでなく短期間 ($C_{earlier}$：SHC，$C_{later}$：BCCWJ) の比較を行った (\textbf{v2})．
スケジュールの都合上，v1 の時の3人のアノテータのうち2人が参加できなくなったため，
新たに1人のアノテータに作業を依頼した．
このアノテータには，v2 の追加分のデータだけでなく，v1 の最初のデータのアノテーションを依頼した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーション結果と分析}

アノテーションから得られた評価用単語セットの概要を表\ref{table:dataset stats}に示す．
アノテーション結果の品質はアノテータ間の一致率で評価する．
今回はKrippendorff's Alpha \cite{castro-2017-fast-krippendorff}とアノテータ間のSpearman順位相関係数の平均を使用した\footnote{一致率の計算はPythonのライブラリを使用した (\url{https://pypi.org/project/krippendorff/}, \url{https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.spearmanr.html})．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{03table07.tex}%
\hangcaption{評価用単語セットの概要．$\alpha$と$\rho$はそれぞれアノテータ間一致率のKrippendorff's AlphaとSpearman順位相関係数を示す．}
\label{table:dataset stats}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{語単位の意味変化}

アノテーション結果から算出した，長期間／短期間における2種類の意味変化度合の結果を図\ref{fig:semantic change score}に示す．
まず，$\Delta{}Later$値に基づく対象単語の意味変化度合に関して，
%%%%図\ref{fig:chj deltalater rank}はCHJとBCCWJの比較，図\ref{fig:shc deltalater rank}はSHCとBCCWJの比較の結果を示す．
    図\ref{fig:semantic change score}a はCHJとBCCWJの比較，図\ref{fig:semantic change score}c はSHCとBCCWJの比較の結果を示す．
理想的な結果としては，$\Delta{}Later$では意味が変化した単語が両側にあり，意味が変化していなかった単語が中央にあるようにあることを期待する．
しかし，両方の$\Delta{}Later$の結果はともに，中央に意味が変化した単語が多く，意味変化ありの単語と意味変化のない単語の間に明確な境界がない．
%%%%次に，図\ref{fig:chj delta comparerank}と\ref{fig:shc comparerank}は2つのコーパスの用例を直接比較する指標$\mathrm{Mean}(Compare)$であり，
    次に，図\ref{fig:semantic change score}b と\ref{fig:semantic change score}d は2つのコーパスの用例を直接比較する指標$\mathrm{Mean}(Compare)$であり，
意味が変化した単語がグラフの左側に，意味の変化がなかった単語が右側に集中することを期待する．
$\mathrm{Mean}(Compare)$は，語義変化が激しい単語であるほど変化度合の値が低いため，$\Delta{}Later$より意味変化した単語を適切に捉えていることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia3f2.pdf}
\end{center}
%%%% a \label{fig:chj deltalater rank}
%%%% b \label{fig:chj delta comparerank}
%%%% c \label{fig:shc deltalater rank}
%%%% d \label{fig:shc comparerank}
\hangcaption{それぞれのコーパスの比較から得られた，対象単語に対する2種類の意味変化度合について，昇順で並べた結果．$\Delta{}Later$の絶対値は意味変化度合の大きさを表し，正の値は語義の減少，負の値は語義の増加を表す．$\mathrm{Mean}(Compare)$は値が大きい／小さいほど意味変化度合が小さい／大きいことを示す．}
\label{fig:semantic change score}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

CHJとBCCWJの比較の結果において，意味が変化した単語である「結構」と「適当」は，両方の意味変化度合から検出された．
まず，「結構」は$\Delta{}Later$で語義減少を意味する最も高い値であり，$\mathrm{Mean}(Compare)$で最も低い値であることから，意味変化が激しいことが分かる．
表\ref{table:kekkou_chj}には，3つのグループにおいて，各グループにつき1つの用例ペアを示した．
$Compare$と$Earlier$において，CHJからサンプリングされた用例1の対象単語「結構」は「構成，構造」を意味し，BCCWJからの用例2は「かなり」「十分」を意味する．
コーパスからサンプリングされた用例を詳しく調べると，$C_{earlier}$では「結構」には名詞としての「構成，構造」，形状詞としての「よい，十分」と副詞としての「かなり」など，いくつかの語義があることがわかった．
$C_{later}$では，名詞の語義である「構成，構造」が消え，ほとんどの用例で形状詞や副詞として使われるようになった．
次に，「適当」は，最も低い$\Delta{}Later$と4番目に低い$\mathrm{Mean}(Compare)$を得た．
表\ref{table:tekitou_chj}に示すように，$Earlier$グループの「適当」の用例は，どちらも「適切」を意味する用例である．
$Later$グループでは，用例1に「適切」，用例2に「いい加減」が出てくる．
用例から，$C_{earlier}$では「適当」が主に「適切」を意味したが，$C_{later}$では「適当」が「適切」を意味する形状詞として低い割合で使用されており，「いい加減」を意味する形状詞として頻用されるようになったことがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{03table08.tex}%
\hangcaption{CHJとBCCWJの比較において，単語「結構」の用例ペアの例．用例ペアのコーパス出自について，$Compare$は（用例1：CHJ，用例2：BCCWJ），$Earlier$は（用例1：CHJ，用例2：CHJ），$Later$は（用例1：BCCWJ，用例2：BCCWJ）となる．}
\label{table:kekkou_chj}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{03table09.tex}%
\hangcaption{CHJとBCCWJの比較において，単語「適当」の用例ペアの例． 用例ペアのコーパス出自について，$Compare$は（用例1：CHJ，用例2：BCCWJ），$Earlier$は（用例1：CHJ，用例2：CHJ），$Later$は（用例1：BCCWJ，用例2：BCCWJ）となる．}
\label{table:tekitou_chj}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方，うまく検出できていない単語もある．
意味が変化した単語「迚も（とても）」の場合，$\mathrm{Mean}(Compare)$では2番目に低い値であり，意味が激しく変化したことを意味している．
しかし，$\Delta{}Later$で「迚も」は0に近い値を獲得し，意味が変化していなかったことになる．
この意味変化度合の間の齟齬を調査するために，「迚も」の用例と各グループのスコア分布を調査した．
表\ref{table:totemo_chj}に示すように，$Earlier$グループの「迚も」は「どうせ，到底」という否定的な文脈で多く使われていた．
一方で，$Later$グループになると，副詞としての「非常に」という意味が大きな割合を占めている．
%%%%図\ref{fig:chj count totemo}に示したように，
    図\ref{fig:annotation score count}d に示したように，
$Earlier$グループと$Later$グループでは同じくスコア3と4が多い（同じ語義が多い）が，$Compare$ではスコア1と2が多い（異なる語義が多い）．
このように，2つの時期間で意味が変化したが，それぞれの時期内で語義の数が同じであり，語義の出現比率が同じ場合は，$\Delta{}Later$ではうまく変化を反映できない．
$\mathrm{Mean}(Compare)$は語義の出現比率に影響されないため，実際の意味変化の激しさを反映できたと考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{03table10.tex}%
\hangcaption{CHJとBCCWJの比較において，単語「迚も」の用例ペアの例．用例ペアのコーパス出自について，$Compare$は（用例1：CHJ，用例2：BCCWJ），$Earlier$は（用例1：CHJ，用例2：CHJ），$Later$は（用例1：BCCWJ，用例2：BCCWJ）となる． }
\label{table:totemo_chj}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

SHCとBCCWJの比較において，$\Delta{}Later$と$\mathrm{Mean}(Compare)$の両方が検出できた単語として「適当」と「旨い」がある．
CHJとBCCWJの比較と同じように，単語「適当」は最も低い$\Delta{}Later$と5番目に低い$\mathrm{Mean}(Compare)$になっており，意味の変化を示している．
一方で，単語「旨い」は最も高い$\Delta{}Later$を獲得して，語義が減少したことがわかった．
表\ref{table:umai_shc}に示したように，「旨い」は「味がおいしい」という意味が$C_{earlier}$では一定の割合を占めたが，$C_{later}$になると「味がおいしい」として使われる用例の割合が少なくなり，「都合よい，技術的に優れる」といった意味の割合が増えたことが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{03table11.tex}%
\hangcaption{SHCとBCCWJの比較において，単語「旨い」の用例ペアの例． 用例ペアのコーパス出自について，$Compare$は（用例1：SHC，用例2：BCCWJ），$Earlier$は（用例1：SHC，用例2：SHC），$Later$は（用例1：BCCWJ，用例2：BCCWJ）となる．}
\label{table:umai_shc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，SHCとBCCWJの比較において，意味が変化したとされる単語「教授」は，両方の意味変化度合で意味が変化しなかった単語と同等であった．
CHJとBCCWJの比較では，「教授」は3番目に高い$\Delta{}Later$になっており，用例を調べてみると，動詞としての語義「教える」が少なくなっていた．
しかし，SHCとBCCWJの比較では，対象単語が名詞であり，教職の「教授」の用例がほとんどであった．
「教授」のような単語は，明治・大正から昭和にかけて意味が変化し，昭和前後で新しい意味が定着したため，長い時間間隔と短い時間間隔で意味変化の度合が異なると考える．
このような傾向は，今回2つの時間間隔でデータを作成したことによって得られる発見である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{専門家と非専門家のアノテーションの比較}

専門家は現代日本語と古い日本語の両方に通じている一方，非専門家は現代日本語には詳しいものの，古い日本語の表記や文体には習熟していないことが一般的である．
しかし，非専門家が専門家と同じクオリティでこのタスクをこなせるかどうかについては，明らかになっていない．
これを調べるために，専門家と非専門家のアノテーション一致率および実際のアノテーションを比較した．

専門家のアノテーションは v1 のときのアノテーションスコアを採用し，
非専門家はクラウドソーシングサービスLancers\footnote{\url{https://www.lancers.jp/}}で3人のアノテータに依頼した．
アノテータの採用条件として，日本人であることおよび大卒かそれ以上であることを設定した．
依頼を受けたアノテータは全員大学を卒業した日本語ネイティブである．
ここでは，v1 と同じく長期間 ($C_{earlier}$：CHJ，$C_{later}$：BCCWJ) における8単語の用例ペアについてアノテーションした．
アノテータ間一致率はさまざまな尺度で比較するために，Krippendoff's alpha，Spearman 順位相関係数$\rho$，Cohen's Kappa係数，pairwise 一致率の4つの尺度で評価する．
Spearman 順位相関係数$\rho$とCohen's Kappaの平均を算出する際に，NaNとなるペアは除外した．

専門家と非専門家のアノテーションスコアの一致率を表\mbox{\ref{table:agreement}}に示す．
2つのアノテータグループの一致率はいずれも高くなかった．また，両方の一致率の間に，すべての尺度において顕著な差はなかった．
そして，専門家と非専門家を合わせて一致率を計算したが，それぞれのグループごとの一致率との間に大きな差はなかった．
従って，一致率の観点だけでは，専門家と非専門家のアノテーションの質は区別できないことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\input{03table12.tex}%
\hangcaption{専門家と非専門家のアノテータ間一致率の比較．専門家+非専門家は，1ペアにつき7個のスコアに対して一致率を計算した．}
\label{table:agreement}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方，専門家と非専門家ぞれぞれのアノテータ間一致率が同等なレベルとはいえ，一致しない部分については，両方が同じような意見の相違があるかどうかは明らかになっていない．
そこで，非専門家が専門家と異なる意見を持っているかを調べるために，非専門家のスコアのばらつきが大きい用例ペアを抽出し，専門家と非専門家の傾向を調査した．
その結果，いくつかの単語の判断に対して，専門家の方が非専門家よりも高い正確性を持っていることがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[b]
\input{03table13.tex}%
\hangcaption{CHJとBCCWJの比較において，$Earlier$グループ（用例1：CHJ，用例2：CHJ）にある単語「優勝」の用例ペアの例． }
\label{table:yusho_chj_earlier}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

例えば，表\ref{table:yusho_chj_earlier}に示した用例ペアのように，CHJとBCCWJの比較において，$Earlier$の「優勝」は「優勝劣敗」という熟語の一部である用例が存在した．
専門家のスコアは (3,4,3,4) と (3,4,3,3) であり，両方の「優勝」の意味は高い関連性を持っていると判断する傾向が見られる．
非専門家が付与したスコアは (1,2,4) と (1,2,4) であり，両方の「優勝」に対する判断が相違した．
これは，現代語では「優勝」と比較して「劣敗」という単語が単独として使われる頻度が低いので，
非専門家が判断に迷ったものだと考えられる．

もう1つの単語「主張」は，我々の設定では，これは意味が変わらなかった単語である．
しかし，表\ref{table:shucho_chj_later}に示した$Later$グループでは，一般的に見られる「意見・持論を主張」の用例以外，そこから派生する「主張が強い（縞模様）」や「（色など）を主張する」といった現代的な用例が一部見られた．
我々が参考にした辞書では，これらの用例内の「主張」の意味について適切な説明文を見つけられなかった．
このような辞書にない語義については，専門家は (2,2,3,2) のように，より一致したスコアをつけた．
一方，非専門家は (1,4,3) のように，派生的な語義に関して相違した判断が見られた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 14
\begin{table}[b]
\vspace{-0.5\Cvs}
\input{03table14.tex}%
\hangcaption{CHJとBCCWJの比較において，$Later$グループ（用例1：BCCWJ，用例2：BCCWJ）にある単語「主張」の用例ペアの例． }
\label{table:shucho_chj_later}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 15
\begin{table}[b]
\input{03table15.tex}%
\hangcaption{CHJとBCCWJの比較において，$Compare$グループ（用例1：CHJ，用例2：BCCWJ）にある単語「林檎」の用例ペアの例． }
\label{table:ringo_chj_compare}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

最後の単語「林檎」は，表\ref{table:ringo_chj_compare}が示した$Compare$グループには，果物という意味の「林檎」以外，人名やアカウント名などの固有名詞としての「林檎」を含む用例が存在したことを確認できた．
例として挙げた用例の中で，果物としての「林檎」と固有名詞としての「林檎」は，意味が離れた，あるいは無関係であるべきと考えられる．
そのような用例ペアに対して，専門家はほとんど1（意味が完全に異なる）をつけたり，判断できない場合はN/Aとしたが，非専門家の間では，1と4のような全く逆の判断が存在した．
本来このようなケースはアノテーションガイドラインで示すことで防ぐことができるが，非専門家にどのような知識があってどのような知識がないのかを事前に仮定することは難しく，想定しうるケースを網羅しようとするとガイドラインが膨大となる可能性がある．

このように，専門家と非専門家のアノテータ間一致率には差がほとんど見られなかったが，判断が難しい用例ペアに対して，専門家のほうがより高い正確性を示している．
したがって，今回のようなアノテーションタスクには専門家の参加が望ましいと考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{検出手法の評価実験}

本節では，評価用単語セット JaSemChange を用いて，意味変化の検出手法の性能に対する定量評価を行う．
評価対象としては，先行研究に倣い，代表的なタイプベースの手法とトークンベースの手法を選択した．
ベースラインは頻度に基づく手法である，相対頻度差と頻度ベクトルを使用した．
タイプベースの手法では，SGNSを用いて単語ベクトルを学習する．
トークンベースの手法では，言語モデルの学習やFine-tuningをせず，それぞれのコーパスにある対象単語のすべての用例をモデルに入力することで対象単語のベクトルを獲得する．
結果については，\ref{subsec:results}節で考察する．

今回モデルの学習を行ったのは，頻度ベクトルとSGNSである．
JaSemChange の中に長い時間間隔(CHJ, BCCWJ)と短い時間間隔(SHC, BCCWJ)の2つの比較があるため，これらで性能評価する際に，それぞれの通時コーパスを使用して単語ベクトルの学習を行う．
学習データは表\ref{table:corpora}にある通時コーパスの全データを使用した．
テストデータとしては， JaSemChange の意味変化度合$\Delta{}Later$と$\mathrm{Mean}(Compare)$を使用した．
今回作成した JaSemChange では，先行研究から定義されている意味が変化した単語と，辞書より定義した意味が変化していない単語から対象単語を選定した．
しかし，事前に定義されている意味変化の有無と，本研究で DURel フレームワークから得られた意味変化度合が一致しない単語が存在する．
評価データの一貫性を保つため，アノテーションによって得られた JaSemChange の意味変化度合のみを評価に使用した．
事前の分類と JaSemChange の意味変化度合の齟齬については\ref{subsec:results}節で考察する．
評価指標は，検出手法が出力した対象単語の意味変化度合とJaSemChangeの意味変化度合とのSpearman順位相関係数$\rho$を使用する\footnote{相関の計算はSciPyを使用した (\url{https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.spearmanr.html})．}．
また，本研究では，$\Delta{}Later$はその絶対値$\mathrm{abs}(\Delta{}Later)$をとり，$\mathrm{Mean}(Compare)$は負の値$-\mathrm{Mean}(Compare)$を取ることで，値の大小と意味変化の大小を対応させた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{検出手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベースライン}
頻度に基づく手法は相対頻度差と頻度ベクトルを用いた手法を使用した．
相対頻度差(Frequency Difference; \textit{FreqDiff})では，対象単語の意味変化度合を両方のコーパス内の相対頻度の差の絶対値で表現する．
相対頻度の処理によって2種類の頻度差がある．
\begin{enumerate}
    \item 対象単語$w$の用例$u^w$の集合を$U^w$と表記する．
    時期$earlier$（コーパス$C_{earlier}$）と時期$later$（コーパス$C_{later}$）において，対象単語$w$の用例数 $|U^w_{earlier}|$と$|U^w_{later}|$ をそれぞれコーパスの延べ語数$|C_{earlier}|$と$|C_{later}|$で正規化する．
    この場合，単語$w$の時期$earlier$と時期$later$の間の意味変化度合は頻度差で計算される：
    \begin{align}
        F(w,C_{earlier}) &= \frac{|U^w_{earlier}|}{|C_{earlier}|},\notag\\ 
        F(w,C_{later}) &= \frac{|U^w_{later}|}{|C_{later}|},\notag\\ 
        \mathit{FreqDiff}{}(w,C_{earlier},C_{later}) &= \mathrm{abs}(F(w,C_{earlier}) -F(w,C_{later})).
    \end{align}
    \item 対象単語$w$の正規化された頻度に対して対数を取る．
    この場合の対数頻度差は以下の式より定義される：
    \begin{align}
        F_L(w,C_{earlier}) &= \log\frac{|U^w_{earlier}|}{|C_{earlier}|},\notag\\ 
        F_L(w,C_{later}) &= \log\frac{|U^w_{later}|}{|C_{later}|},\notag\\ 
        \mathit{FreqDiff}{}_L(w,C_{earlier},C_{later}) &= \mathrm{abs}(F_L(w,C_{earlier}) - F_L(w,C_{later})).
    \end{align}
\end{enumerate}
頻度ベクトル(Frequency-based Vector; $\mathit{FreqVec}$)を用いた手法では，単語文脈行列を計算した後で対応付けを行い，2つの時期の対象単語ベクトルの距離を計算する．
ここで，単語文脈行列は対象単語と文脈語との共起頻度からなる行列$\boldsymbol{W}$とする．
$\boldsymbol{W}$の各行が単語$w$の共起頻度に関する行（ここではベクトルとみなす）$\boldsymbol{w}$で，単語$w_i$と文脈語$c_j$との共起頻度は$\boldsymbol{W}_{i, j}$となる．
ここで，時期$earlier$と$later$の行列$\boldsymbol{W}_{earlier}$と$\boldsymbol{W}_{later}$を比較可能にするためには，共通の軸で対応付けをする必要がある．
今回は，異なる学習データで獲得した頻度ベクトルに対してColumn Intersection (CI)で対応付けを行う．
単語文脈行列の列は文脈語$c$に対応するため，行列$\boldsymbol{W}_{earlier}$と$\boldsymbol{W}_{later}$の共通の文脈語に関する列を抽出することで，時期間で対応のとれた頻度ベクトルが得られる．
対応付けを取った単語ベクトルの違いを計測するために，Cosine Distance (\textit{CosDist})で距離を計算する．
時期$earlier$と$later$において対象単語$w$のベクトルをそれぞれ$\boldsymbol{w}_{earlier}$と$\boldsymbol{w}_{later}$とし，\textit{CosDist}は以下の式により定義される．
\begin{align}
    \textit{CosDist} &= 1 - \cos(\boldsymbol{w}_{earlier},\boldsymbol{w}_{later})\notag\\ 
       &= 1 - \frac{\boldsymbol{w}_{earlier} \cdot \boldsymbol{w}_{later}}{||\boldsymbol{w}_{earlier}||\cdot||\boldsymbol{w}_{later}||}
\end{align}
この中で，$\cos(\boldsymbol{w}_{earlier},\boldsymbol{w}_{later})$は$\boldsymbol{w}_{earlier}$と$\boldsymbol{w}_{later}$のCosine Similarityであり，値が$[-1, 1]$の範囲内であるため，\textit{CosDist}の値域は$[0, 2]$になる．
大きい値は意味の差が大きい，つまり意味が変化した可能性が高いことを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 16
\begin{table}[b]
\input{03table16.tex}%
\caption{頻度ベクトル($\mathit{FreqVec}$)とSGNSの学習ハイパーパラメータ．}
\label{table:parameters}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タイプベース}
タイプベースの手法として，\citeA{schlechtweg-etal-2019-wind}が報告した，ドイツ語のデータセット上で最も性能が良い手法を評価する．
具体的には，比較対象となるコーパスを学習データとしてSGNSで単語ベクトルを学習して，
2種類の対応付け手法である Vector Initialization (VI) \cite{kim-etal-2014-temporal} と Orthogonal Procrustes (OP) \cite{hamilton-etal-2016-diachronic}を使用した．
VI は，2つの時期のデータ上でword2vecのSGNSを学習する際に，1つ目の時期のデータで学習済みのモデルのパラメータを2つ目の時期のデータを学習するモデルの初期パラメータにする．
一方で，OP は回転行列を用いた異なる時期データから学習された単語ベクトルを同一空間に対応付けする方法である．
2つのコーパス $C_{earlier}$，$C_{later}$ で共通の語彙 $\mathcal{V}$ を獲得し，それに関する $d$ 次元の単語ベクトル行列 $\boldsymbol{W}_{earlier} \in \mathbb{R}^ {|\mathcal{V}| \times d}$と$\boldsymbol{W}_{later}\in \mathbb{R}^{|\mathcal{V}| \times d}$を獲得する．
$\boldsymbol{W}_{earlier}$を時期$later$に対応付けさせる回転行列$\boldsymbol{R} \in \mathbb{R}^{d \times d} _{earlier\rightarrow later}$は以下のように計算する．
\begin{equation}
    \boldsymbol{R}_{earlier\rightarrow later} = \operatorname*{argmin}_{\boldsymbol{R}：\boldsymbol{R}\boldsymbol{R}^\top=1} ||\boldsymbol{W}_{earlier}\boldsymbol{R} -\boldsymbol{W}_{later}||^{2}_{F}
\end{equation}
検出においては，異なる時期の単語の意味を反映するベクトルを比較するために，\textit{CosDist}を計算する．
また，今回はさまざまなハイパーパラメータで手法の性能を評価した．頻度ベクトルとSGNSのハイパーパラメータを表\ref{table:parameters}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{トークンベース}
トークンベースの手法としては，\citeA{giulianelli-etal-2020-analysing}が提案したBERTを用いた手法を評価する．
\pagebreak
コーパスの用例から単語ベクトルを獲得するために，国立国語研究所が開発したNWJC-BERTを使用する．
一般的な日本語BERTと違って，NWJC-BERT \cite{asahara-etal-2020-nwjc}は語彙素に基づくモデルであり，用例をNWJC-BERTに入力する前に，トークンを語彙素に置き換える必要があるため，今回の実験ではコーパス中の全ての単語を語彙素に変換して実験を行った．
ただし，今回はNWJC-BERTの追加学習やFine-tuningを行わずに，推論のみ行った．
意味変化度合を計算する方法として，先行研究で高い性能が報告されたAverage Pairwise DistanceとJensen-Shannon Divergenceを用いる．
Average Pairwise Distanceは異なる時期の2つのベクトル間の平均距離である．
今回は先行研究にならい，距離関数に \textit{CosDist} を採用した (APD$_{CosDist}$)．
単語$w$の時期$earlier$と時期$later$の用例$u^w_{earlier}$と$u^w_{later}$として，用例集合をそれぞれ$U^{w}_{earlier}, U^{w}_{later}$とすると，
時期$earlier$と時期$later$の用例ごとに得られる対象単語のベクトルは$\boldsymbol{u}^w_{earlier}, \boldsymbol{u}^w_{later}$，その集合は$\boldsymbol{U}^w_{earlier}, \boldsymbol{U}^w_{later}$となる．
この時，APD$_{CosDist}$は次のようになる．高いAPD$_{CosDist}$は高い意味変化度合を意味する．
\begin{equation}
    APD_{CosDist}(\boldsymbol{U}^w_{earlier},\boldsymbol{U}^w_{later})=\frac{1}{|{U}^w_{earlier}|\cdot|{U}^w_{later}|}\sum_{\boldsymbol{u}^w_i \in \boldsymbol{U}^w_{earlier}, \boldsymbol{u}^w_j \in \boldsymbol{U}^w_{later}}CosDist(\boldsymbol{u}^w_i,\boldsymbol{u}^w_j)
\end{equation}
一方で，Jensen-Shannon Divergence (JSD)は時期$earlier$と$later$のクラスタ分布の差を計算することで単語の意味変化度合を計算する．
時期$earlier$, $later$の用例ベクトル集合$\boldsymbol{U}^w_{earlier}$と$\boldsymbol{U}^w_{later}$をK-meansで$K$個のクラスタに分類する．
この時，$K$は2から10を試し，$\boldsymbol{U}^w_{earlier}$と$\boldsymbol{U}^w_{later}$のクラスタリング結果の中で最もシルエットスコア\cite{ROUSSEEUW-Silhouettes-1987}が高い$K$を採用した．
クラスタリングの結果，各クラスタの用例集合は $\boldsymbol{\Omega}^w_i (i \in \{1, ..., K\})$ と表せる．
その後，時期ごとに各クラスタ $\boldsymbol{\Omega}^w_i$ に用例が所属する割合 $P^w_{earlier,i}, P^w_{later, i}$ を算出すると，時期ごとの用例クラスタ分布 $\boldsymbol{P}^w_{earlier}, \boldsymbol{P}^w_{later}$ が得られる．
得られた用例クラスタ分布を用いて，JSDは次のように計算する．
\begin{equation}
    JSD(\boldsymbol{P}^w_{earlier},\boldsymbol{P}^w_{later})=\mathrm{H}(\frac{1}{2}(\boldsymbol{P}^w_{earlier}+\boldsymbol{P}^w_{later}))-\frac{1}{2}(\mathrm{H}(\boldsymbol{P}^w_{earlier})+\mathrm{H}(\boldsymbol{P}^w_{later}))
\end{equation}
$\mathrm{H}$はBoltzmann-Gibbs-Shannonエントロピーである．
用例クラスタ分布が異なっている場合は，JSDが高くなるため，意味変化度合が高いことを示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価結果}\label{subsec:results}

各手法において最もよい性能を出したハイパーパラメータでの結果を表\ref{table:approach_results}に示す．
\paragraph{比較コーパス別の性能}
CHJとBCCWJ，SHCとBCCWJのどちらの比較でも，タイプベースおよびトークンベースの手法は，頻度に基づくベースラインを上回る性能を出した．
CHJとBCCWJの比較では，$\mathrm{abs}(\Delta{}Later)$ではタイプベースの手法が最もよい性能を示し，$-\mathrm{Mean}(Compare)$ではタイプベースの手法とトークンベースの手法が同等の性能を示した．
一方で，SHCとBCCWJの比較では，$\mathrm{abs}(\Delta{}Later)$ではどの手法も理想的な性能を発揮できなかったが，$-\mathrm{Mean}(Compare)$ではタイプベースの手法とトークンベースの手法が同等の性能を示した．
ここで，CHJとBCCWJの比較での性能は，SHCとBCCWJの比較での性能を上回る傾向を示している．
原因として，表\ref{table:corpora}より，CHJとBCCWJの時期の差がSHCとBCCWJより大きく，対象単語の意味や文脈が顕著に異なるため，意味変化を捉えやすくなると考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 17
\begin{table}[b]
\input{03table17.tex}%
\hangcaption{代表的な意味変化検出手法の JaSemChange におけるSpearman順位相関係数$\rho$．太字の数字は各意味変化度合で最もよい結果である．}
\label{table:approach_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table18
\begin{table}[b]
\input{03table18.tex}%
\hangcaption{ロシア語のデータセットRuSemShiftにおける手法の実験結果\protect\cite{rodina-kutuzov-2020-rusemshift}．APはAffinity Propagationというクラスタリング手法である．}
\label{table:RusemShift_approach_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{正解とする意味変化度合別の性能}
ここで，2種類の正解意味変化度合の結果を比較すると，\\$\mathrm{abs}(\Delta{}Later)$での結果はどちらの比較でも検出手法の性能が相対的に低いことがわかる．
原因として， $-\mathrm{Mean}(Compare)$では2つの時期で意味の違いを直接比較するのに対し，$\mathrm{abs}(\Delta{}Later)$では時期間の意味の増減を相対的に扱っていることが挙げられる \cite{rodina-kutuzov-2020-rusemshift}．
その性質によって，単語の語義出現比率が変わらずに意味が変わった場合，そのような単語の$\mathrm{abs}(\Delta{}Later)$が0に近づいてしまい，意味が変化しなかったと不当に評価されてしまうのだと考える．
この傾向は表\ref{table:RusemShift_approach_results}に示したロシア語での結果でも現れている．
一方で，$-\mathrm{Mean}(Compare)$は2つの時期の意味を直接比較することはできるが，時期間における語義の増減を扱うことはできない．
現在多くの評価セットが採用している意味変化の程度を評価する際には$-\mathrm{Mean}(Compare)$で評価すれば十分であるが，語義の増減といったより詳細な意味変化の種類を評価するには不十分である．
したがって，今後は2つの意味変化度合を考慮した指標を作成することが重要であると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{手法別の性能}
タイプベースのモデルを用いた手法では，SGNS+VIがほとんどの場合においてSGNS+OPを上回った．
\citeA{schlechtweg-etal-2019-wind}によるドイツ語での結果では，SGNS+OPの組み合わせが他の手法を上回る性能を出したが，今回は同じ結果は得られなかった．
この要因として，ベクトル空間の対応付けに関する前提条件が挙げられる．
ベクトル空間の対応付け手法であるOPを適用するには，学習文書データ内のほとんどの単語の意味が変化しないことが前提となっている．
この傾向は，\citeA{aida-journal-2023}の実験結果からも見られるが，今回の学習データが対応する明治から平成までの日本語は，単語の語義以外に，表記や文体も大きく変化したため，OPの前提条件を満たせない可能性が高いと考える．
トークンベースのモデルを用いた手法は，APD$_{CosDist}$を用いた距離計算がJSDをはるかに上回った．
日本語以外の多くの言語のデータセット上でも，表\ref{table:semeval-subtask2}に示したように，今回と同じ評価実験設定のSemEval-2020 Task 1 Subtask 2の結果から，APDがJSDを上回る性能を出すケースが多いことが報告されている．
JSDを使用する手法はクラスタリングの性能にも依存するため，単純な類似度計算より対象単語の意味変化を検出しにくい傾向があると考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 19
\begin{table}[t]
\input{03table19.tex}%
\hangcaption{SemEval2020-Task 1 Subtask 2の4言語のデータセットにおける一部の手法とその実験結果\protect\cite{schlechtweg-etal-2020-semeval}．EN, DE, LA, SVはそれぞれ英語，ドイツ語，ラテン語，スウェーデン語を表す．太字はこのSubtaskで最も高い性能を取った手法の性能である．}
\label{table:semeval-subtask2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

本研究では，日本語の意味変化検出の評価用単語セット JaSemChange を構築した．
異なる時期をカバーする日本語通時コーパスを使用し，対象単語の意味変化度合を日本語の専門家による人手アノテーションで付与した．
アノテーションは DURel フレームワークを適用し，各対象単語に対して異なる2つの意味変化度合$\Delta{}Later$と$\mathrm{Mean}(Compare)$を算出した．
その結果，$\Delta{}Later$に比べて$\mathrm{Mean}(Compare)$ではより理想的なスコアを得られた．

近現代日本語の非専門家が専門家と同等な品質のアノテーション結果を得られるかどうかを調べるために，非専門家にも同じアノテーションタスクを依頼した．
両方のアノテータ間一致率を調べた結果，専門家と非専門家の間に一致率の差は見られなかったが，判断しにくい用例に対して非専門家の意見が分岐するため，アノテーションでは専門家の判断が望ましいことが明らかとなった．

そして，今回構築した JaSemChange に対して，2種類の意味変化の検出手法の検出性能を定量的に評価した．
その結果，タイプベースのモデルを用いた手法とトークンベースのモデルを用いた手法はともに頻度に基づくベースラインを上回った．
また，それぞれの意味変化度合である$\Delta{}Later$と$\mathrm{Mean}(Compare)$に対して異なる傾向が表れた．
具体的には，$\mathrm{Mean}(Compare)$では両方の検出手法が高い相関を達成したが，$\Delta{}Later$では高い相関を達成した手法が少なく，全体的に$\mathrm{Mean}(Compare)$より相関が低いことを示した．

今回構築した評価単語セットは，意味変化度合を考慮したが，意味変化の種類については深く考慮していない．
意味がプラス評価を有するようになるという現象「良化」やマイナス評価を有するようになる「悪化」，意味の一般化や特殊化など，これらの意味変化をどのように定義するかはまだ議論されていない．
今後は通時コーパスを利用して，意味変化の種類を定義することを検討したい．
例えば，今回収集した用例ペアのスコアを用いることで，複数の時代における語義の分布をグラフで可視化することが可能になる\cite{schlechtweg-etal-2021-dwug}．
分類語彙表\footnote{\url{https://clrd.ninjal.ac.jp/goihyo.html}}などの言語資源と今回算出した意味変化度合いを組み合わせることで，より複雑な語義の語彙派生関係について調査と分析を行うことが期待できる．
また，今回の実験結果は，日本語あるいはすべての言語の通時的な意味変化に興味を持つ研究者の参考になることを期待している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，国立国語研究所共同研究プロジェクト「開かれた共同構築環境による通時コーパスの拡張」および JST さきがけ「文理融合による人と社会の変革基盤技術の共創」JPMJPR2366 の成果の一部を含むものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
%%%%\bibliography{03refs}
\input{03ling_bbl.tex}


\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\vspace*{-2\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\vspace*{-2\Cvs}
\begin{center}
\includegraphics{31-4ia3f3.pdf}
\end{center}
\hangcaption{アノテータが受けるチュートリアルの最初に提示するタスク説明．アノテーションの作業環境と同じくGoogle Formsを使用した．}
\label{fig:tutorial}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[p]
\begin{center}
\includegraphics{31-4ia3f4.pdf}
\end{center}
\caption{アノテーションのチュートリアルの問題例．}
\label{fig:enter-label}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[p]
\begin{center}
\includegraphics{31-4ia3f5.pdf}
\end{center}
\caption{CHJとBCCWJの比較における，単語ごとのアノテーションスコアの割合．}
\label{fig:chjbccwj annotation ratio}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[p]
\begin{center}
\includegraphics{31-4ia3f6.pdf}
\end{center}
\caption{SHCとBCCWJの比較における，単語ごとのアノテーションスコアの割合．}
\label{fig:shcbccwj annotation ratio}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[p]
\begin{center}
\includegraphics{31-4ia3f7.pdf}
\end{center}
%%%% a \label{fig:chj count kekko}
%%%% b \label{fig:chj count tekito}
%%%% c \label{fig:chj count moderu}
%%%% d \label{fig:chj count totemo}
%%%% e \label{fig:chj count eigo}
%%%% f \label{fig:chj count densha}
%%%% g \label{fig:chj count shojo}
%%%% h \label{fig:chj count ringo}
\caption{CHJとBCCWJの比較における，それぞれのグループにおける対象単語のスコア分布．}
\label{fig:annotation score count}
\end{figure}
\clearpage


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{凌　　志棟}{%
2022年東京都立大学（旧称首都大学東京）システムデザイン学部情報科学科卒業． 同年同大学システムデザイン研究科情報科学域博士前期課程進学．現在に至る．}

\bioauthor{相田　太一}{%
2020年長岡技術科学大学工学部電気電子情報工学課程卒業．2022年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了．同年同大学同研究科同学域博士後期課程進学．現在に至る．}

\bioauthor{岡　　照晃}{%
2010年豊橋技術科学大学情報工学課程卒業．2012 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2013年より日本学術振興会特別研究員 (DC2) を経て，2015年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（工学）．同年京都大学大学院情報学研究科特定研究員．2016年国立国語研究所言語変化研究領域プロジェクト非常勤研究員．同年同研究所コーパス開発センター特任助教．2021年東京都立大学システムデザイン学部特任助教．2023年 一橋大学大学院ソーシャル・データサイエンス研究科特任助教．同年 東京都立大学システムデザイン学部客員研究員．同年 SB Intuitions 株式会社．現在に至る．}

\bioauthor{小町　　守}{%
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年同研究科博士後期課程修了．博士（工学）．同年同研究科助教．2013年首都大学東京（現東京都立大学）システムデザイン学部准教授．2022年同大学同学部教授．2023年より一橋大学大学院ソーシャル・データサイエンス研究科教授．現在に至る．}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

