\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{enumitem}
%%%%\usepackage{float}
\usepackage{multirow}
%%%%\usepackage[table,xcdraw]{xcolor}
    \usepackage[dvipdfmx]{xcolor}
%%%%\graphicspath{{./image/}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{11}{1}
\revised{2024}{1}{31}
\accepted{2024}{3}{5}

\setcounter{page}{568}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{Sentence-BERT と語義定義文を利用した語義間の類義判定手法}
\jauthor{石井　佑樹\affiref{Author_1} \and 佐々木　稔\affiref{Author_2}}
\jabstract{%
自然言語処理技術を開発する上でシソーラスから得られる意味知識は有用であり，現在までに日本語では単語同士を対象として上位下位関係や同義関係，類義関係等の獲得を目的とした研究が行われている．しかし，既存研究では主に単語間の関係を検出することに注目し，語義を対象とした類義関係の検出は行われていない．この問題に対処するため，本研究では日本語辞書に記述された語義定義文と Sentence-BERT を用いた類義判定手法を提案する．単語間の類義関係に着目し，「うまい」の語義「よい。すぐれている。」と「じょうず」の語義「ある物事をする技術がすぐれていること。」の様な単語の語義を対象に類義であるか否かの類義判定を行う．岩波国語辞典の見出し語，語義定義文及び分類語彙表の分類番号を用いて作成した評価データセットを対象として，学習データを用いて fine-tuning した類義判定モデルによる類義判定実験を行った．実験の結果，提案手法における Sentence-BERT や変更した語義定義文を用いることによって，ベースライン手法よりも効果的に類義判定ができることを示した．
}
\jkeywords{意味解析，類義判定，語義定義文，辞書，Sentence-BERT}

\etitle{Synonym Detection between Senses of Japanese Words Using Sentence-BERT and Sense Definitions}
\eauthor{Yuki Ishii\affiref{Author_1} \and Minoru Sasaki\affiref{Author_2}} 
\eabstract{%
In this study, we focus on automatic synonym detection, specifically targeting the senses of two input Japanese words such as the sense of word ``うまい'', which means ``good'' or ``excellent'', and the sense of word ``じょうず'', which means ``skillful in doing something''. The lexical knowledge obtained from the thesaurus aids in the development of natural language processing techniques. Previous studies on the acquisition of lexical knowledge in Japanese has focused on the detection of relations between words, such as synonyms, hypernyms, and antonyms. However, these studies primarily focused on detecting synonymy for words, not on the senses of words. To address this problem, we propose a synonym detection method for two Japanese words. This method uses the sentence-BERT similarity and sense definitions extracted from the Japanese dictionary . To evaluate the effectiveness of the proposed method, we conducted experiments to detect synonyms using an evaluation dataset from the Iwanami Japanese Dictionary and the Japanese thesaurus ``Bunrui-Goi-Hyo''. The experimental results indicated that the proposed method effectively determines synonyms for word senses.
}
\ekeywords{Dictionary, Semantic Analysis, Sentence-BERT, Synonym Detection, Word Sense Definitions}

\headauthor{石井，佐々木}
\headtitle{Sentence-BERTと語義定義文を利用した語義間の類義判定手法}

\affilabel{Author_1}{茨城大学大学院理工学研究科情報工学専攻}{Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University}
\affilabel{Author_2}{茨城大学大学院理工学研究科情報科学領域}{Department of Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

自然言語処理において単語同士の上位下位関係や同義関係，類義関係等の意味知識を獲得することは機械翻訳や質問応答等の技術を開発する上で重要な課題である\cite{Article_01}．
意味知識を獲得するのにあたり，膨大な語が存在する中から手動で知識を獲得するのは困難であり知識獲得の自動化が行われてきた．
日本語ではこれまでにWikipediaの構造情報，他言語記事の情報 (呉 他 2011; 山田 他 2011)\nocite{Article_02,Article_03}や WWW上に存在する HTML 文書の構造情報\cite{Article_04}から上位下位関係を獲得する手法や，航空といった特定分野\cite{Article_05}やシステムの要求仕様書\cite{Article_06}における同義語辞書を自動作成する手法が研究されてきた．
また機械学習が発展してきた近年では，特に文章中の多義語に対して適切な意味を識別するタスクである語義曖昧性解消 (WSD) において学習データとなるシソーラスの利用価値が高まっている．近年までWSDは教師あり学習による手法が主流であったため，学習データに利用するデータのアノテーションが必要であった．そのためコーパス内に存在するすべての単語を対象としたall-words WSDの様な大規模なアノテーションが必要なタスクは困難であった．この課題に対してKumarら\cite{Inproc_07}が提案するEWISEは，WordNetというシソーラスから単語の上位下位関係を学習データとして学習することでアノテーションのコストを削減し教師あり学習をしたモデルに匹敵する精度を出すことに成功した．また翌年にはEWISEをベースにしたEWISER \cite{Inproc_08}が発表され，言語資源であるシソーラスを活用した知識ベースの学習手法の有用性が示されてきた．

しかし，類義語などの語彙知識獲得を行う研究では単語同士の関係に着目するのみであり，語義同士の関係は考慮されていない．単語同士の類義関係だと，多義語のどの意味で類義関係なのかが分からない．しかし，どの語義で類義なのかが分かると語義識別や言い換えに役立つ．語義レベルの関係の例として以下の「うまい」と「じょうず」という単語を例として挙げる．今までの研究では単語間の類似性や分布仮説\cite{Article_09,Article_10}を用いて「うまい」と「じょうず」という単語ペアを同義語であるとして獲得することを行ってきた．語義レベルとは単語の語義に注目し，どの語義が類義であるかという語義間の関係を獲得することである．本研究は,岩波国語辞典第五版\cite{Book_11}において意味区分された語義を対象に以下の例において「うまい」の語義2と「じょうず」の語義1が類義であると判定することを目指す．

\begin{itemize}
  \item うまい【甘い・旨い】 \mbox{} \\
  語義1：“味がよい。「―汁を吸う」（転じて、骨を折らずに自分だけいい目をみる）▽「美味い」とも書く。”
  \\\textbf{語義2：“よい。すぐれている。旨「―考えだ」。じょうずだ。「話し方が―」▽「上手い」「巧い」とも書く。”}
  \\語義3：“自分にとって都合がよい。もうけになる。「自分だけ―事をする」▽まずい。派生\textbar さ \textbar げ \textbar み \textbar がる”
  \\
  \item じょうず【上手】 \mbox{} \\
  \textbf{語義1：“ある物事をする技術がすぐれていること。巧みなこと。そういう人。「名人―」「―の手から水が漏る」（じょうずな人も時に失敗することがある）。また一般に、てぎわがよいこと。うまいこと。「―に立ち回る」▽下手（へた）。”}
  \\語義2：“《多く「お―」の形で》世辞。世辞を言うこと。派生 \textbar さ 関連うまい・すぐれる・ひいでる・巧み・得手・器用・巧緻（こうち）・巧妙・熟練・絶妙・達者・堪能（たんのう）・得意・優秀・老巧・老練”
\end{itemize}
\rightline{（岩波国語辞典第五版より引用）}
\vskip\baselineskip
\noindent また日本語においては英語WordNetを翻訳した日本語WordNet \cite{Inproc_12}が存在するが，英語WordNetに存在しない類義関係をどう追加するのかといった課題があり，実用可能な完成度に至っていない．

本研究では入力した2単語に対して語義レベルで類義判定することを目的とする．目的の実現のため語義定義文の変更とSentence-BERTによる深層距離学習を利用した類義判定手法を提案する．語義定義文に対して語義を表す記述以外の削除や不足する内容の追加等の変更を行うことで，変更前の語義定義文に比べて適切な語義の特徴を捉えた埋め込みベクトルが得られることが期待できる．また深層距離学習とは，埋め込み空間上において同じラベルが付与されたデータ同士の距離を小さくし，異なるラベルが付与されたデータ同士の距離を大きくする手法であり，これを利用することで本研究の目的とする語義レベルの類義判定用に埋め込み空間の調節がなされ，類義判定精度の向上が期待できる．上記の「うまい」と「じょうず」の語義の類義判定を行う際には，まず2単語の語義定義文の変更を行う．本文中の3.4節の変更方法を適用した結果下記の定義文が得られる．
\vskip\baselineskip
\begin{itemize}
  \item うまい【甘い・旨い】 \mbox{} \\
  語義1：味がよい。「うまい汁を吸う」
  \\\textbf{語義2：よい。すぐれている。旨「うまい考えだ」。じょうずだ。「話し方がうまい」}
  \\語義3：自分にとって都合がよい。もうけになる。「自分だけうまい事をする」  
  \\
  \item じょうず【上手】 \mbox{} \\
  \textbf{語義1：ある物事をする技術がすぐれていること。巧みなこと。そういう人。「名人上手」「上手の手から水が漏る」。また一般に、てぎわがよいこと。うまいこと。「上手に立ち回る」}
  \\語義2：世辞。世辞を言うこと。
\end{itemize}
\vskip\baselineskip
\noindent 次に上記の変更を施した語義定義文から埋め込みベクトルを得て深層距離学習を行う．埋め込み空間上で「うまい」の語義2と「じょうず」の語義1の距離を小さくし，その他の語義のペアの距離を大きくすることで埋め込み空間を調節し，得られた学習モデルによって語義のペアが類義かどうかを適切に判定した結果を出力することを期待する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

語義の類義判定に関連する研究として，単語間の同義判定 \cite{Inproc_13} を行った研究が挙げられる．Hagiwara (2008) が提案した手法は，教師あり学習と単語の組み合わせが共通の文脈タイプに出現することに注目した分布的特徴を用いて同義判定を行う手法である．単語の同義判定においてはHagiwara (2008) が提案した文脈情報を用いたアプローチ以降研究されておらず，主に単語の同義語獲得について研究されてきたため本研究の目的と異なる．そこで同義判定に限らず単語間の関係を推測する手法\cite{Inproc_14}に注目する．Zhangら (2019) は，SEMeval-2010 で定義されている名詞間に存在する18個の意味関係分類のためにfine-tuningした文章エンコーダを用いて得た文章ベクトルをラベル予測に用いる手法を提案した．Zhangら (2019) は関係分類に文章エンコーダの転移学習が一定の効果があると示している．文章エンコーダを転移学習させる手法は語義定義文を利用する語義の類義判定に適しており，単語に注目したこの手法を語義定義文に対応させるよう変更することで語義の類義判定にも効果が得られると考えられる．

近年では，事前学習済み日本語BERTモデルを用いて岩波国語辞典に記載された語義の類義判定を行った研究\cite{Inproc_15}がある．石井ら (2023) の研究では，辞書特有の記号や表現が含まれる語義定義文から得た文章ベクトルは語義の説明に必要のない特徴を含んでしまうという仮説から，主に語義の類義判定に有効な語義定義文の変更方法を研究したものである．本研究は，石井ら (2023) の語義定義文の変更方法を利用し，更に類義判定に用いられた事前学習済み日本語BERTをfine-tuningすることで類義判定の精度向上を試みる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{語義間の類義判定手法}

本節では，まず，語義間の類義判定を行うシステムについて述べ，次に類義判定モデルのfine-tuningについて述べ，その後，類義判定に利用する学習データの作成方法について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{類義判定システム}

語義間の類義判定の流れとしては，まず，fine-tuningを施した類義判定モデルに対象の語義定義文を入力し文章ベクトルを得る．得られた語義定義文の文章ベクトルはmean pooling 操作を行い，BERTが出力した単語ベクトルの平均を求めたベクトルに変換する．次に得られた2つの文章ベクトルに対してコサイン類似度を求め，閾値を越していた場合2つの語義は類義であると判定する．この一連の類義判定を行う類義判定システムを図1に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f1.pdf}
\end{center}
\caption{語義の類義判定システム}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

BERT出力の平均を採用した理由としては，Reimersら\cite{Misc_16}がBERTに入力したトークン列の先頭に挿入された特殊トークン([CLS])における文章全体を表すベクトル及びBERTが出力した単語ベクトルの平均を用いてSemantic Textual Similarity (STS) ベンチマーク\cite{Inproc_17}を行った結果，単語ベクトルの平均を用いた方が優れていたためである．またSTSベンチマークは2文間の類似度を測定するベンチマークであり，Reimersら(2019)は本研究との提案手法と同様に2つの文章ベクトルに対してコサイン類似度を求め2文間の類似度を求めているためである．

語義定義文の文章ベクトルを得る際に利用する事前学習済みモデルは東北大学乾・鈴木研究室が公開している日本語BERTモデル(bert-base-japanese-whole-word-masking)を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{事前学習済みモデルのfine-tuning}

3.1節に示した本システムの類義判定精度を向上させるために類義判定モデルをfine-tuningする2つの手法を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Sentence-BERT (SBERT)手法}

fine-tuning手法にReimersら(2019)が提案したSentence-BERT (SBERT)手法を採用する．これは提案する類義判定システムは語義定義文の文章ベクトルを用いて類義判定を行うことから，意味ベクトル空間上で類似した文章のベクトルを近く分布させるSBERT手法により類義判定に適した文章ベクトルを得るためである．SBERTによるモデル学習の流れを述べる．まず2つの語義定義文を日本語BERTに入力する．得られた出力に対してpooling操作を行い語義定義文の文章ベクトルを得る．Reimersら(2019)はpooling手法において，出力された全ての単語埋め込みの平均を用いるmean pooling を推奨しているため，mean pooling を適用して定義文Aの文章ベクトルu，定義文Bの文章ベクトルvを得た．u,v及びu,vの距離\textbar u-v\textbar を (u,v,\textbar u-v\textbar) として結合し全結合層に入力し学習を行った．ここで，距離\textbar u-v\textbar は文章ベクトルu,vの各要素の差分をとり絶対値を求めたベクトルと定義する．学習する語義定義文のペアは類義であるか類義でないかを0,1でラベル付けしているため，損失関数には対照損失 (Contrastive Loss) を採用した．mean poolingを用いたSBERTによるモデル学習の流れを図2に示す．また，BERTを利用して文章ベクトルを得る手法としてCLSトークンのベクトルを用いる方法があり，CLSベクトルを用いた場合の実験も行う．CLSベクトルを用いる場合は，定義文A及び定義文BのCLSベクトルp,qを求め，p,q及びp,qの距離\textbar p-q\textbar を (p,q,\textbar p-q{\textbar}) として結合し全結合層に入力し学習を行う．CLSベクトルを用いたSBERTによるモデル学習の流れを図3に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f2.pdf}
\end{center}
\caption{SBERT手法による類義判定モデル学習の流れ (mean pooling)}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

更に，SBERT手法のベースラインとして単語を対象とした類義語判定実験を行う．今回対象とした単語を日本語BERTのトークナイザを用いてトークン化すると，単語によって2つから3つ程のトークンが生成される為，ベースライン実験においてもpooling操作を行う場合とCLSベクトルを用いる場合を実験する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f3.pdf}
\end{center}
\caption{SBERT手法による類義判定モデル学習の流れ（CLSベクトル）}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Sentence-BERT (SBERT)＋Infersent手法}

2章で示したZhangら (2019) の研究と本研究は意味関係の分類という点で類似しており，類義判定においても一定の成果が得られると考えられる．そこでSBERT手法に加えてZhangら (2019) の手法の基礎部分をSBERT手法と組み合わせたSBERT＋Infersent手法を同時に提案する． Zhangら (2019) の提案する学習手法は，Conneauら\cite{Misc_18}が提案したInfersentを文章エンコーダの学習に採用しており，学習された文章エンコーダを更に意味関係の推測が行えるよう学習させるものである．本研究ではコサイン類似度を用いて類義の判定を行うため，文章エンコーダを学習させる部分を参考に学習に適用する． 

SBERT＋Infersent構造は図4の流れで類義判定モデルをfine-tuningする．SBERTと比較すると以下の2つの違いがある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f4.pdf}
\end{center}
\caption{SBERT＋Infersent手法による類義判定モデル学習の流れ}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{itemize}
  \item 2つの定義文から得られた文章ベクトルu,vを結合する際，文章ベクトルu,vの要素ごとに積を取るアダマール積u*vを追加している．
  \item 損失関数に交差エントロピー誤差を使用する．
\end{itemize}

\noindent 更に実験では特徴ベクトルの結合方法が与える影響を調査するため，特徴ベクトルu,vとu,vの距離を結合した (u,v,\textbar u-v\textbar)，特徴ベクトルu,vのみを結合した (u,v) に変更した比較手法の実験を行う．これによってu*vという特徴ベクトルが必要かどうか，\textbar u-v\textbar を用いた距離学習が有効かどうかを示すことができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{辞書とシソーラスを用いた語義間の類義ラベル付け}

本節では，語義同士に対して岩波国語辞典と分類語彙表を用いて類義か否かをラベル付けする手法について述べる．語義間の類義判定モデルを構築するために，語義同士が類義か否かをラベル付けした学習データが必要となる．このようなデータは作成されていないため，語義同士の類義ラベル付けを手作業で行った．対象は岩波国語辞典に記載されている単語とその語義である語義定義文とし，対象単語の類義語ペア内の語義の組み合わせに対して類義であるか否かをラベル付けしたデータを作成する．対象単語の類義語ペアを選出には分類語彙表のレコードを利用する\footnote{\url{https://clrd.ninjal.ac.jp/goihyo.html}}．レコードの項目は「レコードID番号／見出し語番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号／語番号／見出し／見出し本体／読み／逆読み 」となっており，これに含まれる分類番号と段落番号を利用する．レコードの各項目の説明を以下に示す．
\vskip\baselineskip

\begin{description}[leftmargin=3.2cm,style=nextline]
  \item[レコードID番号] ：各レコードに先頭から正の整数値を割り当てたもの．
  \item[見出し番号] ：見出しの異同によって数えた場合の番号．
  \item[レコード種別] ：「書籍版データ」のレコードとそれに追加したレコードの区別を示す．
  \item[類] ：分類枠である「体の類」「用の類」「相の類」「その他の類」の区別を示す．
  \item[部門] ：類の下の分類で，意味的に大きなまとまりである部門を表す．
  \item[中項目] ：部門より小さい意味的なまとまりを示す．
  \item[分類項目] ：分類番号に対して与えられた項目名．
  \item[分類番号] ：半角数字1けた＋小数点（半角）＋半角数字4けたで表す．
  \item[段落番号] ：分類項目内に設けた意味上の語集団．
  \item[小段落番号] ：段落の中に設けた意味上の語集団．
  \item[語番号] ：小段落内での見出しの出現順番号．
  \item[見出し] ：語句及び注記．
  \item[見出し本体] ：見出しから（）内の読み及び漢字，［ ］内の注記をはずしたもの．
  \item[読み] ：見出しの読みを平仮名で表記．
  \item[逆読み] ：上記の「読み」の欄を語末から並べたもの．
\end{description}
\vskip\baselineskip

\noindent データ作成の流れとしては，まず分類語彙表の分類番号と段落番号が同じ単語同士は類義語として判断し，その中から類義語のペアを選出する．類義語ペアの選出において少なくとも一方の単語は必ず語義が2つ以上存在するものを選出した．次に，選出した類義語ペアに含まれる語義について類義ラベル付けを行う．例えば，単語Aは3つの語義を持ち，単語Bは2つの語義を持つ場合は，AとBの語義定義文の全ての組み合わせ（6組）に対して人手によって類義であると判断したペアは1，類義でないと判断したペアに0を付与し2値ラベル付けを行った．

本実験では，類義語ペア内の語義の組み合わせを対象に語義の類義判定を行う．ペアの中には類似した意味を複数持つ定義文が存在する場合があり，この例を図5に示す．「くどい」という単語の語義13612-0-0-0-0は「しつこい」という単語の語義21578-0-0-1-0と21578-0-0-2-0の2つの語義の意味を含むため，21578-0-0-1-0と13612-0-0-0-0 ,21578-0-0-2-0と13612-0-0-0-0は類義としている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f5.pdf}
\end{center}
\caption{語義間の類義ラベル付けの例}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定義文の変更}

定義文の変更については，石井ら (2023) が提案した変更方法を適用する．石井ら (2023) は，語義の類義判定に有効な語義定義文の文章ベクトルを得る変更方法として以下に示す設定A\textcircled{\scriptsize 1}～\textcircled{\scriptsize 4}を岩波国語辞典の定義文に適用しており，この変更方法を本研究に採用する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f6.pdf}
\end{center}
\caption{語義説明の無い定義文の削除例}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[b]
\begin{center}
\includegraphics{31-2ia10f7.pdf}
\end{center}
\hangcaption{辞書内表現・記号の削除・置換，全角英字を半角英字に置換，用例文内のハイフン「―」の置換（ひらがな置換）例}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{itemize}
\item 語義説明の無い定義文の削除 A\par
2重括弧「(( ))」，2重山括弧「《 》」，亀甲括弧「〔 〕」の表現は単語語義を説明しないためこの表現のみの定義文を削除する． 設定Aの例を図6に示す．

\item 辞書内表現・記号の削除・置換，全角英字を半角英字に置換，用例文内のハイフン「―」の置換（ひらがな置換）\textcircled{\scriptsize 1}\par
2重括弧「(( ))」，2重山括弧「《 》」，定義文の番号付けした山括弧「\textless{}　\textgreater{}」表現や「↓」「△」「×」の記号これらは，単語語義を説明しないため削除する．特殊な記号を「▽」→「。」，「【】」→「『』」に置換．用例文内のハイフン「―」を見出し語（ひらがな）に置換．設定\textcircled{\scriptsize 1}の例を図7に示す．

\item 用例文内のハイフン「―」の置換（一対一置換）\textcircled{\scriptsize 2}\par
ひらがなは同音異義の単語が存在するため，同訓異字が存在しない見出し語において漢字に置換する．設定\textcircled{\scriptsize 2}の例を図8に示す．

\item 追記情報の削除\textcircled{\scriptsize 3}\par
▽」から続く文，「派生|」から続く文，全角括弧「（　）」読み仮名，半角括弧「( )」注釈番号は単語語義を説明しないため削除する．設定\textcircled{\scriptsize 3}の例を図9に示す．

\item 全角括弧「（ ）」表現を削除\textcircled{\scriptsize 4}\par
全角括弧「（　）」は，読み仮名の他に直前の単語の詳細，文の一部である場合がある．語義を簡素に表現するためこれらを削除する．設定\textcircled{\scriptsize 4}の例を図10に示す．

\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia10f8.pdf}
\end{center}
\caption{用例文内のハイフン「―」の置換（一対一置換）例}
\end{figure}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia10f9.pdf}
\end{center}
\caption{追記情報の削除例}
\end{figure}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia10f10.pdf}
\end{center}
\caption{全角括弧「（ ）」表現の削除例}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{語義データセット}

本研究では3.3，3.4節に記載した手法をもとに，岩波国語辞典に記載された単語から名詞，動詞，形容詞に分類される単語ペアそれぞれ 50 組のデータを選出した．この50組のデータを訓練データ用に30組，検証データ用に10組，テストデータ用に10組に分けることでデータセットを作成した．また，名詞，動詞，形容詞を全て合わせたALLを作成した．ALLは各品詞の訓練データ，検証データ，テストデータを組み合わせたものとなる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{10table01.tex}%
\caption{学習データ内訳}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各データの内訳を以下の表1に示す．「単語ペア数」は類義語ペアの総数，「全定義文数」は各品詞における全単語に含まれる定義文の総数，「定義文ペア数」は全ての定義文からペアとなる2文を取り出したパターンの総数となる．尚テストデータにおける「定義文ペア数」は，各単語ペアに含まれる全ての定義文からペアとなる2文を取り出したパターンの総数を足し合わせた数である．「ラベル0サンプル数」は類義でない定義文ペアのサンプル数，「ラベル1サンプル数」は類義である定義文ペアのサンプル数を表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{単語データセット（ベースライン）}

語義定義文を用いた類義判定の有効性を示すため単語データセットを用意し，単語を対象とした類義判定を提案手法 (SBERT) で行い結果を比較する．単語は語義データセットに含まれる名詞，動詞，形容詞を用いる．単語数は各品詞において訓練データに60個，検証・テストデータにそれぞれ20個存在する．学習及びテストを行う類義単語ペアの総数は全ての単語からペアとなる2単語を取り出したパターンの数となるため，各品詞の訓練データは1770組，検証・テストデータは45組となる．また語義データセット同様全ての品詞データを合わせたALLを用意した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

本研究の評価は類義の判定をする二値分類タスクであるため，macro-F1スコアを評価指標として求めた．類義の判定においては，類似度を測るコサイン類似度の閾値を0.3から0.95まで0.01刻みで変更し検証データを用いてmacro-F1が最高値となる閾値を求め，テストデータに適用しmacro-F1を求めた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

3.2節に示した提案手法のSBERTによる類義判定モデルfine-tuning時のハイパーパラメータを表2に示す．SBERTのデフォルトパラメータであるエポック数，評価ステップについても設定を変更してモデルの学習を行った．SBERT手法の学習では，BERT層及び全結合層を合わせたモデル全体のパラメータを更新した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{10table02.tex}%
\caption{SBERT手法のハイパーパラメータ}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{10table03.tex}%
\caption{SBERT＋InferSent手法のハイパーパラメータ}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

SBERT＋InferSent手法のハイパーパラメータを表3に示す．Zhangら (2019) が提案した手法では最適化手法にAdam，InfersentではSGDを用いているため両方の最適化手法を比較用手法に適用して結果を求める．SBERT＋InferSent手法の学習では，BERT最終層及び全結合層のパラメータを更新した．

fine-tuningについては，各品詞のテストデータに対応する品詞の訓練データをモデルに学習させ結果を求める．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{10table04.tex}%
\hangcaption{SBERT手法の実験結果 (macro-F1)．train poolingはモデル学習時，test poolingは類義判定時に用いられるpoolingを示す．stepは評価ステップを示す．「※」は各品詞でmacro-F1が最高値となったepoch，stepの組み合わせを同じ品詞に適用していることを示す．}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果・考察}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{SBERT手法におけるfine-tuningの有効性}

fine-tuning済みの類義判定モデルを利用して類義判定を行った結果とfine-tuningを施していない元の日本語BERTモデル（fine-tuning無し）を利用して類義判定を行った結果を表4に示す．表4中の「（ベースライン）」は4.1.2節で示した単語データセットを用いた実験結果を示し，「（定義文の変更無し）」は3.4 節で示した定義文の変更を行わず，岩波国語辞典の定義文をそのまま用いた実験結果を示す．なおfine-tuningした類義判定モデルの結果は3回実験をして得られたmacro-F1の平均値を求めたものである．また，各品詞においてmacro-F1が最高値となった際の閾値を表5に示す． 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{10table05.tex}%
\caption{各品詞においてmacro-F1の最高値を得た設定の閾値}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

今回の実験では，提案手法であるSBERTを用いてfine-tuningした類義判定モデルを用いた類義判定精度が一番高く，ALLにおいて0.8172の値を出した．このときの閾値の平均は0.60であり0.60が最適な閾値であるといえる．またfine-tuning済みの類義判定モデルは fine-tuning無しの場合に比べ，各品詞において0.13～0.28の向上が見られた．ベースラインとする単語を対象とした類義判定精度と比べると，どの品詞においても語義を対象とした精度の方が高い値を出した．単語ベクトルは単語そのものの特徴を含んだベクトルが得られるのに対して，語義定義文の文章ベクトルはより多くの語を含むため語義に必要のない特徴を含んだベクトルが生成される可能性が高い．そのため単語の類義判定よりも語義の類義判定の方が難しいタスクであると考えられることから，語義の類義判定を行う提案手法の精度に妥当性があるといえる．

また，語義の類義判定精度が単語の判定精度を上回る結果となった要因として，単語の多義性と日本語BERTモデルの学習で使われる文脈の多様性により多義的な意味を含んだ単語ベクトルが生成されることが挙げられる．そのため語義を説明する文章である語義定義文を用いることで語義レベルの関係を高い精度で判定できるため，より高度な意味分析が可能になるといえる．

fine-tuning無しの日本語BERTを用いて同様の類義判定を行った石井ら (2023) の実験では，類義判定が難しい例として以下に示す参照的な記述がなされる定義文を含む「すがお」「じがお」の単語ペアを挙げている．なお以下の語義定義文は岩波国語辞典の語義定義文に3.4節の変更を加えている．

\vskip\baselineskip
\begin{itemize}
  \item すがお【素顔】 \mbox{} \\
  語義1：“ふだんの顔。”
  \\\textbf{語義2：“化粧していない顔。地顔。転じて、ありのままの状態。「東京の素顔」”}
  \\語義3：“酒に酔っていない時の顔。しらふ。”  
  \\
  \item じがお【地顔】 \mbox{} \\
  \textbf{語義1：“素顔。”}
\end{itemize}
\vskip\baselineskip

「すがお」「じがお」の類義判定では，「すがお」の語義2と「じがお」の語義1のペアが類義であると判定したい．「じがお」の語義定義文は“素顔。”と記述されており，「すがお」の定義文を読むように誘導させる参照的な記述で書かれている．このように語義定義文が極端に短くなり有用な文章ベクトルを得られないことで類義判定が難しくなると考えられる．この「すがお」と「じがお」の語義ペアに対して，fine-tuning無しとfine-tuning済みの類義判定モデルを用いることでコサイン類似度がどれほど変化するのか調査した結果を表6に示す．表6におけるコサイン類似度の数値を見ると，類義であると判定したい語義ペア（「すがお」の語義2と「じがお」の語義1）のコサイン類似度については数値が約0.012低下してあまり変化をしていないのに対して，類義でないと判定したい語義ペアについては「すがお」の語義1と「じがお」の語義1のペアが約0.25，「すがお」の語義1と「じがお」の語義1のペアが約0.26と大幅に低下していることが分かる．したがって，fine-tuning無しの日本語BERTモデルを用いて求めた場合は正解ペアのコサイン類似度が語義ペアの組み合わせ中で最低値となるが，fine-tuning済み類義判定モデルを用いた場合は最高値となった．コサイン類似度の数値に閾値を設けて類義判定をしているため，正解ペアの数値と不正解ペアの数値において，正解ペアが最高値となりかつ正解ペアと不正解ペアの数値の乖離が大きいほど類義判定に望ましい結果となる．fine-tuning済み類義判定モデルの結果はこれを満たす数値を得られることからfine-tuning無しの日本語BERTモデル用いた場合と比べて判定精度が向上しているとわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{10table06.tex}%
\caption{「すがお」「じがお」語義ペアのコサイン類似度（※正解の語義ペアと類似度を太字で表す）}
\vspace{2\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に類義判定に失敗する例「にくい」「がたい」の類義語ペアを以下に挙げる．なお以下の語義定義文も同様に岩波国語辞典の語義定義文に3.4節の変更を加えている．

\vskip\baselineskip
\newpage
\begin{itemize}
  \item にくい \mbox{} \\
  語義1：“『憎い』やっつけてやりたいほど不快だ。”
  \\語義2：“しゃくにさわるほど気にくわない。”
  \\語義3：“しゃくにさわるほど、あっぱれだ。いやでも感心せざるを得ない。「なかなかにくい振舞だ」「き剛の者かな」保元”  
  \\ \textbf{語義4：“すらすらとは…できない。「読みにくい字」「飲みにくい薬」”}
  \\
  \item がたい【難い】 \mbox{} \\
  \textbf{語義1：“…しにくい。なかなか…できない。やすい。「動かし難い事実」”}
\end{itemize}
\vskip\baselineskip

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{10table07.tex}%
\caption{「にくい」「がたい」語義ペアのコサイン類似度（※正解の語義ペアと類似度を太字で表す）}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表7にコサイン類似度の数値を示す．fine-tuning無しの日本語BERTを用いて求められたコサイン類似度の数値では，正解ペアの数値が一番高いが不正解ペアである「にくい」の語義3と「がたい」の語義1との数値の差が0.02しかなく類義判定が難しい結果となっている．一方fine-tuning済みの類義判定モデルを用いた場合は0.046の差を得ることができた為，fine-tuning無しの日本語BERTモデルを用いた場合に比べ理想的な数値を得ることができている．しかし，「にくい」と「がたい」の定義文ペアにおけるコサイン類似度の数値が全体的に低いことが原因で類義判定が上手くいかない．形容詞の閾値は3回の実験で0.78，0.77，0.79を取るときにmacro-F1が最高値になるためコサイン類似度の最高値が0.7384である「にくい」「がたい」の場合，形容詞における最適な閾値である0.78，0.77，0.79のいずれの値に対してもコサイン類似度の値が下回ってしまう．訓練データは各品詞の全定義文ペアで構成されているため，不正解ペアが学習データの多くを占める．そのため全体的なコサイン類似度の数値が低く，極端に低くなる例も現れてしまう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{SBERT＋Infersent手法で利用する特徴ベクトルによる精度の変化}

SBERT＋Infersent手法の結果を表8に示す．3.2.2項で示した SBERT＋Infersent手法とその比較手法の内でもっともmacro-F1が高い設定は,特徴ベクトルに(u,v,\textbar u-v\textbar )，エポック数を10，最適化手法にadamを採用した0.7932となった．結果から最適化手法に交差エントロピー誤差を用いるよりも対象誤差を用いた方が，特徴ベクトルにおいては(u,v,\textbar u-v\textbar ,u*v)を用いるよりも(u,v,\textbar u-v\textbar )を用いた方が今回の実験では有効であるといえる．更に特徴ベクトルにベクトルの距離である\textbar u-v\textbar を用いなかった場合の精度が一番低いため距離学習が有効であるといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{10table08.tex}%
\caption{SBERT＋Infersent手法の実験結果 (macro-F1)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{大規模言語モデルを用いた比較実験}

本研究の提案手法の有効性を示すため，Sentence-T5 (ST5) \cite{Misc_19}モデルとの比較実験を行った．ST5とは，大規模言語モデルであるText-to-Text Transfer Transformer (T5) \cite{Article_20}を用いて，入力した文章から文章ベクトルを得る手法である．ST5はSTSベンチマークを含むタスクにおいてSBERTに比べて高い精度を示している．

比較実験は，以下の4つの実験を行う．
\begin{description}[leftmargin=4.0cm,style=nextline]
  \item[ST5＋MLP] ：ST5で得た文章ベクトルをMulti-Layer Perceptron (MLP) に入力　し，テキスト分類を行う．
  \item[ST5＋MLP閾値判定] ：ST5＋MLPモデルの出力値に閾値を設定する．
  \item[ST5＋cos閾値判定] ：ST5を用いて3.1節に示すコサイン類似度の閾値判定を行う．
  \item[ST5 in SBERT] ：SBERT手法のエンコーダをST5に変更する．
\end{description}

\noindent ST5＋MLPは，3.1節に示した定義文同士のコサイン類似度による閾値判定を行わずに，MLPから得た出力値を用いてテキスト分類を行い，これを類義判定の結果とした．ST5＋MLPモデルは，SBERT＋Infersent手法のエンコーダをST5に変更し，SBERT＋Infersent手法における最高値を得た設定を引き継ぐ．尚モデルのパラメータにおいては，全結合層のみを更新している．ST5＋MLP閾値判定は，ソフトマックス関数から得られたラベル1の確率値に閾値を設定し，閾値を超した場合は出力の結果をラベル1であるとした．閾値は0.0001から0.5000まで0.0001刻みで変更した．ST5＋cos閾値判定は，事前学習済みのST5モデルを用いて3.1節に示す類義判定を行った．ST5 in SBERTは，3.2.1項のSBERT手法のエンコーダをST5に変更し，SBERT手法において最高値を得た設定でモデル学習を行い，類義判定を行った．4つの実験で用いたST5モデルは，Hugging Face上に公開されている事前学習済み日本語ST5モデル (\texttt{sonoisa/sentence-t5-base-ja-mean-tokens})\footnote{\url{https://huggingface.co/sonoisa/sentence-t5-base-ja-mean-tokens}}を用いた．これら4つのST5を用いた実験の結果を表9に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{10table09.tex}%
\caption{大規模言語モデル (Sentence-T5) を用いた実験結果 (macro-F1)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

類義判定の精度は，ST5＋MLP手法において最低値0.6287となり，ST5 in SBERT手法において最高値0.8199を出した．ST5 in SBERT手法の結果においては，SBERT手法の最高値よりも高い値が得られた．ST5＋MLP手法によるテキスト分類を用いたアプローチの精度が低い要因として，本研究に用いたデータセットが挙げられる．本研究で用意したデータセットは，2つの定義文が類義でないラベル0，類義であるラベル1の偏りが著しく，表1に示すようにラベル1が極端に少ないデータセットである．そのため，MLPを用いた一般的なテキスト分類の手法では，類義でないラベル0を多く学習するため，低い精度になったと考えられる．ST5＋MLP閾値判定手法は精度が向上したものの，SBERT手法よりも精度が低い結果になった．ST5＋cos閾値判定手法による類義判定の精度は，SBERT手法に匹敵する精度を出しており，BERTよりもST5から得られる文章ベクトルを用いることで高い精度が得られることが分かる．ST5 in SBERT手法においては，類義判定におけるSBERT手法の最高値を更新したため，エンコーダに性能の高い言語モデルを用いることで更なる精度向上が見込める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，単語間の類義関係に着目し，「うまい」の語義「よい。すぐれている。」と「じょうず」の語義「ある物事をする技術がすぐれていること。」の様に，単語の語義を対象に類義であるか否かを判定する類義判定手法を提案した．岩波国語辞典の見出し語，語義定義文及び分類語彙表の分類番号から単語ペアに対する語義レベルでの類義データセットを作成し，Sentence-BERTやSentence-BERT＋Infersentといった距離学習モデルに対して学習データでfine-tuningを行ったモデルを用いて単語間の類義判定を行った．実験の結果，コサイン類似度に閾値を設ける語義の類義判定において，正解ペアのコサイン類似度と不正解ペアのコサイン類似度の間にある程度理想的な差を生み出し，類義判定精度を高められるモデルが生成できることを示した．これには距離学習や最適化手法の対象誤差を用いたことが有効に働いたと考えられる．提案手法における距離学習や語義定義文の変更を行うことによって，ベースライン手法よりも類義判定を効果的にできることを示した．今後は，専門家の協力のもとでさらに大規模な類義データセットを構築し，高い精度で類義判定を行うことができる新たなシステムの考案を行いたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費 JP22K12161 による助成を受けて実施したものである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{10refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石井　佑樹}{%
2022年茨城大学工学部情報工学科卒．現在，茨城大学大学院理工学研究科博士前期課程に在籍．言語処理学会学生会員．
}
\bioauthor{佐々木　稔}{%
1996年徳島大学工学部知能情報工学科卒業．2001年同大学大学院博士後期課程修了．博士（工学）．2001 年 12 月茨城大学工学部情報工学科助手．現在，茨城大学工学部情報工学科准教授．機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．言語処理学会，情報処理学会，人工知能学会，計量国語学会各会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate


\end{document}

