\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{3}
\Month{September}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1105}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「埋め込み表現の意味適応による知識ベース語義曖昧性解消」ができるまで}
\jauthor{水木　　栄\affiref{Author_1}\affiref{Author_2}}

\etitle{Behind the Scenes of ``Semantic Specilization for Knowledge-based Word Sense Disambiguation''}
\eauthor{Sakae Mizuki\affiref{Author_1}} 

\headauthor{水木}
\headtitle{「埋め込み表現の意味適応による知識ベース語義曖昧性解消」ができるまで}

\affilabel{Author_1}{東京工業大学情報理工学院}{School of Computing, Tokyo Institute of Technology}
\affilabel{Author_2}{株式会社ホットリンク}{Hotto Link Inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会第29回年次大会にて優秀賞を頂戴した「埋め込み表現の意味適応による知識ベース語義曖昧性解消」\cite{Mizuki:JNLP2023}およびEACL2023採択論文``Semantic Specilization for Knowledge-based Word Sense Disambiguation'' \cite{Mizuki:EACL2023}（以下，本研究）の概要および研究過程での試行錯誤を紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の概要}

辞書のような語彙資源を用いて文中の単語（対象語）の語義を識別するタスクを，知識ベース語義曖昧性解消 (WSD) とよぶ．
語彙資源には語義を説明したテキスト，いわゆる語釈文が書いてある．そこで有望な方法論は，BERT埋め込みを用いて対象語に最も近い語釈文を選ぶことである\cite{DBLP:conf/emnlp/WangW20}．しかし，もしも対象語と正解語義の埋め込みを近付ける手段があれば，さらに性能が伸びるはずだ．これをふまえて，本研究では埋め込み表現の意味適応を提案した（図~\ref{fig:schema_of_proposed_method}）．提案手法は，吸引・反発学習および自己学習を併用して，埋め込み間の近さ・遠さを変更する．吸引・反発学習ではWordNetに書かれている意味関係を訓練データとして，意味的に関連がある語義対を近付け，無関連および異なる語義対を遠ざける．自己学習では平文コーパスを訓練データとして，対象語の最近傍にある語義を擬似正解とみなして，単語---語義対を近付ける．
適応させた埋め込みによる最近傍法は，知識ベースWSDの最高性能を更新した．詳細は原論文を参照されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\includegraphics{30-3ia24f1.pdf}
\hangcaption{提案手法の概要．語釈文と対象語のBERT埋め込みを変換して，埋め込み間の近さ・遠さを変更する（左）．変換関数の最適化は，吸引・反発学習（中）と自己学習（右）を併用する．}
\label{fig:schema_of_proposed_method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{回り道}

ここからは，筆者が研究成果を得るまでにたどった，試行錯誤という名の回り道を紹介させていただく．
研究活動は経路探索に似ている．問題の決定，解き方の考案，実験のデザインなど，さまざまな選択をした末に成果の公表という目的地に到達する．だが経路探索の常として，振り返るとたいてい回り道をしたことに気づく．
そして思うのだ．最短経路を選ぶ先見の明があれば○月には論文にできてたな，次はもっとうまくやりたい，と．
惜しむらくは，他者の論文を読んでも探索能力の修得はむずかしいことだ．なぜなら分岐は存在しなかったかのごとく，基本的には最短経路のみが説明されるためである．
だから筆者は本稿をお借りして，こんな迷い方をする輩がいるのだと紹介することで，他山の石にでもしていただければと思い立った．回り道は無数にあるゆえに$N=1$の報告が眉唾に過ぎないとは承知しているが，それでも意図しておなじ回り道を選ぶ者は稀だろうから．

あらかじめ，ふたつお断りしておく．ひとつは，筆者の研究業績は「方法に関する論文」\cite{Maruyama:Kenkyu,Kondoh:Kenkyu}に偏っていることだ．他の論文タイプならまた別の迷い方があるだろうと思う．
もうひとつは，当該論文タイプによく見られる，タスク特化型手法の提案およびベンチマークの性能向上をもって貢献とする研究方策の賞味期限が近いかもしれないことだ．大規模言語モデルが普及する中では，研究方策そのものの変化が不可避ではないかと感じている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{解き方を決めてから問題を選ぶ}

さて，ひとつめの回り道は，問題の解き方を決めてから解けそうな問題を探したことである．筆者は過去に，単語埋め込みを階層性のあるコード表現\footnote{先頭桁が上位概念を表すコードのこと．先頭桁が学年や学科を表す授業コードになぞらえると想像しやすい．}に変換することで上位下位関係を識別する研究\cite{Mizuki:TOD21,Mizuki:JNLP2021}を行った．このときに階層性を扱う数学的な方法論を修得したので，その経験を再利用して二匹目のどじょうを狙おうと決めた．さっそく文献を調査すると，含意関係認識，オントロジー構築，細粒度の固有表現認識などが候補として見つかった．一方で語彙意味論のタスクである語義曖昧性解消なら，前の研究と分野が地続きなので勝手を理解しやすい．こうした経緯を経て，筆者は知識ベースWSDタスクを選択した．知識ベースWSDでは語義注釈付きコーパスではなくWordNetのような語彙資源を使うが，WordNetに書かれている上位下位関係を集めると階層構造になるので，これを活用することで手法の独自性と性能面の優位性を示そうと考えた．つまり筆者は，階層性を活用するという解き方を決めてから，知識ベースWSDという問題を選んだのだ．

結論を述べると，この研究態度は泥沼へのいざないであり，さまざまなアイディアを試行錯誤しても有効な手法に結実しなかった．たしかに意味の階層性は重要な手がかりである．たとえばmouseは多義語だが，動物としての語義は\textit{animal}，機器としての語義は\textit{device}と上位下位関係にあるので，文脈からトピックを判別できれば解けたも同然である．
だが意味関係には，対義・因果・属性など，非階層的な種類がいくつもある．
そもそも上位下位関係がおよそ整然とした木構造をなすのは名詞のみであり，動詞は含意関係で代用しても木というより森になる\footnote{含意関係には自明な最上位概念がないため，小さな木が乱立する．}．副詞および形容詞に至っては階層的な意味関係は未定義である．単語の意味関係的知識は本質的に木構造ではなくネットワーク構造なのである．
それにもかかわらず階層性を活用すると決めてかかった時点で，筆者は自ら不利な条件を負っていた．
若干の弁明をすると，筆者もほどなくして無理筋らしいことには気がついた．だが研究を始めた動機が階層性の活用であるうえに，独自性や優位性も考え直しだと思うと気が重く，他の方法論に切り替える決断をためらった．数学的に巧みな解法に対する羨望があったことも遠因だろう．ともあれ，ようやく階層性へのこだわりを捨てたときには，4つのアイディアと1年間を消費していた．

特定の手法から研究の着想を得ることは珍しくないし，素直に成功することもある．たとえば変分オートエンコーダや非自己回帰モデルで解けそうな問題を考察するのが悪いことだとは思えない．だが道理にしたがうならば，何を解くかが先で，どうやって解くかは後にすべきなのだろう．その順序を逆にした研究態度は，非本質的な制約や認知的な視野狭窄を招く危険性が高いのだと思う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題の観察を怠る}

ふたつめの回り道は，解いている問題の様子を観察せずに，解き方を試行錯誤したことである．提案手法は最近傍法で語義を予測するので，正解語義が対象語に最も近くなるように，単語と語釈文のBERT埋め込みを変換すればよい．実験を始めてみると，既存研究に性能が並ぶまでは順調に進んだが，そこからの向上が停滞した．そこで筆者は細部をいじってみることにした．本研究で提案した吸引・反発学習は対照学習とほぼ同一だから，豊富な研究事例からいくらでもアイディアが出せる．距離計量（損失関数）を取り替えたり，正例・負例の作り方を変えてみたり．だが性能はなかなか伸びない．
そうするうちに，そもそも埋め込みの類似度がどうなってるのか，ふと気になった．埋め込みを動かす目的は言うまでもなく，対象語の最近傍語義を不正解から正解に入れ替えることだ．それにもかかわらず，どのくらい動かす必要があるのか調べたことがなかった．さっそくcosine類似度を計測してみると，90\%の事例では正解をわずか0.05近付けるだけで最近傍にできるとわかった．つまり原理的には，BERT埋め込みは既にいいところまで来ていて，あとは微調整で十分なのだ．さっそく埋め込みを動かす変換関数に距離制約\footnote{距離制約の有効性は，ブートストラップ法における意味ドリフトや，転移学習における破滅的忘却との関連性を指摘できるかもしれない．筆者は論じるのに十分な考察をしていない．}を組み込んでチューニングしたところ，それまでの停滞が嘘のように性能が伸びた．ついでに肩の力も抜けた．

提案手法の周辺を試行錯誤するのはなんら不自然ではない．特に目標まであと一歩という場合はなおさらだ．だが取っかかりのよさだけが動機だとしたら，それはいわゆる，街灯の下で鍵を探す行為だと自制すべきかもしれない．また仮に成功しても「ヤッコウ論文\footnote{「やってみました，こうなりました」の略．要するに発見や考察が不足している論文のこと．}」\cite{Maruyama:Kenkyu}の域を出ない懸念もある．
翻って問題を観察することは，直感的には最短経路から外れるようだが，欠けているものを見通す解釈力を授けてくれる可能性がある．会議や研究発表ではしばしば誤り事例分析の有無を問われるが，これは観察の重要性を示す証拠の一つであろう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

実のところ，筆者は回り道に否定的ではない．ふとした時に過去の徒労を思い出してひとり苦笑いするとき，同時にすこし進歩した自分を発見して，ささやかな喜びを感じるからだ．それに正例と負例の両方から学習するのは，なにも統計モデルの専売特許ではなかろう．一方で業績の生産性に対する憧れも抗しがたく，自戒や反面教師として非才を告白した次第である．

最後に，賞選考および本稿執筆の機会をくださった編集委員の皆様に感謝を表する．時宜を捉えたとは言いがたい研究課題にもかかわらず，丁寧な評価を頂戴した．また共著者および指導教官である岡崎教授に感謝する．回り道の自覚は，しばしば先生との議論からもたらされた．

自分なりに納得のゆく研究を行うことを目標として，今後も研さんに励みたい．そして願わくは，次こそはもっとうまくやりたいものだ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{24refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{水木　　栄}{%
2009年東京大学大学院工学系研究科修士課程修了．金融機関を経て，2015年株式会社ホットリンク入社．2018年東京工業大学情報理工学院博士後期課程入学，現在に至る．ACL，言語処理学会各会員．
}

\end{biography}



\end{document}


