\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{xcolor}
%%%%\newcommand{\bhline}{\noalign{\hrule height 1.5pt}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{827}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「マスクされた単語埋め込みと2段階クラスタリングを用いた \\ 動詞の意味フレーム推定」の解説}
\jauthor{山田　康輔\affiref{Author_1}}

\etitle{Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering}
\eauthor{Kosuke Yamada\affiref{Author_1}} 

\headauthor{山田}
\headtitle{「マスクされた単語埋め込みと2段階クラスタリングを用いた動詞の意味フレーム推定」の解説}

\affilabel{Author_1}{名古屋大学}{Nagoya University}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

本稿では，言語処理学会2022年度論文賞を受賞した「マスクされた単語埋め込みと2段階クラスタリングを用いた動詞の意味フレーム推定」（以下，原論文） \cite{yamada2021_journal}について解説する．
これはACL-IJCNLP 2021の本会議に採択された論文（論文1） \cite{yamada2021b}を元に執筆されたものであるが，実は論文1とACL-IJCNLP 2021 Findingsに採択された論文（論文2） \cite{yamada2021a}をまとめて解説した記事\cite{yamada2021_gakkai}を既に執筆させていただいており，その中で本研究の大目標である意味フレーム構築全体の研究背景や各論文の研究概要や研究過程について解説させていただいている．
このため，本稿では，原論文の概要を説明した後，研究過程ではなく，論文1の内容を論文誌として投稿するにあたり注力したことについてまとめる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\begin{center}
\begin{tabular}{lr}
\hline
(1) We'll not {\color[HTML]{ecaa0a} \textbf{get}} there before the rain comes. & ({\color[HTML]{ecaa0a} \textbf{Arriving}}) \\ 
(2) The problem continued to {\color[HTML]{0da579} \textbf{get}} worse. & ({\color[HTML]{0da579} \textbf{Transition\_to\_state}}) \\ 
(3) You may {\color[HTML]{57c3f5} \textbf{get}} more money from the basic pension. & ({\color[HTML]{57c3f5} \textbf{Getting}}) \\ 
(4) We have {\color[HTML]{57c3f5} \textbf{acquired}} more than 100 works. & ({\color[HTML]{57c3f5} \textbf{Getting}}) \\
\hline
\end{tabular}
\end{center}
\caption{FrameNetにおける動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．}
\label{tab:examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}
\label{sec:body}

原論文では，大規模なテキストコーパスから人が持つ語の背景知識である意味フレームを自動的に構築するため，その最初のステップである動詞の意味フレーム推定に取り組んでいる．
これは，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである．
たとえば，表\ref{tab:examples}の(1)から(4)に示すFrameNet \cite{baker1998}の用例の場合，\{(1)\}, \{(2)\}, \{(3), (4)\}の3つのクラスタにまとめることを意味する．
近年，本タスクを解くための手法の多くは，動詞のBERTなどの文脈化単語埋め込みを用い，すべての事例を一度にクラスタリングする枠組みを採用している\cite{arefyev2019,anwar2019,ribeiro2019}．
原論文では，この枠組みの2つの欠点を指摘し，その欠点を改善する手法を提案している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia23f1.pdf}
\end{center}
\hangcaption{動詞「get」と「acquire」の文脈化埋め込み（左）とマスクされた動詞の文脈化埋め込み（右）の2次元マッピング．数字は表\ref{tab:examples}の用例に対応し，$+$と$\bullet$はそれぞれ動詞「get」と「acquire」の事例，各色は{\color[HTML]{ecaa0a} \textbf{Arriving}}，{\color[HTML]{0da579} \textbf{Transition\_to\_state}}，{\color[HTML]{57c3f5} \textbf{Getting}}フレームを示す．}
\label{fig:visualization}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

1つ目の欠点は，動詞の文脈化単語埋め込みがその動詞の表層情報に影響されているため，事例が意味ごとにまとまりづらい傾向があることである．
図\ref{fig:visualization}の左側は，FrameNetから動詞「get」と「acquire」の用例を抽出し，BERT \cite{devlin2019}による各動詞の埋め込みをt-SNEにより2次元に射影し，可視化したものである．
この結果から，\textsc{Getting}フレームを喚起する「get」の事例は，同じ\textsc{Getting}フレームを喚起する「acquire」の事例の近くに位置する傾向が見られるが，各動詞が喚起するフレームというよりむしろ表層ごとにまとまっていることが確認できる．
これを改善するため，原論文では，動詞を\verb|[MASK]|トークンに置き換えて獲得できる埋め込みであるマスクされた単語埋め込みの利用を提案する．
図\ref{fig:visualization}の右側がマスクされた動詞の文脈化埋め込みの可視化結果である．
マスクを用いることで動詞の表層的な情報を隠すことができ，同じフレームを喚起する動詞の事例が近い位置になっていることが確認できる．

もう1つの欠点は，同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わらず，その動詞の事例が多くの異なるクラスタに分割されすぎてしまうことである．
たとえば，動詞「acquire」はGettingフレームの事例しかFrameNetデータセットに含まれていないため，「acquire」のすべての事例は1つの共通したクラスタに属することが期待されるが，ノイズを含む埋め込み表現となっている事例が存在する場合，複数の異なるクラスタに分かれることが確認されている．
このような事態を避けるため，2段階クラスタリングを提案する．
その概要を図\ref{fig:method}に示す．
まず，1段階目のクラスタリングとして，動詞ごとに事例のクラスタリングを行うことで，同じ動詞の意味ごとでクラスタを形成し，その後，2段階目のクラスタリングとして，動詞横断的にクラスタリングを行うことでフレームクラスタを形成する手法である．
これによって，多少ノイズとなる事例が存在するとしても，特定の動詞に関する事例が多くのクラスタに分割されすぎないことが期待できる．

原論文では，FrameNetを用いた実験を通し，マスクされた単語埋め込み及び2段階クラスタリングがそれぞれ有用であることを示した．
また，これらを組み合わせた手法は，従来手法と比較して12ポイント以上評価スコアが向上し，これまでの最高性能を獲得した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia23f2.pdf}
\end{center}
\hangcaption{2段階クラスタリングの概要．左上，左下図はそれぞれ動詞「get」と「acquire」を対象とした1段階目の動詞ごとの用例クラスタリング，中図はクラスタ内の埋め込みの平均の算出，右図は2段階目の動詞横断クラスタリングを示している．各図における$+$と$\bullet$は「get」と「acquire」の事例を表す．}
\label{fig:method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{国際会議で発表した内容を論文誌として投稿するにあたり注力したこと}

\ref{sec:introduction}節で述べたように，原論文はACL-IJCNLP 2021の本会議に採択された論文1を元に執筆したものであり，\ref{sec:body}節で述べた提案手法及び実験結果はすべて論文1に含まれる内容である．
論文1採択までの経緯については，学会記事\cite{yamada2021_gakkai}にまとめたため，そちらを参照していただきたい．
本節では，国際会議で発表した論文1の内容を論文誌として投稿するにあたって，特に注力した3つについて述べる．
国際会議に採択された後，論文誌を執筆する方が多いと思われるため，その参考となれば嬉しい限りである．

1つ目は，論文冒頭いわゆる「はじめに」の内容である．
学会で発表するために執筆する予稿は，研究の議論や技術の共有などが目的となるため，「はじめに」の内容としては，簡潔なタスクの説明をし，そのタスクにおいて着目する点を述べ，それに対するアプローチを説明するといった流れのものが期待される．
一方，論文誌は完結した研究を広める場である．
このため，「はじめに」の内容に関しては，研究で取り扱うタスクより幅広い視野で，分野全体の背景やそのタスクの意味や意義についてまとめることが重要になると考えている．
たとえば，原論文で言えば，動詞の意味フレーム推定タスクを説明する以前に，そもそも意味フレームとは何であるかや，意味フレームを構築する意義は何かなどがこれにあたる．
著者は原論文を執筆するにあたり，これらをできるだけ読者に伝わるよう，動詞「振る舞う」の事例を用いて丁寧に導入することを心がけた．

2つ目は，実際に構築したシステムの出力結果の分析である．
学会の予稿ではページ数の制限が厳しく，また，定量的な評価が重視されるため，構築されたシステムの出力の分析などの定性的な評価を十分に示していないものが多い．
しかし，そのような分析は研究を説明したり議論したりする上でかなり重要であると考えている．
これは，その分析によって直感的にどこまで実現できているか確認でき，どのような点で提案手法に強みがあるのかわかるためである．
原論文では，実際に構築されたフレームクラスタの表や埋め込みの可視化図などによる定性的な評価に力を入れた．

3つ目は，実験でうまくいっていない手法に対するスコアの説明である．
学会の予稿では貢献を明確にするため，実験でうまくいった提案手法に対して，考察をまとめる場合が多い．
当然ながら上手くいく手法に関する考察は重要であるが，その手法を他の研究で利用する場面などでは，上手くいかなかった手法に関する考察も非常に重要である．
たとえば，提案手法内でも一部のアルゴリズムやハイパーパラメータを変更した場合において，スコアが下がるようなケースの考察は，後続の研究においてかなり重要な知見となる．
原論文でいえば，1段階目にX-means，2段階目に群平均法を用いた2段階クラスタリング手法が高い性能を示しているが，他にも1段階目に群平均法や2段階目にウォード法を用いた2段階クラスタリング手法も検証しており，その手法が最高性能を示す手法と比較して，スコアが低くなった理由について考察している．
このような考察は，今後類似したタスクを解く場合や手法を用いる場合の問題への対処に繋がり，研究コミュニティのために非常に重要であると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

原論文は，大規模なテキストコーパスから高品質な意味フレームを自動構築するという大きな目標に向けた最初のステップである動詞の意味フレーム推定に取り組んだ研究である．
ここからは後日談であるが，本稿で提案した手法をそのまま大規模なテキストコーパスに適用した結果，原論文の実験で得た結果ほど，提案手法は十分に高い性能は示せていない．
これは，FrameNetの事例はいずれもフレーム情報を付与できるような綺麗なテキストが大半であるが，実際のテキストコーパスはそこまで綺麗ではないことに由来している．
このため，より性能の高い動詞の意味フレーム推定手法を実現すべく，「深層距離学習を用いた動詞の意味フレーム推定」という研究に取り組んでいる．
また，現在，動詞の意味フレーム推定だけではなく，フレームに定義されているフレーム要素に関する知識の獲得についても取り組んでいる．
意味フレームの自動構築に向けて，着々と研究が進んでいるので，ぜひこれらの論文や研究発表についても注目していただけると非常に嬉しい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{23refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{山田　康輔}{
2019年名古屋大学工学部電気電子情報工学科卒業．
2021年同大学院情報学研究科博士前期課程修了．
現在，同博士後期課程に在籍．
2022年より日本学術振興会特別研究員 (DC2)．
}
\end{biography}



\end{document}



