\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{graphicx,xcolor}
%%%%\usepackage{url}
%%%%\usepackage{array}
%%%%\usepackage{here}
%%%%\usepackage{float}
%%%%\usepackage{multicol}
%%%%\usepackage{multirow,tabularx}
%%%%\usepackage{array}
%%%%\usepackage{here}
%%%%\usepackage{float}
%%%%\usepackage{multicol}
%%%%\usepackage{arydshln}
%%%%\usepackage{amsmath}
%%%%\usepackage{amssymb}
%%%%\usepackage{amsfonts}
%%%%\usepackage{latexsym}
%%%%\usepackage{comment}
%%%%\usepackage{color}
%%%%\usepackage[multiple]{footmisc}
%%%%\newcommand{\pmstd}[1]{{\fontsize{0pt}{0pt}$\pm$\tiny${#1}$}}
%%%%\newcommand{\woft}{{\footnotesize w/o\hspace{0.1em}}FT}
%%%%\newcommand{\tabH}{\rule{0pt}{2.1ex}}
%%%%\newcommand{\bhline}{\noalign{\hrule height 1.2pt}}
%%%%\newcommand{\footlink}[1]{\footnote{\url{#1}}}
%%%%\newcommand{\footsep}{{$^{,}$}}
%%%%\newcommand{\para}[1]{{\vspace{2ex}\noindent\textbf{#1}\hspace{0.5ex}}}
%%%%\newcommand{\parapara}[2]{{\vspace{2ex}\noindent\textbf{#1}\hspace{0.75ex}{#2}\hspace{0.75ex}}}
%%%%\newcommand{\bgred}[1]{{\colorbox[rgb]{0.99,0.8,0.8}{#1}}}
%%%%\newcommand{\bgredbf}[1]{{\colorbox[rgb]{0.99,0.8,0.8}{\textbf{#1}}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{742}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「定義文を用いた文埋め込み構成法」の研究経緯}
\jauthor{塚越　　駿\affiref{Author_1}}
\etitle{Research History on “Sentence Embeddings using Definition Sentences”}
\eauthor{Hayato Tsukagoshi\affiref{Author_1}} 

\headauthor{塚越}
\headtitle{「定義文を用いた文埋め込み構成法」の研究経緯}

\affilabel{Author_1}{名古屋大学大学院情報学研究科}{Graduate School of Informatics, Nagoya University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会2023年度論文賞を受賞した論文「定義文を用いた文埋め込み構成法」について紹介したのち，提案手法の着想に至った経緯と，論文誌採択に至るまでの過程で経験した数々の苦労と教訓について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}

原論文は，文埋め込みを構成するための新しい手法DefSentを提案するものである．
文埋め込みとは自然言語文の密ベクトル表現であり，類似文書検索やクラスタリング，近年では検索拡張生成にも盛んに利用されている．
文埋め込みモデルを獲得するには，事前学習済み言語モデルにfine-tuningを施す手法が一般的である．
fine-tuningには自然言語推論(Natural Language Inference: NLI)タスクが頻繁に利用されるが，自然言語推論データセットは英語を中心に整備されており，日本語をはじめとする諸言語で十分利用できる資源とは言い難く，英語以外の言語における文埋め込みモデル開発の障壁となっていた．
これに対し原論文では，英語以外の言語でも整備が進んでいる，単語辞書を用いた文埋め込み構成法を提案している．

提案手法であるDefSent\footnote{DefSentという名称は，NLIデータセットを用いる文埋め込み手法として代表的なInferSent \protect\cite{InferSent}にちなみ，定義文の英訳である``Definition Sentence''を縮めてDefSentと命名した．
先行研究であるSentence-BERT \protect\cite{SBERT}と異なり，当時流行していたBERT \protect\cite{BERT}の文字列を名称に入れていないのは，単に逆張り精神を発揮したから，というだけでなく，流行に左右されない手法であってほしいという願いが込められている．
}は，単語辞書から定義文と対応する単語のペアを抽出し，定義文の埋め込み表現から単語を予測できるようにfine-tuningを行う．
実験では，NLIデータセットを用いてBERT \cite{BERT}のfine-tuningを行うSentence-BERT (SBERT) \cite{SBERT}と同等程度の性能を達成することを示した．
また，DefSentとSBERTがほとんど同じモデル構造を持つ点に着目し，それぞれの手法によって得られた文埋め込みの分析を行った．
その結果，同じ事前学習済み言語モデルを元にしても，学習タスクによって埋め込み表現の性質が大きく異なる場合があることを示した．
さらに，DefSentとSBERTという二つの埋め込み手法を組み合わせることで，性能を向上させられることを示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia22f1.pdf}
\end{center}
\caption{Sentence-BERT（左）と提案手法である\textbf{DefSent}（右）の概要図．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の過程}

原論文は，ACL-IJCNLP 2021本会議に採択された論文（論文1）\cite{DefSent}，および，*SEM 2022に採択された論文（論文2）\cite{CompComb}を元に執筆されたものである．
本節では，特にACL-IJCNLP 2021で発表した論文の内容を中心に，原論文の研究に至った着想の経緯と，その過程でどのようなことがあったかについて述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{着想に至るまでの経緯}

学部4年生として研究室に配属された2020年4月，筆者は漠然と深層学習を用いて「意味」を扱う研究がしたいと考えていた．
当時はBERT \cite{BERT}の登場から1年が経ったほどの時期であり，自然言語処理分野において，事前学習済み言語モデルによる単語や文の意味表現の有用性が知られてきているころであった．
そんな時期に出会ったのが定義文生成タスクである．
定義文生成タスクとは，単語やフレーズが与えられた時に，その埋め込み表現から語句を説明した定義文を生成するタスクであり，Norasetらによる研究\cite{noraset2016definition}や，石渡らによる研究\cite{ishiwatari-etal-2019-learning}がある．
深層学習モデルから生成される意味表現に，定義文という解釈可能な形を与えるこのタスクに興味を持ち，取り組んでみることとした．

大まかな研究テーマが決定した5月半ばより，9月初頭の大学院入試を終えるまで，そしてその後しばらくは，定義文生成モデルの構築・実験を試していた．
しかし，調査と実験を重ねても具体的な既存研究の問題点・改善案や面白い考察が得られず，今後どのような研究を行えばよいか悩んでいた．
行き詰まりを感じていた2020年10月半ばのある日，研究室で議論をする機会があった．
この時，埋め込み表現から定義文を生成する図をホワイトボードに描いていたのだが，ふと，この関係を逆転させると，定義文から文の埋め込み表現を生成していることになるのではないかと思い至った\footnote{本稿執筆にあたり過去の研究記録を参照したところ，当初は定義文生成も諦めておらず，ある定義文$S_d$の埋め込み表現$e_d$について，埋め込み表現を定義文に変換する関数$f$を$f(e_d) = S_d$と定めたとき，$f$の逆関数$f^{-1}$が求められないか考えていたようである($f^{-1}(S_d) = e_d$)．
ここで，$f$は生成モデル，$f^{-1}$は文埋め込みモデルに相当する．
$f$が深層学習モデルである場合，一般に$f^{-1}$を求めるのは難しい．
しかし最近ではNeuralODE \protect\cite{NeuralODE}など可逆な深層学習モデルの研究が進んでおり，このようなモデルを利用すれば定義文の生成・埋め込みを一つの深層学習モデルで表現できるかもしれない．
}．
その後，文埋め込みの研究に関するサーベイを行い，提案手法が分野にとってどのような位置付けとなるか考察したのち，初期実験を行った．
最初の結果が出たのは11月初週である．
当時はPooling\footnote{BERTに文を入力した際に得られる出力はベクトル列である．
Pooling手法とは，ベクトル列をどのように加工して文埋め込みという単一のベクトルに変換するかを表す．
}手法についていろいろ試していたのだが，いくつかの設定で有望そうな実験結果が得られたため，年明けの言語処理学会と，その後の国際会議ACL-ICJNLP 2021の原稿締め切りに向けて，論文執筆と実験を進めることになった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{国際会議採択に向けて}

初期実験の結果が出てから言語処理学会年次大会2021の原稿締め切りまでは，約2ヶ月というところだった．
論文執筆が初めてであることを考えると，あまり時間は残されていない．
そこで，まず論文執筆に最低限必要な実験を行い，その後発展的な手法・アイデアを試すという手順で研究を進めた．
発展的なアイデアとは，モデルの学習に定義文中の「用例」を使用する手法や，マルチタスク学習，より複雑なPooling手法などである．
だが，いずれの実験も結果は奮わず，結局はほとんど初期実験時のストーリーで論文を執筆することとなった．

年末に言語処理学会論文の執筆を進めていたところ，思わぬ障壁が現れた．
筆者は執筆が非常に苦手だったのである．
執筆のためPCに向かっても，睡魔に襲われるばかりで一向に文字が生成されない．
意識を変えようと夜中・早朝の執筆も試したが，いつの間にか寝ている．
後述するが，これはある種の完璧主義による呪いであり，自らの生成する文が不完全なものであることを認められないという負けず嫌いによるものであったと考えている．
つまりは，執筆に対する苦手意識，それに起因する疲労と逃避である．
この時点では対策という対策を見出すことができず，指導教員である武田・笹野両先生を大いに困らせながらも，なんとか執筆を終えた．

言語処理学会の原稿締め切り後すぐに，ACL-IJCNLP 2021の論文執筆が始まったが，こちらは国内会議論文の英訳から始まったこともあり，負担感はそれほど大きくなかった．
続編にあたる論文をEMNLP 2021に投稿するため準備していた2021年5月初頭，無事採択の通知が届いた．
学部生として研究室に配属されてから1年間の努力が身を結んだ瞬間であり，感極まる思いだったことを覚えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文誌採択への道のり}

さて，少し時間が飛んで2022年7月，筆者はアメリカのシアトルで開かれた国際会議NAACLと，併催のsemanticsに関するカンファレンスである*SEM 2022に参加していた．
*SEM 2022には，SBERTとDefSentの性質分析と統合に関する研究（論文2）が採択されていた．
この研究はEMNLP 2021にてshort paperとして投稿・不採択となった後，2021年11月のARR (ACL Rolling Review)での査読の結果，meta-reviewerの方より*SEMへの投稿をお勧めされたものである．
*SEMの会期は2022年7月中旬までであり，何事もなく帰国できれば，2022年8月1日の本論文誌の原稿締め切りに余裕を持って間に合うはずであった．
しかし，帰国直前に実施したPCR検査の結果，新型コロナウイルス感染症に罹患していることが発覚し，帰国が12日程度延長されることとなった．
当時は発症時の隔離措置が現在より厳格に実施されており，筆者はシアトルの宿泊先にて自主隔離生活を強いられることとなったのである．
つまり``カンヅメ''状態となったのだが，論文誌執筆にとってはこれが意外と良い方向へ働いた．

当時の筆者は執筆に対して億劫になることが多く，論文執筆に対して後ろ向きになっていた\footnote{
2022年5月ごろの学振DC1申請書の執筆が影響し，精神的に不調であった．
}．
しかし，普段と異なる状況になったことで，結果論ではあるがメンタル面の負担感が軽減され，執筆に対して前向きになることができた\footnote{
小林氏の学会記事\protect\cite{kobayashi}にもあるように，環境を変えることはしばしば研究の役に立つ．
}．
その後，帰国してから無事に論文を投稿でき，9月ごろに条件付き採録の通知をいただいた．
この際の査読が非常に丁寧であり，近年の国際会議によくみられる「落とすための査読」ではなく，「良くするための査読」を初めて体験した．
査読を通じて自らの研究を見つめ直し，強みと弱みを振り返ることができたのは得難い経験であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{執筆心得}

先述の通り筆者は執筆が苦手であり，Pythonなどのプログラムを書くのに必要な体力を1とすると，執筆には10から20程度の体力を要する．
しかしながら，研究をする上で論文執筆を避けて通ることはできない．
本節では，執筆を乗り越えるために筆者が意識している，もしくは，改めて意識したい事項について述べる\footnote{
同様の項目が設けられた文献として佐藤氏の学会記事\protect\cite{sato}があり，平時より参考にさせていただいている．
}．
特に，論文執筆が不得意だと感じている同世代の研究者の方の参考に少しでもなれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{最初から完璧に書こうとしない}
筆者の場合，執筆に対する苦手意識の多くは，自らが生成する文に厳しい評価をしていることから来る．
つまり，最初から論文として完成された文を書こうとしてしまうことにより，過剰に疲れてしまうことが執筆に対する忌避感の原因であると思われる．
これへの対策は，極めて意識的なものだが，執筆のみに集中することであると思う．
執筆しながら文章の良し悪しを判別するのは非常にコストがかかる．
そこで執筆中は，文の良し悪しではなく言いたいことが言えているかどうかのみに集中するようにする．
文章の悪い点については後から直すという割り切り\footnote{
本当はそう思っていなかったとしても，論理的に正しいと思った習慣は無理やり思い込みで実現するとよいようだ．
}により，脳への負荷を軽減しつつ無駄な装飾のない素直な文が書けるようになるので，結果として執筆の速度と完成度を向上させることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{環境を整える・万全を期さない}
筆者にとって執筆はそこまで面白いものではない．
可能であれば延々とプログラムを書いていたいとさえ思う．
これへの対策は，意識的に集中できる環境を整えるのがよかろうと思う．
例えば「エディタのウインドウを閉じてOverleafのみ開く」「執筆に向かうためのルーティンを決める（洗顔やコーヒーなど）」などは簡単かつ有効な手段だと思われる．
また，相反するように思えるテクニックとして，執筆のための環境を整えすぎないというのも有用である．
これは，完璧な環境がなければ執筆ができないという状態に陥るのを防いでくれる．
筆者のように執筆が苦手だと自覚していると，執筆タスクがとても大きなものに見えてくることがあるが，環境が整っていなくても少しだけお試しで書くようにすることで，執筆が過剰に大きな負担になるのを防いでくれる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{執筆に正解はない}
執筆時の心構えとして「指導教員が思う正解を引き当てる」ことに終始してはいけないと考えるようになった．
指導教員・共著者は答案の採点者ではない．
共著者からフィードバックをもらう目的は，共著者に気に入られることではなく，論文をより良くすることである．
論文執筆を重ねるにつれこの意識を持つようになったことで，添削の受け取り方や心持ちが大きく変わったと感じている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

原論文は，多くの人の支えがあって初めて完成した論文である．
初めての研究に取り組む中で，筆者をあらゆる面で助けていただいた武田・笹野両先生と研究室の方々の助力があってこそである．
この場をお借りして感謝申し上げたい．
また，原論文を高く評価していただいた編集委員・査読者の皆様，そして，少しでもこの研究に興味を持ち話しかけていただいた全ての皆様へ深く感謝申し上げる．
筆者にとって本研究は苦難の連続だったが，それと同時に研究の楽しみと数々の教訓を与えてくれた存在でもある．
読者の皆様にとって本稿，つまり筆者が得た教訓と七転八倒の過程とが，激動の時代を迎え益々発展する自然言語処理分野を楽しみ，研究を進めるための一助になれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{22refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{塚越　　駿}{%
2021年名古屋大学情報学部卒業．2023年名古屋大学大学院情報学研究科知能システム学専攻博士前期課程修了．修士（情報学）．同年同専攻博士後期課程に進学．2023年度日本学術振興会特別研究員 (DC1) 採用．}

\end{biography}



\end{document}



