\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks
\usepackage[multi]{otf}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{subcaption}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{3}
\Month{September}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1088}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「文書レベル関係抽出における根拠認識の統合」の完成まで}
\jauthor{馬　　尤\UTF{54AA}\affiref{Author_1}}
\etitle{Until the Completion of ``Incorporating Evidence Retrieval into Document-Level Relation Extraction''}
\eauthor{Youmi Ma\affiref{Author_1}} 

\headauthor{馬}
\headtitle{「文書レベル関係抽出における根拠認識の統合」の完成まで}

\affilabel{Author_1}{東京工業大学}{Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では言語処理学会第29回年次大会 (NLP2023) において論文賞を受賞した研究「文書レベル関係抽出における根拠認識の統合」 \cite{Ma:JNLP2023}の概要と遂行過程を紹介する．
ふりかえると本研究の鍵は各段階における積極的な状況整理であり，自分の置かれた状況を見極めていたからこそ，研究の方針を決めることができた．
本稿ではその研究過程と得られた学びを紹介し，似た境遇にあるどなたかの参考と励みになれると幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の概要}


質疑応答をはじめ，自然言語処理技術が用いられる多くの場面では，事実知識に基づいた回答の自動生成が期待されている．事実知識を効率よく蓄積するため，テキストから自動的に知識を獲得し，知識ベースを構築することは重要な課題である．
本研究で取り組む文書レベル関係抽出 (\textbf{DocRE}: Document-level Relation Extraction) タスクは，まさに文書からの知識ベース構築を目指している．

DocREは文書におけるすべてのエンティティ（実体）の組の関係を認識するタスクである．関係抽出の研究は文内に閉じて関係を認識するタスク設定が多いが，テキスト中で複数の文にまたがって表現される関係は対象外となってしまうため，適用範囲が狭い．
これに対して，DocREは複数の文で言及される関係にも対応できる．一方，DocREを解くには複数の文の情報の取捨選択や統合をしながらエンティティ間の関係を推定する必要があるため，通常の関係抽出より難しい設定でもある．
情報の取捨選択によく用いられるのは根拠 (evidence) である．根拠は，関係を推定するために必要最小限かつ十分な情報を含む文の集合と定義され，DocREで広く用いられるデータセットDocRED \cite{yao-etal-2019-docred}でラベル付けされている
%%%%（図~\ref{fig:example}\footnote{図は\citeA{Ma:JNLP2023}より引用．}）．
    （図~\ref{fig:example_model}a\footnote{図は\citeA{Ma:JNLP2023}より引用．}）．

既存研究ではDocREのサブタスクとして根拠認識も行うことが多かった \cite{huang-etal-2021-three,xie-etal-2022-eider,xiao-etal-2022-sais}．
これらの研究は，エンティティ組の埋め込みと文の埋め込みを入力として，文がエンティティ組の関係の根拠である確率を出力する根拠認識器を学習する．
このような設計では，根拠認識とDocREは別々にモデル化されてしまい，両タスクの関連性を考慮できない．
本研究では，根拠認識をDocREモデルに統合する手法DREEAMを提案した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia21f1.pdf}
\end{center}
%%%%\label{fig:example}
%%%%\label{fig:model}
\caption{DocREのアノテーション例及び提案手法 (DREEAM) の概要}
\label{fig:example_model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

DREEAMのアイデアはシンプルである．長いテキストが与えられ，特定の情報を探すよう指示された時，人間は関連性の低い情報を読み飛ばすように，モデルにも読み飛ばしの知識を身につけてもらいたい．そこで，人間が特定のエンティティ組の関係を判断する際は根拠に注目すると仮定し，モデルも同じく根拠に注目させるように誘導する．具体的には，根拠の人手アノテーションを根拠分布に変換し，エンコーダの自己注意機構から算出した単語重要度の教師信号とする．これにより，関係予測の根拠に高い重みを配分するよう，エンコーダの自己注意機構を誘導できる．また，推論時は文の重要度を単語重要度の和とし，重要度の高い文を根拠とすることで，根拠認識器を撤廃し，モデルのパラメータ数やメモリ使用量の削減も実現した．これは本研究において，筆者が最も嬉しく思うところでもある．

さらにDREEAMを活用して，根拠ラベルのないデータに根拠を自動付与し，
%%%%モデルの学習に用いた（図~\ref{fig:model}）．
    モデルの学習に用いた（図~\ref{fig:example_model}b）．
これはDocRE，特に根拠認識においての教師データ不足を緩和するための策である．まず人手でラベル付けされた少量の正解データでDREEAMを学習しておき，それを教師モデルとする．次に根拠ラベルの無いデータを教師モデルに入力し，疑似的な根拠を推測させる．得られた疑似根拠は教師モデルが持つ根拠認識に関する知識の表れとして，もう一つのモデル，すなわち学生モデルに模倣させることで，根拠認識に関する知識を学ばせる．さらに正解データでファインチューニングを行なった学生モデルは， DocREDにおいてDocREと根拠認識の両方で世界最高性能 (SOTA) を達成できた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の遂行過程をふりかえって}

ふりかえると，本研究を遂行できた鍵は，各段階における積極的な状況整理であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テーマ選び：一歩踏み込んでからの状況整理}

修論のテーマは文に閉じた固有表現抽出及び関係抽出だった．割と早い段階で学会論文に仕上げたが，国際会議・ジャーナルへの挑戦は四戦四敗で終わった．幸いなことに，行き場を無くしかけていた研究を本論文誌が採択してくださった \cite{Ma:22}．
2021年9月から博士課程に進学し，博士号の取得という目標を見据え，同じテーマで挑むべきかについて迷いが生じたため，一度状況整理の時間を設けるようにした．

状況整理期間では，取り掛かっていたテーマのコミュニティの動向を調べつつ，それを個人の研究に対する価値観と照らし合わせ，「もしこの方向に進んだら何ができるのか」を整理した．
当時，文に閉じた情報抽出に限らず，テキストから構造化情報を取り出すことを目的とした構造化予測 (Structured Prediction) タスクをsequence-to-sequenceタスクに落とし込む手法が頭角を現し，注目を集めた \cite{paolini2021structured}．これらの手法は入出力側のテキストを緻密に設計し，構造化情報をテキストにエンコードさせた．複数の構造化予測タスクを統一された枠組みで解ける良い試みとは思ったが，より計算量の大きい生成タスクに解析タスクを落とし込むことが腑に落ちずにいた．一方，個人の研究遂行経験を振り返ると，当時の実験設定でモデルがアノテーション通りに予測できなかった事例は，人間にとっても判断に迷うものであると感じ，同じベンチマークで粘るモチベーションはさほど高くなかった．このようなサーベイと自問自答を繰り返した結果，同じテーマを続けるのは難しいと判断し，他を探すことにした．後に，長文解析への関心からDocREに落ち着いた．踏み切るまでに時間がかかったが，正しい選択をしたと思う．
気長に見守ってくださった指導教員の岡崎直観教授に深く感謝する．

テーマを決めるのにあたり，気分転換がてらに参加した学外実習が助力となった．進学してから2ヶ月が経ち，博論の方向性が決められずにいたため，インスピレーションを求めてNTT人間情報研究所の冬季学外実習に参加し，クエリ指向型長文要約 (QFS) についての研究に取り組んだ\footnote{実習先の選択などは高瀬翔氏（当初は東工大岡崎研究室所属）から諸々助言・助力をいただいた．深く感謝する．}．
情報抽出とかけ離れた馴染みのないテーマであったため，指導者の西田光甫氏と責任者の西田京介氏など，多くの方のご厄介になったが，大変貴重な経験だった．
博論のテーマをDocREに舵を切れたのも，QFSの課題であるクエリによる情報の取捨選択とDocREの課題であるエンティティの組による情報の取捨選択につながりを感じたからだと思う．QFSの研究に踏み込んだ経験も，実質状況整理の一環になったと感じた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{研究遂行：一歩引いてからの状況整理}

原論文の雛形はEACL 2023に採択されているが \cite{ma-etal-2023-dreeam}，起稿当時は異なるストーリーを予想していた．当初では，提案手法の性能はSOTAを超えられず，数ヶ月の試行錯誤を繰り返しても性能改善の目処が立たなかったため，仕方なく本研究をまとめて次に取り掛かろうとした．ところが，論文の執筆は一歩引いてからの状況整理となり，転機をもたらした．

論文執筆のため，研究遂行過程で行われた試みと関連研究で報告された試みを一通り整理し，提案手法の立ち位置を確立しようとした．このおかげで，曖昧だった関連研究との繋がりが明白となり，全体像が見えてきた．
実験の手を止め，一歩引いて全体像を眺めたところ，「検証できたこと」と「検証できていないこと」を区別できるようになり，根拠認識の疑似ラベル付与はまだ未踏であることに気付けた．早速DREEAMを活用した疑似根拠付与実験を試みたところ，性能が向上し，SOTAを越すことができた．
これらの実験結果が得られたのは締め切りの2週間前であり，その後原稿を大幅に修正すべく苦労したが，最終的には納得のいく出来まで仕上げることができた．
この経験から，一心不乱に実験を進めることは研究の礎石を築くが，時折一歩引いて全体像を把握しておくことこそ，芯の通る研究ができる重要なステップであると思った．

研究の全体像を把握するのにあたり，早期の起稿が有用であると感じた．上述の通り，筆を動かすことは情報や思考をまとめるのに非常に役立つものであった．今回は締切の1ヶ月前に執筆し始めたが，テーマを決めた時点で論文を起稿し，実験を進めるのと同時に原稿を修正していく戦略をとっていたら，より効率よく研究を進められたのかもしれない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{余談：提案手法の呼称について}

論文執筆当初では提案手法を「DREviA\footnote{\textbf{D}ocument-level \textbf{R}elation Extraction with \textbf{Evi}dence-guided \textbf{A}ttention}（ドレービア）」と呼称していた．「DREEAM\footnote{\textbf{D}ocument-level \textbf{R}elation \textbf{E}xtraction with \textbf{E}vidence-guided \textbf{A}ttention \textbf{M}echanism}（ドリーム）」という印象に残る呼称は，原稿の校正で助力いただいた岡崎研究室のMacro Cognetta氏のアイデアである．
本稿の所々で述べられたように，本研究は多くの方々から支えられたからこそ成し遂げたものである．この度は数多くの優れた投稿から本論文を選出し，優秀と評価いただいたのは実に予想外であり，身に余る光栄だとも思ったが，筆者一人だけでは決して成就できなかった．これを励みに，今後も堅実に研究を進めていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿ではNLP2023で発表された主著論文「文書レベル関係抽出における根拠認識の統合」の概要と研究過程を紹介した．
生成AIが注目を浴び続ける今，解析タスクの存在感は薄れていく一方だが，テキストや事実に忠実な解析はモデルの信憑性や解釈性を向上し，人間とAIが「分かり合える」社会を築いていく上での助力になると信じたい．
また，研究が行き詰まると感じた時は，一度落ち着いて状況を整理しておくと打開策が見えてくるかもしれないことを，本稿を通して筆者のような若手研究者に伝えられると幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

此度の受賞にあたり，賞選考に携わったNLP2023選考委員会の方々に深く感謝を申し上げます．また，本記事執筆の機会をくださった編集委員の方々にも感謝を申し上げます．本稿の執筆にあたり，原論文の共著者のみなさまからコメントを頂きました．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{21refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{馬　　尤\UTF{54AA}}{%
2019年7月上海科技大学情報科学専攻学部課程卒業．2021年9月東京工業大学情報理工学院修士課程修了．同年9月より東京工業大学情報理工学院知能情報コース博士課程学生．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate

\end{document}


