\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


\Volume{32}
\Number{2}
\Month{June}
\Year{2025}

\setcounter{page}{691}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「未知の知識に対する事前学習済み言語モデルが持つ\\推論能力の調査」の研究過程}
\jauthor{坂井　優介\affiref{Author_1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% 英語タイトル・英語著者名
\etitle{Investigation of the Inference Capabilities and Memorization of Pre-trained Language Models}
\eauthor{Yusuke Sakai\affiref{Author_1}} 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{坂井}
\headtitle{未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会2024年度論文賞を受賞した論文「未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査」 \cite{sakai2024journal}（以下，原論文）について解説する．とは言いつつも，原論文の元となった論文``Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?'' \cite{sakai-etal-2024-pre}（以下，元論文）に対する解説記事 \cite{sakai2024article}をすでに執筆しているため，大本の研究背景などはそちらを参照していただきたい．元論文では知識グラフ補完に焦点を当てているが，原論文では少し切り口を変え，言語モデルが事前学習時に記憶した知識の影響を考慮しながら，言語モデルの純粋な推論能力を測定する方法とその評価結果について議論している．そのため，両者を比較することで提案手法の応用先のヒントになるかもしれない．本稿では，元論文から原論文へ至るまでの続きの過程と，言語処理学会第31回年次大会(NLP2025)での様子について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の紹介}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モチベーション}

事前学習済み言語モデル(Pre-trained Language Model; PLM)は事前学習時に獲得した言語理解能力や知識を用いて，様々な下流タスクを解くことができる．PLMは既知の事象に対して，事前学習時に記憶した知識を用いて推論を行うことができるが，一方未知の事象に対してはPLMの推論能力のみを頼りに推論する必要がある．そのため，PLMの純粋な推論能力のみを測定したければ，PLMにとって未知の事象，つまり事前学習時に知識として獲得していない事象に対して推論すればよいが，既存のデータセットを用いて測定することは難しい．

PLMは様々なデータを用いて事前学習を行うため，図~\ref{fig:intro}に示すように既存の推論能力を測るためのデータセットの情報も\emph{直接的}\footnote{下流タスクのデータセットが直接，事前学習用データに含まれている場合．}・\emph{間接的}\footnote{下流タスクのデータセット自体は直接，含まれていないが，下流タスクのデータセットの作成元となったデータなど，推論に有益な情報が含まれる場合．}に事前学習データに含まれている可能性がある．そのため，PLMは事前学習で得た知識を活用して下流タスクの推論を行っている可能性を否定できないので，既存のデータセットでPLMの純粋な推論能力のみの測定は困難となる．実際にPLMの記憶能力と推論能力が密接に関係していることは既存研究で示唆されており，記憶能力が推論時に及ぼす影響は大きいと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 1

\begin{figure}[t]
    \begin{center}
    \includegraphics{32-2ia33f01.eps}
    \end{center}
    \hangcaption{PLMの事前学習時に推論能力評価用データセットが直接的・間接的に混入する場合の例．一般的にPLMは事前学習後に下流タスクの学習データでファインチューニングを行った後，下流タスクの評価用データで評価を行う．しかし，(a)のように事前学習時に下流タスクのデータが直接的に混入する場合と，(b)のように下流タスクのデータ自体は事前学習データに含まれていないが，下流タスクのデータセットの作成元となった原データが含まれている可能性があり，間接的にデータ混入している場合が考えられる．}
    \label{fig:intro}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで原論文では，未知であることが保証された下流タスクデータを作成し，それを用いてPLMの推論能力を評価することで，事前学習時の知識によらない純粋な推論能力の計測を目指す．なお，ここでの純粋な推論能力とは，下流タスクのテストデータなど，未知の事象に対して，直接的・間接的に獲得した事前学習時の事実的知識を用いずに推論をすることを指している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タスク選定}
原論文では純粋な推論能力を測るために，知識グラフ内の欠損箇所を補完するタスクである，知識グラフ補完(KGC)を対象とした．
知識グラフは，図~\ref{fig:main} (a)Base Datasetの``(Harry Potter, member of, Order of the Phoenix)''というように，エンティティ同士の関係を名前付き有向グラフで表したものであり，KGCはこのような知識グラフ上の関係から一部欠損している関係の補完を行うタスクである．
従来ではTransE \cite{transE}など知識グラフ埋め込みを用いて関係を導いていたが，近年ではBERT \cite{devlin-etal-2019-bert}やT5 \cite{t5}などのPLMを用いたSimKGC \cite{wang-etal-2022-simkgc}やKGT5 \cite{saxena-etal-2022-sequence}といったKGC手法が登場している．これらPLMを用いたKGC手法では，事前学習時に得られた知識も活用している．このようにKGCは記憶した知識の利用と推論による解決の両側面を有しているため，KGCがPLMの知識と推論を切り分けて調査するのに最適なタスクであるとして選定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 2

\begin{figure}[t]
    \begin{center}
    \includegraphics{32-2ia33f02.eps}
    \end{center}
    \hangcaption{(a): PLMを用いたKGC手法に用いられるKGCデータセットの例．それぞれのエンティティには対応する説明文が付与されてる．(b)では元のデータセットの各エンティティと関係に付与されている名前をそれぞれ入れ替えている．(c)は各エンティティと関係に付与されている名前をランダムな文字列に置き換えている．(b)と(c)では説明文内に出現するエンティティを変換後の対応するエンティティ名に置き換えている．原論文の図2より引用．}
    \label{fig:main}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データセット作成}
未知であることが保証された評価用データを作成するため，原論文では知識グラフの構造に着目し，既存のKGC用データセットから合成データセットを作成する方法を提案した．具体的には図~\ref{fig:main}に示すように，知識グラフの各エンティティと関係について，グラフ構造を維持しつつ，それぞれの表層表現のみをシャッフルしたり，ランダムな文字列に置換することで，合成データセットを作成している．作成したデータセットは知識グラフの構造に変化がないため，従来の知識グラフ埋め込みを用いた手法では精度が等価になることが保証される一方，各エンティティに付与されている表層表現が異なるため，各エンティティと関係の表層表現を用いるPLMを用いたKGC手法では，推論に影響が出る．原論文では知識グラフ内の着目箇所を変化させることで，合計12種類の合成データセットを作成している．また提案した合成データセット作成手法は，任意のKGC用データセットに適用可能であり，もう少し応用すると関係抽出やエンティティリンキングなどのタスクにも適用可能である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{結果}
詳細な説明や実験結果についてはすでに元論文の解説記事 \cite{sakai2024article}で解説しているので割愛する．気になる方は原論文 \cite{sakai2024journal}や元論文の解説記事を参考にしていただきたい．
原論文では作成した合成データセットを用いて，PLMの事前学習の重みの有無による性能の違いなどに着目した，広範な分析を行っている．
結論として，PLMはある程度の推論能力を有している一方，エンティティ同士の関係をすでに事前学習時に記憶しているため，従来のKGCのベンチマーク評価では，データセットの意図と反するショートカットした推論を行っていることがわかった．また，事前学習時の知識が，新しい知識や関係の学習を妨げる場合を示唆する結果が得られた．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{本手法の発展性}
原論文では知識グラフ補完タスクに焦点を当てたが，他のタスクへの応用も期待できる．
例えば，固有表現認識，共参照解析，関係抽出タスク，最近では知識編集における影響などを調べる際にも，原論文の分析手法は有効である．
また，最近では推論能力に特化した大規模言語モデルや，その推論能力を測るためのデータセットが登場しているので，
これらの純粋な推論能力の調査についても原論文の知見は活用することができると考えている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の執筆から言語処理学会での招待発表まで}

原論文の執筆から，採択，また招待論文発表までについて記す．
原論文のアイデア出しや研究過程などについては，元論文の解説記事 \cite{sakai2024article}を参考にしていただきたい．

元論文 \cite{sakai-etal-2024-pre}がNAACL 2024へ採択されたのは2024年3月中旬である．ちょうど第30回年次大会の終盤に採択通知を受け取った．
そのころの私は，卒業要件を満たすことを考えており，9月に早期卒業できる可能性があることを知った．
そのためには，論文誌への採択があと1本必要であり，逆算したら4月1日締め切りの自然言語処理に投稿すれば，ギリギリ間に合うことが判明した．
そのため，とにかく急いで論文を練り直して，投稿したことを覚えている．

原論文の執筆は2週間程度で行った．まず，元論文は知識グラフ補完に焦点が当てられていたため，言語モデルの知識と推論能力に関する内容になるよう，ストーリーを書き換え，追加実験を行った．すべて完成したのが提出日前日．そこから，微修正を行い，4月1日の夜に提出した．
ちょうどその頃，元論文の最終版提出日，2月のARRに提出した論文 \cite{sakai-etal-2024-mcsqa}の反駁期間，また4月のARRに提出した論文 \cite{sakai-etal-2024-simultaneous}\footnote{論文 \cite{sakai-etal-2024-simultaneous}に関する原稿執筆過程などについては，解説論文 \cite{sakai2025}に記されている．慌ただしく研究していた様子が伺えるし，原論文執筆過程をより詳細に思い浮かべることができるのでぜひ一読いただきたい．}の実験などが重なっていたため，とにかく必死で原稿を完成させたことを覚えている．
そのあと，5月中旬に査読結果が返ってきた．「条件付き採録」だったため，急いで原稿を修正し，6月1日に修正版を再提出，7月3日に採録通知が届いた．
9月に卒業するための手続きの期限が7月4日だったため，本当にギリギリのところで採録通知を頂くことができ，無事9月に卒業することができた．
そこから，しばらく経ち，10月頃に最終版を提出．また今年度から年次大会で自然言語処理の掲載論文の発表枠が新設されることを知ったため，せっかくの機会なので，発表申し込みを行った．
その後，論文賞受賞の連絡が届き，招待論文発表を行うに至った．
招待論文発表で，原論文の紹介ができたおかげで，掲載論文発表枠のポスター発表時にも大勢に見にきてもらえて，有意義な議論が行えた．
発表機会を提供して頂いた，編集委員の方々，また論文賞に選出してくださった審査員の方々に改めて，お礼を申し上げます．
また迅速な査読を行って頂いた査読者の皆様にもあらためてお礼を申し上げるとともに，
今回の私のように論文投稿者側にも事情があることを体感したため，迅速で丁寧な査読を心がけようと誓った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

そういえば，原論文を執筆していた頃から，ちょうど1年が経った．
当時はとにかく卒業要件を満たすために，必死に論文を書いていた記憶がある．
原論文提出後も，すぐ別の研究に取りかかり，その研究が完了後も，またすぐ別の新しい研究に着手した．
この頃から共著論文に関する研究にもどんどん関わるようになっていった．
そして，原論文の採録通知後，すぐに博士論文の執筆と公聴会の準備など，博士修了に向けて慌ただしくなり，いつの間にか助教になり，もう半年経とうとしている．
その一方，以前のように新しい知識をインプットする機会が少なくなったことに気づいた．

私が知っている範囲のことであれば，その分野の常識や定跡となる手法について，ある程度詳しくなったと思う．
しかしその分野の世界で閉じてしまっているので，一歩でもその世界の外に出ようとすると，途端に難しくなる．
論文を読んだり，研究紹介を聞くことによって，うっすら外の世界の雰囲気がわかるのかもしれないが，
それは雰囲気だけわかった気になっていて，実際に研究すると，常識や定跡がわからないし，課題に対する洞察もないので，途端に行き詰まる．
論文や対外発表用に成形された研究内容からでは全体像の把握が難しいので，
やはり実際に自分で取り組まないことには，その分野における課題が見えてこないなと痛感している．

ところで他の受賞論文を確認すると，\underline{未知の事象に対する時間推論能力}を測定するための方法 \cite{sugimoto2024}や，事前学習データに起因する言語モデルの第二言語獲得への影響を調べるために，\underline{事前学習の重みの有無による対照実験}を行う検証方法 \cite{oba2024}など，いくつかの要素に分解してみると，原論文のアイデアや実験手法と共通している点があることに気づいた．つまり，自分の知見やアイデアは，まだまだ他の分野へ応用することができることを示唆している．一方，そのためには自分が詳しくない分野についても，常識や肌感覚を理解していく必要性を感じている．

最近の私の目標として，主著論文は毎回新しい分野のテーマで論文を書こうと決めている．現にARRへの新規投稿時に，毎回提出するエリアが異なるテーマ設定をしている．いろんな分野の常識や課題感を自ら知りに行くことで，自分の実験手法やアイデアの応用先をより身近に体感できるし，エリアごとの査読者の反応も違うので面白い．このようにして得た知識や経験を今度は学生や共同研究者に還元するという流れが最近ようやく完成しつつあり，持続可能で時流に合わせた研究体制が整おうとしている．
原論文についても，その過程の中で可能性を探っており，面白い応用先が見つかっているため，今年来年でどんどん芽吹かせていきたい．
もちろん，この流れをどんどん広げていきたいし，
もし興味があって連絡いただければ，喜んで一緒に研究をしたいと思っている．
そういえば，年次大会終盤で「気軽に連絡してください」と言われても，連絡するハードルが高いという話題が上がったことを思い出す．
私は何度も失礼なことをしているし，ミスも何回もしているので，そのような気遣いは全くいらないし，むしろ勇気を持って連絡してくれたことのほうが嬉しいので，
「気軽に」連絡してほしい．ぜひ，一緒に研究しましょう！


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{33refs}

%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{坂井　優介}{%
2022年奈良先端科学技術大学院大学博士前期課程修了．
2024年同博士後期課程修了．博士（工学）．
現在，奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}
\end{biography}


\end{document}




