\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{1767}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?}
\jauthor{坂井　優介\affiref{Author_1}}


\etitle{Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?}
\eauthor{Yusuke Sakai\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{坂井}
\headtitle{Does Pre-trained Language Model Actually Infer Unseen Links}



%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
本稿では，NAACL 2024に採択された ``Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?'' \cite{sakai-etal-2024-pre}（以下，原論文）について解説する．詳細については原論文を加筆・修正した論文 ``未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査'' が同号に掲載されているので，そちらを参照していただきたい．
原論文では，知識グラフ補完に焦点を当てているが，加筆修正版では少し切り口を変え，言語モデルが事前学習時に記憶した知識の影響を考慮しながら，言語モデルの純粋な推論能力を測定する方法とその評価結果について議論している．本稿では，原論文の紹介と，NAACL 2024での発表に至るまでの様子について述べる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{原論文の紹介}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{モチベーション}
知識グラフ補完 (KGC) とは，知識グラフ内の欠損箇所を補完するタスクである．図\ref{fig:introduction}上部の例では，``Kylo Renの母はLeia Organa''，``Leia Organaの父はDarth Vader''という知識グラフ上の関係から，``Kylo Renの祖父はDarth Vader''という関係を導くことで，知識グラフを補完する．従来ではTransE \cite{transE}やComplEx \cite{complex}など知識グラフ埋め込みを用いて関係を導いていたが，近年ではBERT \cite{devlin-etal-2019-bert}やT5 \cite{t5}などの事前学習済み言語モデル (PLM) を用いたSimKGC \cite{wang-etal-2022-simkgc}やKGT5 \cite{saxena-etal-2022-sequence}といったKGC手法が登場している．これらPLMを用いたKGC手法では，事前学習時に得られた知識も活用する．しかし，図\ref{fig:introduction}下部のように，PLMの事前学習時にエンティティ間の関係がすでに知識として含まれている可能性がある．一方，KGCは未知のエンティティ間の関係を推論することを目的としている．したがって，現在KGCのベンチマーク評価でPLMを用いた手法が高い性能を達成しているが，実用上は効果的ではない可能性がある．そのため，PLMを用いたKGC手法の推論能力を正確に評価するには，このようなデータリーク問題に対処しなければならない．PLMのデータリーク問題を取り除く最も簡単な方法はPLMの重みを初期化することだが，PLMの事前学習時にも推論能力を獲得しているため，この方法では事前学習時に獲得した推論能力を測ることができない．我々が知りたいのはあくまで``未知''のエンティティ間の関係を推論する能力である．それなら未知であることが保証された評価用データを作成すればよい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia35f1.pdf}
\end{center}

    \caption{PLMを用いたKGC手法は知識の利用と推論による解決との両側面を有している．}
    \label{fig:introduction}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\subsection{提案手法}

未知であることが保証された評価用データを作成するため，原論文では知識グラフの構造に着目し，既存のKGC用データセットから合成データセットを作成する方法を提案した．具体的には図\ref{fig:main}に示すように，知識グラフの各エンティティと関係について，グラフ構造を維持しつつ，それぞれの表層表現のみをシャッフルしたり，ランダムな文字列に置換することで，合成データセットを作成している．作成したデータセットは知識グラフの構造に変化がないため，従来の知識グラフ埋め込みを用いた手法では精度が等価になることが保証される一方，各エンティティに付与されている表層表現が異なるため，各エンティティと関係の表層表現を用いるPLMを用いたKGC手法では，推論に影響が出る．原論文では知識グラフ内の着目箇所を変化させることで，合計12種類の合成データセットを作成している．また提案した合成データセット作成手法は，任意のKGC用データセットに適用可能である．本稿では詳細な説明を省くので，気になる方は原論文または同号に掲載されている加筆修正版を確認していただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia35f2.pdf}
\end{center}
    \hangcaption{(a): PLMを用いたKGC手法に用いられるKGCデータセットの例．それぞれのエンティティには対応する説明文が付与されてる．(b) では元のデータセットの各エンティティと関係に付与されている名前をそれぞれ入れ替えている．(c) は各エンティティと関係に付与されている名前をランダムな文字列に置き換えている．(b) と (c) では説明文内に出現するエンティティを変換後の対応するエンティティ名に置き換えている．}
    \label{fig:main}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{実験結果}
原論文では，4つのPLMを用いたKGC手法と，3種類のKGC用データセットを用いて実験を行った．本稿ではその中からWikidata5m \cite{wang-etal-2021-kepler}におけるSimKGC \cite{wang-etal-2022-simkgc}のHits@10の結果を，代表的な結果として抜粋し，図\ref{fig:wikidata5m-hits10}に示す．いきなり結果を提示されても困るだろうが，雰囲気として，点線で示している従来の知識グラフ埋め込みを用いた手法であるTransEと比較したとき，ほとんどの棒グラフが点線を下回っていることがわかる．
また，事前学習時の重みの有無を比較したとき，TransEの点線を上回るデータセット群では，その差が大きいことが伺える．
詳細な分析結果は原論文を参照していただきたいが，改変前の元の評価用データセットと，合成データとして改変が一番少ないデータセットが，事前学習時の重みの影響を大きく受ける．したがってPLMはエンティティ同士の関係をすでに事前学習時に記憶しているため，従来のKGCのベンチマーク評価では，データセットの意図と反するショートカットした推論を行っていることがわかった．また，従来の知識グラフ埋め込みを用いたKGC手法は，未知の関係を予測するというKGC本来の目的に照らし合わせれば，依然として有力であることも明らかとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia35f3.pdf}
\end{center}
\hangcaption{Wikidata5m \protect\cite{wang-etal-2021-kepler}におけるSimKGC \protect\cite{wang-etal-2022-simkgc}のHits@10の結果．各合成データセットごとに，PLMの事前学習の重みの有無による2種類の値を示している．``E''，``R''，``D''はそれぞれエンティティ，関係，説明文を表している．例えば``E\&R''ではエンティティと関係のそれぞれについて変更を行っている．比較のために文献\protect\cite{wang-etal-2021-kepler}で報告された従来のPLMを用いないKGC手法であるTransEの結果を点線で示す．TransEは表層表現による影響を受けないため，これらのデータセットにおいてスコアの変化は生じない．}
\label{fig:wikidata5m-hits10}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{原論文の研究着手から採択，発表まで}
原論文の研究に着手してから採択，発表までの流れを簡単に記す．本研究に費やした日数の目安としてほしい．
本研究に着手したのは，2023年の4月中旬である．
その後，1ヶ月程度で実験コードと最初のデータセットが完成．その後，試行錯誤のうちに，当初の想定より検証しなければならない事項が増え，最終的に12種類の合成データを作成することになった．最終的な実験デザインが決まったのが6月中旬．そこから一気に実験を行い，細かい修正やバグなどに対応しながら7月中旬にはすべてのデータが揃った．実験と並行して，7月初旬から論文の大枠を固める作業に入り，すべての実験結果が出てから考察や細かい追加実験などを行って，7月下旬には第一項が完成．数日から1週間程度で原稿が完成した．論文の投稿について，原論文ははじめ，別の国際論文誌に投稿したが，10月下旬に規定の査読期間を大幅に超えて返ってきた．いわゆる照会後判定のような結果だったが，その論文誌は指摘箇所を修正しても採録されるとは限らないし，査読もまともに読んで貰えなかったような内容だったので，直近で締め切りだったNAACLに投稿する流れになった．この経験から，きちんと査読してもらえる文章とは何なのか，真面目に研究するようになった．NAACLに投稿するに当たって，知識グラフ推論により焦点を絞ることをにし，12月中旬にARR経由で論文投稿して，最終的に3月中旬に採択通知を受け取った．

NAACLでは口頭発表が割り当てられた．12分間の発表に5分間の質疑応答．私は英語が不得意なので，息継ぎのタイミングや，言い淀み，あえて口語的な誤りなど含めた原稿を用意して，自然な発表を演じた．質疑応答も単語を拾って，なんとなくそれっぽいことを説明していると，あっという間に時間が過ぎた．まあこんなもんでしょう．フィードバックをもらうには口頭発表の質疑応答は短すぎる．完成された研究をアピールする場くらいの気持ちのほうが良いと感じた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{おわりに}
実は今回のNAACLが初めての発表だった．共著ではありがたいことに，何件か参加させてもらう機会はあったが，主著で書いた国際会議の論文としては，原論文が初めてとなる．最近は学部生や修士学生でも何本も論文を書くし，研究室の後輩が何本も論文を通す中，一向に論文を出せないのは肩身が狭かった．博士課程の最終年度でようやく発表の機会を得たので，正直，採択通知を受け取ったときは，喜びよりも安堵の気持ちのほうが強かったのかもしれない．
ちょうど言語処理学会の年次大会期間中に採択通知が届いたので，就活でアピールできると思い，意気揚々とスポンサーブースへ向かったが，最終日だったため，ほとんどのブースはもう店じまいしていて，ここに来ている企業とは縁が無いのだと悟ったことは今でも覚えている．

最初の1本目が出たら後は早かった．その後，ACL Findings，EMNLPと立て続けに採択され，本論文誌にも採択された．ちょうどすべての日程がうまく噛み合い，幸運にも半年早期修了することができた．
振り返れば，博士課程2年目まで共著で4本のみだったが，そこから博士3年目の半年間で12本（うち主著5本）の採択通知をいただいた．
たまにはこんな道のりの人がいてもいいのかもしれない．赤裸々に書いたので，もう少しなにかに包んだ方が良かったのかもしれないが，この事実が誰かの勇気につながれば幸いである．とにかく諦めるな．

そういえば，本稿の締め切りは9月末日なので，これは私が学生として書く最後の文書になる．明日からは助教．さて，どうしましょう．私が成果を出し始めたのは直近1年くらいだが，かなり多くのことを学ばせてもらったし，そこに至るまでの長いトンネル時代で思ったことや感じたことなどは，今後も活かせると考えている．頼りないかもしれないけど，数年も経てば様になっているのかな．そうなっていたいな．
特にオチのある話でもないが，これが私の現在の心境である．

原論文の研究に至るまでの期間，私は全く異なる研究に取り組んでいたが，なかなか成果に結びつかなかった．思い切って研究分野を変更したことがキッカケになり，途端に歯車が噛み合わさったように，成果をどんどん出すことができた．やっぱり研究は面白い．これからの数年，数十年は各々のキッカケとなる論文のお手伝いができたら幸いである．




%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{35refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{坂井　優介}{%
2022年奈良先端科学技術大学院大学博士前期課程修了．
2024年同博士後期課程修了．博士（工学）．
現在，奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}
\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}