\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{footnote}
%%%%\usepackage{graphicx}
%%%%\usepackage{amsmath,amssymb,bm}
%%%%\usepackage {diagbox}
\usepackage[ruled, linesnumbered, titlenumbered]{algorithm2e}
%%%%\usepackage{bbm}
\usepackage{multirow}
\usepackage{booktabs}
\usepackage{pifont}
%%%%\usepackage{siunitx}
%%%%\newcommand*{\red}{\textcolor{red}}
    \usepackage[dvipdfmx]{xcolor}
    \newcommand{\red}{\textcolor{red}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\makeatletter
\renewcommand{\algocf@capseparator}{~~}%
\makeatother



\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{4}{1}
\revised{2024}{6}{1}
\accepted{2024}{7}{3}

\setcounter{page}{1427}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{未知の知識に対する事前学習済み言語モデルが持つ\\
	推論能力の調査}
\jauthor{坂井　優介\affiref{naist} \and 上垣外英剛\affiref{naist} \and 林　　克彦\affiref{tokyo} \and 渡辺　太郎\affiref{naist}}
\jabstract{%
事前学習済み言語モデル (Pre-trained Language Models; PLM) は事前学習時に獲得した言語理解能力や知識によって，既知の事象に対して推論を行うことができる一方，未知の事象に対してはPLMの推論能力のみで解を導き出す必要がある．しかし言語モデルの推論能力のみを評価するには，PLMが事前学習時に記憶した知識と獲得した推論能力を完全に切り分けた分析が必要となり，既存のデータセットで測定するのは，事前学習時の記憶が作用してしまうため困難である．本研究ではPLMの推論能力の分析に，知識グラフ上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完 (Knowledge Graph Completion; KGC) を対象とする．KGCにおいて埋め込みに基づく従来手法は推論のみから欠損箇所を予測する一方，近年利用されているPLMを用いた手法では事前学習時に記憶したエンティティに関する知識も利用している．そのためKGCは記憶した知識の利用と推論による解決との両側面を有することから，PLMが記憶する知識の影響を測るのに適したタスクである．我々はKGCに対し知識と推論による性能向上を切り分けて測定するための評価方法及びそのためのデータ構築手法を提案する．本研究ではPLMが事前学習時にエンティティに関する知識の記憶により推論を行っている箇所を明らかにし，PLMに備わっている未知の事象に対する推論能力も同時に学習していることを示唆する結果が得られた．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，第257回自然言語処理研究発表会で発表した論文 \cite{nl257sakai}および The 2024 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2024) で発表した論文 \cite{sakai-etal-2024-pre}をもとに和訳と加筆・修正を行ったものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{事前学習済み言語モデル，推論能力，知識グラフ補完，データリーク}

\etitle{Investigation of the Inference Capabilities and Memorization of Pre-trained Language Models}
\eauthor{Yusuke Sakai\affiref{naist} \and Hidetaka Kamigaito\affiref{naist} \and Katsuhiko Hayashi\affiref{tokyo} \and Taro Watanabe\affiref{naist}} 
\eabstract{%
Pre-trained Language Models (PLMs) can answer known problems using acquired knowledge and natural language understanding capability from pre-training, while unknown problems require pure inference capabilities to answer. To evaluate pure inference capabilities, we need to separately consider memorization capability, which is difficult with existing datasets due to its known information in PLMs. This study targets Knowledge Graph Completion (KGC), predicting unknown relations (links) from known ones in the knowledge graphs. Traditional embedding-based KGC methods predict missing links from pure inference capability, while recent PLM-based KGC methods also utilize knowledge obtained in pre-training. Therefore, KGC is suitable for evaluating the effect of memorization capability and inference capability. We propose a method to construct datasets for measuring the performance of memorized knowledge and inference capability in KGC. We discuss whether PLMs make inferences based on memorized knowledge about entities and its conclusion suggests that PLMs also learn inference capabilities for unknown problems.
}
\ekeywords{Pretrained Language Models, Inference Capability, Knowledge Graph Completion, Data Leakage}

\headauthor{坂井，上垣外，林，渡辺}
\headtitle{未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査}

\affilabel{naist}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{tokyo}{東京大学}{The University of Tokyo}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

事前学習済み言語モデル (Pre-trained Language Models; PLM) は自然言語処理領域の基盤資源となっており，事前学習時に獲得した言語理解能力や知識は多種多様な下流タスクに活用されている．PLMは既知の問題に対して，事前学習時に記憶した知識を用いて推論を行うことができるが，未知の問題に対してはPLMの推論能力のみを頼りに推論する必要がある．しかし既存のデータセットを用いてPLMの純粋な推論能力を測ることは難しい．
PLMは多種多様なデータを用いて事前学習を行うため，既存の推論能力を測るためのデータセットの情報も\emph{直接的}（下流タスクのデータセットが直接，事前学習用データに含まれている場合）・\emph{間接的}（下流タスクのデータセット自体は直接，事前学習用データに含まれていないが，下流タスクのデータセットの作成の元となったデータなど推論に有益な情報が含まれる場合）に事前学習用データに含まれている場合があり，PLMは事前学習で得た知識を下流タスクの推論時に使用している可能性がある．
現に言語モデルの事前学習データに既存データセットがそのまま混入していることが指摘されていたり \cite{magar-schwartz-2022-data,ml-leakage,sainz-etal-2023-nlp}，
事前学習データに含まれないような専門的な知識を必要とする下流タスクでは汎用的なPLMは正しく推論を行うことができない \cite{wang2023on-robust-domain-specific,jullien-etal-2023-semeval,nair-modani-2023-exploiting}．

PLMの推論能力を測るためのいくつかの研究 \cite{zhou-etal-2021-rica,wang2021adversarial,zhu2023autokg,zheng2023-vicuna-judging,yu2024kola,laban2023llms,qin-etal-2023-chatgpt}では，それらはPLMの記憶能力の影響を考慮していないため，全く未知の事象に対してのPLMの推論能力は未だ明らかになっていない．
PLMの記憶能力についての研究 \cite{petroni-etal-2019-language,roberts-etal-2020-much,heinzerling-inui-2021-language,wei2022emergent,carlini2023quantifying-memorize}から，その記憶能力が推論時に有益である一方，事前学習時の記憶はバイアスとして推論に影響を与えたり \cite{bias1,kaneko-etal-2022-debiasing,kaneko-etal-2022-gender,meade-etal-2022-empirical,deshpande-etal-2023-toxicity,feng-etal-2023-pretraining,ladhak-etal-2023-pre}，事前学習データに誤りが混入している場合，その誤りが推論結果に出現することがある \cite{dziri-etal-2022-origin,mckenna-etal-2023-sources,hallusination-survey,dziri-etal-2022-faithdial}．
このことより，PLMの記憶能力と推論能力は密接に関係しており，記憶能力が推論時に及ぼす影響は大きいと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia1f1.eps}
\end{center}
\caption{PLMを用いたKGC手法は知識の利用と推論による解決との両側面を有している．}
\label{fig:intro}
\vspace{-1\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで我々はPLMの純粋な推論能力のみに焦点を当て，未知の事象に対するPLMの推論能力を調査する．
本研究での純粋な推論能力とは，下流タスクのテストデータなど，未知の事象に対して，直接的・間接的に獲得した事前学習時の事実的知識を用いずに推論することを指す．未知の事象に対する
PLMの推論能力の分析に際して，知識グラフ (Knowledge Graph; KG) 上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完 (Knowledge Graph Completion; KGC) を対象とする．
従来の埋め込みに基づくKGC手法は推論能力のみから欠損箇所を予測する一方，近年利用されているPLMを用いたKGC手法では，図~\ref{fig:intro}に示すように，事前学習時に記憶したエンティティに関する知識も利用している．
このようにKGCは記憶した知識の利用と推論による解決との両側面を有することからPLMが記憶した知識の影響を測ることに適したタスクである．
しかし既存のKGCデータセット（例：WN18RR \cite{WN18RR}，FB15k-237 \cite{FB15k-237}，Wikidata5m \cite{wang-etal-2021-kepler}）はWeb上のデータから作成されているため，事前学習データにKGCデータセット内の関係が直接的・間接的に含まれている可能性がある．
図~\ref{fig:intro}の例では，``Kylo Ren''の``grandfather''は``Darth Vader''であるということを知識グラフから推論したいが，PLMは事前学習時に文章として間接的にその事柄に関する知識を獲得しているため，知識の利用を行っている．
そのためPLMを用いたKGC手法が，問題を言語モデルの推論能力によって解決したのか，それとも言語モデルの記憶能力により解決したのか定かではない．

そこで我々はモデルの記憶能力に対する評価と推論能力に対する評価を切り分けた評価方法及びそのためのデータ構築手法を提案する．
この方法ではKGのグラフ構造を保持しつつ，エンティティや関係の表層表現を実際のものとは異なる表現に置換することで，PLMが事前学習で獲得した知識とは異なる環境を作り出す．
この処理によってPLMは事前学習時に記憶した知識に頼らず，純粋な推論能力のみを頼りに，エンティティ間のグラフ構造を手がかりにKGCを行う必要が生じるため，言語モデルが持つ推論能力のみを測ることができる．表~\ref{tab:configurations}に我々が構築した疑似データによって評価可能な事象をまとめている．
本研究では表~\ref{tab:configurations}に示した疑似データを用いて，PLMの学習過程やモデル構造の違い，事前学習の重みの有無，大規模言語モデルへの適用可能性など含めた，様々な設定下でのモデルの推論結果を分析することで，PLMが事前学習で得たエンティティに関する知識により推論を行っている箇所を明らかにした．
またPLMが持つ未知の関係に対する推論能力も同時に事前学習時に獲得していることを示唆する結果も得られた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{01table01.tex}%
\hangcaption{各設定での利用可能な情報の一覧．各設定で評価を比較することで，どの要素がKGCにおける推論能力に寄与しているか明らかになる．なお\textsc{Base}は元のデータセットによる推論を表す．また，\textsc{Virtual World} (\S\ref{sec:shuffle})， \textsc{Anonymized Entities} (\S\ref{sec:random})，\textsc{Inconsistent Descriptions} (\S\ref{sec:shuffle-descriptions})，\textsc{Fully Anonymized} (\S\ref{sec:random-descriptions}) はそれぞれ本研究で作成した疑似データでの評価を表す．Pre.とRand.はそれぞれ事前学習で訓練された重みとランダムな値で初期化された重みで比較した場合を意味する．}
\label{tab:configurations}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{知識グラフ補完}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{説明文付きKGのタスク定義}
\label{subsec:task_definition}

図\ref{fig:main}(a) に本稿で扱う説明文付きKGの例を示す．
説明文付きKGは$\mathcal{G}=(\mathcal{E}, \mathcal{R}, \mathcal{T}, \mathcal{D})$と定義され，それぞれ，$\mathcal{E}$はエンティティの集合，$\mathcal{R}$は関係の集合， $\mathcal{T}$は三つ組の集合，$\mathcal{D}$は説明文の集合である．
各三つ組は$(h, r, t) \in \mathcal{T}$と表現され，$h, t \in \mathcal{E}$はそれぞれヘッドエンティティとテールエンティティと呼ばれる．また $r \in \mathcal{R}$は関係を表している．
それぞれのエンティティ$e_i \in \mathcal{E}$には対応する説明文$d_i \in \mathcal{D}$が付与されている．
KGCはKG上の欠損しているエンティティ間の関係を予測するタスクであり，クエリとして $(h, r, ?)$ または $(?, r, t)$が与えられたとき，$?$に対応するKG内のエンティティを答えとして予測する．ただし，ここで予測するのはエンティティのみであり，対応する説明文まで予測する必要はない．
従って，説明文付きKGを用いたKGCは$(h_i, r_j, ?) = ((e_i, d_i), r_j, ?)$を入力したとき，対応する$t_k=e_k$または$t_k=(e_k, d_k)$を出力する．例えば図\ref{fig:main}(a) では``((Harry Potter, ...his fate is tied with that of Lord voldemort...), member of, ?)''をクエリとして入力し，``Order of the Phoenix''を出力する．逆方向の推論でも同様である．ただし，クエリ内の各要素の入力方法や説明文の扱い方は手法によって異なるため，\ref{subsec:kgc_methods}節で各手法ごとの入出力の違いを説明する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f2.eps}
\end{center}
\hangcaption{(a): PLMを用いたKGC手法に用いられるKGCデータセットの例．それぞれのエンティティには対応する説明文が付与されてる．(b)と(c)は本研究で作成したデータセットであり，それぞれ\textsc{Virtual World} (\S\ref{sec:shuffle})と\textsc{Anonymized Entities} (\S\ref{sec:random})で述べる手法を用いて作成されている．(b)では元のデータセットの各エンティティと関係に付与されている名前をそれぞれ入れ替えている．また(c)は各エンティティと関係に付与されている名前をランダムな文字列に置き換えている．(b)と(c)では説明文内に出現するエンティティを変換後の対応するエンティティ名に置き換えている．}
\label{fig:main}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，KGCは主にランク付けによる評価指標が採用され，Hits@$k$ ($k \in \{1,3,10\}$)，Mean Rank (MR)，Mean Reciprocal Rank (MRR)が用いられることが多い．Hits@$k$はモデルが予測した回答の上位$k$件にどの程度正解が含まれているかを測り， MRは正解エンティティをモデルが何番目に予測されたかの平均，MRRはモデルが正解エンティティを予測できた順位の逆数の平均で性能を評価する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{KGCの手法について}
\label{subsec:kgc_methods}

TransE \cite{transE}やDistMult \cite{distmult}のような従来のKGC手法はKGのグラフ構造のみに着目しており，エンティティなどの表層表現は考慮しない．
一方，PLMを用いたKGC手法では表層表現をベクトル表現にエンコードして活用したり 
%%%%\cite{kg-bert,pkgc,shen-etal-2022-lass,knnkge,mem-kgc,openworld-kgc,star,wang-etal-2021-kepler,wang-etal-2022-simkgc}，
    (Yao et al. 2019; Lv et al. 2022; Shen et al. 2022; Zhang et al. 2022; Choi et al. 2021; Choi and Ko 2023; Wang B. et al. 2021b; Wang X. et al. 2021; Wang L. et al. 2022)\nocite{kg-bert,pkgc,shen-etal-2022-lass,knnkge,mem-kgc,openworld-kgc,star,wang-etal-2021-kepler,wang-etal-2022-simkgc}，
直接回答の生成を行う \cite{genkgc,kgt5,chen-etal-2022-s2skgc,xie-etal-2023-lambdakg,zhu2023autokg}．
これらのPLMを用いたKGC手法は2種類に大別することができ，\emph{識別に基づく手法}と\emph{生成に基づく手法}が存在している \cite{pan2023unifying}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{識別に基づく手法}
\label{sec:discrimination-based-methods}

KG-BERT \cite{kg-bert}などの初期のPLMを用いたKGC手法ではBERT \cite{devlin-etal-2019-bert}等のEncoder型PLMを採用している．
各三つ組をPLMを用いてベクトル表現にエンコードし，二値分類を行うことで，与えられた三つ組の確信度を測り，スコア付けを行う．
KG-BERTでは各三つ組$(h, r, t)$は式(\ref{eq:kg-bert-encode})のように変形できる．
\begin{equation}
\label{eq:kg-bert-encode}
x=\text{[CLS]} \mathrm{Text}_h \text {[SEP]} \mathrm{Text}_r \text {[SEP]} \mathrm{Text}_t\text{[SEP]}
\end{equation}
ここで $\mathrm{Text}$は三つ組内のそれぞれの表層表現を表しており，$h$，$t$には該当エンティティと対応する説明文を結合し，入力している．
変形した三つ組$x$をPLMを用いてベクトル表現に変換し，$\text{[CLS]}$トークンの位置の最終隠れ層$e_{[\text{CLS}]}$を用いて二値分類を行う．
式 (\ref{eq:kg-bert-calc}) を用いて三つ組として成り立っているかどうかの判定を行うことで，各三つ組の確からしさのスコア付けを行う．
\begin{equation}
\label{eq:kg-bert-calc}
    \mathrm{Score}(h,r,t) = \mathrm{Sigmoid}(\mathrm{MLP}(e_{[\text{CLS}]}))
\end{equation}
推論時は，クエリ$(h,r,?)$に対して，$\mathcal{E}$内のエンティティをそれぞれ入力し，もっともスコアの高いものを$t$として出力する．

一方，KG内の欠損しているエンティティを式 (\ref{eq:mask-predict}) のように$\text{[MASK]}$トークンで表現し，$\text{[MASK]}$トークンを予測することでKGCを解く手法が存在している \cite{knnkge,mem-kgc,openworld-kgc}．
\begin{equation}
\label{eq:mask-predict}
    x=\text{[CLS]} \mathrm{Text}_h \text {[SEP]} \mathrm{Text}_r \text {[SEP]} \text {[MASK]} \text{[SEP]}
\end{equation}

しかし，このまま直接$\text{[MASK]}$を予測するだけではエンティティを予測することができない．そのため，各エンティティを表す特殊トークンを追加し，それを予測することでエンティティの予測を可能にしている．
例えばkNN-KGE \cite{knnkge}では特殊トークンと各エンティティに付与されている説明文を対応させるために式 (\ref{eq:prompt-knnkge}) のプロンプト文を用いて，$\text{[MASK]}$を予測させることで，各特殊トークンとエンティティをそれぞれ対応付ける学習をはじめに行っている．
\begin{equation}
    \label{eq:prompt-knnkge}
    x_i = \text{[CLS] the description of [MASK] is } d_i \text{ [SEP]}
\end{equation}

その後，式 (\ref{eq:mask-predict}) を用いて$\text{[MASK]}$トークンを予測する．予測エンティティに割り当てられる確率は式 (\ref{eq:knn-kge-score}) のようになる．
\begin{equation}
\label{eq:knn-kge-score}
    P(t \mid h, r)=P([\text {MASK}]=\mathrm{t} \mid x, \Theta),
\end{equation}
ただし$\Theta$はモデルのパラメータである．

最後に，現在KGCデータセットでの評価性能がもっとも高い手法の一つであるSimKGC \cite{wang-etal-2022-simkgc}等では2つエンコーダを採用している．
SimKGCでは三つ組$(h, r, t)$を質問文$(h, r)$と解答$t$の2つに分け，それぞれを式 (\ref{eq:xhr}) と式 (\ref{eq:xt}) のように変形し，ベクトル表現に変換する．
\begin{align}
    x_{(h,r)} &= \text{[CLS] }\mathrm{Text}_h \text { [SEP] } \mathrm{Text}_r \text { [SEP] }  \label{eq:xhr}\\ 
    x_t &= \text{[CLS] } \mathrm{Text}_t\text{ [SEP] } \label{eq:xt}
\end{align}

それぞれの最終隠れ層の$\text{[CLS]}$トークンを用いて式 (\ref{eq:simkgc-loss}) で各候補に対してスコア付けを行う．
\begin{equation}
\label{eq:simkgc-loss}
    \mathrm{Score} \left( (h,r), t \right) = \cos \left( e_{(h,r)}, e_t \right).
\end{equation}

学習時には負例サンプリングなどを用いて学習を行う．

これら紹介したモデルは基本的にBERT-baseモデルを用いるが，RoBERTa \cite{roberta}などの派生モデルを採用することも可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{生成に基づく手法}
\label{sec:generation-based-methods}

近年ではEncoder-Decoder型のPLMを用いた手法 \cite{kgt5,genkgc}や，Decoder型の事前学習済み大規模言語モデル (Large Language Models; LLM) を用いた手法 \cite{xie-etal-2023-lambdakg,zhu2023autokg}が利用されている．
従来のKGC手法や識別に基づく手法では解答候補のエンティティ集合から回答を選択していたが， 生成に基づく手法ではあらかじめ用意した回答候補以外のエンティティからも生成することができるため，理論上，ありとあらゆるエンティティを回答として生成することができる．
生成に基づく手法では，クエリ$(h, r, ?)$に対して，欠損しているエンティティを予測する際，三つ組をモデル特有のプロンプトに変換し，エンコーダに入力することでベクトル表現$x_{(h,r)}$に変換する．その後デコーダで$x_t$を生成する．
学習には，主にクロスエントロピー損失を用いる．

推論の際，生成に基づく手法は理論上，すべてのエンティティを生成することができるが，KG内のエンティティのみを生成させるためにデコード時に制約をかけている．例えばGenKGC \cite{genkgc}の場合，$x_t$を生成させるためにデータセット内のエンティティを考慮した階層デコーディングを行っていたり，初期のKGT5 \cite{kgt5}では階層デコーディングに加え，KGCに特化した事前学習を行っており，それによってモデルの有効性を示している\footnote{ただし，その後の議論によって事前学習の重みを用いたほうが精度向上する場合があることが示されている(\url{https://github.com/intfloat/SimKGC/issues/1})．また，小さいデータセットについては学習が安定しないことが報告されている(\url{https://github.com/apoorvumang/kgt5/issues/4})．}．
GenKGCではBART-base \cite{lewis-etal-2020-bart}，KGT5ではT5-small \cite{t5}をPLMとして採用している．

最後に，最新の研究としてDecoder型LLMによるKGC手法が提案されており，in-context learningの枠組みでプロンプトを利用することが可能である．
LambdaKG \cite{xie-etal-2023-lambdakg}では情報検索技術を取り入れたプロンプトを作成する．類似したエンティティをBM25 \cite{Buettcher2010-bm25}により100件取得し，同様に類似した5つの三つ組も取得する．これらを1つのプロンプトにまとめ，5件の類似事例をもとに，100件のプロンプト内の候補からもっとも確からしいものを回答として生成する．
またAutoKG \cite{zhu2023autokg}では情報検索技術を用いることなく，0-shotまたは1-shot設定でKGCを解く．具体的には三つ組の欠損しているエンティティを$\text{[MASK]}$トークンに置き換え，プロンプトに埋め込む．その後，LLMを用いて$\text{[MASK]}$トークンを予測し，生成することでKGCを解く．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:how-to-create}

本研究ではKGCデータセット上のグラフ構造と表層表現を切り分けて考える．
具体的にはエンティティと関係のそれぞれに対してグラフ構造を保持したまま，表層表現のみを入れ替えたり，ランダムな文字列に置換することで，各エンティティと関係に実際とは異なる表層表現を付与する．図\ref{fig:main}(b)と (c) に示すように，表層表現のみを考慮すると，それぞれのエンティティ間の関係性は実世界の関係と異なるが，グラフ構造自体に変更はない．さらに図\ref{fig:main}の色付きの箇所のように説明文内にもエンティティが含まれているため，それらも説明文と知識グラフの一貫性を保つために変更後の表現に置き換える．
また，説明文の情報と知識グラフ内の関係に関連性がない場合についてモデルの振る舞いを調査することで，説明文と知識グラフの一貫性がどの程度推論結果に影響を与えるのか計測する．
以上より，エンティティや関係の表層表現のみの入れ替えを行う場合 (\textsc{Virtual World})とそれぞれをランダムな文字列に置き換える場合(\textsc{Anonymized Entities})，またそれぞれに対して説明文の取り扱い方について (\textsc{Inconsistent Descriptions}，\textsc{Fully Anonymized})の合計4種類の観点から擬似データセットを作成する．
これにより，\textsc{Virtual World}と\textsc{Anonymized Entities}，\textsc{Inconsistent Descriptions}と\textsc{Fully Anonymized}のそれぞれを比較することで，もし評価結果に差が生じれば，両方のグラフ構造は同じであるから，表層表現の違いが推論能力に影響を与えているということが言えるため，表層表現の活用による影響を明らかにすることができる．また\textsc{Virtual World}と\textsc{Inconsistent Descriptions}，\textsc{Anonymized Entities}と\textsc{Fully Anonymized}をそれぞれ比較することで，もし評価結果に差が生じれば，説明文の情報と知識グラフ内の関係の一貫性が，KGCタスクの推論能力に影響を与えているということが言える．
\vspace{-0.5\Cvs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 1
\begin{algorithm}[b]
\small
\SetAlgoLined
\KwData{Input array $arr$ of size $n$, Set of removed edges $removed\_edges$}
\KwResult{Generated array $res$}
Create an empty graph $G$\;
\For{$i \leftarrow 0$ \KwTo $n-1$}{
  \For{$j \leftarrow 0$ \KwTo $n-1$}{
    \If{$arr[i] \neq arr[j]$ and $(arr[i], arr[j])$ is not in $removed\_edges$}{
      add edge $(i, n + j)$ in $G$\;
    }
  }
}
$match$ $\leftarrow$ maximum matching($G$) \\
$res \leftarrow$ an empty list of size $n$\;
\For{$i\leftarrow 0$ \KwTo $n-1$}{
  $index \leftarrow match[i] - n$\;
  $res[i] \leftarrow arr[index]$\;
}
\Return{$res$}
\caption{二部グラフによる攪乱順列}
\label{algorithm:bipartite}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Virtual World}
\label{sec:shuffle}

図\ref{fig:main}(b) に示すようにKG上のグラフ構造を維持したまま，エンティティと関係の表層表現のみを入れ替える．なお，入れ替えられない要素が無いように撹乱順列のアルゴリズム \cite{derangement}により入れ替えを行った．
しかし関係について，関係の数がエンティティに比べて非常に少なく，また関係を入れ替えたとしても三つ組に変更が生じない場合がある\footnote{例えば各三つ組(Johann Bernoulli, wasBornIn, Basel)と(Johann Bernoulli, diedIn, Basel)の関係 ``wasBornIn''と``diedIn''を入れ替えたとしても三つ組に変更は生じない．}．
この問題に対処するために，二部グラフを用いた攪乱順列のアルゴリズム \cite{bipartite2019,bipartite2020}を改良する．
Algorithm \ref{algorithm:bipartite}に関係の入れ替えに使用したアルゴリズムを示す．

我々は$removed\_edges$という集合を二部グラフによる攪乱順列のアルゴリズムに新たに導入する．Algorithm \ref{algorithm:bipartite}の4--6行目で，三つ組$(h,*, t)$で複数の関係が存在している場合，$removed\_edges$にそれらの情報を追加することで，変換時に該当箇所への遷移を防ぐ\footnote{もし$removed\_edges$になにも指定しない場合，通常の攪乱順列と等価である．}．その後，Algorithm \ref{algorithm:bipartite}の9行目のmaximum matching($G$)で最大マッチング問題を解くことで，遷移先を決定させる．
二部グラフの最大マッチングにはHopfroft-Karpアルゴリズム \cite{Hopcroft-Karp}を用いる．

また，図\ref{fig:main}に示す説明文内に含まれているエンティティをトライ木 \cite{marisa-trie}を用いて検索し，該当エンティティについて，KG内のエンティティの置換後のエンティティの表層表現に置き換える．この操作により，KG上のエンティティ間の関係性と，それぞれの説明文内のエンティティ間の関係性について一貫性を保持する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Anonymized Entities}
\label{sec:random}

図\ref{fig:main}(c) に示すように，今度はデータセット内のグラフ構造を保持したまま，エンティティをランダムな文字列に置換する．
その後，\textsc{Virtual World} (\S\ref{sec:shuffle})と同様に，トライ木を用いて，説明文内に含まれるエンティティを検索し，該当箇所を対応するエンティティの置換後の表層表現に置き換える．

\textsc{Virtual World}と比較したとき，\textsc{Virtual World}はエンティティや関係に付与されている表層表現から元のデータセットの情報の読み取りが行えない．よって，その2つを比較すると，グラフ構造は同一であるため，表層表現の違いによる推論能力の影響を調べることができる．

ランダム文字列の作成方法として，はじめに文字レベルのユニグラム言語モデル$P(s_i)$\footnote{スペースなど記号も含まれている．}をエンティティと関係の表層表現の集合に対してそれぞれ作成する．

次に作成したユニグラム言語モデル$P(s_i)$を用いて$\boldsymbol{s} = s_1, s_2,$ $\ldots, s_n$を作成する．それぞれの文字の出現確率の積を用いて，各文字列の確率を以下のように表すことができる．
\begin{equation}
    p(\boldsymbol{s})= \prod^n_{i=1}p(s_i).
\end{equation}

文字列の生成は終端記号が出現するまで行う．それぞれの文字は独立に扱われているため，生成された表層表現から元のデータセットの情報を読み取ることはできない．また生成された文字列の集合に重複が生じないようにした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Inconsistent Descriptions}
\label{sec:shuffle-descriptions}

PLMを用いたKGC手法における説明文による影響を測定するため，説明文内のエンティティの情報を考慮しないことで，
\pagebreak
説明文とグラフ構造間の整合性を取らない設定を考える．
\textsc{Inconsistent Descriptions}では説明文のみを考慮する場合と，エンティティと説明文を同時に考慮する場合の2種類が存在する．
説明文のみ考慮する場合，エンティティと説明文を切り離し，説明文のみ攪乱順列により入れ替えを行う．具体的に攪乱順列により$\mathcal{D}$の説明文を入れ替えた集合を$\mathcal{D}'$，その要素を$d' \in \mathcal{D}'$としたとき，それぞれのエンティティに付与されている説明文を$\mathcal{D}'$に基づいて，$\forall e_i \in \mathcal{E}, d_i \mapsto d'_i$のように付与し直すことで，それぞれのエンティティに対して全く異なるエンティティの説明文が紐づくこととなる．

次にエンティティと説明文を同時に考慮する場合についての例を図\ref{fig:shuffle-descriptions}に示す．
図\ref{fig:main}(b) での\textsc{Virtual World} (\S\ref{sec:shuffle})ではエンティティに付与されている説明文はエンティティを変更しても説明文は元の位置に留まり，説明文に含まれるエンティティの表層表現のみ変更している．一方，図\ref{fig:shuffle-descriptions}ではエンティティの表層表現の移動と共に対応する説明文も同時に移動している．また，説明文内のエンティティは考慮しない．
つまり，エンティティの表層表現を$e_i$から$e_j$へ変更するとき，同時に説明文も$d_i$から$d_j$へ変更する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f3.eps}
\end{center}
\hangcaption{\textsc{Inconsistent Descriptions} (\S\ref{sec:shuffle-descriptions})で作成するデータセットの例．図\ref{fig:main}(b) と比較したとき，各エンティティの説明文も同じ位置に移動している．また説明文内のエンティティにも変更を加えていない．そのため，エンティティと説明文のみだと，実世界の関係性を表しているが，データセット内のグラフ構造まで確認すると，エンティティと説明文で整合性が取れなくなっている．}
\label{fig:shuffle-descriptions}
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの操作により，説明文自体は実世界のエンティティ同士の関係性を説明しているが，データセット内のエンティティ同士の関係性においては破綻している．そのため，もしモデルが説明文の情報に依存している場合，その矛盾による影響を受けると予想できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Fully Anonymized}
\label{sec:random-descriptions}

図\ref{fig:random-descriptions}に\textsc{Fully Anonymized}により作成されたデータセットの例を示す．
図\ref{fig:main}(c)に示した\textsc{Anonymized Entities} (\S\ref{sec:random})の例と比較したとき，\textsc{Fully Anonymized}では説明文の情報が全てランダムな文字列に置き換わっている．
説明文のランダム文字列の作成方法は\textsc{Anonymized Entities} (\S\ref{sec:random})でエンティティと関係に対しての操作と同様に，文字レベルのユニグラム言語モデルを説明文に対して作成し，各文字ごとの確率に基づいて説明文を生成する．この操作によって説明文の情報を使用できなくなるが，KGのグラフ構造自体は保持されている．
説明文について\textsc{Fully Anonymized}と\textsc{Inconsistent Descriptions} (\S\ref{sec:shuffle-descriptions})の違いは説明文が可読か否かである．そのため，\textsc{Fully Anonymized}ではPLMが事前学習時に獲得した表層表現に関する知識を一切用いることができない．
したがって，これらのデータセットを比較することで，説明文に対する表層表現の違いによる推論能力の影響を調べることができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f4.eps}
\end{center}
\hangcaption{\textsc{Fully Anonymized} (\S\ref{sec:random-descriptions})で作成されたデータセットの例．図\ref{fig:main}(c)での\textsc{Anonymized Entities} (\S\ref{sec:random})と比較したとき，説明文がランダムな文字列に変更されている．この操作により説明文から情報を活用できなくなる．}
\label{fig:random-descriptions}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}

\ref{sec:how-to-create}節で作成した擬似データセットを用いてPLMの推論結果の変化を観察することでPLMの推論能力を測る．
評価にはHits@10を用いる\footnote{Hits@1，Hits@3，MR，MRRについても同様の傾向だったため，本稿ではHits@10の結果のみ示す．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

評価用データセットとしてWN18RR \cite{WN18RR}，FB15k-237 \cite{FB15k-237}，Wikidata5m \cite{wang-etal-2021-kepler}\footnote{本稿では文献\cite{wang-etal-2021-kepler}におけるTransductive設定を用いた．}を用いた．
それぞれのデータセットの詳細を表\ref{tab:datasets}に示す\footnote{WN18RRとFB15k-237は文献\cite{kg-bert}，Wikidata5mは文献\cite{wang-etal-2021-kepler}で配布されているデータを用いた．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{01table02.tex}%
\caption{本稿で扱うデータセットの詳細}
\label{tab:datasets}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

それぞれのデータセットに対して\textsc{Virtual World} (\S\ref{sec:shuffle})と\textsc{Anonymized Entities} (\S\ref{sec:random})をエンティティと関係，どちらかあるいはその両方に適用することで擬似データセットを計6種類作成する．また，\textsc{Inconsistent Descriptions} (\S\ref{sec:shuffle-descriptions})と\textsc{Fully Anonymized} (\S\ref{sec:random-descriptions})を説明文のみ，エンティティと説明文，エンティティと関係と説明文のそれぞれに適用することでさらに6種類の擬似データセットを作成する．またそれぞれ元となるデータセットを含めて合計13種類のデータセットを実験では使用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験に使用するモデル}

識別に基づく手法からSimKGC \cite{wang-etal-2022-simkgc}とkNN-KGE \cite{knnkge}，生成に基づく手法からKGT5 \cite{kgt5}とGenKGC \cite{genkgc}を使用する．
実装はLambdaKG \cite{xie-etal-2023-lambdakg}で作成されたフレームワークを用い，ハイパーパラメータはLambdaKGの標準設定に従う．
シード値は全ての実験で固定した\footnote{初期実験としていくつかのモデルとデータセットに対し，シード値を変更して実験を行った結果，Hits@10の誤差はおよそ0.02程度であったため，シード値を固定した．実例としてWN18RRに対して\textsc{Fully Anonymized} (\S\ref{sec:random-descriptions})をエンティティ，関係，説明文全てに適用したデータセットで，kNN-KGEモデルを用いて，シード値を変更して3回実験を行った結果，Hits@10の値は$0.426 \pm 0.001$だった．}．
また，WN18RRとFB15k-237では検証用データでHits@10が4エポック更新されなかった場合に学習終了とした．なおWikidata5mについては1エポック分のみ学習させた\footnote{SimKGCの結果のみ報告する．kNN-KGEは計算資源のメモリ上限の関係で実行できず，KGT5とGenKGCについては同様の設定だと十分な精度を得ることができなかったためである．すべての実験でNVIDIA A100 (40GB)またはNVIDIA A6000 (48GB)を使用した．}．
また，事前学習時の重みを使用する場合と，事前学習時の重みを用いず，ランダムな値で初期化した場合の2つの場合を比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{事前学習時の知識の影響について}
\label{sec:The-Effects-of-PLMs-Knowledge}

図\ref{fig:WN18RR-hits10}にWN18RRの結果，図\ref{fig:FB15k-237-hits10}にFB15k-237の結果を示している．
また，図\ref{fig:wikidata5m-hits10}にSimKGCによるHits@10の結果を示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f5.eps}
\end{center}
\hangcaption{WN18RRにおける各データセットによるHits@10の結果．各データセットごとに，PLMの事前学習の重みの有無による2種類の値を示している．``E''，``R''，``D''はそれぞれエンティティ，関係，説明文を表している．例えば``E\&R''ではエンティティと関係のそれぞれについて変更を行っている．比較のために従来のPLMを用いないKGC手法であるTransEの文献 \protect\cite{nathani-etal-2019-learning}で報告された結果を点線で示す．TransEは表層表現による影響を受けないため，これらのデータセットにおいてスコアの変化は生じない．また，左側2つは識別に基づく手法, 右側2つは生成に基づく手法である．}
\label{fig:WN18RR-hits10}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f6.eps}
\end{center}
\caption{FB15k-237における各データセットによるHits@10の結果．補足情報は図\ref{fig:WN18RR-hits10}と同じである．}
\label{fig:FB15k-237-hits10}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

もし事前学習時の重みを用いない場合，欠損しているエンティティをKGCデータセット内の学習データのみから推論しないといけないため，その結果が未知のエンティティに対する推論能力の上限値となる．

図\ref{fig:WN18RR-hits10}，\ref{fig:FB15k-237-hits10}，\ref{fig:wikidata5m-hits10}より，何も変更を加えていない元のデータセットでは事前学習時の重みを用いたほうが高いHits@10の値となっている．
一方，特に\textsc{Inconsistent Descriptions}と\textsc{Fully Anonymized}によってエンティティと説明文を変更した場合，事前学習時の重みを用いないほうが，用いた場合と比較したとき，同等以上のHits@10の値となっている．
この結果より，事前学習の重みの有無による結果の違いはKGCデータセット外の事前学習時の外部知識により得られた推論能力であると考えられる．
したがって，PLMは事前学習時に未知の関係に対する推論能力も同時に獲得しているということが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f7.eps}
\end{center}
\hangcaption{SimKGCによるWikidata5mのHits@10の結果．比較用にTransEによる結果を掲載している．Wikidata5mは1エポック分のみ学習させた後評価を行っている．比較として文献 \protect\cite{wang-etal-2021-kepler}で報告されたTransEの値も示す．補足情報は図\ref{fig:WN18RR-hits10}と同じである．}
\label{fig:wikidata5m-hits10}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また図\ref{fig:wikidata5m-hits10}に示したWikidata5mでのそれぞれの実験結果に対して，事前学習の有無の差分を四分位範囲を用いた外れ値検出手法 \cite{IQR-outlier}により測定した結果，元のデータセットと，関係に対してのみ変更を加えた各データセットが外れ値として検出された．そのためPLMの事前学習時の知識がそれらのデータセットに対して，より大きくモデルの推論能力に寄与していると言える．従って，PLMを用いたKGC手法は未知の関係に対する推論能力の他に，事前学習時に獲得した事実的知識も推論時に使用していることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{未知のエンティティへの推論能力に対する事前学習時の知識の影響}

\ref{sec:The-Effects-of-PLMs-Knowledge}節ではPLMの事前学習時の知識が推論能力に対して，その推論能力を補強する作用について明らかになったが，一方，PLMの事前学習時の知識がむしろ新しい知識を獲得する際に悪影響を及ぼす可能性がある．
特に図~\ref{fig:WN18RR-hits10}に示すKGT5の結果について，\textsc{Virtual World}と\textsc{Anonymized Entities}によるエンティティの変更，エンティティと関係の変更をそれぞれ適用したとき，事前学習時の重みの有無によりスコアに大きな隔たりがある．

また図\ref{fig:WN18RR-eval-short}にKGT5によるWN18RRの\textsc{Virtual World}と\textsc{Anonymized Entities}の検証用データでの各エポックごとのHits@10の値の推移を示す．それぞれのデータセットについて，エンティティに対して変更を行った場合，事前学習済みモデルを用いたときは十分なエポック数の学習を行ったとしてもHits@10の値が向上しない一方，事前学習により得られた重みを用いない場合，Hits@10の値が著しく向上する．この結果より，事前学習時の知識の影響により未知の知識の獲得を妨げる働きをする場合があることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f8.eps}
\end{center}
\hangcaption{KGT5での検証用データにおけるWN18RRのHits@10の値．\textsc{Virtual World}と\textsc{Anonymized Entities}により作成されたデータセットの値を示している．実線は事前学習の重みを使用，点線は事前学習の重みを用いず，ランダムな値で重みを初期化している．}
\label{fig:WN18RR-eval-short}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エンティティ，関係，説明文のどの要素が推論能力に作用しているか？}
\label{sec:which-factors}

図\ref{fig:correlation}に各モデルの各データセットにおいて検証用データにおける1エポックごとのHits@10の値の推移に対して，ピアソンの相関係数により算出された，学習過程の類似度を示す．

図\ref{fig:correlation}の結果から関係に対してのみ変更を行ったデータセットと元のデータセットの学習過程の間に強い相関があり，図\ref{fig:WN18RR-hits10}，\ref{fig:FB15k-237-hits10}の結果から関係に対する変更の場合，Hits@10の値に元のデータセットとの値の変化がないことがわかる．
従って，関係に対して変更を行ったとしても未知のエンティティに対する精度に変化はない．
要因の一つとして，表\ref{tab:datasets}に示すように，エンティティに対して関係の数は極端に少なく，かつ表\ref{tab:dataset_stats}に示すように各エンティティに対して関係が1種類しか付与されてないものがFB15k-237で12\%，WN18RRで50\%以上存在していることがわかる．本来，KGCタスクにおいて，エンティティと関係のクエリから欠損箇所の予測を行わなければならない．しかし，このことは関係の情報を用いずとも，クエリ内のエンティティの情報のみで推論が十分可能であるクエリが存在していることを示唆している．これは\textsc{Virtual World}などによって関係に着目した疑似データを作成しても，そもそも既存のKGC用データセットの性質に問題があるため，効果が十分検証できない可能性がある．\ref{sec:subsub-promblem-datasets}節でさらに議論を行う．
\pagebreak

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f9.eps}
\end{center}
\hangcaption{WN18RRとFB15k-237を元としたそれぞれのデータセットにおいて，検証用データの各エポックごとのHits@10の値に対してピアソンの相関係数を用いて計測したときの相関行列．``Shuf.''，``Rand.''，``Shuf. Desc.''，``Rand. Desc.''はそれぞれ\textsc{Virtual World} (\S\ref{sec:shuffle})，\textsc{Anonymized Entities} (\S\ref{sec:random})，\textsc{Inconsistent Descriptions} (\S\ref{sec:shuffle-descriptions})，\textsc{Fully Anonymized} (\S\ref{sec:random-descriptions})に該当している．また``E''，``R''，``D''はそれぞれエンティティ，関係，説明文に対する変更である．例えば``ER''であれば，エンティティと関係に対してそれぞれの手法を適用しているという意味である．``w/ wts''は事前学習時の重みを用いた場合，``w/o wts''は事前学習時の重みを用いずランダムな初期値から学習させた場合である．左側2つは識別に基づく手法, 右側2つは生成に基づく手法である．}
\label{fig:correlation}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{01table03.tex}%
\hangcaption{各データセット内のエンティティに付与されている関係の種類の数．ただし，1つのエンティティに対して同じ種類の関係が複数されている場合もあるので，付与されている関係の種類と数は一致しない．}
\label{tab:dataset_stats}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，図\ref{fig:correlation}で\textsc{Virtual World}と\textsc{Anonymized Entities}を比較したとき，
その両者に相関が見られる一方，それらを説明文に対して変更を加えた\textsc{Inconsistent Descriptions}と\textsc{Fully Anonymized}のそれぞれと比較したとき，その相関は低かった．
実際に，図\ref{fig:WN18RR-hits10}，\ref{fig:FB15k-237-hits10}，\ref{fig:wikidata5m-hits10}での\textsc{Virtual World}と\textsc{Anonymized Entities}，
\pagebreak
\textsc{Inconsistent Descriptions}と\textsc{Fully Anonymized}のペアで結果を比較すると，後者の一部の結果を除き，類似した評価結果となっていることが確認できる．従って，表層表現の違いより，エンティティ同士の関係性のほうが重要であると言える．
さらに例えば図\ref{fig:wikidata5m-hits10}では\textsc{Virtual World}と\textsc{Anonymized Entities}をそれぞれの要素に適用した結果に
大きな違いはなかったことからも，表層表現の種類によっての精度変化より，それぞれのエンティティ間の整合性がデータセット内で取れていることが重要であることがわかる．

また，例えば図\ref{fig:WN18RR-hits10}や図\ref{fig:FB15k-237-hits10}のKGT5の結果によると，エンティティと説明文に対して変更を加えた場合，他のデータセットと比較してHits@10の値が低いことがわかる．この要因の1つとして表\ref{tab:entity_in_descriptions}にクエリ内のエンティティの説明文に正解エンティティの情報が含まれている割合を示す．WN18RRでは約15\%のエンティティがクエリ内のエンティティの説明文に含まれている事がわかる．
また，他のデータセットについてもテストセット内の約4.5\%の説明文に正解エンティティの情報が含まれる．そのため，これらのクエリに対してはエンティティ間の関係性を推論しなくても，単に説明文からの情報抽出によって正答できてしまう可能性がある．
一方，説明文のみの変更は，エンティティと同時に変更した場合に比べて影響を受けてない．よって，エンティティと説明文を同時に変更した場合，どちらかから推論の手がかりを得ることができないため，言語モデルの推論能力が低下したと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{01table04.tex}%
\hangcaption{各データセットのクエリのエンティティに予測すべきエンティティの情報が含まれている割合．つまりKGにおいてグラフ構造を考慮せずに推論することなく，クエリのエンティティの説明文から該当エンティティを抽出することで回答できてしまう三つ組の割合を示している．}
\label{tab:entity_in_descriptions}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，図\ref{fig:WN18RR-hits10}，\ref{fig:FB15k-237-hits10}，\ref{fig:wikidata5m-hits10}の結果から，説明文に関する変更を行ったとしても，Hits@10の値の減少は限定的である．これは，学習過程でモデルは説明文が無意味な情報であると認識し，エンティティと関係のみに焦点を当てるような学習を行ったためであると考えられる．特に説明文のみの変更の場合，エンティティと関係をすべて変更したときと同等の結果となっている．このことから，モデルは説明文の記述を無視して，一からエンティティ同士の関係の学習を行ったと考察できる．そのため，事前学習の重みの有無に関わらず，説明文に対する変更は，エンティティと関係のみの変更と同等の結果となったと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデルの構造による推論能力の違い}

各疑似データにおける，生成に基づく手法と識別に基づく手法の評価結果を比較することで，モデルの構造が推論能力に与える影響について調べる．

生成に基づく手法は識別に基づく手法と比較すると，特に図\ref{fig:FB15k-237-hits10}に示すようにエンティティの変更の影響を大きく受ける．
また，図\ref{fig:WN18RR-hits10}において，KGT5とGenKGCの結果を参照すると，事前学習時の重みを用いない際に精度向上しているデータセットが存在する．これは図\ref{fig:WN18RR-eval-short}において，十分な学習を行っているにも関わらず，性能が向上しないことから，事前学習は特に生成に基づく手法に大きな影響を与えることがわかる．
一般的に，生成型言語モデルによる構造化ラベル予測の利点として，デコーダ上で暗黙的に注入されたラベル埋め込み量 \cite{xiong-etal-2021-fusing,zhang-etal-2021-language}によってラベル同士の関係を処理していることが指摘されている \cite{kwon-etal-2023-hierarchical}．しかし，KGCにおける生成に基づく手法の現在のラベル予測の使用法は，各クエリに対して，説明文を除いた単一のエンティティのみを予測するだけである．そのため，現在の使用方法では，生成に基づく手法におけるエンティティ間の関係をデコーダ上で明示的に扱うことができないため，エンティティの説明文情報を十分考慮することができていない．

また，図\ref{fig:WN18RR-hits10}，図\ref{fig:FB15k-237-hits10}の結果より，生成に基づく手法はランダムな文字列の影響を大きく受ける一方，識別に基づく手法の場合，表層表現の違いでの変化はほぼ見られない．生成に基づく手法はエンティティを直接，生成確率に基づいて生成するため，文字同士の共起情報が全くない上に，既存のトークナイザを使用しているため，その不一致が影響を与えている可能性がある．そのため，今後は言語モデルのトークナイザが言語モデルに与える影響について調査することが言語モデルの記憶能力と推論能力をより明らかにするための手がかりになると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{大規模言語モデルによる推論能力}
\label{sec:inference-capability}

最後に，大規模言語モデルを用いたKGC手法に対して，本研究で作成した疑似データによる検証を行うことで，本手法の大規模言語モデルの推論能力の分析への適用可能性を探る．

\ref{sec:generation-based-methods}節で述べた，LambdaKGで提案された大規模言語モデルを用いたKGC手法を用いてWN18RRとFB15k-237で推論能力を測った\footnote{LambdaKGではGPT-3 \cite{gpt3}による実験を行っているが，再現性の観点から，Orca2-13B，Vicuna-13BとLlama-13Bを用いた．またOrca2-13BとVicuna-13BはLlama-13Bの継続学習モデルである．これらの言語モデルはMT-bench Reasoning benchmark \cite{zheng2023-vicuna-judging}でGPT-3と同等の性能である．また，元論文ではGPT-3によるAPIの返答結果を用いるため，一つの解答しか選べないため，Hits@1のみ計測していたが，我々は生成確率に基づいて上位10回答の中に正解エンティティが含まれているかどうか判定することでHits@10を測っている．}．
図\ref{fig:LLMs-results}にOrca2-13B \cite{mitra2023orca}，Vicuna-13B \cite{zheng2023-vicuna-judging}とLlama2-13B \cite{touvron2023llama}での結果を示す．
図\ref{fig:LLMs-results}より，どの大規模言語モデルも同様の傾向，精度を示しており，元のデータセットではWN18RRが0.4程度，FB15k-237で0.15程度のHits@10の値となっている．また関係に関する変更は元のデータセットと変わらない値であり，説明文に関しての変更も若干劣るもののほぼ同等の精度となっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia1f10.eps}
\end{center}
\hangcaption{LambdaKGでのLLMによるKGC手法での各データセットのHits@10の結果．使用したLLMはOrca2-13B，Vicuna-13BとLlama2-13B．BM25によりデータセット内から回答エンティティの候補を100件抽出し，その中からモデルは1つのエンティティを生成する．生成確率順に上位10件の回答に対して正解エンティティが含まれているか判定することでHits@10を計算する．100個の回答候補から10エンティティ生成するため，チャンスレートは0.1である．}
\label{fig:LLMs-results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

大規模言語モデルはエンティティがどのように変更されたのかを判別することができない．そのため，チャンスレートである0.1が推論可能な理論値となる．よってこの結果から大規模言語モデルの推論能力は事前学習時の記憶に大きく起因すると考えられる．

またFB15k-237のHits@10の値に着目すると，Llama2-13BよりLlama2-13Bの継続学習モデルであるOrca2-13BやVicuna-13Bのほうが，精度が若干上回っていることがわかる．このことより，継続学習によって，新たな知識を学習した結果，より事前学習時の記憶が強く作用しているしていることがうかがえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{PLMを用いたKGC手法の推論能力を測る際の問題点}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データセットについて}
\label{sec:subsub-promblem-datasets}

\ref{sec:which-factors}節で述べた内容より関係が持つKGC性能への影響力はとても小さい．
また表\ref{tab:dataset_stats}から各エンティティに対して1つしか関係が付与されていない要素が存在していることから，クエリ内のエンティティさえわかっていれば，関係を考慮せずとも欠損しているエンティティを推論できる可能性がある．PLMを用いない既存のKGC手法ではグラフ構造を1から学習するため，関係の情報も考慮されるが，PLMを用いたKGC手法では\ref{sec:inference-capability}節で述べたようにPLMの事前学習時の知識は関係の情報に頼らなくても推論が可能であることが明らかとなった．
そのため，PLMを用いたKGC手法に対して既存のKGC用データセットを用いた場合，関係の影響力を正しく評価することができないので，より関係に焦点を当てたデータセットの作成が必要であると考えられる．

次に表\ref{tab:entity_in_descriptions}に示す結果からクエリ内のエンティティの説明文に欠損エンティティの情報が含まれていることが明らかとなった．
説明文自体には，語義曖昧性の解消などに有益で推論に必要な情報が多く含まれている．そのためKGCにおいて説明文を使用する場合，それは言語モデルの推論能力の他に説明文からの情報抽出能力も関わるため，推論能力を測るという目的では不適である．
そのため，今後モデルの純粋な推論能力を公平に測るためには，KGCで説明文を用いるべきではないと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{モデルについて}

\ref{sec:The-Effects-of-PLMs-Knowledge}節で述べたようにPLMの事前学習時の知識が未知のエンティティに対する推論能力に作用していることが明らかとなった．そのため，もしKGCモデル自体の純粋な推論能力を測りたいのであれば，事前学習時の重みを用いるべきではないと考えられる．これはPLMが事前学習時にKGCデータセットに含まれない外部知識を事前学習で獲得しているため，その時点で記憶された知識を切り分けて純粋な推論能力を測ることができないからである．よって，純粋なモデル自体の推論能力を測りたければ，KGCデータセットから得られる知識以外の情報を用いるべきではない．

なお，KGCはグラフ構造を学習しないといけないため，訓練する必要がある．これはPLMを用いたKGC手法でも同様である．そのため，我々が作成した疑似データで学習することで新たな関係をモデルは扱うことができた．しかし\ref{sec:inference-capability}節で検証したように大規模言語モデルを用いたKGC手法では，学習コストが高いため，訓練を行わず推論する．従って事前学習時に獲得した知識に依存している．そのため，本研究で作成した疑似データを直接，大規模言語モデルを用いたKGC手法に適用することはできないが，疑似データで大規模言語モデルの学習を行うことができれば，本研究と同様の分析が可能となる．また近年では大規模言語モデルに長大なプロンプトを入力する研究が行われつつある．もしKGすべてを包括するような学習データをプロンプトとして入力可能になれば，In-context Learningの枠組みで，本研究で作成したような疑似データを用いて，推論能力を測ることが可能となる．従って，APIなどを通した大規模言語モデルの推論能力なども計測することが可能となるため，本研究で作成した疑似データにおけるKGの関係をプロンプトなど通して大規模言語モデルの推論能力を計測することは今後の研究課題となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}

本稿ではPLMが事前学習時に獲得した知識とは異なる未知の関係を含む事象に
\pagebreak
遭遇した際の推論能力を調査した．
推論能力を測定するために我々はKGCに焦点を当てた．
しかし，既存のKGCデータセットの関係性は事前学習時に直接的あるいは間接的に含まれている可能性があるため，PLMの純粋な推論能力を測定することができない．またGPT-4 \cite{openai2023gpt4}など近年の言語モデルは事前学習時のデータなどが詳細に明らかでない場合があるため，事前学習データをすべて調べることは不可能である．そのため，我々は事前学習に使用したデータを確認しなくとも，純粋な言語モデル自体の推論能力を評価する方法を提案した．
具体的には知識グラフのグラフ構造に着目し，グラフ構造を保持したまま，元のKGC用データセットの知識グラフの表層表現のみを変換することで，実世界とは異なるKGC用疑似データセットを作成した．そして元のデータセットとのHits@10の値の比較を行うことで，言語モデルの推論能力と記憶能力による作用を分析した．

実験の結果，PLMは未知の関係に対する推論能力を有していることがわかったが，その一方でPLMを用いたKGC手法では事前学習時に外部知識を利用しているため，実際の言語モデルに備わっている純粋な推論能力以上の推論を行っていることが明らかになった．
そのため，より詳細に推論結果を分析することで，言語モデルの記憶能力が推論能力に与える影響を調査した．
また既存のPLMを用いたKGC手法に対する問題点をデータセットとモデルの2つの観点から明らかにし，それらを回避する方法を提唱した．

我々はPLMを用いてKGCを解く最近の研究に対してPLMを使用することが不適であると主張する一方，PLMが事前学習時にエンティティに関する情報を記憶するのみならず，未知のエンティティに対する推論能力も同時に獲得していることを示唆する結果も得られた．

本研究ではPLMの推論能力を測定するため，KGCに焦点を当てたが，同様の考察は他の下流タスクにも適用可能であると考えている．
またデータセットの作成手法は固有名詞認識や共参照解析など他の下流タスクのデータセットにも適用できる．そのため，それらの下流タスクでも同様の傾向が確認できるのかを今後検証していく．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費JP23H03458の助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{01refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{坂井　優介}{%
2024年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．同年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{上垣外英剛}{%
2017年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了．博士（工学）．同年NTTコミュニケーション科学基礎研究所入所．2018年より東京工業大学科学技術創成研究院未来産業技術研究所助教．2022年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{林　　克彦}{%
2013年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．同年NTTコミュニケーション科学基礎研究所入所．東京大学大学院情報理工学系研究科助教，北海道大学大学院情報科学研究院准教授などを経て，2024年より東京大学大学院総合文化研究科准教授．自然言語処理や知識処理の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{渡辺　太郎}{%
1994年京都大学工学部情報工学科卒業．
1997年京都大学大学院工学研究科情報工学専攻修士課程修了．
2000年Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science取得．
2004年京都大学博士（情報学）．
ATRおよびNTT，NICTにて研究員，また，グーグルでソフトウェアエンジニアとして勤めた後，2020年より奈良先端科学技術大学院大学教授．
自然言語処理や機械学習，機械翻訳の研究に従事．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

