\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\usepackage[multi]{otf}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{CJKutf8}
%%%%%\newcommand{\japanese}[1]{\begin{CJK}{UTF8}{min}#1\end{CJK}}
%%%%\newcommand{\chinese}[1]{\begin{CJK}{UTF8}{gbsn}#1\end{CJK}}
%%%%\usepackage[dvipdfmx]{graphicx}
%%%%%\usepackage{tikz}
%%%%%\usepackage{hyperref}
%%%%\usepackage{url}
%%%%\usepackage{amsmath,amsthm,amsfonts,amssymb,amscd}
%%%%\usepackage{mathrsfs}
%%%%\usepackage{times}
%%%%\usepackage{wrapfig}
%%%%%\usepackage{subcaption}
%%%%\usepackage{multirow}
%%%%\usepackage{arydshln}
%%%%\usepackage{booktabs}
%%%%\usepackage{array}
%%%%\usepackage{rotating}
%%%%\usepackage{pgfplots}
%%%%\pgfplotsset{compat=1.18}
%%%%%\renewcommand\UrlFont{\rmfamily}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{1}
\Month{March}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{287}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{知識グラフ補完のためのモデル予測に基づくサブサンプリング}
\jauthor{馮　　\UTFC{6615}\UTFC{74A8}\affiref{Author_1}}

\etitle{Model-based Subsampling for Knowledge Graph Completion}
\eauthor{Xincan Feng\affiref{Author_1}} 

\headauthor{馮}
\headtitle{知識グラフ補完のためのモデル予測に基づくサブサンプリング}

\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会第29回年次大会にて発表した「知識グラフ補完のためのモデル予測に基づくサブサンプリング」(Feng 他 2023)\nocite{feng2023model_jnlp}およびIJCNLP-AACL2023採択論文 ``Model-based Subsampling for Knowledge Graph Completion'' \cite{feng2023model} （以下，本研究）の概要および研究経緯を紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{なぜ知識グラフ補完に取り組むか}

2022年末以来，ChatGPT \cite{chatgpt}，DALL・E3 \cite{improving_dalle}，Stable Diffusion \cite{sd}，Bard \cite{bard}などの人工知能ツールは新たな波を引き起こしているが，それらの技術は大量の学習データに大きく依存し，依然として解決可能なタスクは特定のもののみに限られているため，まだ弱いAI (Weak AI) に属している．その根本的な理由として，これらの技術が認知能力 (Cognitive Skill) を欠いているため，出力結果が制御不能であることが考えられる．これに対し，著者は，まだ遠い未来の話ではあるが，強いAI (Strong AI) を実現する鍵は，コンピューターが人間のように認知能力を持ち，制御可能であり，汎用のタスク (Generalized Mission) を遂行できるようにすることにあると考える．

例として，大規模言語モデル (Large Language Model, LLM) にはまだハルシネーション (Hallucination) \cite{huang2023survey}，表面的な理解 (Surface-level Understanding) \cite{kauf2023event}，高い計算コストなどの問題が存在する．知識を扱いやすい表現で記号化する知識グラフは，計算コストが抑えられる一方で，LLMの補完として，制御可能な文理解と生成を実現し，LLMの実世界応用における正確な領域知識と複雑な推論能力を提供する可能性を持っている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-1ia23f1.pdf}
\end{center}
\caption{人工知能の発展過程における情報関連の必要性およびKGC.}
\label{fig:info-kg-kgc}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

知識グラフは1950年代に起源を持ち，これまで大きく三つの発展段階を経てきた．1955年から1977年にかけては，引用ネットワーク (Citation Network) が科学技術の発展を研究するために利用され，これが知識グラフの原型とされている．1977年から2012年には，意味ネットワーク (Semantic Network) が自然言語理解システムで急速に発展した．2012年以降は，GoogleがGoogleナレッジグラフを提案したことにより，知識グラフ (Knowledge Graph, KG) としての固有名が付けられ，検索エンジンの性能向上に利用されている．昨今では人工知能の急速な発展に伴い，KGに関連する一連の技術，例えば知識の抽出，表現，推論などが研究のホットトピックとなっている\cite{kgbaipishu}．

コンピュータが認識能力を持つためには，膨大な知識の蓄積が必要である．そのため，豊かで完備な知識ベースの構築が求められる．図\ref{fig:info-kg-kgc}に示される通り，KGは，エンティティとそれらの関係を枝として表現することで，実世界の知識を表現し，推論の補助を行うことができる．このような推論タスクは，知識グラフ補完 (Knowledge Graph Completion, KGC) と呼ばれている．これにより，コンピューターに人間のような物事の理解や解釈を可能とすることを期待できる．従って，KG技術は，弱いAIから強いAIへの進化において不可欠な要素となる可能性を持ち，重要な役割を果たすことが期待される．

KGの利用には，大規模な知識が要求されるため，主要な課題はデータ構築のコストである．KGに基づく知識推論は，KGCの主要な手段であって，治安確保，デジタル経済，フィンテック，企業や社会のリソース最適化，科学研究，製造業の転換，公衆衛生，文化伝播，教育資源配分，行政管理など多くの産業分野での実践に成功し，重要な技術とされている\cite{kgbaipishu}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法の考案}

KGにおいては，一つの事実はしばしば三つ組$(e_i,r_j,e_k)$で表現される．$e_i$と$e_k$はそれぞれヘッドエンティティとテイルエンティティで，$r_j$はそれらの間の関係を表している．エンティティは通常，事物や概念として指され，関係はエンティティ間の結びつきを記述する．例えば，三つ組（東京，は首都である，日本）は「東京は日本の首都である」という関係を描写している．KGに基づく知識推論は，KG中で既知の事実に基づいて新たな知識を推論したり，誤った知識を特定したりすることを目的としている．例えば，上記の三つ組が既知であれば，欠落している三つ組（東京，に位置している，日本）を推論するなどが挙げられる．
知識グラフ埋め込み (Knowledge Graph Embedding, KGE) は，知識推論によりKGを自動的に補完する技術で，人間の専門家の代替となり得る手法である．

修士一年次の研究は，情報および計算科学の専門知識を背景に，KGEモデルの探求からスタートした．特に，KGEの核心である投影 (Projection) 技術に強い関心を抱き，その効率性と次元削減能力に魅了された．投影はデータの型に依存せず，大規模データの処理において重要な特徴を保持する優れた手法だと考えている．

モデルの研究を深める中で，著者はKGのデータが大規模であるにも関わらず，記号化モデリングによりデータ特徴が限られており，結果的にモデルパラメータの冗長性が生じやすいことに気付いた．これは，幾何学的特徴が複雑なモデル$5^{\bigstar}\mathrm{E}$ \cite{Nay21}や比較的単純なComplEx \cite{Tro16}の研究で明らかになった．これらのモデルでは，リレーションの埋め込みにおいてパラメータを半減させても，計算効率とメモリ要求の低減を実現し，全体の精度に影響を与えないことが確認された\cite{feng2022sharing}．

この研究を基に，KGEモデルが高次元から低次元への圧縮過程で，学習されなかった重要なデータ特徴が存在する可能性に気づいた．しかし，モデル構造の改善では未知のデータ特徴を特定するのが困難であることが明らかだった．この問題の解決策を模索していた折，上垣外先生が研究室に加わり，サブサンプリングに関する彼の研究を紹介してくれた．彼の研究は，データの分布特徴を調整してモデルの汎化性能を向上させる方法を探求していた\cite{kamigaito2022comprehensive,kamigaito2022subsampling}．上記を参考に，ELECTRA \cite{clark2020electra}の考え方を借りて，訓練済みのモデルを使い，モデルの学習に利用し，データの分布特徴を調整する方法を検討した．このアイデアの発端に関する詳細は，2023年3月に韓国科学技術院 (KAIST) のデータサイエンスグループでの招待講演で発表したため，下記資料を参照いただきたい\footnote{\url{https://drive.google.com/file/d/1Mf2oXgX4PktxBLX7rB9ArZmscmcdlwRQ/view?usp=sharing}}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{31-1ia23f2.pdf}
\end{center}
\hangcaption{従来法CBSと比較した各サブモデルにおける提案法MBSのクエリ出現確率（％）の差異を，FB15k-237，WN18RR，YAGO3-10データセットにおいて，CBSの頻度によって降順で左から右へ並べたもの．}
\label{fig:normed_freq_of_queries_jnlp}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今回AACLで発表した成果}

現実世界では，KGのデータは主にアノテーションガイドラインに従った人間の専門家によって構築されるため，元のデータにはアノテーションの曖昧さ，ノイズの多さ，データの関連性の不明瞭さなどの問題が多く存在する．KGEのモデリング時には，これらの問題はデータの疎性 (Data Sparseness) として抽象化されている．

本研究は，知識グラフ埋め込み (KGE) におけるサブサンプリングの効果に焦点を当てたものである．従来のカウントに基づくサブサンプリング(Count-based Subsampling, CBS)は，エンティティとその関係から成るクエリの頻度のみを考慮していたが，これにより，頻度が少ないクエリの出現確率を過小評価する可能性があることが指摘されている．この問題を解決するために，KGEモデルの予測を利用してクエリの出現確率を推定する新しい手法を提案する．具体的には，モデルに基づくサブサンプリング (Model-based Subsampling, MBS) および混合サブサンプリング (Mixed Subsampling, MIX) を用いる．
この研究では，FB15k-237 \cite{Tou15}，WN18RR \cite{Det18}およびYAGO3-10 \cite{Det18}データセットでの評価を通じて，提案したサブサンプリング手法が，ComplEx \cite{Tro16}，RotatE \cite{rotate}，およびHAKE \cite{https://doi.org/10.48550/arxiv.1911.09419}などの代表的なKGEモデルにおいて知識グラフの補完性能 (KGC) を改善することを示している（図\ref{fig:normed_freq_of_queries_jnlp}）．詳細については原論文\cite{feng2023model}を参照していただきたい．

この研究の重要性は，現在のサブサンプリング手法の限界を克服し，より効果的なKGEモデルの学習手法の構築に貢献することにある．また，このアプローチは，KGEにおけるサブサンプリングの理解を深め，新たな研究の方向性を示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{リジェクトから採択まで}

初めての論文投稿がリジェクトされた際，査読者のコメントを詳細に検討し，本研究が完全には理解されていないという事実が明らかになった．特に，査読者からは本研究の基本的な概念に関する数多くの質問が寄せられた．これは，本研究が必要とする数学的な導出に対し，初回投稿が短論文形式であったことによる背景説明の不足が原因と考えられる．

この点を踏まえ，再投稿に向けた準備に着手した．まず，実験量を倍増させ，より強固な結果を得ることで，研究の説得力を高めた．次に，研究の背景と方法論を詳細に説明するために，短論文を長論文へと拡張し，内容の充実を図った．

最終的に，本研究はIJCNLP-AACL2023のメインカンファレンスに採択されるという成果を得た．この過程で，指導教員から受けた細やかな指導とサポートは，著者にとって研究への情熱をさらに深めるきっかけとなった．今後も，この経験から学んだ研究スキルを活かし，さらなる進展を目指していく所存である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後}

LLMが質問応答タスクで高い精度を示しているため，一部の研究では，LLMがKGを置き換える可能性さえ主張している\cite{suri2023language}．しかし，認知能力を欠いたLLMは，高い精度を持っていても全てのタスクで信頼する結果を返す保証はない．これは「トロッコ問題 (Trolley Problem)」に似ており，もし実世界の決定が確率にのみ基づいているならば，そのモデルは単なる機械であり，道徳的倫理即ち人間らしさは欠いていると言える．


一方で，KGの事実性，時宜性，論理的厳密さが，LLMの優れた補完能力となり得る．KGを制約と複雑な推論能力の源泉として活用することで，LLMとKGを結合した応用パラダイムから多くの応用研究が生まれている\cite{Yasunaga2021QAGNNRW,Baek2023KnowledgeAugmentedLM,yang2023chatgpt}．上記を踏まえて，著者はKGとLLMの融合に向けての努力を続けていきたいと考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，JST次世代研究者挑戦的研究プログラムJPMJSP2140及びJSPS科研費JP21K17801，JP21H03491の助成を受けたものです．本稿に対する貴重な助言と日本語の校正を施して下さった上垣外英剛先生に心から感謝申し上げます．共同研究者である林克彦先生と渡辺太郎先生にも深く感謝いたします．入学時は英語でのコミュニケーションに頼っていましたが，日本語の学習を支援してくださった同僚たちに感謝します．最後に，本稿執筆の機会を提供してくださった編集委員会の皆様に厚く御礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{23refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{馮　　\UTFC{6615}\UTFC{74A8}}{%
2023 年奈良先端科学技術大学院大学 (NAIST) 先端科学技術研究科修士課程修了，同年博士後期課程入学，現在に至る．主に，知識グラフ，言語モデルの埋め込み表現，言語生成の研究に従事．
}

\end{biography}





\end{document}



