\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%\usepackage{booktabs}
%%%%%\urlstyle{same}
%%%%%\usepackage{comment}
%%%%%\usepackage{bbding}
%%%%%\usepackage{pifont}
%%%%%\usepackage{wasysym}
%%%%%\usepackage{multirow}
%%%%%\usepackage{arydshln} % for dotted lines
%%%%%\usepackage{ascmac}
%%%%%\usepackage{subfigure}
%%%%%\usepackage{algpseudocode}
%%%%%\usepackage[linesnumbered,ruled,vlined]{algorithm2e}
\usepackage{multicol}

\newcommand{\sy}[1]{{\color[rgb]{0.1098, 0.6588, 0.7098}#1}}
\newcommand{\pk}[1]{#1}
%\newcommand{\pk}[1]{{\color{olive}#1}}
\newcommand{\pka}[1]{{\color{blue}#1}} % alert
\newcommand{\yuya}[1]{{\color{red}#1}}
\newcommand{\del}[1]{{\color{green}#1}}
\newcommand{\delaccept}[1]{}


\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\newcommand{\graph}{G}
\newcommand{\nodes}{V}
\newcommand{\links}{E}
\newcommand{\attributes}{X}

% define command
\newtheorem{theo}{Theorem}
\newtheorem{defi}{定義}
\newtheorem{problem}{問題}
\newtheorem{subproblem}{部分問題}
\newtheorem{theorem}{Theorem}[section]
\newtheorem{example}[theorem]{Example}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{30}
\Number{4}
\Month{December}
\Year{2023}
\Issuetitle{「　　　　」特集号}

\received{2005}{1}{2}
\revised{2006}{3}{4}
\rerevised{2006}{5}{6}
\accepted{2006}{7}{8}

\setcounter{page}{1256}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Holistic Prediction on a Time-Evolving Attributed Graph}
\jauthor{山崎　翔平\affiref{Author_1} \and 佐々木勇和\affiref{Author_2}}
\etitle{Holistic Prediction on a Time-Evolving Attributed Graph}
\eauthor{Shohei Yamasaki\affiref{Author_1} \and Yuya Sasaki\affiref{Author_2}} 

\headauthor{山崎，佐々木}
\headtitle{Holistic Prediction on a Time-Evolving Attributed Graph}

\affilabel{Author_1}{株式会社野村総合研究所}{Nomura Research Institute, Ltd.}
\affilabel{Author_2}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

我々は自然言語処理を専門的に研究しているわけではない．そのため，自然言語処理の国際会議どころか，国内の会議にも一度も参加したことがない．
ここでは，我々がなぜACLに投稿したのかを述べる．

まず，我々の論文はグラフ深層学習に関する技術を提案しており，特定の応用分野を想定はしていない．そのため，イントロや実験データを変更すれば，分野外と言われることはあまりない．実験で使っているグラフが自然言語から計算された特徴量を用いていたため実験の変更も必要なかった．ACLの査読では，機械学習分野の方が適切なのでボーダーラインというコメントがあったが，そこまで強い主張ではなかった．
次に，自然言語処理は知識グラフの活用が最も活発な分野の一つである．そのため，グラフ深層学習が受け入れられる土壌は既にあった．母集団的には少ないかもしれないがグラフ分析が好きな査読者に当たる可能性が高く，好意的に見てくれることを期待していた．
最後に，共著者のPanagiotis Karras先生がACLへの投稿を勧めたことが大きい．ACLではなくIJCAI（時期的にどちらかしか投稿できない）に投稿しようとしていたが，論文の見た目（内容ではない）がACLに合ってるとの助言に従い投稿した．この助言がなければ投稿していなかったので感謝しかない．見た目で決めるというのは斬新であったし，それが上手くはまったのは驚いた．
まとめると，ACLに投稿した理由は，(1) イントロの変更のみで自然言語処理の論文っぽく変更できた，(2) 自然言語処理もグラフ研究が盛んでありグラフ深層学習も範囲内，そして (3) 論文の見た目ということになる．

国内の自然言語処理分野においてもグラフ分析に関する研究がより増えればと思い，以降では我々が提案した技術のエッセンスを紹介する \cite{yamasaki2023holistic}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文概要}

ブログ投稿やニュース記事，ユーザプロフィール等の実世界の言語データは，それぞれが相互に関連しており，引用関係やソーシャルネットワークとして表現することができる．
このような相互関係は，一般にグラフとしてモデル化でき，ノードがオブジェクトを，リンクが関係性を表す \cite{zhu2019graph}．
例えば，ソーシャルネットワークでは，登録ユーザはノードとして表現され，そのプロフィール情報はノード属性として，ユーザ同士の繋がりはリンクとして表現される．
そして，登録ユーザや，そのプロフィール情報，ユーザ同士の繋がりは時間とともに変化する．
このような時間的に変化しやすいグラフは，属性付き時間発展グラフと呼ばれる \cite{TGN}．
様々なNLPアプリケーションにおいて，属性付き時間発展グラフの将来を予測する技術は有益である．
例えば，読者へニュース記事を推薦したい場合，ユーザプロフィールを予測することで，潜在的なニーズを引き出し，読者にとってより良いユーザ体験を提供することができるようになる \cite{wu2019neural,hasanuzzaman2017temporal}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題定義}
本論文では，実世界の言語データを用いて，属性付き時間発展グラフの将来予測タスクに取り組んでいる．
本研究と既存研究で取り組まれてきたタスクの違いについて簡単に説明する．

グラフを$\graph = (\nodes, \links, \attributes)$と表記する．
ここで，$\nodes$ はノードの有限集合，$\links \subseteq \nodes \times \nodes$はリンクの有限集合，$\attributes \in {\mathbb R}^{|\nodes| \times d}$はノード属性の有限集合である．
$\attributes^{(v)}$はノード$v$の$d$次元の属性を表しており，各属性はカテゴリ値，数値，分散表現のいずれも取り得る．
属性付き時間発展グラフは $\langle G_{T-L+1},$ $G_{T-L+2},$ $\dots, G_T \rangle$ と表記する．
ここで $T$ は現在のタイムステップを，$L$ は観測されたタイムステップ数を表しており，$\graph_t:=(\nodes_t, \links_t, \attributes_t)$ はタイムステップ $t$ のグラフを表す．
属性付き時間発展グラフでは，$\nodes, \links, \attributes$がタイムステップによって変化する．
すなわち，ノードとリンクの出現と消失，ノード属性の動的変化を含む．
本論文で取り組む問題定義を以下に示す．


% \begin{problem}
\noindent
\textbf{問題} \quad 属性付き時間発展グラフ $\langle G_{T-L+1},$ $G_{T-L+2},$ $\dots, G_T \rangle$が与えられたとき，タイムステップ$T+1$におけるグラフ $G_{T+1}=(V_{T+1},$ $E_{T+1}, X_{T+1})$を予測する．
% \end{problem}

図 \ref{fig:problem} に本論文で取り組む問題の全体像を示す．
この問題を解くには，$G_{T+1}$の構成要素の一つではなく，全てを同時に予測する必要がある．
そのためには，次に示す6つのサブ予測タスクの全てを同時に解かなければならない．
\begin{multicols}{2}
  \begin{enumerate}
      \item 消失ノード予測
      \item 出現リンク予測
      \item 消失リンク予測
      \columnbreak
      \item 既知ノードの属性予測
      \item 出現ノードの属性予測
      \item 出現ノードに接続されるリンク予測
  \end{enumerate}
\end{multicols}

また，それぞれのサブ予測タスクは相互に影響し合うことを考慮する必要がある．
ソーシャルネットワークの例で考えると，ユーザのプロフィール情報は動的に変化しており，つながりのある他のユーザに影響を受けているかもしれない．
新規ユーザはアカウントを登録するし，アカウントを削除するユーザもいるだろう．
新規登録されたアカウントはプロフィールが似ている既存のアカウントとつながり，削除されたアカウントとつながっていたアカウントは他のアカウントとつながるかもしれない．
このようにサブ予測タスク間には相互依存性が存在すると考えられる．
我々の知る限り，「(5) 出現ノードの属性予測」や「$G_{T+1}$の全体を予測する」といった問題に取り組んでいる既存研究は存在しない．
これらのサブ予測タスクは，メインタスクとして個別に，独立に解くのが既存研究の主流であり，影響し合うサブ予測タスク全てを同時に予測する試みは本論文が初である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
\begin{center}
\includegraphics[width=1.0\linewidth]{30-4ia24f1.pdf}
\end{center}
    \caption{属性付き時間発展グラフ予測の例~\protect\cite{yamasaki2023holistic}．ノードの色は属性を表す．} 
\label{fig:problem}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{研究課題}
上述の問題を解くにあたり，本論文では以下2つの研究課題を設定している．

\begin{description}
    \item[Q1] \textbf{サブ予測タスク間の相互依存性を利用して予測精度を向上させることは可能か？} \\ 
    本論文では，消失ノード予測や出現ノードの属性予測等，複数のサブ予測タスクを含む問題に取り組んでいる．
    これらのサブ予測タスク間には相互依存性が存在し，これを捉えることで，それぞれのサブ予測タスクを独立に解く場合よりも，高い予測精度を達成できるのではないかという仮説である．
    \item[Q2] \textbf{出現ノードの属性予測は可能か？} \\
    出現ノードの属性予測では，過去に観測されていない，将来新たに出現するノード集合を予測すると共に，それらが持つ属性を同時に予測する必要がある．
    これはソーシャルネットワークの例で考えると，将来新規登録されるユーザアカウント群がそれぞれどのようなプロフィール情報を持っているかを予測することに対応している．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法}
属性付き時間発展グラフの全体を将来予測するというタスクを通して，研究課題の2つの問いに対する解を提示する．
本論文では，Q1に対して汎用予測フレームワークAGATEと，Q2に対して出現ノードの属性予測モデルであるPROSERの2つの新手法を提案している．
この寄稿記事では，AGATEについてのみ紹介する．

属性付き時間発展グラフ全体の将来予測タスクで，高い予測精度を達成するためには，サブ予測タスク間の相互依存性を捉える必要がある．
単一の手法ですべての相互依存性を捉えることは困難であるため，複数の手法を効果的に組み合わせ，あるタスクの結果を他のタスクでインタラクティブに再利用する．
本論文では，観測された過去のグラフから，出現ノード，消失ノード，出現リンク，消失リンク，およびノードの属性を予測し，タスク間の相互依存性を活用可能で汎用的な予測フレームワークAGATE ({\it {\underline A} {\underline G}eneral framework for predicting {\underline A}ttributed {\underline T}ime-{\underline E}volving graphs}) を提案する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
\begin{center}
\includegraphics[width=1.0\linewidth]{30-4ia24f2.pdf}
\end{center}
    \hangcaption{AGATEのアーキテクチャ~\protect\cite{yamasaki2023holistic}．観測された$L$ステップのグラフを入力し，タイムステップ$T+1$のグラフを予測する．ピンクのフレームはグラフデータを，緑のフレームは予測モデルを，青のフレームは予測結果を表す．}
\label{fig:proposal}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図 \ref{fig:proposal} にAGATEのアーキテクチャを示す．
AGATEは以下の3つの主要なコンポーネントから構成される．

\begin{description}
    \item[i. Graph size prediction:] 属性付き時間発展グラフの将来のサイズを予測するコンポーネント
    \item[ii. Independent prediction:] 既知ノード間のグラフ構造や属性，出現ノードの属性とそれに接続されるリンクについて個別・独立に予測するコンポーネント
    \item[iii. Reuse prediction:] サブ予測タスク間の相互依存性を捉えた予測を実現するために (ii) の結果を再利用するメカニズムを有した予測コンポーネント
\end{description}

AGATEはモジュール化されており，「ii. Independent prediction」および「iii. Reuse prediction」の各コンポーネント（6～15番）はそれぞれのサブ予測タスクに対応しており，任意の予測モデルを採用することが可能である．
出現ノードの属性予測（6番）については，既存手法が存在しないため，新たな予測モデルであるPROSERを開発している．

実験では，3つの実世界のデータセットを用いてAGATEとPROSERを評価し，
(1) 各サブ予測タスクが互いに影響し合うこと,
(2) AGATEのReuse predictionが予測精度を向上させ，各サブ予測タスクを独立に解く場合よりも高精度で予測できること,
(3) PROSERが出現ノードの属性を高精度で予測できることを示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本稿で紹介した論文は，グラフ全体を将来予測するという一般的な問題に初めて取り組んだものであり，その第一歩として汎用的な方法を提案した．
昨今のAIの研究がそうであるように，高効率性や高精度な予測方法の開発等，考えられる研究課題は山ほど存在しており，この論文はグラフ予測の新たな出発点を与えた研究に他ならない．
最後まで本稿を読んでくださった自然言語処理分野の研究者の皆様にも，グラフ分析に興味を持っていただければ幸いである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
\bibliography{24refs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{山崎　翔平}{%
2019年大阪大学工学部電子情報工学科卒業．
2021年大阪大学大学院情報科学研究科マルチメディア工学専攻博士前期課程修了．
現在，株式会社野村総合研究所所属．
}
\bioauthor{佐々木勇和}{%
2014年大阪大学大学院情報科学研究科マルチメディア工学専攻博士後期課程修了．
博士（情報科学）．
現在，大阪大学大学院情報科学研究科マルチメディア工学専攻助教．
}
\end{biography}


\end{document}

