\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
% user definition
\usepackage[ruled,vlined]{algorithm2e}
\usepackage{algorithmic}
\usepackage{bm}
\usepackage{amsmath}
\usepackage{bbm}
\usepackage{multirow}
\usepackage{multicol}
\usepackage{colortbl}
\newcommand{\pkg}[1]{\textsf{#1}}
\newcommand{\code}[1]{\texttt{#1}}
\newcommand{\comment}[1]{\textcolor{red}{#1}}
%%%%\newcommand\blfootnote[1]{%
%%%%  \begingroup
%%%%  \renewcommand\thefootnote{}\footnote{#1}%
%%%%  \addtocounter{footnote}{-1}%
%%%%  \endgroup
%%%%}
\newcommand{\tref}[1]{表~\ref{#1}}
\newcommand{\eref}[1]{(\ref{#1})~式}
\newcommand{\fref}[1]{図\ref{#1}}
\newcommand{\ssref}[1]{\ref{#1}~節}
\newcommand{\sssref}[1]{\ref{#1}~節}
\newcommand{\appendixref}[1]{付録~\ref{#1}~}
\newcommand{\sref}[1]{\ref{#1}~章}
\newcommand{\algref}[1]{アルゴリズム~\ref{#1}}
\renewcommand{\algorithmicrequire}{\textbf{Input:}}
\renewcommand{\algorithmicensure}{\textbf{Output:}}
\renewcommand{\algorithmcfname}{アルゴリズム}
\newcommand{\argmax}{\mathop{\mathrm{arg~max}}\limits}
\newcommand{\argmin}{\mathop{\mathrm{arg~min}}\limits}
\newcommand{\entitylabel}[1]{\textsc{#1}}
\newcommand{\relationlabel}[1]{\textsc{#1}}
\newcommand{\entity}[1]{\textit{#1}}
% relation
\def\nextope{\relationlabel{Next\_Operation}}
\def\propof{\relationlabel{Property\_Of}}
\def\numberof{\relationlabel{Number\_Of}}
\def\conditionof{\relationlabel{Condition\_Of}}
\def\amountof{\relationlabel{Amount\_Of}}
\def\descriptorof{\relationlabel{Descriptor\_Of}}
\def\apparatusof{\relationlabel{Apparatus\_Of}}
\def\typeof{\relationlabel{Type\_Of}}
\def\brandof{\relationlabel{Brand\_Of}}
\def\apparatusattrof{\relationlabel{Apparatus\_Attr\_Of}}
\def\recipeprecursor{\relationlabel{Recipe\_Precursor}}
\def\recipetarget{\relationlabel{Recipe\_Target}}
\def\participantmat{\relationlabel{Participant\_Material}}
\def\solventmat{\relationlabel{Solvent\_Material}}
\def\atmosphericmat{\relationlabel{Atmospheric\_Material}}
\def\corefof{\relationlabel{Coref\_Of}}
\def\none{\relationlabel{None}}
% entity
\def\ope{\entitylabel{Operation}}
\def\mat{\entitylabel{Material}}
\def\propmisc{\entitylabel{Property-Misc}}
\def\nonmat{\entitylabel{Nonrecipe-Material}}
\def\propunit{\entitylabel{Property-Unit}}
\def\num{\entitylabel{Number}}
\def\amountunit{\entitylabel{Amount-Unit}}
\def\conditionunit{\entitylabel{Condition-Unit}}
\def\conditionmisc{\entitylabel{Condition-Misc}}
\def\amountmisc{\entitylabel{Amount-Misc}}
\def\matdescriptor{\entitylabel{Material-Descriptor}}
\def\apparatusdescriptor{\entitylabel{Apparatus-Descriptor}}
\def\apparatus{\entitylabel{Apparatus}}
\def\synthapparatus{\entitylabel{Synthesis-Apparatus}}
\def\charaapparatus{\entitylabel{Characterization-Apparatus}}
\def\proptype{\entitylabel{Property-Type}}
\def\conditiontype{\entitylabel{Condition-Type}}
\def\apparatusproptype{\entitylabel{Apparatus-Property-Type}}
\def\apparatusunit{\entitylabel{Apparatus-Unit}}
\def\brand{\entitylabel{Brand}}
\def\r{\entitylabel{Reference}}
\def\meta{\entitylabel{Meta}}
\def\after{\relationlabel{After}}
\def\before{\relationlabel{Before}}
\def\equal{\relationlabel{Equal}}
\def\vague{\relationlabel{Vague}}
\def\damyfig{\rule{50mm}{50mm}}
\newcommand{\redcell}[2]{\multicolumn{1}{>{\columncolor[rgb]{1.0, 0.90, 0.90}}#1}{#2}}
\newcommand{\greencell}[2]{\multicolumn{1}{>{\columncolor[rgb]{0.90, 1.0, 0.90}}#1}{#2}}
\newcommand{\bluecell}[2]{\multicolumn{1}{>{\columncolor[rgb]{0.90, 0.90, 1.0}}#1}{#2}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{9}{30}
\revised{2023}{1}{14}
\accepted{2023}{2}{21}

\setcounter{page}{557}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{文書単位関係抽出における抽出済みの関係候補を辺とした\\関係グラフの辺編集}
\jauthor{牧野　晃平\affiref{Author1} \and 三輪　　誠\affiref{Author1} \and 佐々木　裕\affiref{Author1}}
\jabstract{%
本研究では，文書中の用語間の関係を抽出する文書単位関係抽出において，既存の抽出手法に対して関係間の相互作用を考慮するために，用語を節点，抽出済みの関係候補を辺とする関係グラフを構築し，その関係グラフの辺を編集する逐次的な辺編集モデルを提案する．近年，文書単位関係抽出の研究では，深層学習モデルが利用されている．しかしながら，複数のモデルを組み合わせる方法は明確ではなく，研究ごとに実装方法も異なるため，付加的に新たな観点を導入するのは難しい．そこで，異なる観点として関係間の相互作用を考慮できるように，既存手法で抽出済みの関係候補を編集するタスクを提案する．材料合成手順コーパスにおいて，関係がついていない状態から編集するとF値79.4\%の性能の逐次的な辺編集モデルで，ルールベース抽出器の出力を編集すると，性能は80.5\%から86.6\%に向上した．一方で，時間関係抽出の標準的なベンチマークであるMATRESコーパスで最先端の深層学習モデルの抽出結果を編集して評価した場合では性能は向上しなかった．これらの差を解析したところ，編集するモデル単体で抽出可能な関係と編集前の関係が異なることが性能の向上に寄与する大きな要因であることを明らかにした．%
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の一部はFindings of the Association for Computational Linguistics: ACL-IJCNLP 2021\cite{makino-etal-2021-neural}および言語処理学会第27回年次大会\cite{makino-2021-nlp}で報告したものです．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{文書単位関係抽出，関係グラフ，辺編集}
\etitle{Editing Relation Candidate Edges of Relation Graphs for Document-Level Relation Extraction}
\eauthor{Kohei Makino\affiref{Author1} \and Makoto Miwa\affiref{Author1} \and Yutaka Sasaki\affiref{Author1}} 
\eabstract{%
This paper proposes a sequential edge-editing model for the document-level relation extraction that edits edges in a relation graph, where nodes are entities and edges are the output relations as candidates, to consider the interaction among relations. Deep learning models have been mainstream in recent document-level relation extraction research. However, adding new features to the model is difficult because there is no straightforward method for combining multiple models, and their implementation is different. To tackle this, we introduce the task of editing the relation candidates extracted by existing methods to take into account the interactions among relations. For the material synthesis procedure corpus, our proposed model revised the output of the rule-based extractor from 80.5\% to 86.6\% on F-scores, where a sequential edge-editing model performed 79.4\% when extracting from scratch. On the other hand, performance did not improve for the MATRES corpus, the standard benchmark for temporal relation extraction, when the model edited the output of the state-of-the-art deep learning models. Analysis of these differences revealed that the significant factor contributing to the performance improvement is the difference between the extractable relations in the editing model from scratch and the relations before editing.
}
\ekeywords{Document-level Relation Extraction, Relation Graph, Edge Editing}

\headauthor{牧野，三輪，佐々木}
\headtitle{文書単位関係抽出における抽出済みの関係候補を辺とした関係グラフの辺編集}

\affilabel{Author1}{豊田工業大学}{Toyota Technological Institute}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{序論}
\label{sec:intro}

ニュース記事や論文などの自然言語で記述された情報は構造化されていないため，記述された情報を認識しなければ情報として利用できない．これを解決するために，文章中の情報を計算機で扱いやすい形式に構造化する情報抽出の研究が盛んに行われている\cite{hendrickx-etal-2010-semeval,uzzaman-etal-2013-semeval-tempeval,yamaguchi-etal-2020-sccomics}．情報抽出の中でも，文章中の用語間の関係性を認識する関係抽出は，網羅的に情報を扱うことができるため，盛んに研究されている\cite{hendrickx-etal-2010-semeval,zhang-etal-2017-position-relation-sentence-tacred}．

近年の研究では，深層学習の台頭によって，今まで文内の用語間の関係性しか扱えなかった状況から，文をまたいだ用語同士の関係性を対象とした文書単位関係抽出への拡張が進んでいる\cite{li-etal-2016-cdr,yao-etal-2019-docred}．
以前の関係抽出の研究の多くでは，一文中に含まれる用語ペアの間の関係性のみを対象として抽出する文単位関係抽出に焦点が当てられていた\cite{zeng-etal-2014-relation,miwa-bansal-2016-end}．しかし，これらは文をまたいだ用語間の関係である文間の関係が無視されている．そこで，文間の関係も抽出可能とした文書単位関係抽出へ拡張して一般化されている．

文書単位関係抽出の研究は広く行われているが，深層学習による関係抽出の研究では後発の研究が独立していて，先行研究のモデルを同時に利用するのが難しい．例えば，\citeA{zhou-2021-atlop-relation-cdr-docred}は事前学習モデル\cite{devlin-etal-2019-bert,liu2019roberta}による関係抽出をしたが，用語の関係性を潜在的なグラフを作成した\citeA{nan-etal-2020-reasoning-lsr}の後発の研究にもかかわらず，用語間の関係性を考慮した構造をモデルに導入していない．このように先行研究の利点が後続の研究で利用しにくい要因の一つは，深層学習モデルの開発において，モデル構造などの変更をする際に方法が明確ではないことである．一般的に，深層学習モデルを変更するためには，既存のモデル構造を活かしてモデルに新たな点を追加し，チューニングをする必要があるため，開発のコストが高い．実装も画一的なルールが整備されておらず，それぞれの研究で異なるため，モデルの再実装が必要となり，容易に先行研究の利点を導入できない．

また，既存の関係抽出の研究では，関係間の相互作用を明示的に考慮できていないという問題点がある．文書単位関係抽出では，一つの文書から抽出された複数の関係同士に関連がある場合がある．例えば，材料合成手順の抽出においては，材料に対する操作や条件の関連性が影響し合い，材料に対する条件が操作に対して影響を及ぼしあう\cite{mysore-nipsws-2017,mysore-et-al-2019-olivetti-corpus,makino-2022-extracting-inorganic-access}．また，イベントの時刻歴を時間関係によって表現して抽出する時間関係抽出では，事前の事前のイベントは事前のイベントである，というような時間的な制約が存在する\cite{pustejovsky2003timebank,uzzaman-etal-2013-semeval-tempeval,cassidy-etal-2014-annotation-timebank-dense,Natsuda-2015-jnlp-relation-interaction-doc,ning-etal-2018-matres}．本稿ではこのような関係同士で及ぼしあう影響を関係間の相互作用と呼ぶ．関係間の相互作用を明示的に扱うために，\citeA{fu-etal-2019-graphrel}は文単位の関係抽出において，複数ステップで関係を抽出し，前ステップで抽出した関係を利用するGraphRelを提案した．しかし，GraphRelでは単語を節点としたグラフを構成するため，文書単位に拡張するのは計算コストが大きくなり困難である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia11f1.pdf}
\end{center}
\hangcaption{関係候補編集タスク．文章と用語から既存の関係抽出器で関係候補を作成し，その結果を付加的に利用して関係を編集し，最終的な関係を決定する．図中の青い矩形は用語，その間の矢印は関係，異なる種類の矢印は異なる関係クラスを示す．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで本研究では，\fref{fig:overview}のように，文書のみでなく，既存の関係抽出器で既に抽出された関係を関係候補として利用し，全ての関係を分類し直して編集するタスクとして，関係候補編集タスクを提案し，このタスクのもとで関係間の相互作用を考慮する．関係候補編集タスクでは，既存研究の知見を利用するために，抽出結果のみを利用して，モデルを統合せずに後発の研究で既存研究の特徴を考慮する．そして，このタスク設定の下で，用語を節点，抽出済みの関係候補を辺とした関係グラフを構築して，グラフ畳み込みネットワーク (Graph Convolutional Network; GCN) \cite{kipf2017gcn}を利用することで関係間の相互作用を考慮する，逐次的な辺編集モデルを提案する．具体的には，既存手法によって抽出した関係によって関係グラフを初期化し，全ての辺に対してヒューリスティクスによって順序をつけ，逐次的に一度ずつ編集する．編集時には文脈表現に加えて関係グラフの表現を導入することで，その編集ステップ時点での関係間の相互作用を考慮する．これらの提案の有効性は，材料合成手順コーパス\cite{mysore-et-al-2019-olivetti-corpus}とMATRESコーパス\cite{ning-etal-2018-matres}に対する抽出性能によって評価する．そして，モデルの挙動を解析して，このタスク設定とモデルで性能を向上させられる条件を明らかにする．

本研究の貢献は以下の点である．
\begin{itemize}
    \item 文書単位関係抽出において，抽出済みの関係を再利用し，編集するタスクとして，関係候補編集タスクを提案する．
    \item 既存手法で抽出した関係を利用した関係グラフを構築し，そのグラフの全ての辺を逐次的に編集する逐次的な辺編集モデルによって，抽出済みの関係に対して関係間の相互作用を考慮する，逐次的な辺編集を提案する．
    \item 関係候補編集タスクにおいて，編集で性能を向上させるための条件が，編集するモデル単体で抽出できる関係と編集前の関係に差分があることであることを明らかにする．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関係抽出}
\label{ssec:related-re}

関係抽出には文内の用語ペア間の関係のみを抽出の対象とした文単位関係抽出と，文をまたいだ用語ペア間の関係も含めて抽出の対象とした文書単位関係抽出がある．
以前の関係抽出では，文単位関係抽出に焦点が当てられていた．これまでに様々な抽出が試みられており，カーネル法や特徴量ベースの抽出\cite{zelenko2003kernel,miwa-sasaki-2014-modeling-joint-relation-close-first}，文脈に着目するために系列をモデル化した抽出\cite{zeng-etal-2014-relation,wang-etal-2016-relation-sentence,zhang-etal-2017-position-relation-sentence-tacred}や，依存構造木などのグラフ構造を導入した抽出\cite{miwa-bansal-2016-end,zhang-etal-2018-graph}，Transformerベースのモデルを利用した抽出\cite{alt_improving_2019,baldini-soares-etal-2019-matching-bert-relation-sentence}が行われてきた．
しかしながら，これらの手法では，用語のペアを分類することに重きを置いており，複数の関係同士の関係をモデル化できていない．

このような中で\citeA{fu-etal-2019-graphrel}は，関係間の相互作用を考慮するために，節点を用語，辺を関係とした関係グラフを構成して，GCNによって作成したグラフ表現を活用することで，関係間の相互作用を考慮した文単位関係抽出を実現した．ただ，この手法では，節点を文内の単語単位で作成しており，文をまたぐことを想定していないため，文書単位関係抽出への拡張は容易ではない．


文単位の関係抽出では文をまたいだ関係が抽出の対象外となってしまうため，近年では文書内の全ての用語が関係を持ちうる条件で抽出をする文書単位の関係抽出の研究が盛んになっている\cite{li-etal-2016-cdr,verga-etal-2018-bran,yao-etal-2019-docred}．多くの文書単位の関係抽出では，文単位の関係抽出と同様の方法だと離れて記述された語の関係性を考慮するのが困難であるため，節点を文書中の単語として，文をまたぐように付与された依存構造などの辺を付与した文書単位のグラフを作成して抽出を試みている．この文書単位のグラフを利用して，文書全体で単語同士の関係性を考慮する\cite{quirk-poon-2017-distant-document-relation-graph}．\citeA{christopoulou-etal-2019-connecting}はグラフとして，単語節点だけでなく，用語や文の代表節点など，複数の段階で節点を作成し，人手のルールで辺を接続したグラフを利用して文書内の単語同士の関係性を考慮した．\citeA{nan-etal-2020-reasoning-lsr}はグラフを潜在変数とすることで，関係抽出に適したグラフを構築して抽出を試みた．具体的には，関係抽出の学習によってEnd-to-Endに学習される潜在的なグラフの表現をGCNで作成し，実際の関係ではなく潜在的な関係性の相互作用をモデル化した．このように，文書単位のグラフを作成して関係を抽出する研究は盛んに行われているが，関係間の相互作用を明示的に考慮してグラフを作成して分類を試みた研究は少ない\cite{li-etal-2020-graph-relation-relation-interaction}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{グラフ畳み込みネットワーク}
\label{ssec:related-gcn}

GCNはグラフ構造を扱うためのニューラルネットワーク構造で，辺に沿って隣接節点に節点表現を伝播させてグラフの構造を考慮した節点の表現を作成するモデルである\cite{kipf2017gcn}．
節点集合を$\mathcal{V}=\{v_1,v_2,\ldots, v_{|\mathcal{V}|}\}$，辺集合を$\mathcal{E}$としたグラフ$G(\mathcal{V},\mathcal{E})$を入力として，$i$番目の節点の表現を$\bm x_i \in \mathbbm{R}^{D_{\mathrm{in}}}$とすると，GCNによって畳み込んだ後の表現$\bm x'_i \in \mathbbm{R}^{D_{\mathrm{out}}}$は\eref{eq:gcn}のように表せる．
\begin{equation}
    \bm x'_i = \sigma\left(\bm \Theta^\top \sum_{(i,j) \in \mathcal{E}} \frac{\bm x_j}{\sqrt{\hat d_{jj} \hat d_{ii}}}\right)
    \label{eq:gcn}
\end{equation}
ただし，辺集合$\mathcal{E}$の要素は$v_i, v_j$が隣接する場合に$(i,j) \in \mathcal{E}$となるようにし，$\hat d_{ij}$は自己ループを加えた隣接行列に対する次数行列の$i$行$j$列要素，GCNの重みは$\bm \Theta \in \mathbbm{R}^{D_\mathrm{out} \times D_\mathrm{in}}$である．
GCNは一層では隣接節点しか考慮できないが，複数層積み重ねて繰り返し節点表現を伝播させることで，複数ホップ離れた節点を考慮した表現を獲得することができる．

関係グラフ畳み込みネットワーク (Relational Graph Convlolutional Network; RGCN) は，複数種類の役割の辺を持つ異種グラフを扱えるように拡張したGCNで，知識グラフのような辺毎に異なる意味を持つグラフを扱うために提案された\cite{schlichtkrull-2018-r-gcn}．RGCNではパラメタを辺の種類ごとに用意することで，異種グラフとして表現を作成する．まず辺の表記を拡張するために，辺のクラスの集合を$\mathcal{C}$として，辺の集合の要素は$v_i, v_j$間にクラス$c$の辺がある場合に$(i,c,j) \in \mathcal{E}$となるようにして，辺にクラスをつける．それぞれの辺のクラス$c$に対してパラメタ$\bm \Theta_c  \in \mathbbm{R}^{D_\mathrm{out} \times D_\mathrm{in}}$を用意すると，RGCNは\eref{eq:rgcn}のように表せる．
\begin{equation}
    \bm x'_i = \sigma \left(\bm \Theta^\top_{\mathrm{self}} \bm x_i + \sum_{(i,m,j) \in \mathcal{E}} \bm \Theta_c^\top \bm x_j \right)
    \label{eq:rgcn}
\end{equation}
ただし，$\Theta_{\mathrm{self}} \in \mathbbm{R}^{D_\mathrm{out} \times D_\mathrm{in}}$は自己ループを別の辺の種類として扱うための重みである．このように，RGCNは辺ごとに異なる重みを利用して異種グラフを扱うことができるように拡張されたGCNである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関係候補編集タスク}
\label{sec:task}

本研究では，既存研究で抽出された情報を後発の研究でモデルの入力として扱う出力編集タスクの設定を採用することで，少ない実装上の負担で以前の研究の利点を活かせるようにする．関係抽出の研究は以前から様々な方策で行われているが，近年の研究ではそれぞれの研究で独立して深層学習モデルを作成しており，後続の研究で以前の研究を利用しにくい現状がある．これは，研究ごとにモデルの実装が異なり，モデルの構造も異なるためで，それらを集約した実装をするのは再実装が必要となって容易ではない．更にそれぞれの方策を組み合わせて性能を向上させるには多大なチューニングコストがかかる．これらの問題を解決するために，以前の研究を容易に利用可能な方策が必要となる．
そこで，抽出済みの関係を関係の候補として入力に利用して再度全ての関係を分類し直すことで，後続の研究は既存手法で抽出できている部分を前提として，正しい関係は入力をそのまま，誤った関係は修正するように出力するモデルを作成すればよくなる．このタスク設定では，既存手法で導入された部分をモデルに直接導入せずに，既存手法の視点を間接的に導入できる．

文書$\mathrm{doc}$と文書に含まれる用語集合$\mathcal{V}$を受け取り，関係$R \in \mathcal{C}^{|\mathcal{V}| \times |\mathcal{V}|}$を返す従来の関係抽出器$\mathrm{RE}$は，\eref{eq:re}のように表現できる．
\begin{equation}
    R = \mathrm{RE}(\mathrm{doc}, \mathcal{V})
    \label{eq:re}
\end{equation}
関係$R$の要素$R_{ij} \in \mathcal{C}$は$v_i$と$v_j$の用語間の関係，$\mathcal{C}$は関係なしのクラス$\bar c$を含めた関係クラス集合を示している．
出力編集タスクでは，文章から直接抽出する設定で抽出した関係$R^{\mathrm{in}} = \mathrm{RE}(\mathrm{doc}, \mathcal{V})$を入力として受け取って，出力となる関係$R^{\mathrm{out}}$を抽出する編集モデル$\mathrm{Edit}$が開発の対象となる．
\begin{equation}
    R^{\mathrm{out}} = \mathrm{Edit}(\mathrm{doc}, \mathcal{V}, R^{\mathrm{in}})
\end{equation}
このように出力編集タスクでは，関係候補を介して，モデルを統合することなく既存手法の知識を間接的に利用した抽出ができる．なお，関係候補編集タスクは$R^{\mathrm{in}}$の全ての要素を関係なし$\bar c$とすると，関係候補を与えない通常の関係抽出と同様の設定となる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia11f2.pdf}
\end{center}
\caption{逐次的な辺編集モデル}
\label{fig:model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{逐次的な辺編集モデル}
\label{sec:method}

本章では，文書単位の関係抽出を関係候補編集タスクとして扱い，既存の関係抽出結果に対して関係間の相互作用を導入する．そのために，\fref{fig:model}に示したような，関係候補編集タスク設定のもとで，関係間の相互作用を考慮した深層学習モデルによって関係グラフの辺を編集する逐次的な辺編集モデルを提案する．本提案モデルにおける$\mathrm{Edit}$に相当する逐次的な辺編集モデルは，\ssref{ssec:seq-edge-editor}の逐次的な辺編集の手続きで\ssref{ssec:edge-editor}の辺編集器$\mathrm{EE}(\mathrm{doc}, \mathcal{V}, R^{\mathrm{in}})$を適用したものである．
辺編集器には，文章に加えて抽出済みの関係から作成した関係グラフを入力し，事前学習モデルによる文脈の表現とRGCNによるグラフの表現をもとにして，関係間の相互作用を考慮した辺の分類をする．そして，分類した結果で関係を上書きして編集を行う．その後，先に編集された関係で作成した関係グラフを再度入力して次の辺を編集することで，分類しにくい関係を分類する際に分類が容易な関係の情報を利用して効果的に編集できるようにする．編集時の順序はヒューリスティクスによって，編集する辺に分類が簡単な順とする．この手続きで，辺編集器によって全ての節点ペア間の辺を逐次的に編集して，最終的に全ての関係を一度ずつ分類して決定する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{辺編集器}
\label{ssec:edge-editor}

まず辺同士の相互関係を考慮して辺を編集する深層学習ベースの辺編集器$\mathrm{EE}(\mathrm{doc}, \mathcal{V}, R^{\mathrm{in}})$について説明する．辺編集器はBERT \cite{devlin-etal-2019-bert}やRoBERTa \cite{liu2019roberta}のような事前学習モデルとRGCNによって，入力された関係候補$R^{\mathrm{in}}$で作成した関係グラフの表現を作成する．そして，その表現をもとに節点ペアを分類して，分類結果で辺を上書きして編集後の関係$R^{\mathrm{EE}}$を出力する．
具体的には，(1) 事前学習モデルによって用語の文脈表現を作成して節点の初期表現とし，(2) GCNを利用して入力グラフの構造情報を埋め込んだ節点の表現を作成し，(3) 節点ペアの表現と編集前の辺の表現から辺を分類して編集後のグラフを作成する，という3ステップで行う．なお，入力された関係候補$R^{\mathrm{in}}$は表現を作成するためのみに利用している．

まず，用語の文脈表現は事前学習モデルによって得られるトークンの表現を集約して作成し，節点の初期表現$\bm V^0 = [\bm v_1^0, \bm v_2^0, \ldots, \bm v_{|\mathcal{V}|}^0]$とする．文長$T$の入力文書$\mathrm{doc}$を事前学習モデルによって埋め込んだトークンの表現$\bm X=[\bm x_1, \bm x_2, \ldots, \bm x_T]  ( \bm x_i \in \mathbbm{R}^{D_{\mathrm{BERT}}})$を，重み$\bm W_r \in \mathbbm{R}^{D_{\mathrm{BERT}} \times D}$によって線形変換し，用語の始点のトークンと終点のトークンとその間の表現を結合して節点の初期表現を作成する．結合した表現は，重み$\bm W_{\mathrm{ent}} \in \mathbbm{R}^{3D \times D}$をパラメタとする結合層に入力する．
$i$番目の節点の始点と終点をそれぞれ$s_i$と$e_i$として，節点の初期表現は\eref{eq:pool}のように作成する．
\begin{align}
    \bm X' &= [\bm W_r^\top \bm x_1, \bm W_r^\top \bm x_2, \ldots \bm W_r^\top \bm x_T] \\
    \bm v_i^0 &= \bm W_{\mathrm{ent}}^\top [\bm x'_{s_i}; \mathrm{Average}([\bm x'_{s_{i}}, \bm x'_{s_{i}+1}, \ldots, \bm x'_{e_{i}}]); \bm x_{e_i}'] \label{eq:pool}
\end{align}

次に関係間の相互作用をグラフ全体で考慮するため，RGCNによって節点の表現を作成する．関係ラベルの違いを捉えるために，グラフ表現は\ssref{ssec:related-gcn}で述べた複数種類の辺を持つ異種グラフを扱えるRGCNによって作成する．RGCNは$L$層積み重ね，$L$ホップまでの関係間の相互作用を考慮した表現を作成する．$\bm V^0$と$\mathcal{E}^{\mathrm{in}} = \{(i, R_{ij}, j) | R_{ij} \in \mathcal{C} \setminus \bar c \}$を入力としてRGCNを適用し，$L$層目の表現を$\bm V^L$として，分類に利用する．また，RGCNの各層をまたぐように残差接続\cite{he-2016-resnet}を追加する．最終的な節点の表現$\bm v'_i$は，文脈から作成した初期表現を残差接続として足して，$\bm v'_i = \bm v_i^L + \bm v_i^0$を分類に利用する．

最後に，$i$番目と$j$番目の節点ペア間の関係を，その表現$\bm u_{ij} \in \mathbbm{R}^{2D+D_a}$をもとに分類する．$\bm u_{ij}$は\eref{eq:u}のように，RGCNの$L$層目の節点ペアの表現，編集前の辺のクラスを埋め込んだ$\bm a_{ij}=\mathrm{Embed}(E_{ij}) \in \mathbbm{R}^{D_a}$を結合した表現とする．$\bm W_{\mathrm{head}} \in \mathbbm{R}^{D \times D}$と$\bm W_{\mathrm{tail}} \in \mathbbm{R}^{D \times D}$はそれぞれ始点と終点に対する表現を作成するための重みである．
\begin{equation}
    \bm u_{ij} = [\mathrm{ReLU}(\bm W_{\mathrm{head}}^\top \bm v'_i); \mathrm{ReLU}(\bm W_{\mathrm{tail}}^\top \bm v'_j); \bm a_{ij}]
    \label{eq:u}
\end{equation}
節点ペア間の表現$\bm u_{ij}$を元に分類するための重みを$\bm W_{\mathrm{class}} \in \mathbbm{R}^{(2D+D_a) \times |C|}$とすると，$v_i,v_j$間の節点間の辺がクラス$c$である予測確率$p_{ij,c}$とそのロジット$\bm z_{ij} \in \mathbbm{R}^{|\mathcal{C}|}$は\eref{eq:prob}のように表現できる．
\begin{align}
    \bm z_{ij} &= \bm W_{\mathrm{class}}^{\top} \bm u_{ij} \\
    p_{ij,c} &= \frac{\exp(z_{ij,c})}{\sum_{c' \in C} \exp(z_{ij,c'})}
    \label{eq:prob}
\end{align}
確率が最大となったクラスを選択することで，編集後の関係$R_{ij}^{\mathrm{EE}}$を決定する．
\begin{align}
    R_{ij}^{\mathrm{EE}} &= \argmax_{c \in C} p_{ij,c} \label{eq:classify} 
\end{align}
このようにして，辺編集器$\mathrm{EE}$は文脈の表現と入力された関係グラフの構造表現を合わせて分類した結果を出力する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{逐次的な辺編集}
\label{ssec:seq-edge-editor}

\ssref{ssec:edge-editor}の辺編集器を利用し，ヒューリスティクスに基づいて分類しやすい用語ペアから順にその間の辺を編集し，逐次的に関係を確定する．分類しやすい順に編集することで，分類が難しいペア間の分類に，既に編集された近くに記述された辺の情報を利用する\cite{miwa-sasaki-2014-modeling-joint-relation-close-first}．逐次的な辺編集の詳細な手続きは\algref{alg:sequential-editing}に示した．このアルゴリズムは関係候補編集タスクにおける編集モデル$\mathrm{Edit}$に相当する．
逐次的な辺編集は文書$\mathrm{doc}$，用語集合$\mathcal{V}$，関係候補$R^{\mathrm{in}}$を受け取って，そのグラフの全ての節点ペア間の辺を一度ずつ編集すると完了する．編集は辺編集器によって行われ，各編集ステップで編集された辺でグラフの辺を更新し，そのグラフを再度入力して編集を繰り返す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 1
\begin{figure}[b]
\begin{center}
\begin{minipage}{0.8\textwidth}
\begin{algorithm}[H]
\caption{辺編集器$\mathrm{EE}$を用いた逐次的な辺編集$\mathrm{Edit}$}
\label{alg:sequential-editing}
\begin{algorithmic}
\REQUIRE $\mathrm{doc}$：文書，$\mathcal{V}$：用語集合，$R^{\mathrm{in}}$：関係候補
\ENSURE $R^{\mathrm{out}}$
\STATE $R^{\mathrm{out}} \Leftarrow R^{\mathrm{in}}$
\WHILE{$h~\mathrm{in}~\mathrm{range}(1, h_{max})$}
\STATE $R^{h} \Leftarrow \mathrm{EE}(\mathrm{doc}, \mathcal{V},R^{\mathrm{out}})$
\STATE $\mathcal{P}_h \Leftarrow \{(i,j) | \min (h_{ij}, h_{max}) = h\}$
\WHILE{$(i, j) ~\mathrm{in}~\mathcal{P}_h$}
\STATE $R^{\mathrm{out}}_{ij} \Leftarrow R_{ij}^{h}$
\ENDWHILE
\ENDWHILE
\end{algorithmic}
\end{algorithm}
\end{minipage}
\end{center}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

編集の順序は，用語ペアが記述された距離が近い順をヒューリスティクスとして採用する\cite{miwa-sasaki-2014-modeling-joint-relation-close-first}．用語ペア$(v_i, v_j)$間の距離$h_{ij}$は文単位の距離に設定して，同じ文内に記述されたペア間の距離を1，隣接文では2と離れると可算されるように定義する．同一距離に記述されたペアは同時に編集する．また，最大距離$h_{max}$を超えた距離に記述された用語ペアは同時に編集する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{既存手法との接続}
\label{ssec:method-connection}

\sref{sec:task}で提案した関係候補編集タスクの下で，\ssref{ssec:seq-edge-editor}の逐次的な辺編集モデルで抽出済みの関係を利用する方法を述べる．
既存手法との接続は，初期の関係候補$R^{\mathrm{in}}$を既存手法で抽出した関係に置き換えて実現する．このように逐次的な辺編集モデルは，事前に既存手法で予測した結果のみを利用するため，既存手法と編集モデルの学習は切り離されており，追加のモデルの実装を必要としない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{訓練}
\label{ssec:training}

モデルの訓練は，最終的に出力された関係の予測$R^{\mathrm{out}}$に対する対数尤度を最大化するように行う．逐次的な辺編集では，辺を持ちうる全節点ペアを複数ステップに分けて一度ずつ分類し，各ステップの結果を統合したものを最終的な予測としているため，逐次的な辺編集の出力$R^{\mathrm{out}}$が正解に近づくように最適化すればよい．
各ステップの節点$v_i,v_j$間の辺のクラス$c$に対する予測確率を$p_{ij,c}^h$，正解の$v_i,v_j$間の関係を$R^{gold}_{ij}$とすると，損失$L$は\eref{eq:loss}のように表せる．
\begin{equation}
    L = - \sum_{h = 1}^{h_{max}} \sum_{(i,j) \in \mathcal{P}_h} \sum_{c \in \mathcal{C}}  \mathbbm{1}[R^{gold}_{ij} = c] \log p^h_{ij,c}
    \label{eq:loss}
\end{equation}
ただし，$\mathbbm{1}[\cdot]$は括弧内の条件を満たせば1，それ以外は0を返す関数，$\mathcal{P}_h$は\algref{alg:sequential-editing}中で使用した距離$h$にある用語ペアの集合である．この損失をデータ全体で最小化するようにモデルを最適化する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価}
\label{sec:eval}

逐次的な辺編集モデルの有効性を評価するために，材料合成手順のフローグラフを抽出するタスクと時間関係抽出タスクに対して適用し，その抽出性能を確認する．\ssref{ssec:eval-setting}の設定で材料合成手順コーパスに対する評価（\ssref{ssec:eval-material}）とMATRESコーパスに対する評価（\ssref{ssec:eval-matres}）を行う．文書単位関係抽出のベンチマークではDocREDコーパス\cite{yao-etal-2019-docred}やBioCreative V CDRコーパス\cite{li-etal-2016-cdr}が一般的であるが，このようなコーパスを用いずにこれらのコーパスを利用する理由は，一つの用語に複数の関係がついていて，密に関係が付与されており，関係グラフにしたときに多くの用語がつながっている状況になるためである．用語が関係でつながらない場合では，本提案手法で利用しているGCNがうまく動作しなくなる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共通の評価設定}
\label{ssec:eval-setting}

提案した逐次的な辺編集モデルを関係候補編集タスクとして評価するための設定を述べる．モデルの最適化にはAdam \cite{kingma-2015-adam}を用いた．提案モデルでは文書単位で事前学習モデルを動かさなければならないため，GPUのメモリに載るように，バッチサイズは1とした．モデルで利用する事前学習モデルは，実験的にラージサイズを利用すると性能が低下したため，ベースサイズのRoBERTa \cite{liu2019roberta}を利用する．モデル自体の抽出性能を確認するために，$\forall i,j; R_{ij} = \bar c $として入力のグラフの辺を空とした場合（以下，スクラッチと呼ぶ）に対する抽出性能も同時に確認する．スクラッチでは入力の関係が全て関係なしとなる部分のみが変更点で，その状態から全ての関係を編集する．つまり，最初の編集ステップでは文脈の表現のみで分類が行われ，その後のステップではそのステップの時点で抽出されている関係間の相互作用を考慮した表現を利用した分類になる．
評価には3つの異なるシード値で実験したときの関係分類に対するF値 [\%]の平均値を利用する．評価にはチューニングで得られたハイパーパラメタで学習した際に，開発データに対して最高の性能が得られた時点のモデルを利用する．モデルの学習時には正則化のためにドロップアウト\cite{srivastava-2014-dropout}を導入する．ドロップアウトは$\bm X$と出力層の前の$\bm u_{ij}$のそれぞれに対して適用する．

ハイパーパラメタチューニングはOptuna \cite{akiba-etal-2019-optuna}を用いて，枝刈りされたものも含めて1,000回の試行で開発データに対するF値が最大となるパラメタを探索した．チューニングは材料合成手順コーパスとMATRESコーパス両者それぞれに対して行い，パラメタのサンプリングには木構造Parzen推定\cite{bergstra-2011-tpe-sampler}，探索の枝刈りアルゴリズムはパラメタを$s=1, \eta=2, r=0.15$としたSuccessive Halvingアルゴリズムを利用した\cite{li-etal-2020-successive-halving}．チューニングは複数の計算機で分散して行い，NVIDIA社のGTX 1080Ti，RTX 3090，Tesla V100，TITAN VのGPUが搭載された計算機を利用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{11table01.tex}%
\caption{ハイパーパラメタチューニングの探索空間と結果}
\label{tab:tuning}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

探索空間とチューニングによって得られたパラメタは\tref{tab:tuning}に示した．チューニングしたパラメタは表の上から，Adamの学習率，RoBERTaに対する学習率，入力と出力に対するドロップアウト率，RGCNの層の数$L$，全体的な隠れ層の次元数$D$，編集前の辺の埋め込み$a_{ij}$の次元数$D_a$とそのドロップアウト率，距離$h$の定義と最大値$h_{max}$の計10種類である．距離の定義は，文単位で計算する場合と，出現順序に合わせて，$m$番目と$m+x$番目に出現した用語間の距離を$x$とする場合の2種類を定義したが，どちらも文単位の距離の方がよいと確認できたため，そちらをモデルに採用した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{材料合成手順コーパスによる評価}
\label{ssec:eval-material}

まず，材料合成手順のフローグラフを抽出するタスクのコーパスである材料合成手順コーパス\cite{mysore-et-al-2019-olivetti-corpus}を使用して，提案手法の有効性を評価する．このコーパスには，密に関係が付与されており，直感的には以前の合成手順が以降の合成手順に影響したり，材料に対する条件が操作に影響を及ぼしたりするなど，関係間に関係を及ぼすようなタグ付けがされている．材料合成手順コーパスには\fref{fig:material-example}の抽出事例のように，材料分野の論文中の材料合成手順が記述された段落に対して，材料や操作，質量などの数値条件やその他の条件付けとなる用語と，その間の関係がフローグラフのようにタグ付けされている．コーパスの分割は公式に提供されているものと同様に，訓練，開発，評価をそれぞれ200，15，15件とした．\tref{tab:mysore-num-relation}には材料合成手順コーパスの関係の統計量と説明を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{11table02.tex}%
\caption{材料合成手順コーパスの関係ラベルとその統計値}
\label{tab:mysore-num-relation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

材料合成手順コーパスに対しては，我々が作成したルールベース抽出器\cite{kuniyoshi-etal-2020-annotating,makino-2022-extracting-inorganic-access}をベースラインとして，その出力をモデルの入力とする．このコーパスに対する抽出手法は，このルールベース抽出器のみしか公開されている抽出手法がないため，この手法に対してのみ評価をする．ルールは文脈を考慮しない単純なもので，主に用語間の単語数や出現順序に基づいていて，一部の関係クラスに対しては辞書との一致をとって関係を抽出する．なお，\citeA{wen-ji-2021-utilizing}や\citeA{zhao-etal-2021-effective}といった手法は時間関係抽出に特化した手法で，適用することはできない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{11table03.tex}%
\caption{材料合成手順コーパスでの評価（F値 [\%]）}
\label{tab:mysore}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tref{tab:mysore}に示した材料合成手順コーパスに対する性能の評価では，逐次的な辺編集による性能の向上が確認できた．まず，スクラッチとヒューリスティクスによるルールベース抽出器による抽出結果（以下，ルールと呼ぶ）を比較すると，わずかにスクラッチの方が性能が低く，ルールの方が深層学習モデルより高い性能で抽出できた．これは，文脈を考慮せずとも抽出できる関係が多く存在し，事前学習モデルを利用した深層学習モデルでも抽出できない関係があることを示している．
ルールの抽出結果を編集した場合では，ルールと比べて6.4\%ポイント向上しており，編集が効果的に作用している．これは，ルール中のヒューリスティクスを間接的に深層学習モデルに導入できたためで，逐次的な辺編集モデル単体ではルールベース抽出器より性能が低くても，ルールベース抽出器の出力を合わせて利用することで性能が向上した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{MATRESコーパスによる評価}
\label{ssec:eval-matres}

次に，MATRESコーパス\cite{ning-etal-2018-matres}を利用して，他のコーパスに対する評価と最先端のモデルの出力を編集した場合の効果を確認する．材料合成手順コーパスに対する性能評価では，このコーパスのルールベース抽出器の出力に対して，逐次的な辺編集の有効性が示された．他のコーパスにおいて，最先端の深層学習モデルの出力を編集した際の効果を確認するために，MATRESコーパスを使用する．MATRESコーパスは時間関係抽出の標準的なベンチマークとして利用されており，抽出するための手法が多く提案されている\cite{han-etal-2021-econet,wen-ji-2021-utilizing,zhao-etal-2021-effective,mathur-etal-2021-timers}．MATRESコーパスの時間関係抽出では，時間関係の制約を導入する有効性が確認されており\cite{ning-etal-2018-joint-transitivity}，時間的制約として関係間の相互作用が重要となる．

MATRESコーパスには，ニュース記事に対してイベントとなる用語と，その間の時間関係がタグ付けされている．MATRESコーパスの時間関係のラベルは，始点のイベントが終点のイベントの事前であること示す\before{}, 始点のイベントが終点のイベントの事後であること示す\after{},始点のイベントと終点のイベントが同時であること示す\equal{}, 始点のイベントと終点のイベントの時間関係が曖昧であること示す\vague{}の4つのラベルが存在し，これらの関係によってイベントの発生時間が相対的にタグ付けされている．MATRESコーパスでは始点の用語から後方で，文内及び隣接する次の文中に含まれる用語のみが終点の用語となる．そのため，既存研究\cite{ballesteros-etal-2020-severing-smtl}と同様に，時間関係を持つ用語ペアは与えて，時間関係を持ちえない用語ペアを無視する関係分類の設定として，\vague{}の関係を負例とした．データの分割は\citeA{wen-ji-2021-utilizing}と同様に，訓練，開発，評価用データをそれぞれ234，21，20件とした．関係の統計量は\tref{tab:matres-num-relation}に記述した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% tale 4
\begin{table}[b]
\input{11table04.tex}%
\caption{MATRESコーパスの関係ラベルとその統計値}
\label{tab:matres-num-relation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{11table05.tex}%
\caption{MATRESコーパスでの評価（F値 [\%]）}
\label{tab:matres}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

MATRESコーパスに対しては，最先端の手法でソースコードが公開されているもの\cite{zhao-etal-2021-effective,wen-ji-2021-utilizing}に限定し，再現実験によって得た出力をモデルの入力として利用した．\citeA{zhao-etal-2021-effective}は，明示的に時間関係を言及している文を時間関係抽出の遠距離教師データとして収集して利用した．\citeA{wen-ji-2021-utilizing}は，時間関係抽出に特化して，イベントの相対的な時間を予測する手法を提案した．これらのモデルの公開されているソースコードを使用し，その出力を逐次的な辺編集モデルの入力として利用した．

\tref{tab:matres}に示したMATRESコーパスに対する性能評価では，編集前と比べてわずかにF値が上昇した場合はあったものの，ほとんど逐次的な辺編集の効果は見られなかった．\citeA{zhao-etal-2021-effective}に対する場合では，編集前よりも編集後の方が高い性能で抽出できているが，両者ともスクラッチより低い性能であった．\citeA{wen-ji-2021-utilizing}に対しては，編集前はスクラッチよりも高い性能で，編集後にはわずかにF値が上昇したが，有意な差はなく，ほとんど効果はなかった．このように，MATRESコーパスにおいて最先端の深層学習モデルの出力を編集した場合に対しては，材料合成手順コーパスほどの改善が見られず，わずかにF値が上がる場合はあったもののほとんど効果はなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{解析}
\label{sec:analysis}

材料合成手順コーパスで評価した場合には逐次的な辺編集によって性能が向上した一方で，MATRESコーパスに対する評価ではほとんど性能が向上しなかった．MATRESコーパスの編集前が既存の深層学習モデルで得られている最先端の結果で，性能を向上させるのが困難なことを考慮しても，ほとんど性能が変化しない要因があると考えられる．
そこで，これらの評価の実験の間で異なる点を洗い出し，関係候補編集タスクの設定で効果が得られる条件を明確にする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{編集事例の確認}
\label{ssec:analysis-case-study}

まず編集の特徴を確認するために，実際の編集事例を確認する．材料合成手順コーパスにおけるそれぞれのモデルの抽出結果を\fref{fig:material-example}に示した．それぞれ個別に特徴を確認すると，ルールベース抽出器は用語の出現パターンによって抽出しているため，用語が離れて記述されていても抽出できている関係がある一方で，\entity{SrCO3}・\entity{MoO3}・\entity{Ni}の間の並立の関係が認識できていなかったり，連続していない\entity{prepared}と\entity{mixed}の操作の間で関係をつけてしまったりしている．スクラッチでは離れて記述されている用語同士の関係がうまく抽出できておらず，\entity{SrCO3}・\entity{MoO3}・\entity{Ni}のうち，\entity{Appropreate proportions}と\entity{Ni}の間の関係や操作の順序がうまく抽出できていない．ルール$+$逐次的な辺編集では主にルールベース抽出器とスクラッチで抽出できている関係を合算したような抽出結果となっていて，操作の順序が正しく抽出できており，\entity{prepared}と\entity{mixed}が連続していない操作であることも認識できている．更に，追加で抽出できている関係も確認できた．例えば，\entity{Appropreate proportions}と\entity{SrCO3}・\entity{MoO3}・\entity{Ni}の間の関係を確認すると，ルールベース抽出器でもスクラッチでも抽出できていない\entity{Ni}との間の関係を抽出できている．これは，関係間の相互作用を表現することで，他の関係を介して並立の関係を認識できていると考えられ，逐次的な辺編集の利点が確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia11f3.pdf}
\end{center}
\caption{材料合成手順コーパスの抽出事例}
\label{fig:material-example}
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

MATRESコーパスにおいて\citeA{wen-ji-2021-utilizing}の出力を逐次的な辺編集をした事例は\fref{fig:matres-case-study}に示した．材料合成手順コーパスの抽出結果と比較すると，MATRESコーパスに対してはあまり編集が行われず，編集された関係に明確な法則は確認できなかった．このことから，MATRESコーパスに対しては，逐次的な辺編集で編集するよりも，抽出済みの関係を保持するようにモデルが学習されていることが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia11f4.pdf}
\end{center}
\hangcaption{MATRESコーパスの抽出事例．矢印は編集，括弧内は正解ラベルを表しており，誤って抽出されている部分のみ正解ラベルを記述した．時系列順は時間関係から導き出したもので，数字が少ないほうが先に発生したイベントである．}
\label{fig:matres-case-study}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アブレーション研究}
\label{ssec:ablation}

\sref{sec:eval}の抽出性能の評価で得られた結果が，提案のどの部分の寄与によるものかを解析するため，モデルの機能を変更して性能を確認するアブレーション研究を行う．アブレーション研究では，編集前の関係グラフの影響，編集順序の影響，および関係間の相互作用を考慮する影響を確認する．材料合成手順コーパスとMATRESコーパスの二つのコーパスに対して，それぞれ最も高い性能が得られたルールベース抽出器の出力と，\citeA{wen-ji-2021-utilizing}の出力に逐次的な辺編集を適用した場合について実験する．アブレーション研究のために，ランダムな辺で初期化した関係グラフを編集するランダム初期化，文書毎にランダムに定めた順序で編集をするランダム順序，全ての辺を同時に編集する$h_{max}=1$，関係間の相互作用を考慮せずに文脈のみで分類する$L=0$のモデルを用意した．ランダム初期化は編集前のグラフと同数の割合の辺となるように，ランダムに用語間に関係をつけて初期化した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{11table06.tex}%
\caption{アブレーション研究}
\label{tab:ablation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

アブレーション研究の結果を\tref{tab:ablation}に示した．まず，編集前の関係グラフの影響を確認するために，既存手法で初期化した関係グラフを入力とした関係候補$+$逐次的な辺編集，辺がついていない関係グラフを入力としたスクラッチ，ランダムに初期化した辺をもつ関係グラフを入力としたランダム初期化を比較する．両方のコーパスで関係候補$+$逐次的な辺編集が最も高い性能を示したため，関係候補編集タスクの設定では，既存手法が出力した関係を入力として利用して，モデルの抽出性能の改善に有効であると言える．また，ランダムな辺の関係グラフを入力しても性能が向上するわけではないことから，入力のグラフの内容が影響することがわかる．以上から，既存手法の出力を関係候補として初期化して編集することは有効であると確認でき，編集前の関係の内容によって向上する性能が変化することが確認できた．

次に，編集順序の影響を確認するために，ヒューリスティクスとして近くに記述された用語ペア間の関係性から順番に分類した提案手法と，順番をつけずに全ての関係を同時に編集する$h_{max}=1$，ランダムな順番で編集するランダム順序を比較する．抽出性能を比較すると，全て同時に編集した場合より逐次的に編集したほうが性能が高く，材料合成手順コーパスでは近い順よりランダムな順序の方が，MATRESコーパスでは近い順の方が性能が高かった．編集前と比較すると，材料合成手順コーパスは性能が下がらなかったが，MATRESコーパスに対しては編集することでわずかながら性能が低下した．これは，適切な編集順序が存在しているが，必ずしも近い順が最適ではないことを示唆している．しかしながら，編集順序による性能の変化は小さく，性能が向上した要因とはならないことが確認できた．

関係間の相互作用については，$L=0$として関係間の相互作用を考慮しないようにすると，材料合成手順コーパスに対してはわずかに性能が低下し，MATRESコーパスに対しては性能があまり変わらなかった．このことから，RGCNによる関係間の相互作用の表現は，材料合成手順コーパスには少し効果があるものの，性能に対する寄与は大きくなく，性能向上の最大の要因でないと確認できた．

以上から，入力の関係グラフを変更した場合に最も性能の低下が変化したため，逐次的な辺編集によって性能向上できるかどうかの条件は入力の関係グラフの辺の内容にあると推測できる．アブレーション研究では性能に寄与する部分しか確認できないため，より詳細に入力の関係グラフの条件を調査する必要がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{編集前の関係グラフの影響}
\label{ssec:analysis-input-effect}

アブレーション研究の結果から，逐次的な辺編集によって性能の向上に関与する最大の要因は入力される関係グラフの内容にあると確認できたため，関係グラフの内容について更なる調査が必要である．そこで，編集前のグラフの質の影響を確認するために，\fref{fig:edge-destroy}に編集前の関係グラフ中の辺を削除したときに抽出性能がどの様に変化するか示した．この時，編集前のグラフはアブレーション研究の実験と同様に，材料合成手順コーパスに対してはルールベース抽出器，MATRESコーパスに対しては\citeA{wen-ji-2021-utilizing}の出力とした．グラフの横軸は辺の維持率で，0\%のときにはスクラッチ，50\%の場合は編集前のグラフ中の辺を半分削除した場合，100\%のときには既存手法によって抽出された関係がそのまま入力される場合となる．辺の削除は，辺の維持率に合わせて，その辺が正解している関係かどうか関係なくランダムに行う．そのため，辺を削除したとしても編集前のF値が高くなる場合はあるが，編集前にはそれぞれF値で材料合成コーパスに対しては80.5\%，MATRESコーパスに対しては80.6\%と高い性能で抽出できているため，基本的には削除されたグラフの精度は低くなる．この解析ではランダム性があるため，試行回数を5回に増やして実験を行い\footnote{サンプル数が異なるので，数値は\tref{tab:mysore}，\ref{tab:matres}と一致しない．}，その平均と95\%信頼区間をグラフに示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{30-2ia11f5.pdf}
\end{center}
\hangcaption{編集前の関係を削除したときの抽出性能の推移．色が塗られた部分はそれぞれに対する95\%信頼区間である．}
\label{fig:edge-destroy}
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\fref{fig:edge-destroy}から，入力されるグラフの辺の維持率を上昇させると性能が向上することが確認でき，編集前のグラフの精度が高い場合には編集後にも高い性能で抽出できるようになると言える．また，辺を削除したときの性能の低下は，MATRESコーパスの場合よりも材料合成手順コーパスの場合の方が大きかった．材料合成手順コーパスのグラフは，辺維持率が100\%から80\%の区間で急激に低下しており，信頼区間から分散が材料合成手順コーパスの方が大きいことも確認できる．このことから，材料合成手順コーパスに対して入力された関係グラフに含まれる辺の中に効果的な辺が含まれており，その辺が削除された場合に性能が低下していることが示唆される．この効果的な辺がどのような辺なのかわかれば，逐次的な辺編集を効果的に利用できる条件がわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{11table07.tex}%
\hangcaption{材料合成手順コーパスの開発データにおけるルールベース抽出器とスクラッチで抽出された関係の混同行列．\none{}は関係がないことを示す．}
\label{tab:cm-material-rule-scratch}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{table}[b]
\input{11table08.tex}%
\hangcaption{MATRESコーパスの評価データにおける\protect\citeA{wen-ji-2021-utilizing}の抽出器とスクラッチで抽出された関係の混同行列}
\label{tab:cm-matres-wen-scratch}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

そこで，性能の向上に寄与している関係は逐次的な辺編集モデル単体では抽出できない関係，つまりスクラッチの場合に抽出できない関係が性能に寄与しているという仮説を立てた．これは編集による変化を観察して建てた仮説で，MATRESコーパスにおいて編集された辺の数が少なかったことからこの洞察を得た．仮説の事前の検証のため，開発データの関係をスクラッチで抽出した場合と既存手法で抽出した場合の関係を比べる．編集前とスクラッチでどれだけ異なる関係が抽出されているのか確認するため，材料合成手順コーパスに対してはルールベース抽出器とスクラッチ，MATRESコーパスに対しては\citeA{wen-ji-2021-utilizing}とスクラッチが予測した関係の混同行列を作成して比較する．
材料合成手順コーパスの混同行列は\tref{tab:cm-material-rule-scratch}，MATRESコーパスの混同行列は\tref{tab:cm-matres-wen-scratch}に示した．材料合成手順コーパスに対しては，ルールとスクラッチで異なる関係を正例として予測しており，クラス間で誤っている場合は少ない特徴がみられた．MATRESコーパスに対しては，異なる部分の中でも多くが\after{}と\before{}の間で異なる予測をしている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\vspace{-0.5\Cvs}
\input{11table09.tex}%
\hangcaption{材料合成手順コーパスの評価データに対する関係予測の内訳．TPは正しく正例を，TNは正しく負例を，FPは誤って正例を，FNは誤って負例を予測した場合を表す．赤く塗られた部分はスクラッチで誤っていてルールで正しく抽出できている部分，青く塗られた部分はルールで誤っていてスクラッチで正しく抽出できている部分である．赤く塗られた部分の合計は554，青く塗られた部分の合計は205である．}
\label{tab:material-tp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{11table10.tex}%
\hangcaption{MATRESコーパスの評価データに対する関係予測の内訳．TPは正しく正例を，TNは正しく負例を，FPは誤って正例を，FNは誤って負例を予測した場合を表す．赤く塗られた部分はスクラッチで誤っていて\protect\citeA{wen-ji-2021-utilizing}で正しく抽出できている部分，青く塗られた部分は\protect\citeA{wen-ji-2021-utilizing}で誤っていてスクラッチで正しく抽出できている部分である．赤く塗られた部分の合計は43，青く塗られた部分の合計は35である．}
\label{tab:matres-tp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

混同行列のみでは正解との対応が確認できないため，関係を持ちうる用語ペアごとに，その用語ペアの関係予測が正解しているかどうか，それが正例かどうかを数え，スクラッチと編集前で対応付けて関係予測の内訳を確認する．材料合成手順コーパスの予測の内訳は\tref{tab:material-tp}，MATRESコーパスの予測の内訳は\tref{tab:matres-tp}に示した．スクラッチと比べて編集前の方が正しく抽出できているのが表中の赤く塗られた部分，スクラッチの方が正しく抽出できているのが青く塗られた部分で，これらの数が多いほど異なる関係が抽出できているということである．それらの合計から，材料合成コーパスの方が編集前とスクラッチの間で差分が大きいことがわかる．一つの指標として，どちらか一方のみで抽出できている正例の割合を計算したところ，\tref{tab:ratio-positive}のようになり，材料合成手順コーパスに対する抽出の方が差分があることが確認できた．以上の結果は，編集前と編集するモデル単体で抽出できる関係に差があることが条件であるという仮説に矛盾しない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{11table11.tex}%
\hangcaption{材料合成手順コーパスとMATRESコーパスにおける編集前とスクラッチのどちらか一方のみで抽出できている正例の割合}
\label{tab:ratio-positive}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

仮説を実際に検証するため，編集前の関係グラフをスクラッチで正しく抽出できていない関係として，徐々に辺を追加したときの性能の変化を確認した．この実験では，スクラッチで抽出できなかった関係が重要な役割を持っているのか確認することを目的とする．まず，スクラッチで抽出した場合の関係と正解の関係を比べて，スクラッチで誤って抽出している関係を取り出す．そして，スクラッチで抽出した関係に対して，抽出できなかった関係を割合を変えながら辺に追加して，それを編集前の関係として編集したときの性能の変化を観察する．このとき，スクラッチで正しく抽出できている関係を追加した関係と置き換え，入力するグラフ全体の質は保った状態で検証を行った．つまり，0\%の場合は入力をスクラッチの出力にした編集，100\%の場合はスクラッチで編集できなかったすべての関係を追加して，その関係の数だけスクラッチの辺を誤るように置き換えたグラフを入力とした編集を表している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia11f6.pdf}
\end{center}
\hangcaption{スクラッチで抽出できなかった関係を追加した場合の性能の変化．色が塗られた部分はそれぞれに対する95\%信頼区間である．}
\label{fig:inject-edge}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\fref{fig:inject-edge}に示した検証の結果より，効果的に作用している関係はスクラッチで抽出できていない関係であることが確認でき，仮説が正しいと確認できた．関係グラフ全体の質はほとんど変化させずに，スクラッチで抽出できていない関係に置き換えると編集後の性能が向上した．よって，編集するモデル単体で抽出できていない関係が性能向上に寄与していることがわかる．加えて，辺の導入率0\%は逐次的な辺編集モデルを使ってスクラッチの設定で抽出した関係を入力として，逐次的な辺編集モデルを学習しなおして編集している場合を示している．この場合では，スクラッチの場合とほとんど数値の変化はない．これから，編集前の抽出を行ったモデルと同じモデルで編集してもほとんど向上がみられないということが確認できる．また，追加する関係の数に対して完全に線形ではなく，それ以上に性能が向上していることが確認できる．このことから，単純に入力された辺を複製しているだけではなく，その辺を手掛かりに，他の辺の抽出ができるようになっていることがわかる．実際に編集前とスクラッチの両者で抽出できておらず，逐次的な辺編集モデルによって新たに抽出できるようになった関係の数を数えると，材料合成手順コーパスの場合で40，MATRESコーパスの場合で1の関係が新たに抽出できるようになった．

この検証から，関係候補編集タスクにおいて編集によって性能を向上させるために重要な要素は，入力される関係と編集モデル単体で抽出可能な関係が異なることであると確認できた．つまり，編集によって組み合わせるモデルは異なる観点で作成されていることが重要である．本研究の場合では材料合成手順コーパスにおいて，ヒューリスティクスに基づくルールベース抽出器と深層学習モデルを組み合わせることで性能の向上が確認できたのは，編集前と編集するモデルは異なる観点のモデルで，異なる関係が抽出できていたため，性能が向上した．MATRESコーパスに対しては，編集前の関係抽出と編集の両者で事前学習モデルをベースとしたモデルを利用していたことから似たような出力をするモデルとなっていて，編集によって性能がほとんど向上しなかった．既存手法の出力を関係候補編集タスクの設定として再利用して効果があるのは，既存手法と編集するモデルに差分があることであり，関係候補編集タスクに利用する既存手法を決定する際の指標となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
\label{sec:conclusion}

本研究では関係抽出において，関係抽出モデルの作成時に，既存手法で抽出された結果を再利用して編集する関係候補編集タスクを提案した．更に，そのタスク設定のもとで関係間の相互作用を考慮すべく，抽出済み関係候補を関係グラフとして構成して，関係グラフの構造の表現を導入して逐次的に関係を編集するモデルを提案した．実験では材料合成手順コーパスに対してルールベースの抽出器の出力を編集して改善できた．一方で，MATRESコーパスに対しては最先端の深層学習モデルの出力を編集したが有効性が確認できなかった．解析ではこの要因を解析し，関係候補編集タスクにおいて編集した際に性能が向上する条件は，編集するモデル単体で抽出可能な関係と編集前の関係に差があることであると明らかにした．

今後は過去に提案された手法によって抽出された出力を解析することで，高性能なモデルのほとんどが深層学習となっている近年の状況であっても有用な手段を発見する必要がある．本研究によって，深層学習モデルによる抽出を，既存手法の出力を利用して向上させるための条件が示された．深層学習以前の研究では，情報抽出は別の手段や手法で行われていたが\cite{mccallum-2000-ie-maximum-entropy}，それらの中には深層学習モデルと合わせて利用するのに有用なものがある可能性がある．例えば，本研究では単純なルールベース抽出器を深層学習モデルと合わせて使うことで抽出性能を向上させた．このような過去の研究から，深層学習と合わせて利用するのに有用な手段を明らかにできれば，さらなる情報抽出の性能向上を見込める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS特別研究員奨励費JP22J14025の助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
%%%%\bibliography{11refs}
    \input{IA0300_11makino_bbl.tex}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{牧野　晃平}{%
2019年豊田工業大学工学部卒業．2021年豊田工業大学大学院修士課程修了．現在，豊田工業大学大学院工学研究科博士課程に在学中．言語処理学会，人工知能学会各会員．
}

\bioauthor{三輪　　誠}{%
2008年東京大学大学院博士課程修了．博士（科学）．東京大学，マンチェスター大学を経て，2014年より豊田工業大学知能数理研究室准教授．ACL，情報処理学会，言語処理学会，人工知能学会各会員．
}

\bioauthor{佐々木　裕}{%
1988年筑波大学修士課程理工学研究科修了．2000年同大学より博士（工学）授与．NTT研究所，ATR，マンチェスター大を経て，現在，豊田工業大学知能数理研究室教授．言語処理学会等会員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate


\end{document}


