\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{bxpapersize}
%%%%\usepackage{jnlpbbl_2.1}
%%%%\usepackage{jumoline}%\usepackage{ulinej}
%%%%\usepackage[dvipdfmx]{graphicx}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsmath,amsthm,amssymb,cases}
\usepackage{multirow}
%%%%\usepackage{url}
%%%%\usepackage{array}
\usepackage{otf}
%%%%\usepackage{color}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%\usepackage[hang,small,bf]{caption}
%%%%\usepackage[subrefformat=parens]{subcaption}
%%%%\captionsetup{compatibility=false}
%%%%\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
%%%%\newcommand{\class}[1]{\textsc{#1}\xspace}
%%%%\newcommand{\method}[1]{\textsf{#1}\xspace}
%%%%\newcommand{\figref}[2][]{Figure#1~\ref{#2}\xspace}
%%%%\newcommand{\tabref}[2][]{Table#1~\ref{#2}\xspace}
%%%%\newcommand{\secref}[2][]{Section#1~\ref{#2}\xspace}
%%%%\newcommand{\eqnref}[2][]{Equation#1~\ref{#2}\xspace}
%%%%\newcommand{\bhline}[1]{\noalign{\hrule height #1}}
%%%%\newcommand{\ctext}[1]{\raise0.2ex\hbox{\textcircled{\scriptsize{#1}}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{3}{31}
\revised{2021}{7}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{8}{11}

\setcounter{page}{1141}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{発話順序に基づくGraph Attention Networksを用いた \\
対話文における感情認識}
\jauthor{石渡　太智\affiref{Author_1}\affiref{Author_2} \and 安田　有希\affiref{Author_1} \and 宮\CID{8443}　太郎\affiref{Author_1} \and 後藤　　淳\affiref{Author_1}}
\jabstract{%
SNS上のユーザ動向調査やフェイクニュース検知を目的に，対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC)が注目を集めている．ERCでは，対話文における各発話の内容に加えて，発話間の関係が話者の感情に大きな影響を与えることが知られている．従来のState-of-the-artを達成した手法は，発話間の関係の中でも特に自己依存と相互依存を，Relational Graph Attention Networks (RGAT)を用いて取得し，当時の世界最高峰の認識精度を得た．しかしながら，RGATモデルは発話の順序情報を利用できない課題がある．そこで本論文は，RGATモデルに発話順序を加える新たな手法\textit{Relational Position Encodings}を提案する．提案手法を用いることで，自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用できる．評価実験において，ERCにおける3つのベンチマークデータセットのうち，2つのデータセットで従来手法を上回る認識精度を達成し，世界最高峰の認識精度を達成した．
}
\jkeywords{感情認識, 発話順序, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings}

\etitle{Position-aware Graph Attention Networks for Emotion Recognition in Conversations}
\eauthor{Taichi Ishiwatari\affiref{Author_1}\affiref{Author_2} \and Yuki Yasuda\affiref{Author_1} \and Taro Miyazaki\affiref{Author_1} \and Jun Goto\affiref{Author_1}} 
\eabstract{%
Interest in emotion recognition in conversations (ERC) has been increasing in various fields, because it can be used in the various tasks such as analyzing user behaviors and detecting fake news. Many recent ERC methods use graph neural networks to consider the relationships between the utterances of the speakers. In particular, the strong method considers self-speaker and inter-speaker dependencies in conversations by using relational graph attention networks (RGAT). However, graph neural networks do not consider sequential information. In this paper, we propose relational position encodings that provide RGAT with sequential information reflecting the relational graph structure. Therefore, our RGAT model can capture both the speaker dependency and the sequential information. Experiments on three ERC datasets show that our model is beneficial to recognizing emotions expressed in conversations. In addition, our approach empirically outperforms the state-of-the-art on several benchmark datasets.
}
\ekeywords{Emotion Recognition, Utterance Sequence, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings}

\headauthor{石渡，安田，宮\CID{8443}，後藤}
\headtitle{発話順序に基づくGraph Attention Networksを用いた対話文における感情認識}

\affilabel{Author_1}{NHK放送技術研究所}{NHK Science and Technology Research Laboratories}
\affilabel{Author_2}{東京工業大学情報理工学院}{Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

SNS上のユーザ動向調査\cite{lee2016predicting}やフェイクニュース検知\cite{guo2019dean}への応用を目的として，
対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC)が注目を集めている\cite{picard2010affective}．
またチャットボットなどの会話エージェントが自然な発話文を生成するために，
話者の感情が対話中にどのように変化するかが分析されている\cite{huang2018automatic}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{08table01.tex}
\caption{対話文の各発話に現れる感情ラベルの例}
\label{tab:dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

先行研究の多くは，Recurrent Neural Networks (RNN) を用いて，
各発話の特徴を抽出する\cite{liu2016recurrent,hochreiter1997long}．
しかし，RNNを用いる場合，長い系列データの特徴の抽出は容易ではない\cite{bradbury2016quasi}．
そこでMajumderらは，Attention機構により全発話の中から関連のある発話に焦点を当て，
長い系列データの特徴を抽出することで高い認識精度を実現した\cite{majumder2019dialoguernn}．
しかしながら，これらの従来手法は発話間の関係，特に自身の発話からの影響（自己依存）と他者の発話からの影響（相互依存）を考慮していない．
表\ref{tab:dataset}を用いて，2つの依存関係の重要性を示す．
表\ref{tab:dataset}は，2人の話者が就職活動について意見を交わす例である．
話者Aは長い間就職先が見つからないため，一連の発話で常に負の感情を抱いている．
これは自己依存の例を示し，自分自身の感情の推移を表す．
一方で，話者Bの$4$番目の感情は，直前の話者Aの状況に同情し，負の感情を抱いている．
これは相互依存の例を示し，他者の発話が自身の感情に影響を与える性質を持つ．

Ghosalらは自己依存と相互依存の関係を利用するために，
Relational Graph Attention Networks (RGAT)\footnote{RGCN: Relational Graph Convolutional Networks \cite{schlichtkrull2018modeling}と
GAT: Graph Attention Networks \cite{velivckovic2017graph}を組み合わせたモデル．}を用いて，
当時の世界最高峰の認識精度を達成した\cite{ghosal2019dialoguegcn}．
この手法は，ノードに各発話の特徴量を，エッジに発話間の関係を，エッジの種類に依存関係の種類を設定し，有向グラフを構築する．
しかしながら，RGATを含むGraph Neural Networks (GNN)は対話文中の発話の順序情報を利用できない課題がある．
表\ref{tab:dataset}を用いて，順序情報の重要性を示す．
話者Bは$4$番目の発話で，感情が変化する．
これは，$1$番目や$2$番目の発話ではなく，直前の$3$番目の発話に同情したことが原因と考えられる．
従って，ERCの認識精度の向上には，発話から発話への距離の影響を考慮する必要がある．

一般的な解決策として，
発話の絶対位置\cite{vaswani2017attention}や相対位置\cite{shaw2018self}を基にしたPosition Encodingsを，
GNNモデルに加える方法がある．
絶対位置を基にしたPosition EncodingsはGNNのノード（発話）に，
相対位置を基にしたPosition Encodingsはエッジ（発話間の関係）に加えられる．
一方で提案手法は，Ghosalらの手法\cite{ghosal2019dialoguegcn}を参考に，
自己依存と相互依存の利用を目的として，依存関係の種類に応じたRGATを用いる．
従って，絶対位置や相対位置ではなく依存関係の種類に応じた位置表現を用いることで，認識性能の向上が期待できる．

本論文は，依存関係の種類に応じた位置表現を新たに作成し，
RGATに加える手法\textit{Relational Position Encodings}を提案する．
提案手法を用いることで，自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用できる．
評価実験において，ERCにおける3つのベンチマークデータセットのうち，
2つのデータセットで従来手法を上回り，世界最高峰の認識精度を達成した．
さらに，絶対位置や相対位置ではなく，依存関係の種類に応じた位置表現が，ERCの精度向上に貢献することも確認した．

本論文の貢献を以下に示す．
(1)対話文における発話の順序情報を利用するため，初めてRGATモデルに\textit{Relational Position Encodings}を適応した．
(2)提案手法を用いることで，自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方の利用を可能にした．
(3)従来手法との比較実験を通して，提案手法の有用性を確認した．
(4)絶対位置や相対位置ではなく，依存関係の種類に応じた位置表現の有用性を確認した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{対話文における各発話の感情認識 (ERC)}
多くの研究者がERCに注目し認識精度向上に取り組んでいる．
その中でも，精度向上に大きく貢献した手法にDialogueRNN \cite{majumder2019dialoguernn}がある．
DialogueRNNは，Attention機構によって全発話の中から関連のある発話に焦点を当て，長い系列データの特徴を抽出する手法である．

また，発話の特徴を抽出する手法として，Luoらの手法\cite{luo2019emotionx}とYangらの手法\cite{yang2019emotionx}がある．
Luoらの手法\cite{luo2019emotionx}は事前学習済みBERTモデル\cite{devlin2018bert}を用いて，トークンごとの特徴量を抽出する．
得られた特徴量の中から，先頭の$[CLS]$トークンの特徴量を抜き出し，Feed Forward Neural Networks (FFNN)を用いて感情ラベルの確率値を算出する．
Yangらの手法\cite{yang2019emotionx}は，事前学習済みBERTモデルに，複数の発話をまとめて入力する手法である．
複数の発話の間に$[SEP]$トークンを挿入し，連結する．
連結した複数発話を同時に入力することで，各発話の内容を考慮しつつ発話間の相互作用も利用することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Graph Neural Networks (GNN)}
GNNは，自然言語処理の分野だけでなく画像処理など様々な問題に応用され，著しい注目を集めている．
いくつか種類のあるGNNの中でも，
ノードとノードの結合関係を表す隣接行列を利用したGCN: Graph Convolutional Networks \cite{kipf2016semi}をはじめ，
RGCN \cite{schlichtkrull2018modeling}やGAT \cite{velivckovic2017graph}が盛んに利用されている．
提案手法は，RGCNとGATを組み合わせたRGATを用いる．
RGCNはノード間の関係の種類ごとにGCNを用意するため，自己依存と相互依存など依存の種類ごとにネットワークを構築することができる．
またGATを用いることで，ノード間の類似度を計算し，関連性のあるノードに注意を向けることができる．

提案手法に最も関連のある手法として，DialogueGCN \cite{ghosal2019dialoguegcn}がある．
DialogueGCNは，自己依存と相互依存を含む発話間の関係の取得のためにRGATモデルを利用し，当時の世界最高峰の認識精度を達成した手法である．
Ghosalらは，対話文に登場する話者ごとに自己依存と相互依存の影響の度合いが異なると考え，話者ごとに自己依存と相互依存を区別するRGATモデルを構築した．
しかしながら，話者の数が増えると，依存関係の種類が増えパラメータの数も増加する．
そこで提案手法は，パラメータ数の削減を目的として，話者ごとに自己依存と相互依存を区別しないRGATモデルを構築する．
加えて，DialogueGCNを含むGNNモデルは，対話文中の発話の順序情報を利用できない課題がある．
本論文は，順序情報の利用を目的として，依存関係の種類に応じた位置表現を新たに作成し，RGATモデルに加える手法\textit{Relational Position Encodings}を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Position Encodings}
本論文は，発話の順序情報をGNNモデルに加える手法を提案する．
関連研究に，Position EncodingsをTransformer \cite{vaswani2017attention}に加える方法がある．
TransformerモデルはAttention機構を基に構成されるため，時系列情報の利用が容易ではない．
そこで，絶対位置\cite{vaswani2017attention}や相対位置\cite{shaw2018self}，
構造位置\cite{wang2019self}に基づくPosition Encodingsが提案されている．
GNNも同様に時系列情報の利用が容易ではない．
そのためIngrahamらはタンパク質の設計に際し，
タンパク質の相対的な位置をGNNのエッジに付加するモデルを提案した\cite{ingraham2019generative}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

はじめにERCの問題設定を示す．
ERCでは，対話文における各発話$u_1,u_2,\cdots,u_N$の感情ラベル（\textit{neutral}, \textit{surprise}, \textit{fear}など）
を認識する．
$N$は1つの対話に現れる発話の数を示す．
また，1つの対話に登場する話者を$s_m (m=1, \cdots, M)$とする．$M$は話者の人数を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia8f1.pdf}
\end{center}
\hangcaption{提案手法の全体図．はじめにRoBERTaを用いて発話の特徴量を抽出する．次に，RGATを用いて発話間の関係を考慮した特徴量を作成する．$\mathbf{h}_i^{l}$は発話$u_i$の$l$層目の特徴量を表す．次に，Position EncodingsによりRGATに発話の順序情報を付加する．最後に発話の特徴量と発話間の関係を考慮した特徴量を連結し，FFNNを用いて感情ラベルを認識する．図は発話$u_4$の感情ラベルを識別する例を示す．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法は，発話特徴量の抽出，Position Encodingsを加えた発話関係の抽出，感情ラベルの識別の3つで構成される．
全体図を図\ref{fig:overview}に示す．
本手法は，Ghosalらの手法\cite{ghosal2019dialoguegcn}
を参考に，発話間の関係の抽出を目的として，RGATモデルを構築する．
さらに，RGATでは取得が容易でない発話の順序情報の利用を目的として，Position Encodingsを加える手法を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ 発話特徴量の抽出 }
\label{sec:cue}

BERTモデル\cite{vaswani2017attention}を用いた発話特徴量の抽出方法\cite{luo2019emotionx}を参考に，
発話内のtokenごとの特徴量を抽出する．
まず，各発話$u_1,u_2,\cdots,u_N$をRoBERTa tokenizerを用いて，tokenごとに分割する．
発話$u_i$の分割されたtokenを$(u_{i,1},u_{i,2},\cdots,u_{i,T_i})$とする．
$T_i$は発話$u_i$に含まれるtokenの数を示す．
次に，事前学習モデルRoBERTa-large\footnote{\url{https://github.com/pytorch/fairseq}}\cite{liu2019roberta}を用いて，
発話の内容を考慮した特徴量を抽出する．
最後に，Max-poolingを通じて発話$u_i$の特徴量$\mathbf{h}_i^{0} \in \mathbb{R}^{D}$を得る．
$D$は発話特徴量の次元数を示す．
事前学習済みRoBERTaモデルは，学習ステップでファインチューニングを行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{順序情報を考慮した発話関係の抽出 }
\label{sec:rgat}

次に，\ref{sec:cue}節で作成した特徴量$\mathbf{h}_i^{0}$をRGATに入力し，
発話間の関係を考慮した特徴量を作成する．
本手法は，自己依存と相互依存の関係を区別するために，
RGATを用いて関係の種類に応じたネットワークを用意する．
また，Attention機構を導入し，関連性のある発話に注意を向ける．
さらに，発話の順序情報の利用を目的として，
依存関係の種類に応じた位置表現を加える\textit{Relational Position Encodings}を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{グラフ構造}

はじめにグラフ構造を定義する．
グラフのノード（発話の特徴量）を$\mathbf{v}_i \in \mathcal{V}$とし，
2つのノード$\mathbf{v}_i,\mathbf{v}_j$間を結ぶエッジ（発話間の関係）を$(\mathbf{v}_i,r,\mathbf{v}_j) \in \mathcal{E}$とする．
$r \in \mathcal{R}$はエッジの種類（依存関係の種類）を示す．
ノードとエッジを一つにまとめた複数のグラフを，$\mathcal{G} = (\mathcal{V},\mathcal{E},\mathcal{R})$と表記する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ノード}
グラフのノード$\mathbf{v}_i \in \mathcal{V}$は，各発話の特徴量で表現する．
ノード$\mathbf{v}_i$は，発話の特徴量$\mathbf{h}_i^{0}$を初期値とする．
RGATを複数層重ねることで，隣接する発話の特徴量を複数回集計する．
$L$層重ねた発話$u_i$の特徴量を$\mathbf{h}_i^{L}$とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{エッジの種類}
\label{sec:relation}
発話間の関係ごとにグラフを構築するGhosalらの手法\cite{ghosal2019dialoguegcn}を参考に，
(a)話者の関係と(b)時間の関係に基づきエッジの種類を決定する．
(a)話者の関係$\colon$ 発話間の関係を自己依存と相互依存のいずれかに割り当てる．
話者$s_m$による発話$u_i$に対して，同じ話者$s_m$の発話（$u_i$を含む）を自己依存とする．
一方で，話者$s_m$による発話$u_i$に対して，違う話者$s_{k \neq m}$の発話を相互依存とする．
(b)時間の関係$\colon$ 発せられた時間によって，エッジの種類を割り当てる．
すなわち発話$u_i$に対して，発話$u_j$が先に発せられたか（過去），あるいは後に発せられたか（未来）に応じて種類を分ける．
一般的に，リアルタイムの対話では，未来の発話を利用できないが，
ERCの問題設定はデータが全て揃ったオフラインを想定しているため，未来の発話も利用することができる．

以上より，(a)話者の関係と(b)時間の関係に基づき，
(1) 自己 - 過去， (2) 相互 - 過去， (3) 自己 - 未来， そして (4) 相互 - 未来， 
の計4種類のエッジを設定する．
エッジの種類を$\mathcal{R}=\{1,2,3,4\}$とする．

次に，エッジの種類について，Ghosalらの手法{\cite{ghosal2019dialoguegcn}}と本手法の違いを説明する．
Ghosalらは自己依存と相互依存の影響の度合いが話者ごとに異なると考え，
登場する話者の数に応じて，(a)話者の関係と(b)時間の関係に基づく4種類の関係を用意した．
例えば，ある対話に{$s_1,s_2$}の話者2人が登場する場合，
(1)話者{$s_1$} - 自己 - 過去，(2)話者{$s_2$} - 自己 - 過去，$\cdots$，(8)話者{$s_2$} - 相互 - 未来
の，計{$2 （話者の数） \times 4 （関係の種類） = 8$}種類のエッジを用意する．
Ghosalらの手法は，話者ごとにネットワークを区別するため，特定の話者に関する影響を考慮することができる．
しかしながら，対話に登場する話者の数が増えると，エッジの種類が増えパラメータの数も増加する．
そこで本手法は，パラメータの数を削減するために，話者ごとに関係を区別せず，(a)話者の関係と(b)時間の関係に基づく4種類の関係を用いる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia8f2.pdf}
\end{center}
\hangcaption{グラフの構築方法．対話文における全ての発話に対して，エッジの種類に基づくグラフを構築する．左は発話$\mathbf{h}_4$を基準にしたとき，右は発話$\mathbf{h}_5$を基準したときのエッジの種類を示す．}
\label{fig:figbg}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{グラフの構築}

対話文における全ての発話に対して，4種類の関係に基づいたグラフを構築する．
図{\ref{fig:figbg}}を用いて，グラフ構築の例を示す．
図{\ref{fig:figbg}}は，4番目の発話（左）と5番目の発話（右）を基準にしたときの，隣接する発話との関係を示す．
例えば，4番目の発話を基準にした1番目の発話は，過去の自身の発話なので，赤色で示す(1) 自己 - 過去の関係 ({$r=1$})を表す．
また，6番目の発話は未来の自身の発話なので，青色で示す(3) 自己 - 未来の関係 ({$r=3$})を表す．
次に，5番目の発話を基準にした図{\ref{fig:figbg}}の右側の例を考える．
5番目の発話を基準にした2番目の発話は，過去の違う話者の発話なので，黄色の点線で示す(2) 相互 - 過去の関係({$r=2$})を表す．
このように，対話文における全ての発話{$u_i$}に対して，隣接する発話{$u_j$}と，話者と時間の関係に基づく4種類の関係を構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{エッジの上限数}
エッジを結ぶ発話の上限数（窓幅）を定める．
過去の窓幅を$p$，未来の窓幅を$f$としたとき，
発話$u_i$と$p$個の過去の発話，$f$個の未来の発話をエッジで結ぶ．
窓幅を小さく設定する場合，小さな隣接グループしか注目することができない．
一方で窓幅を大きくする場合，高い計算コストが必要となる．
従って，適当な窓幅$p$と$f$の設定が求められる．
本手法は，ハイパーパラメータの数を削減するために，
過去の窓幅{$p$}と未来の窓幅{$f$}を同じ値{$p=f$}に設定する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{隣接発話の集合}
発話{$u_i$}の隣接する発話の集合を定める．
エッジの種類{$r$}で発話{$u_i$}に隣接する発話の集合を{$\mathcal{N}_r{(i)}$}とする．
集合{$\mathcal{N}_r{(i)}$}の要素は，最大で窓幅{$p(=f)$}の数存在する．
例えば，図{\ref{fig:figbg}}において窓幅{$p=3$}で$5$番目の発話（右側）を基準にしたとき，
黄色の点線で示すエッジの種類{$r=2$}で発話{$u_5$}に隣接する発話の集合は，{$\mathcal{N}_2{(5)}=\{1,2,4\}$}となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{RGAT}
\label{sec:propagation} 

RGCNモデル\cite{schlichtkrull2018modeling}とGATモデル\cite{velivckovic2017graph}に基づき，
隣接する発話の特徴を加味した，$l+1$層目の発話$u_i$の特徴量$\mathbf{h}_i^{l+1}$を作成する．
次項に示す，発話$u_i$と発話$u_j$間のAttention機構とPosition Encodingsを加味した重み係数$\alpha_{ij}^{l}$
により，隣接する発話の重み付けを行う．
エッジの種類$r$で隣接する発話$\mathcal{N}_r(i)$の特徴を，全てのエッジの種類$\mathcal{R}$で集計した特徴量を下式で示す．
\begin{equation} \label{eq:rgat}
\mathbf{h}_i^{l+1} = \sum_{r\in \mathcal{R}} \sum_{j\in \mathcal{N}_r(i)} \alpha_{ij}^{l} W_{r}^{l} \mathbf{h}_j^{l}
\end{equation}
$W_r^{l}$は，エッジの種類$r$ごとに用意したRGATのパラメータである．
RGATの層数を$L$回重ねることで，$L$回分のエッジによって結ばれた隣接ノードの特徴を反映することができる．
さらに本手法は式(\ref{eq:rgat})にMulti Head Attentionを適用し，Layer Normalizationも加える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{エッジの重み係数}
\label{sec:eweight}

式(\ref{eq:rgat})における，Attention機構を用いたエッジの重み係数{$\alpha_{ij}^{l}$}を導入する．
本手法は，GATモデル{\cite{velivckovic2017graph}}と同様にAttention機構を利用する．
発話{$u_i$}と，エッジの種類{$r$}で隣接する発話の集合{$\mathcal{N}_r(i)$}の発話{$u_j$}の，エッジの重み係数{$\alpha_{ij}^{l}$}を下式で示す．
\begin{equation} \label{eq:eqew}
\begin{split}
\alpha_{ij}^{l} &= \frac{\exp(z_{ij}^{l})}{\sum_{\overline{j}\in\mathcal{N}_{r}(i)}\exp(z_{i \overline{j}}^{l})} \\
z_{ij}^{l} &= \mathrm{LeakyReLU}\big((\mathbf{a}_r^{l})^T [W_r^{l}\mathbf{h}_i^{l}||W_r^{l}\mathbf{h}_j^{l}]\big) 
\end{split}
\end{equation}
ただし，式({\ref{eq:rgat}})に示すように，{$j$}はエッジの種類{$r$}で発話{$u_i$}に隣接する集合{$\mathcal{N}_r(i)$}の要素である．
従って，{$j\in \mathcal{N}_r(i)$}の関係から，{$(i,j)$}の組が定まるとエッジの種類{$r$}も定まる．
また，$W_r^{l}$はAttention機構のパラメータを，$\mathbf{a}_r^{l}$は学習可能なベクトルを，$\cdot^T$は転置を示す．
活性化関数LeakyReLUを通じて得た{$z_{ij}^{l}$}を，
集合{$\mathcal{N}_r{(i)}$}におけるedge softmax
\footnote{対象ノードと隣接するノード間の，エッジの値に関するsoftmaxをedge softmaxと呼ぶ．}
{\cite{velivckovic2017graph}}で正規化し，重み係数{$\alpha_{ij}^{l}$}を得る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Relational Position Encodings}
\label{sec:pe}

本項では，RGATモデルでは取得が容易でない発話の順序情報の利用を目的として，
エッジの種類に応じた位置表現を新たに作成し，RGATに加える手法\textit{Relational Position Encodings}を提案する．
提案手法の位置表現を図\ref{fig:figpv}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia8f3.pdf}
\end{center}
\hangcaption{提案手法\textit{Relational Position}の例．提案手法は，エッジの種類ごとに用意した相対位置を用いる．背景色は$\mathbf{h}_4$を基準とした時のエッジの種類を示す．提案手法の値は，窓幅$p=3$のときの発話{$u_4$}からの\textit{Relational Position}を示す．}
\label{fig:figpv}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

順序情報を加える従来手法に，
絶対位置\cite{vaswani2017attention}や相対位置\cite{shaw2018self}に基づくPosition Encodingsがある．
図\ref{fig:figpv}に示すように，絶対位置はノード（発話）の順番に基づき，
相対位置はエッジ（発話間の関係）すなわち発話から発話への距離に基づく．
発話から発話へ有向グラフを結ぶGNNでは，相対位置を基にしたPosition Encodingsの適用が望ましい．
しかしながら，相対位置を基にしたPosition Encodingsは，エッジの種類によらず一律に順序情報が与えられる．
本手法は，自己依存と相互依存の取得を目的にRGATを利用するため（\ref{sec:relation}項），
エッジの種類に応じた位置表現を作成する．
以上より，図\ref{fig:figpv}に示す，
エッジの種類ごとに用意した相対位置の位置表現(\textit{Relational Position})を新たに作成する．

次に\textit{Relational Position}の式を示す．
はじめに，隣接発話の集合に対応する順番の集合を定める．
隣接発話の集合{$\mathcal{N}_r{(i)}$}に対応する順番の集合を，{$\mathcal{I}_{r}(i) \subset \mathbb{N}$}とする．
{$\mathbb{N}$}は自然数の集合を示す．
{$\mathcal{I}_{r}(i)$}は，窓幅{$p(=f)$}を最大とする自然数から降順に，隣接発話の集合{$\mathcal{N}_r{(i)}$}の要素数を取り出した集合を示す．
例えば，図\ref{fig:figpv}の例で窓幅{$p=3$}の時，
エッジの種類{$r=1$}で発話{$u_4$}に隣接する集合は，{$\mathcal{N}_{1}{(4)}=\{1,2,4\}$}である．
この時，窓幅{$p=3$}を最大とする自然数から降順に，隣接発話の集合{$\mathcal{N}_{1}{(4)}$}の要素数取り出した順番の集合は{$\mathcal{I}_{1}(4)=\{1,2,3\}$}となる．
次に，エッジの種類{$r=2$}で発話{$u_4$}に隣接する集合{$\mathcal{N}_{2}{(4)}=\{3\}$}に対応する順番の集合を考える．
この時，窓幅{$p=3$}を最大とする自然数から降順に，隣接発話の集合{$\mathcal{N}_{2}{(4)}$}の要素数取り出した順番の集合は{$\mathcal{I}_{2}(4)=\{3\}$}となる．

続いて，隣接発話の集合{$\mathcal{N}_r{(i)}$}の要素に対応する，順番の集合{$\mathcal{I}_{r}(i)$}の要素を取り出す変換を定める．
隣接発話の集合{$\mathcal{N}_r{(i)}$}の中で，対象{$i$}から相対距離の遠い順に，順番の集合{$\mathcal{I}_{r}(i)$}の要素を対応させる．
その変換を{$\mathrm{idx}_{r,i}: \mathcal{N}_{r}(i) \rightarrow \mathcal{I}_{r}(i)$}とする．
すなわち，対象{$i=4$}にエッジの種類{$r=4$}で隣接する発話の集合{$\mathcal{N}_{4}{(4)}=\{5,9,10\}$}に対して，対象{$i=4$}から相対距離の遠い順に，順番の集合{$\mathcal{I}_{4}(4)=\{1,2,3\}$}を対応させる．
例えば，{$j=10$}番目の発話は，隣接する発話{$\mathcal{N}_{4}(4)$}の中で対象{$i=4$}に最も遠いので，順番の集合{$\mathcal{I}_{4}(4)$}の中から{$1$}が対応する．
したがって，{$j=10$}番目の発話の順番を抜き出すときは，変換{$\mathrm{idx}_{r,i}(j)$}を用いて{$\mathrm{idx}_{4,4}(10)=1$}となる．

本手法では，発話$u_j$から発話$u_i$への位置表現{\textit{Relational Position}を，}
変換{$\mathrm{idx}_{r,i}$}を用いて，下式で表現する．
\begin{equation} \label{eq:peequ}
\mathrm{PE}_{ij} = \mathrm{idx}_{r,i}(j) - \{(r+1) \bmod 2\}
\end{equation}
$\bmod$は剰余演算を示す．
式(\ref{eq:peequ})の$\bmod$を含む2項目は，相互の依存関係を示すエッジの種類$r=2,4$の時に，位置表現の値を$(-1)$加算する処理を示す．
すなわち，対象の発話に対して，自分自身の発話の位置表現を最大（窓幅{$p$}）に設定する．
また，位置表現{$\mathrm{PE}_{ij}$}は，対象の発話から離れるに従い減少する．

Gehringらの手法\cite{gehring2017convolutional}を参考に，
位置表現{$\mathrm{PE}_{ij}$}の値を固定する場合 (fixed)と学習する場合 (learned)の2つを用意する．
まず値を固定する場合 (fixed)は，式(\ref{eq:peequ})によって得られる値をそのまま用いる．
一方で，値を学習する場合 (learned)は，式(\ref{eq:peequ})によって得られた値を入力した1層のFFNNの出力を用いる．
値を学習する場合 (learned)は，データセットに適した位置表現を学習することが可能になる．

図\ref{fig:figpe}に示すように，相対位置に基づく位置表現$\mathrm{PE}_{ij}$は，
発話から発話への距離に相当し，エッジの重み係数に加えることができる(\textit{Relational Position Encodings})．
新たに提案する位置表現を加えたエッジの重み係数を下式で示す．
\begin{equation} \label{eq:eqewpe}
\begin{split}
\alpha_{ij}^{l} &= \frac{\exp(z_{ij}^{l})}{\sum_{\overline{j}\in\mathcal{N}_{r}(i)}\exp(z_{i \overline{j}}^{l})} \\
z_{ij}^{l} &= \mathrm{LeakyReLU}\big((\mathbf{a}_r^{l})^T [W_r^{l}\mathbf{h}_i^{l}||W_r^{l}\mathbf{h}_j^{l}] + \mathrm{PE}_{ij} \big)
\end{split}
\end{equation}
式(\ref{eq:eqew})との違いは，位置表現$\mathrm{PE}_{ij}$を足し合わせている点である．
位置表現$\mathrm{PE}_{ij}$は，値を固定する場合 (fixed)も学習する場合 (learned)も，同様にスカラー値である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia8f4.pdf}
\end{center}
\hangcaption{\textit{Relational Position Encodings}の挿入方法．位置表現をエッジの種類ごとに用意し，それぞれをエッジに加える．``PE''はPosition Encodingsを示す．}
\label{fig:figpe}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{感情ラベルの識別 }
\label{sec:classification}

\ref{sec:rgat}節で発話関係を考慮し作成した特徴量$\mathbf{h}_i^{L}$と，
\ref{sec:cue}節で作成した発話の特徴量$\mathbf{h}_i^{0}$を連結したベクトル$\mathbf{x}$を入力し，
$\mathrm{ReLU}$活性化関数を間に挿入した2層のFFNNを用いて，感情ラベルを判別する．
式を以下に示す．
\begin{equation}
\mathrm{Classifier}(\mathbf{x}) = \mathrm{ReLU}(\mathbf{x}W_1+\mathbf{b}_1)W_2+\mathbf{b}_2
\end{equation}
$W_1$と$W_2$はFFNNのパラメータを示し，
$\mathbf{b}_1$と$\mathbf{b}_2$は学習可能なバイアスベクトルを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{08table02.tex}
\hangcaption{MELD，IEMOCAP，EmoryNLPベンチマークデータセットの割合と評価方法．train，validation，testにおける対話数と発話数，クラス数を示す．}
\label{tab:description}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
\label{sec:exp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

ERCにおける3つのベンチマークセットを用いて，提案手法の有効性を検証する．
train, validation, testの割合と評価方法を表\ref{tab:description}に示す．
また各セットにおける対話数と発話数，クラス数を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[MELD]{MELD \cite{poria2018meld}}
は，複数の俳優が登場する\textit{Friends}というTVドラマの，一部シーンを切り取った映像と音声の書き起こしからなるデータセットである．
また，1つの対話に複数の話者が登場するデータセットである．
各発話は，
(\textit{neutral}, \textit{happiness}, \textit{surprise}, \textit{sadness},
\textit{anger}, \textit{disgust}, or \textit{fear})
のうち1つが付与される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[IEMOCAP]{IEMOCAP \cite{busso2008iemocap}}
は2人の話者が，1対1の会話を行う様子を収録した映像と音声の書き起こしからなるデータセットである．
各発話は，
(\textit{happy}, \textit{sad}, \textit{neutral}, \textit{angry},
\textit{excited}, or \textit{frustrated})
のうち1つが付与される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[EmoryNLP]{EmoryNLP \cite{zahiri2018emotion}}
はTVドラマ\textit{Friends}から，一部のシーンを切り取り収集したデータセットである．
MELDデータセットとデータサイズとラベルの種類が異なり，
(\textit{neural}, \textit{sad}, \textit{mad}, \textit{scared},
\textit{powerful}, \textit{peaceful}, or \textit{joyful})
のうち1つが付与される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

Ghosalらの手法\cite{ghosal2019dialoguegcn}で用いられた評価指標と同じ，
Weighted-F1値を全てのデータセットの評価に用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{従来手法}

提案手法の有効性を検証するために，以下に示す従来手法と精度を比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[CNN]{CNN \cite{kim2014convolutional}}
Convolutional Neural Networks (CNN)を用いて対話文における各発話の特徴量を抽出する手法である．
これは対話文における発話同士の関係は利用しない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[CNN+cLSTM]{CNN+cLSTM \cite{poria2017context}}
CNNを用いた発話特徴量の抽出に加えて，
双方向Long Short Term Memory (LSTM)を用いて隣接する発話間の関係を利用する手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[KET]{KET \cite{zhong2019knowledge}}
階層的Self-Attentionを用いて発話の特徴量を抽出する手法である．
また，GATと外部データベースを組み合わせ，
Commonsense Knowledgeと感情に関連する単語の特徴量を抽出する手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[DialogueRNN]{DialogueRNN \cite{majumder2019dialoguernn}} \label{dialoguernn}
CNNを用いて発話の特徴量を抽出し，
各発話の関連と話者の特徴，感情の推移について，それぞれGated Recurrent Unit (GRU)でモデリングする手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[DialogueGCN]{DialogueGCN \cite{ghosal2019dialoguegcn}} \label{dialoguegcn}
CNNを用いて発話の特徴量を抽出し，隣接する発話間の相互作用をGRUを用いて抽出する手法である．
加えて，発話間の関係の中でも自己依存と相互依存の取得にRGATを利用する手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[IEIN]{IEIN \cite{lu2020iterative}}
双方向GRUを用いて発話の特徴量を抽出し，発話間の相互作用の抽出に双方向GRUとAttention機構を用いる手法である．
さらに，感情ラベルの確率を入力し，新たな感情ラベルの確率を出力するネットワークを用いる．
再起的に確率を導出することで，隣接する発話間の影響を利用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[HiTrans]{HiTrans \cite{li2020hitrans}}
EmoryNLPデータセットにおいて，State-of-the-artを達成した手法である．
発話特徴量の抽出にBERTモデルを用い，話者間の関係の抽出にTransformerを利用し，
階層的に組み合わせた手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph[DialogXL]{DialogXL \cite{shen2020dialogxl}}
MELD，IEMOCAPデータセットにおいて，State-of-the-artを達成した手法である．
過去の発話を保存し共有するネットワークを，XLNetに加えた手法である．
また隣接する発話間の関係 (local)と，会話全体の発話間の関係 (global)と，
話し手，聞き手の特徴を，それぞれSelf-Attentionを用いて抽出する手法である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{その他の実験設定}

その他の実験設定を示す．
提案手法は，損失関数にCross Entropy Lossを用いて学習を行った．
また，RoBERTaとRGATモデルの学習率を$1e - 3$に設定し，
Cosine Annealing Scheduleにより学習率を減少させ学習した\cite{loshchilov2016sgdr}．
RAdam optimizer \cite{liu2019variance}を用いて最適化を行った．
発話の特徴量と発話関係を考慮し作成した特徴量の次元数を$1024$とし，ラベル識別の中間層の次元数を$512$に設定した．
また，エッジ重み係数を計算する際に，$4$-Head Attentionを用いた．
RGATのレイヤ数とバッチサイズはそれぞれ$2$と$8$に設定した．
validationセットで最もWeighted-F1値が高くなるハイパーパラメータの組み合わせを選択した．
ドロップアウトの割合は$0.1, 0.3, 0.5$の中から$0.3$を，
窓幅は$(p,f)={(2,2),(3,3),(4,4),(5,5)}$の中から$(p,f)=(5,5)$を選択した．
全ての実験結果は5回行い平均値を用いた．
512GBメモリのXeon(R) Gold 6246 CPUと，48GBメモリのQuadro RTX 8000 GPUを用い，CentOS環境で実験を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果と考察}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{従来手法との比較}

従来手法との比較結果を表\ref{comparison}と表\ref{eachlabel}に示す．
提案手法を除く全てのWeighted-F1値は，各文献から引用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベンチマークの比較}
表\ref{comparison}より，MELDデータセットでは，Weighted-F1値$63.12\%$を達成し，
従来手法を約$0.7\%$近く上回る世界最高水準の認識精度を達成した．
また，IEMOCAPデータセットにおいても，Weighted-F1値$65.95\%$を獲得し，世界最高水準の認識精度を達成した．
結果から3つのベンチマークデータセットのうち，2つのデータセットでState-of-the-artを達成し，提案手法の有効性を確認した．
さらに，複数のベンチマークで高い認識精度を有することから，
データ数や発話数，登場する話者数が異なる場合でも，精度良く認識できることを確認した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{08table03.tex}
\hangcaption{MELD，IEMOCAP，EmoryNLPベンチマークデータセットにおける従来手法との比較．ボールド体は最も性能が高い値を示す．各値は5回の実験によるWeighted-F1値の平均値を示す．}
\label{comparison}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{08table04.tex}
\hangcaption{MELDデータセットにおける従来手法と提案手法の，感情ラベルごとの認識結果．ボールド体は最も性能が高い値を示す．RoBERTaは発話特徴量の抽出を目的としてRoBERTaを用いた手法，+RGATは発話関係の抽出を目的としてRGATを加えた手法(RoBERTa+RGAT)，+PEはPosition Encodingsを加えた提案手法(RoBERTa+RGAT+PE)を示す．W-F1はWeighted-F1値を示す．}
\label{eachlabel}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{感情ラベルの比較}
MELDデータセットを用いて，感情ラベルごとの認識精度を比較し，提案手法の特徴を分析する．
結果を表\ref{eachlabel}に示す．
従来手法 ($\sharp 0-\sharp 4$)に加え，
$\sharp 5$に発話特徴量の抽出を目的としてRoBERTaを用いた手法(RoBERTa)，
$\sharp 6$に発話関係の抽出を目的としてRGATを加えた手法(+RGAT)，
そして$\sharp 7$にPosition Encodingsを加えた提案手法(+PE)の結果を示す．

結果から，従来手法 ({$\sharp 0-\sharp 4$})と比較し，全ての感情ラベルで提案手法 ({$\sharp 7$})の有効性を確認できる．
特に，出現回数の少ない{\textit{disgust}}ラベルにおいて，提案手法 ({$\sharp 7$})はF1値{$27.51\%$}を達成し，
F1値{$19.38\%$}を獲得したLuらの手法 ($\sharp 4$)を$8\%$以上上回る認識精度を達成した．
出現頻度の低い感情ラベルにおいても，提案手法は高い認識性能を有することを確認した．

またRoBERTa({$\sharp 5$})と+RGAT({$\sharp 6$})と比較し，
ほとんど全ての感情ラベルで提案手法({$\sharp 7$})の有効性を確認できる．
しかしながら，{\textit{fear}}ラベルでは，RoBERTa({$\sharp 5$})が高い認識性能を達成した．
MELDデータセットでは，``I lost it''や``How bad is this?''といった発話に，しばしば{\textit{fear}}ラベルが付与される．
RoBERTa({$\sharp 5$})が最も高いF1値を達成したことから，
他の発話からの影響や時系列情報に比べて，発話内容が{\textit{fear}}の感情に影響することが分かった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{推定結果の分析}

次に，発話特徴量の抽出を目的としてRoBERTaを用いた手法，
発話関係の抽出を目的としてRGATを加えた手法 (+RGAT)，
そしてPosition Encodingsを加えた提案手法 (+PE)，
それぞれの推定結果を分析する．
結果を表\ref{error}に示す．
表\ref{error}は，MELDのvalidationセットの一部で，
恋人と共に引越しをするMonicaが，友人であるRachelに別れを告げるシーンである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{08table05.tex}
\hangcaption{MELDデータセットにおける推定結果．RoBERTaは発話特徴量の抽出を目的としてRoBERTaを用いた手法，+RGATは発話関係の抽出を目的としてRGATを加えた手法(RoBERTa+RGAT)，+PEはPosition Encodingsを加えた提案手法(RoBERTa+RGAT+PE)を示す．}
\label{error}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

結果から，RGATを用いない手法(RoBERTa)は，
$4$番目と$10$番目の発話で，誤って\textit{joy}と認識していることが分かる．
一方で，RGATを用いる手法(+RGAT, +PE)は，正しく感情ラベルを認識した．
発話間の関係を考慮したことで，MonicaとRachelの一連の悲しい感情を反映し，正しく認識した．

しかしながら，$0$番目の発話で，提案手法(+PE)は\textit{joy}と誤って認識した．
先頭（または末尾）の発話を認識する場合，未来（過去）の発話しか参照できないため，他の発話に比べて識別が難しい．
そこで，対話全体の感情の傾向を考慮することで，参照し得る情報の不足を補うことが見込める．
MELDデータセットでは，表{\ref{error}}の正解ラベルが示すように，
負の感情が現れる対話の場合は負の感情（{\textit{sadness}, \textit{surprise}}など）が続く傾向にある．
従って，対話全体で負の感情が連続する傾向を考慮することで，表{\ref{error}}の$0$番目の結果のような正の感情（{\textit{joy}}など）への誤認識を防ぐことが期待できる．
提案手法は，window幅を設け隣接する発話の局所的な影響を考慮する構造をそなえているが，対話全体の感情の傾向を捉える構造はそなえていない．
今後の展望として，発話間の局所的な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する．

最後にRGATを加えた手法(+RGAT)と提案手法(+PE)について，$4$番目の発話で\textit{neutral}と推定した際に，周辺のどの発話の影響を重視したかを分析する．
表\ref{error}のサンプルにおける，+RGATと+PEのそれぞれのエッジの重み係数（式(\ref{eq:eqew}),(\ref{eq:eqewpe})）を，図\ref{fig:edgeweight}に示す．
左に+RGATの結果を，右に+PEの結果を示す．
それぞれの図は，RGATモデルの最終層($L = 2$)の，$4$番目の発話に対するエッジの種類ごとの重み係数を示す．
重み係数の値が大きいほど濃い色で示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia8f5.pdf}
\end{center}
\hangcaption{表\ref{error}のサンプルにおけるエッジの種類ごとの重み係数．左に発話関係の利用を目的としてRGATを加えた手法+RGAT(RoBERTa+RGAT)，右にPosition Encodingsを加えた提案手法+PE(RoBERTa+RGAT+PE)の結果を示す．各図はRGATモデルの最終層($L=2$)の，4番目の発話へのエッジの重み係数を示す．重み係数の値が大きいほど，濃い色を示す．}
\label{fig:edgeweight}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:edgeweight}の結果から，PEを加えることで，対象の発話($i=4$)に近い発話の影響がそれぞれのエッジの種類で大きくなることが確認できる．
赤色で示す自己 - 過去の関係 ({$r=1$})では，PEを加えることで$4$番目の発話の影響が大きくなり，
緑色で示す相互 - 未来の関係 ({$r=4$})では，PEを加えることで$7$番目の発話の影響が大きくなった．
このように，PEを加えることで，対象に近い発話の影響を重視することが確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデルの種類}

MELDデータセットを用いて，絶対位置と相対位置に基づくPosition Encodingsと比較し，提案手法の有効性を確認する．
TransformerにおけるPosition Encodings手法\cite{vaswani2017attention}を参考に，
絶対位置に基づくPosition EncodingsをRGATモデルの入力部分に加える．
また，相対位置に基づくPosition Encodingsを，グラフのエッジ係数に加える．
位置表現を示す値は，固定する場合 (fixed)と，FFNNを用いて学習する場合 (learned)のいずれかを用いる．
結果を表\ref{tab:modelvariation}に示す．
発話特徴量の抽出を目的としてRoBERTaを用いた手法 ($\sharp 0$)と，
発話関係の抽出を目的としてRGATを加えた手法 ($\sharp 1$)をそれぞれベースラインとする．
Position Encodingsの種類を変更し，固定または学習した場合の結果を$\sharp 2-\sharp 7$に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{08table06.tex}
\caption{絶対位置と相対位置，提案手法に基づくPosition Encodingsの比較}
\label{tab:modelvariation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案するRelation Position Encodingsを用いて値を学習する場合 ($\sharp 7$)，最も高いWeighted-F1値$63.12\%$を得た．
提案手法はベースライン ($\sharp 0,\sharp 1$)に比べ$2\%$近く値が改善し，
さらにその他のPosition Encodingsに比べ高い認識精度を達成した．
以上より，Position Encodingsを学習する場合，最も高い認識精度を達成することが確認できる．
また，全てのPosition Encodings ($\sharp 2-\sharp 7$)が，
ベースライン ($\sharp 0,\sharp 1$)よりも高いWeighted-F1値を得ていることから，
Position Encodingsの有効性も確認することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}
\label{sec:conclusion}

本論文は，対話文における各発話の感情認識において，
RGATモデルに適した順序情報を加える\textit{Relational Position Encodings}を提案した．
順序情報を加えたRGATを用いることで，発話間の関係と発話の順序情報の両方を利用できる．
3つのベンチマークデータセットを用いて提案手法の有効性を確認したところ，
2つのデータセットで従来手法を上回る認識精度を達成した．
また提案手法は，絶対位置や相対位置に基づくPosition Encodingsよりも高い認識精度を達成し，その有効性を確認した．

今後，\textit{Relational Position Encodings}の次元数を増加させることを検討している．
\textit{Relational Position Encodings}はエッジの重み係数に加えるため，スカラー値で表現した．
スカラー値では表現次数として不十分な可能性があり，今後次元数を増やすことを検討する．
また，発話間の局所的な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文の内容の一部は，
Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP2020)
で発表したものである\cite{ishiwatari2020relation}．

貴重なコメントや議論を頂いたNHK放送技術研究所の山田一郎上級研究員，
美野秀弥研究員，遠藤伶研究員，東京工業大学の\UTF{5FB7}永健伸教授に感謝の意を表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{08refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石渡　太智}{%
2017年早稲田大学大学院修士課程修了．
同年，NHKに入局．
2019年より放送技術研究所にて自然言語処理の研究に従事．
2021年より東京工業大学博士後期課程在学．
言語処理学会会員．
}
\bioauthor{安田　有希}{%
2017年早稲田大学大学院修士課程修了．
同年，NHKに入局．
2019年より放送技術研究所にて自然言語処理の研究に従事．
}
\bioauthor{宮\CID{8443}　太郎}{%
2006年東京工業大学大学院修士課程修了．
同年，NHKに入局．
2011年より放送技術研究所にて自然言語処理の研究に従事．
2017年から2018年メルボルン大学訪問研究員．
言語処理学会，映像情報メディア学会，電子情報通信学会，各会員．
}
\bioauthor{後藤　　淳}{%
1993年徳島大学大学院修士課程修了．
同年，NHKに入局．
1998年より同放送技術研究所で言語処理研究に従事．
2014年総合研究大学院大学博士課程修了．
博士（情報学）．
現在，放送技術研究所上級研究員．
映像情報メディア学会，電子情報通信学会各会員．
}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

