\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage[dvipdfmx]{color}
\usepackage{multirow}
\usepackage{arydshln}
\newcommand{\red}[1]{\textcolor{black}{#1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{32}
\Number{2}
\Month{June}
\Year{2025}

\received{2024}{10}{23}
\revised{2025}{2}{9}
\accepted{2025}{3}{24}

\setcounter{page}{633}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{談話関係ラベル付き接続語認識}
\jauthor{岡　　佑依\affiref{Author_1} \and 柳本　大輝\affiref{Author_2} \and 平尾　　努\affiref{Author_3} \and 西田　京介\affiref{Author_1}}
\jabstract{%
暗黙的談話関係認識(IDRR)は，隣接するテキストスパン間の談話関係を識別するタスクである．
しかし，IDRRで用いられる談話関係ラベルは粗い表現であり，全ての談話を網羅的に表現できているわけではない．
本稿では，隣接するテキストスパン間の接続語とその談話関係ラベルの組み合わせを識別するタスク，談話関係ラベル付き接続語認識(Implicit Sense-labeled Connective Recognition, ISCR)を提案する．
ISCRは分類タスクとして扱えるが，クラス数の多さ，そしてクラス間のインスタンスの不均等な分布から，従来の分類器で解くことは難しい．
そこで本稿では，ISCRをテキスト生成タスクとして扱い，エンコーダ・デコーダモデルを用いて接続語とその談話関係ラベルの両方を生成する．
PDTB-3.0，PDTB-2.0において，従来の分類器と2種類の生成法で比較実験から，生成法が有効であることがわかった．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，EMNLP2023の論文集に掲載された論文 Implicit Sense-labeled Connective Recognition as Text Generation  \cite{oka-hirao-2023-implicit}の拡張版であり，T5モデルを使ったモデルサイズ別の調査，およびPDTB-2データセットを使った実験，クラス数と分類器の分析が追加で含まれている．2023年NTTコミュニケーション科学基礎研究所でのインターンシップの成果も含む．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}

\jkeywords{暗黙的談話関係認識，談話関係ラベル付き接続語認識，Penn Discourse Treebank}

\etitle{Implicit Sense-labeled Connective Recognition}
\eauthor{Yui Oka\affiref{Author_1} \and Daiki Yanamoto\affiref{Author_2} \and Tsutomu Hirao\affiref{Author_3} \and Kyosuke Nishida\affiref{Author_1}} 
\eabstract{%
Implicit Discourse Relation Recognition (IDRR) involves identifying the sense label of an implicit connective between adjacent text spans. 
This has traditionally been approached as a classification task. 
However, sense labels cannot exhaustively represent all discourse.
This paper presents Implicit Sense-labeled Connective Recognition (ISCR), which identifies the implicit connectives as well as their sense labels between adjacent text spans. 
ISCR can be treated as a classification task, but it's actually difficult due to the large number of potential categories, the use of sense labels, and the uneven distribution of instances among them. 
Accordingly, this paper instead handles ISCR as a text-generation task, using an encoder-decoder model to generate both connectives and their sense labels. 
From our evaluation results, we found that our classification method outperforms the conventional classification-based method.
}
\ekeywords{Implicit Discourse Relation Recognition, Implicit Sense-labeled Connective Recognition, Penn Discourse Treebank}

\headauthor{岡，柳本，平尾，西田}
\headtitle{談話関係ラベル付き接続語認識}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{NTT人間情報研究所}{NTT Human Informatics Laboratories}
\affilabel{Author_2}{愛媛大学}{Ehime University}
\affilabel{Author_3}{NTTコミュニケーション科学基礎研究所}{NTT Communication Science Laboratories}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
文書を取り扱う際，文中の単語同士の関係だけでなく，文と文の意味的な繋がりも理解しながら処理を進めていく必要がある．
このような文と文の意味的な繋がりは談話関係と呼ばれ，時には接続語によって明示的に表現されている．
隣接する節，文などのテキストスパンの間にある談話関係を認識するタスクは談話関係認識(Discourse Relation Recognition, DRR)と呼ばれ数多く研究されている．
DRRでは，隣接するテキストスパンはArg1文，Arg2文と定義され，Arg1文とArg2文の間の談話関係を表現するラベルを推定する．
DRRで使われるデータセットの一つであるPenn Discourse Treebank \cite{prasad-etal-2008-penn,Webber-pdtb-3}では，談話関係の意味を表現するために，トップレベルでは4種類，セカンドレベルでは20種類ほどの階層化された談話関係ラベルが定義されている．
この談話関係ラベルは，接続語に注釈することで接続語の多義性解消ができ，文書を入力とする要約などの下流タスクの精度が改善することがわかっており，接続語と談話関係ラベル両方が文書を取り扱うタスクで重要であることがわかる  \cite{li-etal-2014-assessing,meyer-popescu-belis-2012-using}．

DRRの中でも，接続語が省略されているテキストスパン間の談話関係ラベルを推測するタスクは暗黙的な談話関係認識(Implicit Discourse Relation Recognition, IDRR)  \cite{10.5555/1690219.1690241}と呼ばれ，これも多数研究されている．
図\ref{intro_png}にIDRRの例を示す．
IDRRでは接続語がテキストスパン間に存在しないため，テキスト同士の意味的関係を推測する必要があり，接続語が存在するときよりも推測が難しい．
さらに，談話関係ラベルの種類が多くなるほど精度が下がることが知られている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Fig 1
\begin{figure}[b]
\begin{center}
\includegraphics{32-2ia8f01.eps}
\end{center}
\hangcaption{IDRRでは明示的な接続語が存在しないテキストスパン間(Arg1, Arg2)の談話関係を表現するラベル(Comparison.Concession)を予測する．本研究で提案するタスクISCRでは明示的な接続語が存在しないテキストスパン間(Arg1, Arg2)の談話関係を表現するラベル(Comparison.Concession)と接続語の組み合わせを予測する．}
\label{intro_png}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

IDRRにおいて，特に難しいのが接続語の推定である \cite{DBLP:conf/aaai/WuCGLZS22}．
接続語の種類は談話関係ラベルよりも多く，意味に曖昧さが含まれることもあることから，その推定精度はかなり低いことがわかっている．
たとえ談話関係ラベルを推測できたとしても，談話関係ラベルは粗い談話関係のみを表現しているため，接続語が持つようなさらに細かい表現は不可能である．
そして，談話関係ラベルと接続語は多対多の関係となっており，談話関係ラベルから一意に細かい意味を定めることはできない．
例えば，表\ref{pdtb-label-list_intro}に示すExpansion.Instantiationという談話関係ラベルがアノテーションされる接続語にfor exampleと\red{on the one hand}がある．
談話関係ラベルExpansion.Instantiationは，一方のテキストがある状況の説明をしているとき，他方のテキストがそれらの状況の1つ以上を説明する場合に使用されるため，談話関係ラベルの観点からするとどちらの接続語も同じ意味を持つと捉えられる．
しかしながら，for exampleはある状況に即する例を示し，on the one handは別の例を示す接続語であり，細かい意味が異なる．
このように同じ談話関係ラベルに属する接続語でも，それらの意味はそれぞれ異なっており，談話関係ラベルがこの細かな違いを表現することはできない．
このような関係を持つことから，談話関係ラベルから接続語を一意に定めることはできない．
実際，PDTB-3データセット \cite{Webber-pdtb-3}において，談話関係ラベルから接続語が一意に定めることができるものは21072サンプル中3サンプルほどしかなく，この談話関係ラベルと接続語の多対多の関係は一般的であることがわかる\footnote{付録にPDTB-3データセットにおける実際の数を記載している．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 1
\begin{table}
\input{08table01.tex}%
\hangcaption{PDTB-3データセットにおけるPDTB談話関係ラベルと接続語の例．
複数の談話関係ラベルに対応する接続語は\textbf{太字}にしている．
}
\label{pdtb-label-list_intro}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

IDRRの先行研究において，接続語は談話関係ラベル推定の手掛かりとして使われることが多く，接続語そのものを推定することは重要視されていない．
例えば，\citeA{jiang-etal-2023-global}の研究では，接続語と談話関係ラベルのセットを推定するものの，推定されうる接続語はあらかじめ決められている．
\citeA{zhou-etal-2022-prompt-based}は，談話関係ラベルに最も対応する接続語のみを推定し，その接続語から談話関係ラベルを推定する手法を提案した．

しかし，談話関係ラベルは，接続語に注釈を付けることで曖昧さを解消し，すべての談話関係を網羅的に表現することではじめて，翻訳などの下流タスクの精度向上に寄与する．
したがって，談話関係ラベルだけでなく，より詳細な接続語も共に推定する必要がある．

そこで本研究では，談話関係ラベルより詳細な談話関係の解析を目指して，談話関係ラベル付き接続語認識タスク(Implicit Sense-labeled Connective Recognition, ISCR)に取り組む．
ISCRでは，テキストスパン間に暗黙的に存在する談話関係ラベルのみだけではなく接続語も予測する．
このように談話関係ラベルと接続語両方を予測することで，談話関係ラベルと接続語の曖昧性を解消でき，より詳細な談話関係の解析が可能である．
\red{また，ISCRはIDRRを拡張したタスクと捉えることができ，}IDRRと同様に分類タスクとして捉えることができる．
しかし，クラス数は談話関係と接続語の組合せとなるため非常に多くなり，頻度のばらつきも大きくなる．
よって，単純に分類器を適用するだけでは十分な性能が得られない．
そこで，我々はISCRを分類タスクではなく，エンコーダモデルを使った生成タスクとして解くアプローチを採用した．

\red{IDRRの代表的なデータセットである}PDTB-2, PDTB-3データセットを用いた実験結果から，従来の分類器を使うより，提案手法であるエンコーダ・モデルを使った生成手法がISCRの精度が向上することがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{暗黙的談話関係認識 (Implicit Discourse Relation Recognition, IDRR)}
Arg1文とArg2文の間にある談話関係を推測するタスクは談話関係認識(DRR)と呼ばれる．
Arg1文とArg2文の間に明示的な接続語がある場合，95パーセント近くの高い精度で談話関係が推測可能である \cite{dai-huang-2019-regularization}．
一方で，明示的な接続語がない場合，接続語から談話関係を推測することができずArg1文とArg2文の意味から談話関係を推測する必要があるため，難しいタスクとなる．
これは暗黙的談話関係認識 (IDRR)  \cite{10.5555/1690219.1690241}と呼ばれ，盛んに研究が行われている．

IDRRの標準的ベンチマークセットであるPDTB-2 \cite{prasad-etal-2008-penn}とPDTB-3 \cite{Webber-pdtb-3}では，談話関係ラベルは階層構造を持ち，3つのレベルを使って表現される．
PDTB-2とPDTB-3では，セカンドレベルとサードレベルで定義されているラベルが異なっており，PDTB-3はPDTB-2と比べると希少な意味や注釈が難しい意味が削除され簡略化されている．
PDTB-2データセット，PDTB-3データセットの両方において，トップレベル，セカンドレベルは談話関係の意味を表現しているが，サードレベルは談話関係のArg1文とArg2文の方向性を表現している．
各レベルは`.'によって区切られて表現されている．
例えば，談話関係ラベル`Comparison.Concession.Arg2-as-denier'の場合，トップレベルがComparison，セカンドレベルがConcession，サードレベルがArg2-as-denierである．
また，データセットには，Arg1文とArg2文に挿入されうるであろう接続語も与えられている．
IDRRの多くの研究では，セカンドレベルまでの談話関係ラベルを当てることに注力しており，接続語は談話関係ラベルを推定するために使われることが多い．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{分類器を使うIDRR}
多くの先行研究では，IDRRを，Arg1文とArg2文の談話関係を事前定義された談話関係ラベルセットから選択する文書分類問題として扱っている．
特に，RoBERTaモデル \cite{liu2020roberta}などの事前学習済みの大規模言語モデルにArg1文とArg2文を入力し，談話関係ラベルを分類するためにfine-tuningを行うアプローチが，広く採用されている \cite{shi-demberg-2019-next,ijcai2020p530,xiang-etal-2022-encoding,long-webber-2022-facilitating}．
\citeA{shi-demberg-2019-next}は大規模言語モデルBERT \cite{devlin-etal-2019-bert}のnext sentence representaionタスクを利用する手法を提案した．%https://aclanthology.org/D19-1586/
\citeA{xiang-etal-2022-encoding}はInter-AttentionとOffset Matrix NetworkをRoBERTaモデルに組み込むことで，Arg1文とArg2文の間で繋がりを持つ機能語を学習する手法を提案した．
\citeA{long-webber-2022-facilitating}は，負例を談話関係ラベルの階層に基づいて生成し，対照学習を行う手法を提案した．
ただし，これらの手法では，談話関係ラベルがトップからセカンドになり予測するクラス数が多くなるとデータが不均衡となり分類器の性能が低下するという課題がある．
\subsubsection{接続語推測を行うIDRR}
接続語が文間に存在する明示的談話関係認識は，ある接続語に対応する談話関係ラベルを選択するという，接続語に特化した語義曖昧性解消タスクと捉えることもでき，比較的簡単なタスクとなる．
このことから，接続語は談話関係ラベルを推測する上で非常に有効であると考えられる．
さらに，Arg1とArg2の間に挿入すべき接続語をいくつかの候補の中から選択することは，現在のエンコーダ・デコーダモデルにとって比較的簡単なタスクである．
よって，エンコーダ・デコーダで接続語を生成または選択した後，生成した擬似接続語を使って談話ラベルを推定するアプローチが提案されている．

\citeA{kishimoto-etal-2020-adapting}は，BERTのfine-tuning時にArg1文とArg2文から明示的な接続語予測を行うよう学習し，その後暗黙的な接続語予測を行うよう学習することで談話関係ラベルを推定する手法を提案した．
\citeA{zhou-etal-2022-prompt-based}は，エンコーダ・デコーダではなく，prompt-tuning \cite{lester-etal-2021-power}を使い接続語予測をし，その後接続語から談話関係を分類器によって推測する手法を提案した．
\citeA{chan2023discoprompt}は，IDRRをPDTB談話関係ラベルの階層構造のパスを予測する問題として捉え，Prompt-tuningを使い事前に選ばれた接続語予測と階層構造のパスを予測する手法DiscoPromptを提案した．
\citeA{jiang-etal-2023-global}は，マルチタスク学習と対比学習により，接続語も含んだ階層的な談話関係表現を学習する手法を提案した．
\citeA{liu-strube-2023-annotation}は，Arg1文とArg2文を\texttt{<MASK>}トークンで連結した文を入力し，\texttt{<MASK>}トークンに入る接続語を予測した．
\red{この時，各談話関係ラベルを代表した意味を持つような接続語が}事前に100種類程度に選定されている．
その後，Arg1文\red{，}接続語\red{，}Arg2文を連結し，\red{擬似的な，明示的談話関係認識(Explicit Discourse Relation Recognition, EDRR)タスク}として談話関係ラベルを推定する方法を提案した．
\red{EDRRタスクでは，接続語が明示的に含まれるため談話関係ラベルの推定性能はIDRRと比較すると高くなる傾向にある．}
よって，このように擬似的に生成した接続語をIDRRで使う手法は有効である．
一方で，どの手法も談話関係ラベルの推定は分類器に依存しており，ラベル数が多くなったときに性能が低下するという課題がある．
さらに，擬似的接続語を利用する手法では，ラベルを一意に決定する接続語の候補をあらかじめ選定し，それを予測するよう学習する．
そのためあらかじめ指定された擬似的な接続語しか推定しておらず，あくまで接続語は談話関係ラベルの推定のために使われている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{マルチレベルIDRR (Multi-level Implicit Discourse Relation Recognition)}
提案するISCRと似たタスクにマルチレベルIDRRが挙げられる．
通常のIDRRでは，セカンドレベルの談話関係ラベルの推測しか行わないのに対し，マルチレベルIDRRでは，接続語の予測までも行う \cite{DBLP:conf/aaai/WuCGLZS22,zhao-etal-2023-infusing,zeng-etal-2024-global}．
\citeA{DBLP:conf/aaai/WuCGLZS22}は，マルチレベルIDRRを，条件付きラベルシーケンス生成タスクと見なし，ラベル依存関係を考慮したシーケンス生成モデルを提案した．
\citeA{zhao-etal-2023-infusing}や\citeA{zeng-etal-2024-global}は，prompt-tuningを使った手法を提案した．
しかし，マルチレベルIDRRでは，談話関係ラベルと接続語は独立に評価されており，談話関係ラベルと接続語の組み合わせのパターンが一致していたかどうかは評価されない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エンコーダ・デコーダモデルを使ったクラス分類}
IDRRやテキスト分類など文を分類するタスクでは，事前学習済みエンコーダモデルが出力した先頭トークンを線形層を使って談話関係ラベルに分類する手法が多く提案されている．
しかしながら，ラベル数が多くデータの頻度に偏りがある不均衡データにおいて，分類器は精度が下がることが一般的に知られている．
不均衡データを使った分類問題を解くために，エンコーダ・デコーダモデルを活用する手法が提案されている  \cite{DBLP:journals/corr/abs-1812-05774,kwon-etal-2023-hierarchical,DBLP:conf/aaai/WuCGLZS22}．
これらの研究では，分類器でラベルを分類するのではなく，事前学習済みエンコーダ・デコーダでラベル系列を生成する．
事前学習済みエンコーダ・デコーダを用いると，事前学習に利用したデータセットにクラスラベルが含まれる可能性があるため，分類の学習データに存在しない，あるいは件数が少ないラベルも推定できる．
\citeA{kwon-etal-2023-hierarchical}は，階層的なテキスト分類タスクに対して,
ラベル階層と未知のラベルを明示的に捉える生成ベースの手法を提案した．
IDRRタスクでは，\citeA{DBLP:conf/aaai/WuCGLZS22}が談話関係ラベルと接続語を連結した系列のみを制約付きで予測する手法を提案した．
この手法においても接続語を含む順序を予測するが，接続語は談話関係を予測する際の補助的な役割に過ぎず，接続語の予測に重点を置いていない．
この様に階層的なラベルが定義されているテキスト分類タスクや，IDRRのラベルは，根から葉へと階層的に繋がっていくように定義されているため，自己回帰型の生成モデルと相性が良く，分類器ではなく生成モデルを使うことは有効である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{談話関係ラベル付き接続語認識}
本研究では，テキストスパン間に暗黙的に存在する談話関係ラベルと接続語両方を予測するタスク，談話関係ラベル付き接続語認識タスク(Implicit Sense-labeled Connective Recognition, ISCR)を提案する．
図\ref{proposed_task_png}にISCRの概要を示す．
談話関係ラベル付き接続語は，接続語の後ろに談話関係ラベルを連結させたものとなる．
図\ref{proposed_task_png}の例では，談話関係ラベル付き接続語は``however (Comparison.Consession)''となる．
ISCRでは接続語の候補を絞らないため，レアケースな接続語と談話関係ラベルの組み合わせが多数存在し，不均衡データかつ多クラスとなり，通常の分類器で推測することは難しい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig 2
\begin{figure}[b]
\begin{center}
\includegraphics{32-2ia8f02.eps}
\end{center}
\hangcaption{ISCRでは明示的な接続語が存在しないテキストスパン間(Arg1, Arg2)に挿入されうるであろう接続語(however)と談話関係ラベル(Comparison.Concession)を予測する．}
\label{proposed_task_png}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\citeA{DBLP:journals/corr/abs-1812-05774,kwon-etal-2023-hierarchical}は分類タスクをテキスト生成タスクとして解くことで多クラス，かつ，ラベル間で関係を持つラベルで性能が改善することを報告した．
ISCRで予測する接続語とPDTB談話関係ラベルは互いに関係を持つため，生成タスクとして解くことは有効であると考えられる．
そこで，通常の分類器に加えて，エンコーダ・デコーダモデルを用いた生成法として図\ref{proposed_method_png}に示す2つの方法を試す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig 3
\begin{figure}[b]
\begin{center}
\includegraphics{32-2ia8f03.eps}
\end{center}
\hangcaption{エンコーダ・デコーダモデルを用いた生成法．connが接続語，PDTB labelが談話関係ラベルである．実際は，接続語，談話関係ラベルともにトークナイズされるため，それぞれ1トークンとはならず複数トークンとなる．}
\label{proposed_method_png}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分類器}
事前学習済みのエンコーダモデルを使用し，Arg1文とArg2文を\texttt{<MASK>}トークンで接続した文を入力として，談話関係ラベルを分類するモデルを学習する．また，接続語についても同様に学習を行う．ISCRタスクにおけるラベルの組み合わせは多岐にわたり，分類問題としては難易度が高いため，それぞれを独立に分類することで，問題の複雑さを軽減する必要がある．したがって，談話関係ラベルを分類する分類器と接続語を分類する分類器は，それぞれ独立に学習を行うこととする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{目的関数}
接続語を分類する分類器，談話関係ラベルを分類する分類器の両方において，目的関数としてクロスエントロピー損失を採用した．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 式1
\begin{equation}
\mathcal{L} = - \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log \hat{y}_{i,c}
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
$N$ はサンプル数，$C$ はクラス数を表す．
また，$y_{i,c}$ はサンプル $i$ のクラス $c$ に対応する正解ラベルである．
$\hat{y}_{i,c}$ はモデルが出力したクラス $c$ に対する確率である．
\red{モデルが出力したクラス $c$ に対する確率は以下のsoftmax関数を通じて次のように計算される．}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 式2
\begin{equation}
\hat{y}_{i,c} = \frac{\exp(z_{i,c})}{\sum_{j=1}^{C} \exp(z_{i,j})}
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
$z_{i,c}$はエンコーダモデルが出力したサンプル$i$に対するクラス$c$のスコアであり，softmax関数によって各クラスの確率分布へと変換される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テキスト生成}
Arg1文とArg2文を考慮して生成することを目的として，談話関係ラベル付き接続語を挟んで出力するよう，事前学習済みエンコーダ・デコーダモデルを使って学習する．

\red{PDTBの特徴として，隣接するテキストスパン間の談話関係を表現することが挙げられる．この特徴に基づけば，接続語は通常，Arg1文とArg2文の間に配置されるのが自然であり，先行研究でもこのような配置で入力や生成を行っている \cite{xiang-etal-2022-connprompt,chan2023discoprompt}．
よって，本手法でも，入力はArg1文とArg2文を\texttt{<MASK>}トークンで接続したものとし，出力でもArg1文とArg2文の間に談話関係ラベルと接続語を挿入した文を生成するよう学習を行なった．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{目的関数}ラベル生成と同様，モデルの目的関数はクロスエントロピー損失を採用した．
入力系列$x$はArg1文とArg2文を\texttt{<MASK>}トークンで接続した文である．
一方で，出力系列$y$は，ラベル生成と異なり，Arg1文とArg2文の間に談話関係ラベルと接続語を挿入した文となる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{サンプリング}
サンプリング手法では，ラベル生成と同様，Greedy Decoding（貪欲法）を採用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ラベル生成}
\citeA{DBLP:journals/corr/abs-1812-05774,kwon-etal-2023-hierarchical}に倣って，談話関係ラベル付き接続語のみを生成するよう，事前学習済みエンコーダ・デコーダモデルを使って学習する．
\red{PDTBの特徴として，隣接するテキストスパン間の談話関係を表現することが挙げられる．この特徴に基づけば，接続語は通常，Arg1文とArg2文の間に配置されるのが自然であり，先行研究でもこのような配置で入力や生成を行っている \cite{xiang-etal-2022-connprompt,chan2023discoprompt}． 
よって，本手法では，入力はArg1文とArg2文を\texttt{<MASK>}トークンで接続したものを採用した．}
この形は\texttt{<MASK>}トークンに挿入されうるトークンを推測する穴埋めタスクと同様と考えられる．
T5 \cite{2020T5}のような学習済み大規模言語モデルは穴埋めタスクを事前学習しているため，大規模言語モデルが生成しやすいタスクである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{目的関数}エンコーダデコーダモデルにおいて，入力系列 $x$ から出力系列 $y = (y_1, y_2, \dots, y_T)$ を生成する．
この時入力系列$x$はArg1文とArg2文を\texttt{<MASK>}トークンで接続した文であり，出力系列 $y$は談話関係ラベルと接続語である．
モデルの出力は，各時刻 $t$ における次の単語の確率分布 $P(y_t \mid y_{<t}, x)$である．
モデルの目的関数はクロスエントロピー損失を採用した．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 式3
\begin{equation}
\mathcal{L} = - \sum_{t=1}^{T} \log P(y_t \mid y_{<t}, x)
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで，$T$ は出力系列の長さを表す．$y_{<t}$は時刻$t$より前の全ての出力トークンを指す．
\paragraph{サンプリング}
生成時のサンプリングには各ステップで最も確率の高いトークンを選択するGreedy Decoding（貪欲法）を採用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\red{ISCRとIDRRの違い}}
\red{提案タスクISCRはIDRRを拡張したタスクと捉えることができる．
表\ref{tab:idrr_mult_iscr}にそれぞれのタスクの違いを示す．
全てのタスクにおいて，Arg1文とArg2文が入力として与えられる．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 2
\begin{table}[b]
\input{08table02.tex}%
\hangcaption{\red{IDRR，マルチレベルIDRR，ISCRの違い．入力はすべて隣接するテキストArg1文とArg2文である．}}
\label{tab:idrr_mult_iscr}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\red{IDRRでは，Arg1文とArg2文から談話関係ラベルを推定することが主目的である．接続語を同時に推定する手法も存在するが，IDRRでは最終的に談話関係ラベルの推定を重視している．そのため，接続語は談話関係ラベルの推定を補助するための手段として使用されるに留まる．この結果，IDRRで推定される接続語は限定的であり，各談話関係ラベルを代表する接続語（擬似的な接続語）が使用される．}

\red{マルチラベルIDRRでは，談話関係ラベルだけでなく，Arg1文とArg2文の間に挿入可能な接続語も推定する．この接続語の推定は，各談話関係ラベルを代表するものではなく，文脈に応じた自然な接続語の推定を目的としている．接続語を推定することで，文書を扱う下流タスクの精度向上が期待される．しかし，談話関係ラベルの推定精度と接続語の推定精度は独立に評価されており，接続語の曖昧性解消には十分寄与していない．}

\red{ISCRでは，談話関係ラベルと接続語の両方に加え，その組み合わせも推定する．
両者を同時に推定することで，接続語の細かな意味まで捉えることが可能となり，接続語の曖昧性が解消される．これにより，下流タスクの精度向上が一層期待できる．}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験} \label{main}
既存手法である分類器とラベル生成，提案手法であるテキスト生成，それぞれの手法の有効性を検証した．
さらに，談話関係ラベルがどれほどISCRの精度に影響を及ぼすのかを検証するため，
トップレベルの談話関係ラベル付き接続語を予測するトップレベルISCR，セカンドレベルまでの談話関係ラベル付き接続語を予測するセカンドレベルISCR，両方で検証した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データセット}
IDRRの標準的ベンチマークセットであるPenn Discourse TreeBank version 2.0 (PDTB-2) \cite{prasad-etal-2008-penn}，Penn Discourse TreeBank version 3.0 (PDTB-3) \cite{Webber-pdtb-3} \footnote{\url{https://catalog.ldc.upenn.edu/LDC2019T05}}を使用して性能評価を行った．
両データセットはWall Street Journalに談話関係をアノテーションしたデータセットであり，3階層の構造を持つラベルで談話関係が表現されるが，IDRRに倣いISCRでもセカンドレベルまでのラベルを用いた．
また，接続語はアノテータが与えた接続語を用いた．
これはメタデータとしてデータセットにあらかじめ添付されている．
IDRRの先行研究 \cite{ji-eisenstein-2015-one,kim-etal-2020-implicit,long-webber-2022-facilitating}に倣い，\citeA{ji-eisenstein-2015-one}の分割法\footnote{\url{https://github.com/najoungkim/pdtb3}}を用いて
訓練にはセクション2--20，開発にはセクション0--1，テストにはセクション21--22を用いた．
\citeA{long-webber-2022-facilitating}に倣い，PDTB-3 セカンドレベルの実験ではPDTB-2と共通しているラベル14種類のみを使用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実装}
ベースラインとして，従来の分類器を使う手法についても実験を行った．
分類器で接続語，PDTB談話関係ラベルをそれぞれ推定し，その組み合わせを評価する．
分類器においても，テキスト生成・ラベル生成と同様，Arg1文とArg2文を\texttt{<MASK>}トークンで接続したものを入力とした．
分類器のエンコーダ，テキスト生成，ラベル生成のエンコーダ・デコーダにはT5 \cite{2020T5}を用いた．
モデルサイズはbase\footnote{\url{https://huggingface.co/google-t5/t5-base}}, large\footnote{\url{https://huggingface.co/google-t5/t5-large}}, 11b\footnote{\url{https://huggingface.co/google-t5/t5-11b}}の3つを用いた．

実装にはTransformers \cite{wolf-etal-2020-transformers}を用いた．
また，11bのfine-tuning時のメモリ削減・学習パラメータ数の削減のためにQLoRA \cite{dettmers2023qlora}\footnote{\url{https://github.com/artidoro/qlora}}を用いた．
QLoRAは，一部のパラメータのみを学習させることで低コストでの追加学習を可能にするLoRA \cite{hu2022lora}に，量子化とページ最適化を加えた手法であり，LoRAよりもさらに低コストでの追加学習が可能となる．
\red{QLoRAのターゲットモジュールは$[q,k,v,o]$とし，全ての線形層を対象にして学習を行なった．}
表\ref{parameter}にその他の学習パラメータ，QLoRAのパラメータの詳細を示す．
最適化にはRAdam \cite{Liu2020On}を用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 3
\begin{table}
    \input{08table03.tex}
    \caption{パラメータ設定}
    \label{parameter}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ラベル}
ISCRとIDRRのラベル数を表\ref{dataset_label}に示す\footnote{IDRR, ISCRのラベル一覧は付録を参照．}．
全体のラベル数はトップレベル,セカンドレベルともに多くなっている．
さらに，表\ref{dataset_label_imbalance}に，\citeA{Cui_2019_CVPR}が定義したデータセットの不均衡を表現する不均衡係数を示す．
不均衡係数は，最大クラスの訓練サンプル数を，最小クラスの訓練サンプル数で割った値であり，この不均衡係数が大きいほどデータセットの不均衡度合いは大きい．
そして，この不均衡係数が大きいほど，正答率が下がることがわかっている \cite{Cui_2019_CVPR}．
IDRRのトップレベルでは不均衡係数はPDTB-2, PDTB-3ともに10以下であり，セカンドレベルでは30程度である．
接続語では，不均衡係数の値は大きくなり，トップレベル，セカンドレベルと比べると不均衡度合いは大きいことがわかる．
一方で，ISCRの不均衡係数は，トップレベル，セカンドレベルともに1000を超えており，ISCRのラベルはIDRRよりも不均衡度合いが大きいことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 4
\begin{table}[t]
\input{08table04.tex}%
\hangcaption{PDTB-2データセットとPDTB-3データセットのクラス数．
各データに存在しないラベルや接続語があるため，Train，valid,testそれぞれのクラス数を示している．
}
\label{dataset_label}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 5
\begin{table}[t]
\input{08table05.tex}%
\hangcaption{PDTB-2データセットとPDTB-3データセットの不均衡係数．不均衡係数が大きいほど不均衡度合いが大きい．
}
\label{dataset_label_imbalance}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}
IDRRでは，クラス分類の評価指標として一般的に用いられる Accuracy と Macro F1が利用される． 
ISCRではIDRRよりもラベル数が増え，データの不均一性もより強調される．
よって，各ラベルのインスタンス数の平均F1値であるMacro F1ではなく，各ラベルのインスタンス数で重み付けした平均のF1値であるWeighted F1でも評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
表\ref{result_iscr_2}にPDTB-2データセットとPDTB-3データセットにおけるISCRの実験結果を示す．
まず，全体のスコアは低く，ISCRはIDRRと比較すると難しいタスクであることがわかる．
また，ISCRではトップレベルとセカンドレベルの各スコアの差が小さかった．
通常，IDRRではクラス数の違いからトップレベルとセカンドレベルで10ほどのスコアの差が生まれる \cite{chan2023discoprompt,jiang-etal-2023-global,liu-strube-2023-annotation}が，ISCRではモデルサイズが大きくなるにつれ，スコアの差は小さくなっていった．
例えば，PDTB-3データセットのT5-11bのテキスト生成法では，トップレベルでAccuracyが45.65であるのに対し，セカンドレベルでは43.82であり，1.83の差しかない．
分類器やラベル生成法でも，同様の傾向が見られた．
ISCRでは，トップレベルでもセカンドレベルでも300以上のラベル数を推測する難しいタスクとなるため，両レベルでのスコアの差が小さくなったと考えられる．
このことから談話関係ラベルの粒度の違いはISCRに大きな影響を与えないことがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 6
\begin{table}[t]
\input{08table06.tex}%
\hangcaption{談話関係ラベル付き接続語を予測するISCRでの実験結果． すべてのモデルで最も良かったスコアを\textbf{太字}にしている．\red{AccはAccuracy，W-F1はWeighted-F1を指す．}
}
\label{result_iscr_2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，ISCRではラベル生成もしくはテキスト生成が有効であることがわかった．
PDTB-2データセットの実験ではT5-11bを使ったラベル生成法が最も有効であった．
テキスト生成法はラベル生成法ほどの性能はないものの，分類器と比較すると有効であることがわかった．
モデルサイズ毎に比較すると，T5-baseではT5-11bと同様にラベル生成法が最も有効であったが，T5-largeではテキスト生成法が最も有効であった．
分類器はすべてのモデルサイズにおいて最も性能が低かった．
以上の実験結果から，ISCRには，分類器よりテキスト生成法またはラベル生成法といった生成手法が有効であることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラス数}
本実験では，テキスト生成法，ラベル生成法ともに，特定の単語を出力するような制約は与えていない．
接続語と談話関係ラベルの関係性を捉えていない場合，データセット中に存在しないラベルや単語を生成する可能性があり，そのようなラベルを生成するほど性能は下がる可能性がある．
\red{そこで，各手法が予測したラベルのうち，データセット中に存在するラベルのクラス数（正解クラス数）と，データセット中に存在しないラベルのクラス数（誤りクラス数）を表\ref{tab:label_num}に示す．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 7
\begin{table}[b]
    \input{08table07.tex}
    \hangcaption{ISCRにおける\red{Train，Dev，Test全セットに存在するクラス数（正解クラス数）と，各手法が予測したクラス数．「正」はデータセット中に存在するラベルのクラス数，「誤」はデータセット中に存在しないラベルのクラス数である．クラス数とは，データセット内で登場する一意な正解ラベルの総数を指し，「正」のクラス数と「誤」のクラス数の総数が正解クラス数の数に一致するとは限らない．}}
    \label{tab:label_num}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

予測結果において，データセットやレベルに関係なく，分類器が最も多くのクラスを正しく予測した．
一方で，誤ったクラスを予測するのも分類器が最も多く，特にセカンドレベルでは誤予測の数がさらに増加した．
\red{よって，分類器は正しいラベルの組み合わせに基づいて予測しているのではなく，無作為に推定しているに過ぎないことが示される．}
この原因として，分類器が接続語と談話関係ラベルをそれぞれ独立して分類していることが挙げられると考えられる．
一方で，テキスト生成モデルとラベル生成モデルも誤ったクラスを予測するが，その数は分類器よりも少なく，\red{無作為に推定している可能性は低い．}
分類器と比較すると，生成モデルは接続語と談話関係ラベルの関連性を捉えられていることが示唆される．
これらの結果から，ISCRというタスクにおいては，分類器よりも生成手法の方が適していると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分類器の限界}
本実験では，%統一して
T5モデルを使用して検証を行った．
しかし，T5はエンコーダ・デコーダモデルであり，エンコーダのみを使った分類タスクにおいてはやや性能が劣る傾向がある．
そこで，SQuAD \cite{rajpurkar-etal-2016-squad}やGLUEベンチマーク \cite{wang-etal-2018-glue}においてT5モデルと比べて高い性能を示すDeBERTa-v2モデル \cite{he2021deberta}を用いた比較実験を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}
実験設定は節\ref{main}と同じであり，談話関係ラベルと接続語はそれぞれ独立に分類される．
モデルサイズはdeberta-v2-xxlarge\footnote{\url{https://huggingface.co/microsoft/deberta-v2-xxlarge}}を用いた．
\red{モデルサイズを拡大したことにより性能が向上し，Macro-F1スコアの安定化が期待されるため，追加でMacro-F1による評価も実施した．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}
実験結果を表\ref{result_iscr_2_deb}に示す．
T5のエンコーダを用いた分類器と比較すると，DeBERTa-v2モデルを使用した分類器はトップレベルおよびセカンドレベルの両方でWeighted-F1スコアが向上した．
特にセカンドレベルのWeighted-F1スコアが大幅に改善され，T5モデルの分類器と比較して談話関係ラベルの推定精度が向上したと考えられる．
しかし，生成モデルの性能には及ばず，生成手法の方がより有効であることが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 8
\begin{table}[b]
\input{08table08.tex}
\hangcaption{談話関係ラベル付き接続語を予測するISCRでの上限を調べた実験結果． すべてのモデルで最も良かったスコアを\textbf{太字}にしている．\red{AccはAccuracy，W-F1はWeighted-F1，M-F1はMacro-F1を指す．}
}
\label{result_iscr_2_deb}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\red{件数が少ないラベルでの評価}}
\red{テキスト分類などのタスクでは，事前学習済みエンコーダ・デコーダを用いることで，分類の学習データに存在しないあるいは件数が少ないラベルも推定できることが知られている \cite{DBLP:journals/corr/abs-1812-05774,kwon-etal-2023-hierarchical,DBLP:conf/aaai/WuCGLZS22}．
そこで，この特性がISCRにおいても成り立つかを確認するため，件数が少ないラベルでの評価を行なった．}

\red{PDTB-3データセットのテストセットにおいて，件数が10件以下のラベルを「件数が少ないラベル」と定義し，これらのラベルに限定したデータでMacro-F1スコアを測定した．
表\ref{result_iscr_2_deb_minor2}にラベル一覧とその件数を示す．
テストセットにおいて，トップレベルでは全99個のラベル中71個，セカンドレベルでは全133個のラベル中104個が件数の少ないラベルに該当した．
さらに，テストセット全1474件のサンプルのうち，トップレベルでは1474件中226件，セカンドレベルでは1474件中286件が件数の少ないラベルを持つサンプルであった．}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 9
\begin{table}
\input{08table09.tex}%
\hangcaption{\red{ISCRタスクにおいて，PDTB-3データセットのテストセットにおける件数が10件以下のラベルとその件数．}}
\label{result_iscr_2_deb_minor2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{\red{評価結果}}
\red{
レアなラベルの推定は比較的困難であるため，モデルサイズが比較的大きいT5-11b，deverta-v2-xxlargeを用いて検証を行った．
表\ref{result_iscr_2_deb_minor}に件数が10件以下のラベルに限定したデータにおけるMacro-F1スコアを示す．
どの手法においても性能が低く，特にT5-11bの分類器が最も性能が低かった．
分類器同士の比較では，deberta-v2-xxlargeモデルはT5-11bモデルより性能が良いことがわかる．
しかし，テキスト生成やラベル生成ほどの性能はない．
したがって，ISCRタスクにおいても，事前学習済みエンコーダ・デコーダを用いることで，分類の学習データに存在しないあるいは件数が少ないラベルも推定できることがわかった．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 10
\begin{table}
    \input{08table10.tex}%
    \hangcaption{\red{ISCRタスクにおいて，PDTB-3データセットのテストセットにおける件数が10件以下のラベルのみを選択し，そのMacro-F1スコアを測定した結果の一覧．ラベルとその件数は表\ref{class_num}に記載．}}
\label{result_iscr_2_deb_minor}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\red{ISCRタスクに影響を与える要因}}
\red{ISCRタスクの精度に影響を与える要因が談話関係ラベルと接続語のどちらかを明確にするため，ISCRの実験で比較した手法をIDRRタスクにも適用し，その性能を評価・確認する．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価設定}
\red{ISCRで比較した3つの手法が生成した談話関係ラベルと接続語の組み合わせを，IDRRのトップレベル，セカンドレベル，および接続語の3つに分割し，それぞれの予測性能を評価した．なお，接続語はISCRのトップレベルの談話関係ラベルと接続語の組み合わせとセカンドレベルの談話関係ラベルと接続語の組み合わせ両方に含まれるが，本研究ではセカンドレベルで推測された接続語のみを評価対象とした}
\footnote{\citeA{jiang-etal-2023-global}の実験はデータセットのサンプル数が一致しないため本実験では比較しない．}．
さらに，マルチレベルIDRRの手法 \cite{DBLP:conf/aaai/WuCGLZS22,zhao-etal-2023-infusing,zeng-etal-2024-global}とセカンドレベルまでのIDRRの手法 \cite{long-webber-2022-facilitating,liu-strube-2023-annotation}についても\red{IDRRタスクにおける比較対象に追加する．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% Table 11　位置注意
\begin{table}[b]
\input{08table11.tex}%
\hangcaption{\red{ISCR実験で学習したモデルをIDRRタスクでも評価した}実験結果． 
\red{AccはAccuracy，M-F1はMacro-F1を指す．}
}
\label{result_idrr_2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価結果}
表\ref{result_idrr_2}にIDRRタスクにおける評価結果を示す．
RoBERTa分類器とT5分類器の比較において，baseサイズでは両者の精度はほぼ同等であった．このことから，RoBERTaをT5に置き換えて生成法を適用した場合でも，同様の精度が得られると推測される．
baseおよびlargeサイズにおいて，トップレベルとセカンドレベルの分類タスクでは，分類器が優位な場合もあったが，接続語予測においては生成法が優れていた．また，同じbaseサイズのモデルを用いた先行研究と比較した場合，談話関係ラベルの予測では生成法は先行研究を下回ったが，接続語予測では優位性が確認された．
一方，T5-11bサイズにおいては，PDTB-2およびPDTB-3のデータセットにおける全レベルで生成法が先行研究を上回り，モデルサイズを大きくすることで精度向上が期待できることが示された．同じ11bサイズで分類器と比較した場合，生成法がより効果的であることも明らかとなった．
これらの結果から，モデルサイズが小さく，かつ予測するラベルの粒度が粗い場合には分類器が有効である一方，接続語などの細かい粒度の予測には生成法が優れていることがわかった．
さらに，分類器と比較して生成法は接続語予測が得意であり，談話関係ラベルの予測精度も同等である．

%%%% Table 11

\red{
ISCRとの精度（表\ref{result_iscr_2}）と比較すると，IDRRタスクのトップレベルおよびセカンドレベルの精度はISCRタスクの精度を大きく上回っている．
一方で，IDRRの接続語予測タスクの精度はISCRのよりもわずかに上回る結果となった．
ISCRタスクでは，複数の接続語が同一の談話関係ラベルを表す可能性があり，接続語の曖昧性が精度の低下に寄与していると考えられる．
このことから，ISCRの精度に影響を与える要因は接続語予測精度である可能性が高い．
さらに，T5-11bのような大規模モデルを用いてIDRRのトップレベルとセカンドレベルでSOTAに匹敵する精度が得られた場合でも，ISCRタスクや接続語予測の精度(Accuracy)は50\%に達していない．
この結果は，接続語単体を推定するIDRRよりも，適切な接続語と談話関係ラベルの組み合わせを同時に推定するISCRの方が難易度が高いことを示唆している．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本稿では，隣接するテキストスパン間の接続語と，それに対応する談話関係ラベルを同時に識別するタスク，談話関係ラベル付き接続語認識(Implicit Sense-labeled Connective Recognition, ISCR)を提案した．
マルチレベルIDRRでは，接続語と談話関係ラベルとそれぞれ独立して評価するが，ISCRでは接続語と談話関係ラベルの組み合わせを評価する．
ISCRは分類タスクとして扱うことが可能であるが，クラス数の多さやクラス間のインスタンス分布の不均衡といった課題により，従来の分類器には限界があることが確認された．そのため，テキスト生成やラベル生成といった生成手法が有効であることが示された．
ISCRタスクの評価結果から，生成法は接続語の予測において優位性を持ち，談話関係ラベルの予測においても分類器と同程度の精度を示すことがわかった．
\red{本研究では，エンコーダのみを利用した分類器を検証した．しかし，Llamaモデル\cite{touvron2023llamaopenefficientfoundation}やGemmaモデル\cite{gemmateam2024gemmaopenmodelsbased}，Qwenモデル\cite{bai2023qwentechnicalreport}などの事前学習済み大規模デコーダオンリーモデルを活用した分類器も一つの選択肢となる．
しかしながら，依然として談話構造認識のタスクではエンコーダオンリーのモデルを使う手法またはエンコーダとデコーダを組み合わせたモデルの提案が多く，デコーダのみを用いた分類モデルに関する手法は未だ確立されていない．
その主な理由として，デコーダは本来，系列生成を目的とした構造であり，IDRRタスクのような固定長の出力を求める問題には適さないと考えられてきたことが挙げられる．
こういった背景から本実験でデコーダを用いた分類手法の実験は行っていない．今後の発展的な課題として，エンコーダとデコーダの分類能力の比較や，デコーダ特有の利点を活かした手法の検討，さらにサンプリング手法別での調査が挙げられる．}


%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本論文は，EMNLP2023の論文集に掲載された論文 \cite{oka-hirao-2023-implicit}の拡張版であり，T5モデルを使ったモデルサイズ別の調査，およびPDTB-2データセットを使った実験，クラス数と分類器の分析が追加で含まれている．
本論文は，NTT コミュニケーション科学基礎研究所におけるインターンシップ活動の成果も含まれる．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%

\bibliographystyle{jnlpbbl_1.7}
\bibliography{08refs}

\clearpage
\appendix
\renewcommand{\thesection}{\Alph{section}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 12
\begin{table}[h]
    \input{08table12.tex}%
    \hangcaption{PDTB-3データセットにおいて，談話関係ラベルから一意に決定できない接続語の数（談話関係ラベル$\nrightarrow$接続語）と，接続語から一意に決定できない談話関係ラベルの数（接続語$\nrightarrow$談話関係ラベル）}
    \label{tab:my_label_intro}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 13
\begin{table}[h]
\input{08table13.tex}
\hangcaption{PDTB-3データセットのテストセットにおけるPDTB談話関係ラベルと接続語．
複数の談話関係ラベルに対応する接続語は\textbf{太字}にしている．
Comparison.Concession+SpeechAct，Expansion.Exceptionはテストセットに存在しないため記載していない．
}
\label{pdtb-label-list}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 14
\begin{table}[h]
\input{08table14.tex}
\hangcaption{PDTB-2.0とPDTB-3.0データセットのラベル一覧とその件数．*は
\protect\citeA{long-webber-2022-facilitating}が実験で使用したラベル．}
\label{class_num}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 15
\begin{table}
   \input{08table15.tex}%
    \hangcaption{\red{本稿で使用したモデルのパラメータサイズ一覧．}}
    \label{tab:parameter_size}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{岡　　佑依}{%
2021年奈良先端科学技術大学院大学修士課程修了．同年，日本電信電話株式会社入社．NTTコミュニケーション科学基礎研究所 研究員を経て，2024年よりNTT人間情報研究所 研究員．
東北大学大学院情報科学研究科博士後期課程1年．}
\bioauthor{柳本　大輝}{%
2023年愛媛大学工学部工学科卒業．2025年愛媛大学大学院理工学研究科博士前期課程修了．}
\bioauthor{平尾　　努}{%
 1997年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．同年，株式会社NTTデータ入社．2000年より日本電信電話株式会社コミュニケーション科学基礎研究所．2024年より金沢大学理工研究域教授．博士（工学）．自然言語処理の研究に従事．言語処理学会，ACL各会員．}
\bioauthor{西田　京介}{%
2008年北海道大学大学院情報科学研究科博士後期課程修了．博士（情報科学）．2009年日本電信電話株式会社入社．2023年よりNTT人間情報研究所 上席特別研究員（現職）．
}
\end{biography}


\biodate   %%%% 受付日の出力

\end{document}



