\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{bxpapersize}
%%%%\usepackage{amsmath}
%%%%\usepackage{url}
%%%%\renewcommand\UrlFont{\rmfamily}
\usepackage[linesnumbered,ruled,vlined]{algorithm2e}
%%%%\usepackage{color}
%%%%\usepackage{multicol}
\usepackage{multirow}
\usepackage{booktabs}
%%%%\usepackage{comment}
\newcommand\blfootnote[1]{%
  \begingroup
  \renewcommand\thefootnote{}\footnote{#1}%
  \addtocounter{footnote}{-1}%
  \endgroup
}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\makeatletter
\renewcommand{\algocf@capseparator}{~~}%
\makeatother


\Volume{29}
\Number{3}
\Month{September}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{3}{1}
\revised{2022}{5}{16}
\accepted{2022}{6}{9}

\setcounter{page}{875}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{疑似正解データを活用したニューラル修辞構造解析}
\jauthor{小林　尚輝\affiref{TokyoTech} \and 平尾　　努\affiref{NTT} \and 上垣外英剛\affiref{TokyoTech} \and 奥村　　学\affiref{TokyoTech} \and 永田　昌明\affiref{NTT}}
\jabstract{%
修辞構造解析ではニューラルネットワークなどの識別器を用いた解析器を教師あり学習により学習する．しかし，現存の最大規模のコーパスであるRST-DTは385文書しかなく，ニューラルネットワークを学習するに十分な量とは言い難い．このような学習データの不足は，クラス数が多く頻度に偏りのある修辞関係ラベルの推定において性能低下の原因となる．そこで，本論文では自動的に修辞構造を付与した疑似正解データセットを利用したニューラル修辞構造解析手法を提案する．疑似正解データセットは複数の解析器により得られた修辞構造木の間で共通する部分木とし，ニューラル修辞構造解析器の事前学習に利用し，人手で作成した正解データを用いて解析器を追加学習する．RST-DTコーパスを用いた実験では，提案手法はOriginalParsevalによる核性と修辞関係の評価においてそれぞれmicro-F1で64.7，54.1を達成した．
}
\jkeywords{談話構造解析，修辞構造解析，修辞構造理論，データ拡張}

\etitle{Neural RST-Style Discourse Parsing Exploiting Agreement Sub-trees as Silver Data}
\eauthor{Naoki Kobayashi\affiref{TokyoTech} \and Tsutomu Hirao\affiref{NTT} \and Hidetaka Kamigaito\affiref{TokyoTech} \and\\ Manabu Okumura\affiref{TokyoTech} \and Masaaki Nagata\affiref{NTT}} 
\eabstract{%
Recent Rhetorical Structure Theory (RST)-style discourse parsing methods are \linebreak
trained by supervised learning, requiring an annotated corpus of sufficient size and quality. However, the RST Discourse Treebank, the most extensive corpus, consists of only 385 documents. This is insufficient to learn a long-tailed rhetorical-relation label distribution. To solve this problem, we propose a novel approach to improve the performance of low-frequency labels. Our approach utilized a silver dataset obtained from different parsers as a teacher parser. We extracted agreement subtrees from RST trees built by multiple teacher parsers to obtain a more reliable silver dataset. We used span-based top-down RST parser, a neural SOTA model, as a student parser. In our training procedure, we first pre-trained the student parser by the silver dataset and then fine-tuned it with a gold dataset, a human-annotated dataset. Experimental results showed that our parser achieved excellent scores for nuclearity and relation, that is, 64.7 and 54.1, respectively, on the Original Parseval.}
\ekeywords{Discourse Parsing, Rhetorical Structure Theory Parsing, Data Augmentation}

\headauthor{小林，平尾，上垣外，奥村，永田}
\headtitle{疑似正解データを活用したニューラル修辞構造解析}

\affilabel{TokyoTech}{東京工業大学}{Institute of Innovative Research, Tokyo Institute of Technology}
\affilabel{NTT}{NTT コミュニケーション科学基礎研究所}{NTT Communication Science Laboratories, NTT Corporation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

修辞構造理論\cite{mann-etal-1987-rhetorical}は文書中の
テキストスパン（後述するEDUの系列）間の関係を木構造で表現する理論である．
\blfootnote{本稿はConference of the North American Chapter of the Association for Computational Linguistics (NAACL2021)での発表 Improving Neural RST Parsing Model with Silver Agreement Subtrees \cite{kobayashi-etal-2021-improving}に加筆を行ったものである．}
修辞構造理論によると，
文書は，木の最小構成単位となる 節相当のユニット，Elementally Discourse Unit (EDU)へと分割され，EDUを終端ノード
とした構成素木である修辞構造木として表現される．
非終端ノードはそれが支配するテキストスパン（連続したEDU）の
核性ラベル，核(N: Nucleus)，衛星(S: Satellite)をあらわす．
核と衛星は対の
関係にあり，テキストスパンの中心的役割を担う核を衛星が修飾する．
よって，任意の非終端ノードは基本的には単核，つまり N-S，S-Nの組み合わせの子供を持つ．
ただし例外的に並列構造をあらわす場合，多核，N-Nという組み合わせの子
供を持つ場合がある．
そして，木のエッジは隣接する2つのテキストスパンの間の修辞関係を
あらわす．
修辞関係ラベルは，ドメインによって異なるが一般的に用いられる
ベンチマークデータセットであるRST Discourse Treebank: RST-DT \cite{carlson-etal-2001-building} ではElaboration, Attributionなど18種類が定義されている．図\ref{fig:rst_tree}
に例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{29-3ia6f1.pdf}
\end{center}
\caption{修辞構造木の例．(wsj\_0699)}
\label{fig:rst_tree}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一般的に修辞構造解析器（以下，解析器）は以下の3つの分類器から構成され，その学習には教師あり学習が用いられる．
\begin{enumerate}
    \item 木構造を推定するためにテキストスパンの分割または結合を決定する分類器
    \item 2つの隣接するテキストスパン間の核性ラベル（S-N, N-S, N-Nのいずれか）を推定する分類器
    \item 2つの隣接するテキストスパン間の修辞関係ラベル（RST-DTの場合，18種のラベルのいずれか）を推定する分類器
\end{enumerate}
教師あり学習には，文書に対して修辞構造木のアノテーションを与えた
データが大量に必要となるが，アノテーションには専門知識を必要とするため，大規模なコーパスを構築することが難しい．
修辞構造解析の研究において最も一般的，かつ最大のデータセット
であるRST-DTでさえ385文書しかない．


データ不足はいわゆる教師あり学習を用いた手法にとって大きな問題
であり，近年のニューラルネットワークを用いた修辞解析法においても
例外ではない．
しかし，
ニューラルネットを用いた自然言語処理では，
大規模な疑似正解データを活用する手法\cite{Nguyen-etal-2020-data,vania-etal-2019-systematic}が提案され，
こうしたデータ不足が克服されつつある．

たとえば，ニューラル機械翻訳(NMT)では，
Back-translationにより自動的に生成した大量の疑似正解データ（疑似対訳データ）を利用する枠組み\cite{sennrich-etal-2016-improving,Nguyen-etal-2020-data}が翻訳性能の大幅な向上を示した．

本稿では，先述したNMTにおける疑似対訳データの活用にヒントを得て，
修辞構造解析におけるデータ不足の問題を解決するための
大規模な疑似正解データセットの自動構築方法とそれを利用した
事前学習，追加学習の枠組みを提案する．
具体的には大量のラベルなしデータに対し，複数の解析器
を適用した結果から一致する部分木を擬似正解データセットとする．
そして，
それを\citeA{kobayashi-etal-2020-top}らの手法(Span-Based  
Parer: SBP)の事前学習に用い，正解データセットであるRST-DTにより追加学習する．
また，複数の解析器の間で一致する部分木を効率的に抽出するための
アルゴリズムも提案する．

RST-DTを用いた実験では，
疑似正解データを用いることにより，
SBP に対して性能が向上することを確認した．
特に，修辞関係ラベル推定の性能向上が顕著であり5ポイント程度のゲイン
を得た．正解のEDU分割を用いて木構造のみを評価するとF1スコア
が74.1，核性ラベルも含めると64.7，関係ラベルも含めると
54.1，すべてを含めると52.7であり，
現在の最高性能の解析器である
\citeA{zhang-etal-2021-adversarial}に匹敵する性能を達成した．
一方，自動推定したEDU分割を
用いた場合には，それぞれ68.1，57.4，47.6，45.9であり，
関係ラベルを含めた場合の性能は，
現在の最高性能の解析器である\citeA{nguyen-etal-2021-rst}に匹敵する性能を達成した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{談話構造解析における解析方法の変化}

初期の修辞構造解析の研究では人手で作成した特徴量をベクトルとして表現し，分類器として
SVMやLinear-Chain CRFを採用した遷移型の解析手法を用いて上向きに木を構築する，つまり
テキストスパンを結合していく手法が主流であった\cite{duverle-prendinger-2009-novel,hernault2010hilda,feng-hirst-2014-linear}．
こうした遷移型の上向き解析は決定的に木を構築するためテキストスパンの結合スコアの観点から最適な木が
構築できるとは限らない．そこで，CKY法を用いて最適な木を構築する
手法も提案された\cite{joty-etal-2013-combining,joty-etal-2015-codra}．しかし，文から得られる構文木とは異なり，文書から得られる修辞構造木は
終端ノード数が50以上になることも多い．
よって，計算量が問題となることからCKY法を用いた手法は多くない．
こうした従来型の機械学習を用いた修辞構造解析手法のなかで特筆すべき手法として，
SVMを採用した遷移型の上向き解析手法\cite{wang-etal-2017-two}であるTwo-Stage Parser（以下，TSP）がある．
TSPは，還元(Reduce)時に核性ラベルを推定することで，まず核性ラベル付きの木を推定し，
次に推定された木の構造をもとに隣接する2つのスパンに対して関係ラベルを推定する2段階の解析を行う．
2段階の解析の効果により，従来型の修辞解析手法のなかでは最も高い性能を達成した．

ニューラルネットワークの有効性が様々な自然言語処理タスクで示されたことから，
修辞構造解析においてもニューラルネットワークを活用した手法が数多く提案されている．
\citeA{yu-etal-2018-transition}はニューラルネットワークを用いた遷移型の上向き解析手法を提案した．
文内の係り受け構造を解析するニューラルネットワークから得られる特徴ベクトルを埋め込み表現として利用することで，関係ラベルの推定において高い性能を達成した．
また，\citeA{guz-carenini-2020-coreference}は\citeA{wang-etal-2017-two}のTSPから分類器を多層パーセプトロンに変更し，
スパンのベクトル表現をSpanBERT \cite{joshi-etal-2020-spanbert}により獲得することで大きな改善を得た．

さらに，先述した上向き解析手法に加え，近年では，
下向き解析手法が多く提案されている．
これは上向き解析が局所的なEDU間の繋がりをもとに木を構築するのに対して，より大きな文や段落，トピックといった情報を考慮できるからである．
\citeA{lin-etal-2019-unified}は，エンコーダ・デコーダモデルのひとつであるポインターネットワーク\cite{NIPS2015_29921001} を用いてテキストスパンを再帰的に2分割することで
文内の修辞構造を解析する手法を提案した．そして，\citeA{zhang-etal-2020-top}によって文書の修辞構造解析へ
と拡張された．
また，より単純な下向き解析手法として，\citeA{kobayashi-etal-2020-top}，
\citeA{koto-etal-2021-top}は，
デコーダを経ずに多層パーセプトロンを用いてテキストスパンを
再帰的に2分割する手法を提案した．
特に \citeA{kobayashi-etal-2020-top}のSBPは，木構造，核性ラベル推定
において高い性能を達成した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ拡張手法}

修辞構造解析手法の学習・評価には RST Discourse 
Treebank: RST-DT \cite{carlson-etal-2001-building} が標準的に利用される．
RST-DTは Penn Treebank \cite{marcus-etal-1993-building} の一部に対して修辞構造木を与えたものであり現存する修辞構造の
アノテーション済みデータセットとしては最大規模である．
しかし，最大規模のデータセットではあるものの
文書数は385でしかなく，解析器の学習に十分とは言えない．
そこで，データ不足を解決するための手法も盛んに研究されている．
\citeA{braud-etal-2016-multi}は
修辞構造解析の他に文書やそれを構成する文に対する感情分類や時系列分類，属性分類などの合計13通りの分類問題のマルチタスク学習によって学習事例を増やすことで解析器の性能および頑健性の向上に取り組んだ．

\citeA{braud-etal-2017-cross}は
ドイツ語やスペイン語など多言語の修辞構造アノテーション済みデータセットを英語へと翻訳することでデータ拡張を行った．
\citeA{huber-carenini-2019-predicting}はMEGA-RSTと呼ばれる大規模な学習データを自動生成するために，
文書を構成する各EDUごとの感情極性スコアとアテンションスコアをMultiple Instance Learning \cite{angelidis-lapata-2018-multiple}により獲得し，
得られたスコアをもとにCKY法を適応してラベルなしデータから
核性付きの木を得た．

\citeA{guz-etal-2020-unleashing}はMEGA-DTコーパス\cite{huber-carenini-2020-mega}を事前学習に用い，
RST-DTで追加学習を行う手法を提案した．
擬似正解データによる事前学習と正解データによる追加学習という枠組み自体は本稿での提案法と同じであるが，擬似正解データの作成法が大きく異なり，
修辞関係ラベルを含まない．

\citeA{jiang-etal-2016-training}はco-trainingを利用してラベルなしデータを
活用する手法を提案した．
低頻度の修辞関係ラベルの推定性能を改善したが，修辞関係ラベル全体で
見ると性能は低下している．
また，この手法は木構造や核性ラベルの推定性能の改善には対応しない．


提案手法と関連する擬似正解データを活用した学習方法として自己学習がある．
自己学習では，ある解析器でラベルなしデータを解析した結果を擬似正解データ
として，再度その解析器の学習に利用する．
一方，提案法では
疑似正解データを用いて学習する解析器は擬似正解データを作成するために利用したものと異なる．
つまり，教師（擬似正解データを作成する解析器）－生徒（それを用いて学習する解析器）モデルを採用している．

また，提案法における疑似正解データの作成に複数の解析器を使用するという点では，
co-training \cite{10.1145/279943.279962}やtri-training \cite{zhou-etal-2005-tri}も同じである．
これらの手法による学習は疑似正解データの作成と疑似正解データによる学習を繰り返し行うが，ニューラルネットワークを用いた学習において，
繰り返し適用するには学習時間の観点から非効率的である．
したがって，近年の手法\cite{mcclosky-etal-2006-effective,pekar-etal-2014-exploring,weiss-etal-2015-structured}などでは繰り返しを省略して一度だけ疑似正解データを適用する手法が多く見られ，本手法も同様に一度だけ適用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似正解データを活用した学習方法の概要}
\label{sec:prop_overview}

初期の修辞構造解析の研究ではテキストスパンをベクトルとして表現するために
文書の全体の構造から得られる特徴量，たとえば，文書内での位置などを必要とした．
一方で近年のニューラルネットワークを活用した手法では
テキストスパンのベクトルは事前学習済み言語モデルの単語ベクトル
に基づくため，必ずしも文書全体を必要としない．
したがって，部分木をニューラルネットワークの学習データとして
有効活用できることから，本稿では部分木を擬似正解データとして利用した．

図\ref{fig:overview}に提案手法の概要を示す．提案手法は大きく分けて2つの手順に分かれる．
1つ目は教師解析器を用いた疑似正解データの作成，
2つ目は疑似正解データを用いた生徒解析器の学習である．
擬似正解データの作成に用いる教師解析器として，ニューラルネットワークを用いない解析器のなかで最も性能の良い
TSPを採用した．特に生徒解析器であるSBPが苦手とする
修辞関係ラベルの推定性能が良いことが採用の理由である．
この手法は，SVMの最適化に
確率的双対座標降下法を用いているため，初期値により解が異なる．
そこで，異なる初期値で学習した複数のTSPを
1つの文書に対し適用し，複数の修辞構造木を得た．
そして，
複数の木の間で共通する部分木，つまり合意部分木(Agreement SubTree: AST)を
疑似正解データとして抽出する．
最後に，擬似正解データを用いて生徒解析器であるSBPを事前学習し，
正解データを用いて追加学習する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-3ia6f2.pdf}
\end{center}
\caption{提案法の概要}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{合意部分木の抽出}
\label{sec:ext_agreement_subtree}

質の高い擬似正解データを得るためには複数の解析器の間で一致する木をそれと
すればよい．しかし，修辞構造木は文書から得られる木であるためそのサイズが
大きく複数の解析器による結果が一致することはまれである．
一方で，図~\ref{fig:AST_extraction}の網掛けで表されるように，
木の全体で一致していなくとも，木の一部では一致することは多い．
そこで，本論文では AST を疑似正解データとして利用する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{29-3ia6f3.pdf}
\end{center}
\caption{重複する部分木（網掛け部分）の抽出}
\label{fig:AST_extraction}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

大量の擬似正解データを得るためには，効率的にASTを抽出しなければならない．
そこで，本稿ではASTを効率的に抽出するためのアルゴリズムを提案する．
提案するアルゴリズムは木の走査に基づいており，木に含まれるノードの数$n$に対して線形の$O(n)$で動作する．
合意部分木を列挙するアルゴリズムはデータマイニング分野で複数の研究\cite{10.5555/645806.670165,1458697,10.1109/SFCS.1994.365717}があり，たとえば，一般的な木の集合から合意部分木を得るには\citeA{1458697}で提案された最右拡張を用いれば良いが，これは計算量を見積もることができない．一方，本稿では終端ノードが順序も含めて一致する特殊な木を対象とすることから，新たな合意部分木を列挙するアルゴリズムを提案した．

提案するアルゴリズムの目的は入力された$k$個の修辞構造木(trees)の全てに出現する部分木(subtrees)を抽出することにある．
Algorithm~\ref{alg:main}にアルゴリズム全体の流れを示す．
アルゴリズムは関数\textsc{MakeCount}，関数\textsc{Agreement}，関数\textsc{FindRoot}の 3 つから構成される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 1
\begin{algorithm}[b]
\label{alg:main}
\DontPrintSemicolon
\caption{ASTの抽出}
\SetKwInput{KwInput}{Input} % Set the Input
\SetKwInput{KwOutput}{Output} % set the Output
\KwInput{trees}
\KwOutput{subtrees}
\SetKwFunction{FuncMakeCount}{\sc MakeCount}
\SetKwFunction{FuncAgreement}{\sc Agreement}
\SetKwFunction{FuncExtract}{\sc FindRoot}
count $\gets$ \FuncMakeCount{\rm trees} \;
tree $\gets$ trees[0] \;
span $\gets$ root(tree) \;
S $\gets$ \FuncAgreement{\rm span, count} \;
subtrees $\gets$ \FuncExtract{\rm span, S} \;
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

はじめにAlgorighm \ref{alg:count_span}に示す関数\textsc{MakeCount}により出現する全てのスパンの頻度を計算し，スパンをキーとしてその頻度を値とする辞書によって保持する．
本アルゴリズムでは，各ノードが内包する先頭と末尾のEDUのインデックスで表される区間とそのノードに付与された核性，関係ラベルの三つ組をスパン(span)として扱い，これを同一性の判定に用いる．ラベルなしのスパンによる同一性の判定も可能であるが，本稿では関係ラベルの推定性能向上のためにラベル付きのスパンを用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 2
\begin{algorithm}[t]
\label{alg:count_span}
\DontPrintSemicolon
\caption{スパンをキーとしての出現数を値にもつ辞書Countの作成}
\SetKwProg{Fn}{Function}{:}{}
\SetKwFunction{FuncMakeCount}{\sc MakeCount}
\SetKwFunction{FuncSubMakeCount}{\sc SubMakeCount}
\Fn{\FuncMakeCount{{\rm trees}}}{
Count $\gets$ dict() \;
\For{\rm tree \textbf{in} trees}{
\For{\rm span \textbf{in} \rm traversal(tree)}{
\If{\rm span \textbf{not in} Count}{
Count[span] $\gets$ 0 \;
}
Count[span] += 1 \;
}
}
\KwRet Count \;
}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 3
\begin{algorithm}[t]
\label{alg:attach_flag}
\DontPrintSemicolon
\caption{各スパンにASTの十分条件を付与する関数\sc{Agreement}}
\SetKwProg{Fn}{Function}{:}{}
\SetKwFunction{FuncAgreement}{\sc Agreement}
\SetKwFunction{FuncSubAgreement}{\sc subAgreement}
\Fn{\FuncAgreement{{\rm span, Count}}}{
${\rm S} \gets$ dict() \;
\Fn{\FuncSubAgreement{{\rm span}}}{
\If{${\rm Len(span)}{=}1$}{
\KwRet True \;
}
\Else{
$\rm S[span] \gets Count[span]{=}k \land 
\FuncAgreement{{\rm leftChild(span)}} \land 
\FuncAgreement{{\rm rightChild(span)}}$} \;
\KwRet $\rm S[span]$ \;
}
\FuncSubAgreement{\rm span} \;
\KwRet S \;
}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，与えられた複数の修辞構造木のうち1つを任意に選び，そのROOTスパンを
Algorighm~\ref{alg:attach_flag}に示す関数\textsc{Agreement}へ入力する．
関数\textsc{Agreement}は木の各スパンにASTの十分条件が満たされているかどうかを示すフラグを付与する．
あるスパンがASTである条件を満たすためには，左右の子スパンがASTの条件を満たし，かつ自身の出現頻度$\rm Count(span)$が木の数$k$と一致することである．
ここで，スパンの出現頻度$\rm Count(span)$は事前に数えることができるので，
スパンをキーとして頻度を値に持つ辞書とすることで簡単に出現頻度を参照できる．

最後に関数\textsc{Agreement}によりフラグが付与された状態のスパンをAlgorighm~\ref{alg:find_root}に示す関数\textsc{FindRoot}へと入力する．
関数\textsc{FindRoot}は付与されたフラグを元に，ASTである部分木をすべて抽出する．
このとき，AST同士の間では重複が起きないようにする．
さらに，$l_{\rm min}, l_{\rm max}$を用いて抽出する木の大きさを制御する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 4
\begin{algorithm}[t]
\label{alg:find_root}
\DontPrintSemicolon
\caption{ASTを列挙する関数\sc{FindRoot}}
\SetKwProg{Fn}{Function}{:}{}
\SetKwFunction{FuncExtract}{\sc FindRoot}
\SetKwFunction{FuncSubExtract}{\sc subFindRoot}
\Fn{\FuncExtract{{\rm span, S}}}{
subtrees $\gets$ list() \;
\Fn{\FuncSubExtract{{\rm span}}}{
\If{${\rm Len(span)} < l_{\rm min}$}{
\KwRet \;
}
\ElseIf{${\rm Len(span)} > l_{\rm max}$}{
$\FuncSubExtract{{\rm leftChild(span)}}$ \;
$\FuncSubExtract{{\rm rightChild(span)}}$ \;
}
\Else(\tcp*[h]{$l_{\rm min}\le {\rm Len(span)} \le l_{\rm max}$}){
\If{${\rm S[span]}={\rm True}$}{
subtrees.append(span) \;
}
\Else{
$\FuncSubExtract{{\rm leftChild(span)}}$ \;
$\FuncSubExtract{{\rm rightChild(span)}}$ \;
}
}
}
\FuncSubExtract{\rm span} \;
\KwRet subtrees \;
}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ASTがすべての木に共通して含まれるため，関数\textsc{Agreement}および関数\textsc{FindRoot}は$k$個の修辞構造木全てに対して行う必要はなく$k$個の木のうち一つだけに適用すればよい．ただし関数\textsc{MakeCount}によりスパンの頻度を事前に計算するときのみ全ての木を用いて計算を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生徒解析器: Span-Based Parser}

得られた部分木からなる疑似正解データは，任意の生徒解析器に適用可能であるが，周辺の文脈に強く依存する解析器の場合，正解データとの乖離が大きくなり性能向上に寄与できない可能性が高い．
たとえば，着目するスパンが文書中のどこに位置しているかを素性として利用する手法 \cite{wang-etal-2017-two}，着目するスパンよりも左側のスパン（部分木）の情報を利用するシフト還元法 \cite{guz-carenini-2020-coreference}には適していないと考える．
一方，スパン分割に基づく下向き解析手法は周辺の文脈を必ずしも必要としないため部分木による学習に適していると考える．
したがって，本稿ではSpan-Based
Parser: SBP\cite{kobayashi-etal-2020-top}を生徒解析器として採用した．
以下にその詳細を述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{スパンのベクトル表現}

SBPでは多層パーセプトロンを用いてスパンの分割，ラベルの推定を行うため，各スパンを固定長のベクトルで表現する必要がある．
ここでは，はじめにEDUのベクトル表現，次にスパンのベクトル表現の獲得方法を説明する．

$t$番目のEDUのベクトル表現$\textbf{e}_{t}$は，式(\ref{eq:edu_emb})により，EDU内の各単語の埋め込み表現$\textbf{h}'_j$を平均することで固定長のベクトルとして表現する．
\pagebreak
\begin{equation}
    \label{eq:edu_emb}
    \textbf{e}_{t} = \frac{1}{n}\sum_{j\in {1,\dots,n}}\textbf{h}'_{j}
\end{equation}

各単語の埋め込み表現は，文脈を考慮したベクトルとするために双方向LSTM \cite{schuster1997bidirectional,graves2005framewise}とゲート機構\cite{zhou-etal-2017-selective}を用いて以下により求める．
\begin{align}
    \overrightarrow{\textbf{h}_{i}} &= 
        \overrightarrow{\rm LSTM}_{\rm word}(\overrightarrow{\textbf{h}}_{i-1}, \textbf{w}_{i}), \\
    \overleftarrow{\textbf{h}_{i}} &= 
        \overleftarrow{\rm LSTM}_{\rm word}(\overrightarrow{\textbf{h}}_{i+1}, \textbf{w}_{i}), \\
    \textbf{h}_{i} &= [\overrightarrow{\textbf{h}_i}; \overleftarrow{\textbf{h}}_i], \\
    \textbf{sGate}_{i} &= \sigma(\textbf{W}_{s}\textbf{h}_{i} + \textbf{U}_{s} \textbf{s} + \textbf{b}_{s}), \label{eq:p_s} \\
    \textbf{h}'_{i} &= \textbf{h}_{i} \odot \textbf{sGate}_{i}
\end{align}
ここで，式(\ref{eq:p_s})の$\textbf{s}$はEDU内の先頭と末尾の単語の表現ベクトルから$[\textbf{h}_1;\textbf{h}_n]$とした（$n$はEDUに含まれる単語数）．また，単語の埋め込み表現$\textbf{w}_{i}$にはELMo \cite{peters-etal-2018-deep}とGloVe \cite{pennington2014glove}を結合して利用した．

次に，$i$番目から$j$番目のEDUで構成されるスパンの埋め込み表現$\textbf{u}_{i:j}$は，双方向LSTMの前向き後向きのそれぞれの状態の差分により式(\ref{eq:emb_span})によって求める．
\begin{align}
    \overrightarrow{\textbf{f}_{i}} &= 
    \overrightarrow{\rm LSTM}_{\rm unit}(\overrightarrow{\textbf{f}}_{i-1}, \textbf{e}_{i}), \\
    \overleftarrow{\textbf{b}_{i}} &= 
    \overleftarrow{\rm LSTM}_{\rm unit}(\overrightarrow{\textbf{b}}_{i+1}, \textbf{e}_{i}), \\
    \textbf{u}_{i:j} &= [\textbf{f}_j - \textbf{f}_{i-1}; \textbf{b}_{i-1} - \textbf{b}_{j}] \label{eq:emb_span}
\end{align}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{スパンの分割}

$i$番目から$j$番目のEDUで構成されるスパンが与えられたとき，分割候補となる各点$j$において，関数$s_{\rm split}(i,j,k)$により分割の良さを表すスコアを計算する．
\begin{equation}
    s_{\rm split}(i,j,k) = 
        \textbf{h}_{i:k}^{\top} \textbf{W}_{u} \textbf{h}_{k+1:j} + 
        \textbf{v}_{\ell}^{\top}\textbf{h}_{i:k} + 
        \textbf{v}_{r}^{\top}\textbf{h}_{k+1:j}
    \label{eq:split}
\end{equation}
ここで$\textbf{W}_{u}$は重み行列，$\textbf{v}_{\ell}, \textbf{v}_{r}$はそれぞれ左右のスパンに対応する重みベクトルである．
$\textbf{h}_{i:k}$, $\textbf{h}_{k+1:j}$は左右のスパン表現をそれぞれ異なる多層パーセプトロンにより変換したベクトルであり，以下のように求められる．
\begin{align}
    {\rm MLP}_{*}(\textbf{x}) &= \textbf{W}_2({\rm ReLU}(\textbf{W}_1(\textbf{x})+\textbf{b}_1))+\textbf{b}_2, \\
    \textbf{h}_{i:k} &= {\rm MLP}_{\rm left}(\textbf{u}_{i:k}), \\
    \textbf{h}_{k+1:j} &= {\rm MLP}_{\rm right}(\textbf{u}_{k+1:j})
\end{align}

スパンの分割は式(\ref{eq:split})が最大となる点$k$を以下の式で求める．
\begin{equation}
    \hat{k} = {\rm argmax}_{k\in \{i,\dots,j-1\}}[s_{\rm split}(i,j,k)]
    \label{eq:split_maximize}
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ラベルの推定}

点$k$でスパンを分割した後，分割された左右のスパンの間に核性と関係ラベルを推定する．
データスパースネスの影響を避けるために核性と関係ラベルは異なる分類器によって学習される．
左右のスパン表現と外側のスパン表現$\textbf{u}_{1:i},\textbf{u}_{j:n}$を用いて各ラベル$\ell$のスコアを関数$s_{\rm label}$により推定する．
\begin{equation}
    s_{\rm label}(i,j,k,\ell) = 
    \textbf{v}_{\ell}{\rm MLP}([
        \textbf{u}_{i:k}; 
        \textbf{u}_{k+1, j};
        \textbf{u}_{1:i}; 
        \textbf{u}_{j:n}
    ])
    \label{eq:label}
\end{equation}
ここで$\textbf{v}_{\ell}$はラベル$\ell$に対応する重みベクトルであり，$[;]$はベクトルの結合を表す．
${\rm MLP}$は多層パーセプトロンであり，核性と関係でそれぞれ${\rm MLP}_{\rm nuc}, {\rm MLP}_{\rm rel}$を別々に学習する．

左右のスパン間に割り当てられるラベルは式(\ref{eq:label})が最大となるラベル$\hat{\ell}$を以下のように求める．
\begin{equation}
    \hat{\ell} = {\rm argmax}_{\ell \in \mathcal{L}}[s_{\rm label}(i,j,k,\ell)]
    \label{eq:label_maximize}
\end{equation}
ここで$\mathcal{L}$は核性ラベルの推定においては$\{{\rm {N{-}N, N{-}S, S{-}N}}\}$の3種類，関係ラベルの推定においては18種類からなる関係ラベルの集合となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師解析器: Two-Stage Parser}

教師解析器は疑似正解データの作成に用いるため，
生徒解析器の欠点を補えることが望ましい．
この場合，修辞関係ラベルの推定で高い性能を達成している解析器が望ましい．
修辞関係ラベルを高性能に推定する解析器の候補として，SVMを用いたTSP \cite{wang-etal-2017-two}とニューラルネットワークを用いたNNDisParser \cite{yu-etal-2018-transition}があり，どちらも遷移型の上向き解析法である．
NNDisParserは関係ラベルの推定で TSP より高い性能を達成しているが，
特徴量として文内の係り受け解析を行うニューラルネットワークの特徴ベクトルを必要とすることから，大規模なデータ作成に向いていない．
したがって本研究では，TSP を教師解析器として利用する．

TSP はシフト－還元のアクションをSVMにより推定して解析を行う．
それらのSVMは確率的双対座標降下法
で最適化されるため，
異なる初期値で複数の解析器を学習し，
それらの間で合意をとることで擬似正解データを作成した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

解析器の評価には標準的ベンチマークデータセットである RST-DTを用いる．
RST-DTは学習データ347文書とテストデータ38文書に分割されており，
\citeA{heilman2015fast} に基づき学習データのうち40文書を開発データとした．
正解データセットのEDUの分割に関しては正解の分割を利用した．
347件の学習データは教師解析器(TSP)の学習および生徒解析器
(SBP)の追加学習に用いた．

生徒解析器の事前学習に用いる疑似正解データセットは
CNNコーパス\cite{Hermann-etal-2015-teaching}から得る．
まず，Neural EDU Segmenter \cite{wang-etal-2018-toward}によりEDUの分割を行い，
異なる初期値で学習した教師解析器であるTSPにより得られた修辞構造木の間でASTを
抽出し，擬似正解データセットとした．
また，TSPが必要とする特徴量を得るため，CNNコーパスに
Stanford CoreNLP toolkit\footnote{\url{https://stanfordnlp.github.io/CoreNLP/}}
を用いて前処理を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{29-3ia6f4.pdf}
\end{center}
\caption{開発データにおける$l_{\rm min}$と性能の変化}
\label{fig:l_min_on_dev}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パラメータ設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{$l_{\rm min}$ および $l_{\rm max}$}

$l_{\rm min}, l_{\rm max}$は
抽出するASTの最小，最大サイズを決定するパラメータである．
RST-DTの文書に含まれるEDU数は7から240であるため，
$l_{\rm min}$は5から10の間で選択し，$l_{\rm max}$は240とした．
図\ref{fig:l_min_on_dev}に示される開発データにおける$l_{\rm min}$と性能の変化から
$l_{\rm min}$には開発データで最も良い性能であった9を選択した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{生徒解析器}

SBP\footnote{\url{https://github.com/nttcslab-nlp/Top-Down-RST-Parser}}の基本的なパラメータは元の実装に従い，
隠れ層の次元数は500次元とした．また，事前学習と追加学習はそれぞれ
5，10エポックとし，開発データで最も良い性能を示したエポックのモデルを評価に用いた．

SBPは文書の持つ階層構造である段落と文を
利用して，文書－段落，段落－文，文－EDUという各階層で別々の解析器を学習
することで高い解析性能を達成した．
しかし，疑似正解データセットを用いて階層ごとに事前学習を行うことは
計算量から容易ではない．
したがって，階層構造を利用せず単一の解析器で解析するモデルを学習し，
解析時に段落と文の境界を優先的に分割する処理を取り入れることにした．
具体的には，スパンの分割候補に段落の境界にあたる分割点が1つ以上存在する場合は，
段落の境界にあたる点のみを対象に式(\ref{eq:split_maximize})を適用して分割点を決定する．
これにより，段落の境界が優先して分割される．
同様に段落内では文の境界にあたる分割候補を対象にして分割点を決定し，優先的に分割する．

また，\citeA{kobayashi-etal-2020-top}は異なる初期値で学習した解析器が
推定した分布を平均化することでアンサンブルを行った．
しかし，事前学習から追加学習までを異なる初期値で行うことは
時間コストの観点から現実的でない．
したがって，疑似正解データセットによる事前学習は一度だけ行い，
追加学習時の最適化の初期値を複数通り行いアンサンブルに必要な
解析器を用意した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{教師解析器}

擬似正解データを得るため，
異なる初期値で学習した 4 つのTSPを用いた．
教師解析器の数$k$が小さいと解析器による合意の信頼性が低下し，
データセットの質が低下する．
一方で，$k$が大きすぎると疑似正解データセットを作成するための時間が
膨大となり，また合意をとるための制約が厳しくなるためデータ量も少なくなる．
本論文ではデータ作成の時間を考慮して$k$を4としたが，適切な$k$に関してはまだ議論が必要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

従来研究\cite{morey-etal-2017-much}に基づき，
多核のN-分木($\mathrm{N}\ge3$)となっている箇所はright-heavy branching treeへと変換\footnote{核性がS-N-SとなるN-分木($\mathrm{N}=3$)に関してはleft-heavy branching treeへと変換される．}することで2分木に変換したうえで
可能なスパンの一致をもとにSpan，Nuclearity (Nuc.)，Relation (Rel.)，
Fullの4種類の評価指標で評価する．
Spanはラベルなしの木構造，Nuc.は核性ラベル付きの木構造，Rel.は修辞関係ラベル付き
の木構造，Fullはすべてのラベル付きの木構造をマイクロ平均F値で評価する．

木に含まれるスパンの抽出方法による違いによりRSTParsevalとOriginalParsevalの
2種類の評価指標が利用される．
RSTParseavlが一般的に用いられるが，
正解のEDU分割を用いる際にはOriginalParsevalを利用することが
推奨されている\cite{morey-etal-2017-much}．
それぞれの評価指標におけるスパンの抽出例を図\ref{fig:eval_metric}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{29-3ia6f5.pdf}
\end{center}
\hangcaption{RSTParsevalとOriginalParsevalのスパン表現の違い．左側の木に対してRSTParsevalはROOTを除いた5つのスパン，OriginalParsevalは左右の子の核性を結合して表される3つのスパンをそれぞれ評価に用いる．}
\label{fig:eval_metric}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{06table01.tex}
\hangcaption{疑似正解データセットを構成する木の数およびノードの数．$k$は合意を取るために用いた教師解析器の数，$l_{\rm min}$は最小の部分木の大きさ．CoreNLP toolkitによる前処理の関係で利用可能なCNNコーパスの文書数は91,536文書であった．}
\label{tab:num_of_trees}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

部分木を活用した疑似正解データセットによる事前学習の有効性を検証するために，
単一の解析器による結果を疑似正解データセットしたDocument Tree (DT)，
複数の解析器により文書全体で合意した結果を疑似正解データセットとした
Agreement Document Tree (ADT) を比較対象とした．
疑似正解データセットに含まれる木の数およびスパンの数を表\ref{tab:num_of_trees}に示す．

また，近年の修辞構造解析器との比較を，
教師解析器として利用した\citeA{wang-etal-2017-two}の
TSPの他に，
\citeA{yu-etal-2018-transition}の係り受け解析器の特徴ベクトルを利用した上向き解析手法，
Two-Stage Parger に SpanBERTを導入しニューラルモデルに再構築した
\citeA{guz-carenini-2020-coreference}の方法，
ポインターネットワークを利用した下向き解析手法に対し，
敵対学習による最適化を導入した \citeA{zhang-etal-2021-adversarial}の方法と比較を
行う．
さらに，本稿と同じく疑似正解データを利用する研究である
\citeA{guz-etal-2020-unleashing}の方法，
EDU分割までをend-to-endで学習する\citeA{nguyen-etal-2021-rst}の方法とも
比較を行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{06table02.tex}
\caption{RST-DTと疑似正解データであるMEGA-DTおよびADTの比較．}
\label{tab:statistics}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，表\ref{tab:statistics}にRST-DTとMEGA-DT\footnote{\url{https://nlp.cs.ubc.ca/mega-dt}} および提案法であるASTの統計量を比較した結果を示す．
MEGA-DTは配布されているtrain/dev/testのうちtrainを対象とし，ASTは実験に用いた$k=4$, $l_\mathrm{min}=9$のデータを対象とした．
どちらの疑似正解データセットもRST-DTと比べてデータ数，ノード数共に多いが，平均EDU数は少ない．
核性ラベルの割合を見ると，ASTはRST-DTにより学習された解析器によりラベルが付与されているためRST-DTとおおよそ同一の分布である．一方，MEGA-DTはYelp'13にEDUを単位とした感情極性ラベルが付与されたSPOTデータセット \cite{angelidis-lapata-2018-multiple}を元にして構築しているためRST-DTと分布が異なっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似正解データセットの比較}

表\ref{tab:compare_silver}に事前学習モデルと追加学習したモデルのRSTParsevalにおける性能を示す．
表中のSBPは疑似正解データセットを用いず，
正解データセットのみで学習した実験結果である．
これをベースラインとして疑似正解データセットの有効性を比較する．
部分木を擬似正解データとして利用するASTはベースラインと比較してすべての指標において性能が向上しておりその有効性がわかる．
疑似正解データセット間で比較すると，
多くの指標でASTを用いた場合が最もよく，
特に修辞関係ラベルに関連するRel.とFullにおける改善が顕著である．
文書単位の疑似正解データから構成されるDTとADTも同様にベースラインを上回る性能を達成したが，ASTよりも性能の改善は小さい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{06table03.tex}
\caption{RSTParsevalによる疑似正解データセット毎のMicro-averaged F$_1$の比較．追加学習したモデルの各列において最も良い値を\textbf{太字}で表す．}
\label{tab:compare_silver}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

特にADTはその他の疑似正解データセットと比較して改善幅が小さいが，
これは疑似正解データセットのサイズが原因であると考える．
表\ref{tab:num_of_trees}に示したようにADTに含まれる木とスパンの数は
それぞれ2,142および57,840であり，ASTの175,709と2,279,275と比較して
非常に少ない．
つまり，事前学習に十分な量でないと考える．
一方，DTにおいて，木の数は91,536とASTと比較して少ないが，
それぞれの木が文書全体から構成されるため含まれるスパンの数は非常に多く，
ASTの4倍近い8,162,114個のスパンが含まれている．
それにもかかわらず，性能においてはASTのほうが良い．
これはDTが単一の教師解析器から作成されているため，
疑似正解データの質がその他よりも劣ることが原因であると考える．

先述したように貪欲法に基づく解析器は文書全体の構造を必要としない．
よって，疑似正解データセットを部分木で構築することにより，
複数の教師解析器による合意を得た疑似正解データセットが大規模に獲得可能であり，
文書全体を用いる疑似正解データセットよりも量と質の両面において優れて
いることがわかる．

また，学習にかかる計算時間の観点においても，学習時間がデータセットに含まれるスパンの数に比例しているため，ASTはDTの1/4の時間で学習が可能である．これは部分木を用いることでデータセットを小さくできることの利点である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似正解データセットのデータサイズによる影響}

疑似正解データセットのサイズと性能の関係を調べるため，
疑似正解データセットのサイズを変化させて評価実験を行った．その結果を
図\ref{fig:compare_data_size}に示す．
図より，SpanとNuc.はデータセットのサイズが変化してもほとんど性能に変化がない．
つまり，スパン分割と核性ラベルの推定に関しては
擬似正解データの効果は薄い．
一方でRel.はデータサイズの増加に応じて性能が向上しており，疑似正解データセットの有効性がわかる．
これはスパンの分割および核性ラベルの推定がそれぞれ2クラス，3クラスの分類問題
という比較的簡単な分類問題であることに対し，
修辞関係ラベルの推定は
18クラスかつクラスの出現頻度に偏りのあるデータに対する分類問題という難しい問題であることが原因であると考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{29-3ia6f6.pdf}
\end{center}
\hangcaption{疑似正解データセットのサイズによる性能の変化．実線がASTを事前学習に用いた場合（表\ref{tab:compare_silver}におけるSBP+AST）の性能．点線が疑似正解データを用いない場合（表\ref{tab:compare_silver}におけるSBP）の性能．}
\label{fig:compare_data_size}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

さらなるデータの増強方法として既存の大規模擬似データであるMEGA-DTとASTを組み合わせることが考えられるが，先に述べたようにSpanおよびNuc.はデータサイズを増やしても顕著な改善が見られないことから，核性しか付与されていないMEGA-DTとの組み合わせによるデータの増強は性能向上にはつながらないと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関係ラベルごとの性能比較}

ASTを用いることで関係ラベルの推定性能が大きく改善できることがわかった．
そこで，どの関係ラベルにおいて性能が改善されたのかを確認するために，SBP+ASTと他にベースラインであるSBPと教師解析器であるTSPの間で関係ラベル毎のF$_1$を図\ref{fig:compare_relations}で比較する．
SBPおよびSBP+ASTは5モデルアンサンブルの結果を用いる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{29-3ia6f7.pdf}
\end{center}
\hangcaption{TSP，SBP，SBP+ASTの 関係ラベル（18種類）ごとのF値の比較．ラベル名の下にある数値は各ラベルの出現頻度を表す．}
\label{fig:compare_relations}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図より，多くの関係ラベルにおいてTSPがSBPと同等かそれ以上の性能であり，
SBP+ASTの性能がそれらを上回っている．
特に，低頻度の関係ラベルにおいてSBP+ASTは大きくSBPの性能を改善している．
また，TSPが推定可能だが，SBPが不得意な関係ラベルをSBP+ASTによって推定可能になったことから，疑似正解データセットの作成にTSPを用いたことが性能向上に寄与していると考えらえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{06table04.tex}
\hangcaption{既存の解析器との比較．*で示す結果は論文で報告された値，それ以外は手元で評価した値である．$^\dagger$\protect\citeA{guz-carenini-2020-coreference}らの解析器はNoCorefの値を参照．}
\label{tab:compare_sota_models}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{既存の解析器との比較}

提案法であるSBP+ASTの5モデルアンサンブルと既存手法の比較を表\ref{tab:compare_sota_models}に示す．
\pagebreak
ここではRSTParsevalだけでなく，OriginalParsevalによる評価も行った．
テキストスパンのベクトル表現を得るためにSpanBERTを
採用した\citeA{guz-carenini-2020-coreference}の方法，
XLNet \cite{NEURIPS2019_dc6a7e65}を採用した\citeA{zhang-etal-2021-adversarial}の方法
はその他の手法と比較して非常に高い性能を達成している．
SBT+ASTはこれらを除くと
どちらの評価方法においてもSpanを除いたNuc.,
Rel.の2つの指標において従来法を上回っている．
提案法と\citeA{guz-carenini-2020-coreference}を比較すると，RSTParsevalにおいては\citeA{guz-carenini-2020-coreference}がわずかに良い性能であるが，OriginalParsevalにおいては提案法が逆転している．
正解のEDU分割を用いた場合のRSTParsevalは正解スパンと必ず一致する
長さ1のスパンを
過大評価することから OriginalParseval を利用することを文献\cite{morey-etal-2017-much}は
推奨している．
よって，この結果は提案法の有効性を支持していると考える．

ポインターネットワーク
を用いた下向き解析法に敵対学習を導入した
\citeA{zhang-etal-2021-adversarial}の方法は，テキストスパンのベクトル
表現をXLNetから得た場合には現状での最高性能を達成しているが
それをELMoへ変更した場合にはスコアが大きく劣化しており，
高いスコアはXLNetがもたらしたと考える．
提案法は，テキストスパンのベクトル表現をGloVe+ELMoから得ているにも
かかわらず\citeA{zhang-etal-2021-adversarial}の方法に対し
Rel.で1ポイント程度の差に迫るスコアを達成しており，
疑似正解データの有効性は示せたと考える．

また，\citeA{guz-etal-2020-unleashing}はRoBERTa \cite{liu2020roberta}を用いた解析器にMEGA-DTによる事前学習を適用したが，Span, Nuc.の性能改善は小さく，この点はASTを用いた提案法に関しても同様であった．これは木の構造や核性の推定がそれぞれ比較的簡単な2クラス，3クラスの分類問題であるため
少ない正解データのみでも十分な性能を達成できるからである．
一方で，Rel.においてASTは推定性能を大きく改善したが，
MEGA-DTは関係ラベルが付与されていないため，Rel.の改善は不可能である．この点においてASTはMEGA-DTに対して優位である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{06table05.tex}
\hangcaption{EDU SegmenterによるEDU分割を採用した際の解析器の性能比較．各列における最も高い値は\textbf{太字}で表す．*で示す結果は\protect\citeA{nguyen-etal-2021-rst}での報告値．}
\label{tab:system_edus}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{EDU分割器によるEDU分割を用いた評価}

表\ref{tab:system_edus}に，正解のEDU，EDU分割器により自動的に分割したEDUを用いた場合の解析器の性能を示す．
提案法はSBP+ASTの5モデルアンサンブルを用い，
Neural EDU Segmenter\footnote{
\url{https://github.com/PKU-TANGENT/NeuralEDUSeg}
} \cite{wang-etal-2018-toward} を利用した．
比較対象となる\citeA{nguyen-etal-2021-rst}はEDU分割と修辞構造解析をend-to-endに学習・推定する手法であり，我々の用いたEDU分割器とEDU分割の精度が異なる\footnote{提案法で使用したNeural EDU Segmenterの分割性能はPrecision: 91.7, Recall: 97.5, F1: 94.5である．}ことに注意されたい．

表\ref{tab:system_edus}にOriginalParsevalを用いた評価結果を示す．
表より，どちらの手法も自動分割したEDUを用いる性能は大きく劣化する．
SBPとSBP+ASTを比較すると，疑似正解データはRel.，Fullに対する性能改善に
強く貢献しており正解EDUを用いた場合と同様の傾向にある．
\citeA{nguyen-etal-2021-rst}の方法は，\citeA{zhang-etal-2020-top}と同様にポインターネットワークを用いて再帰的にスパンを
分割していき，予測された分割点が与えれたスパンの末尾である場合を分割の終了条件とすることで解析からEDU分割までを一括で推定する．
正解EDUを用いた場合には提案法が\citeA{nguyen-etal-2021-rst}の方法に
勝っているが，自動分割したEDUの場合には劣る結果となった．
提案法は，決定的に自動分割されたEDUを利用しているが，
\citeA{nguyen-etal-2021-rst}の方法は end-to-end にEDU分割までを学習
することが利点となったと考える．
一方，Nuc.と比較してRel.とFullの劣化度合いは提案法のほうが小さい．
これは正解EDUの場合と同様，疑似正解データの効果であると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

本稿では，
修辞構造解析における学習データ不足を解決するため，
複数の解析結果から一致する部分木を疑似正解データとして活用する手法を
提案した．具体的には，
疑似正解データを用いて解析器の事前学習を行い，
正解データを用いて追加学習する学習の枠組みを採用した．
また，複数の解析結果から一致する部分木を効率的に抽出するための
アルゴリズムも提案した．
RST-DTを用いた評価実験において，部分木を利用した疑似正解データセットはその他の文書単位で構成される疑似正解データセットと比較して優れていることがわかった．
特に，疑義正解データを用いることで関係ラベルに関する評価指標であるRel.とFullにおいて改善幅が顕著であった．
さらに提案法は既存の最高性の解析器に匹敵する性能であることも
わかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部はJSPS科研費JP21H03505の助成を受けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{06refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{小林　尚輝}{%
2020年東京工業大学工学院情報通信系情報通信コース修士課程修了．同年博士課程進学．
自然言語処理の研究に従事．言語処理学会学生会員．
}

\bioauthor{平尾　　努}{%
1997年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
同年，株式会社NTTデータ入社．2000年より日本電信電話株式会社 コミュニケーション科学研究所．博士（工学）．
自然言語処理の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{上垣外英剛}{%
2017年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了．
同年NTTコミュニケーション科学基礎研究所入所．
2018年より東京工業大学科学技術創成研究院未来産業技術研究所助教．
2022年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授．
自然言語処理分野の研究に従事．
情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{奥村　　学}{%
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課程修了．
同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，2009年同教授，現在は，科学技術創成研究院教授．
2017年より，理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務．工学博士．
}

\bioauthor{永田　昌明}{%
1987年京都大学大学院工学研究科修士課程修了．
同年，日本電信電話株式会社入社．現在，コミュニケーション科学研究所 上席特別研究員．工学博士．
自然言語処理の研究に従事．電子情報通信学会，情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

