\documentclass[japanese,tombow]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
\usepackage{dcolumn}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{amsmath,amssymb,mathtools}
    \usepackage{mathtools}
%%%%\usepackage{algorithm}
%%%%\usepackage{algorithmic}
%%%%\usepackage{amsfonts}
%%%%\usepackage{amssymb}
%%%%\usepackage{ascmac}
\usepackage{booktabs}
%%%%\usepackage{color}
%%%%\usepackage{comment}
%%%%\usepackage{float}
%%%%\usepackage[ipaex]{pxchfon}
\usepackage{lingmacros}
\usepackage{multirow}
%%%%\usepackage{subfigure}
%%%%\usepackage{textcomp}
\usepackage{url}
%%%%\usepackage{lingmacros}
%%%%\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\renewcommand\UrlFont{\rmfamily}
\allowdisplaybreaks


\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{4}{1}
\revised{2020}{7}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{8}{19}

\setcounter{page}{753}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{論述構造解析におけるスパン分散表現}
\jauthor{
栗林　樹生\affiref{tohoku}\affiref{langsmith} \and 大内　啓樹\affiref{aip}\affiref{tohoku} \and 井之上直也\affiref{tohoku}\affiref{aip}\affiref{stonybrook} \and 鈴木　　潤\affiref{tohoku}\affiref{aip} \and \\
Paul Reisert\affiref{aip} \and 三好　利昇\affiref{hitachi} \and 乾　健太郎\affiref{tohoku}\affiref{aip}
}
\jabstract{
論述構造解析は，小論文などの論述文を解析対象とし，節や文といった談話単位の役割（主張，根拠など），談話単位間の関係（支持，反論など）を予測するタスクである．論述文の自動評価や意見の集約などへの応用可能性から，本タスクは注目を集めている．論述構造解析では，談話単位（スパン）が処理の基本単位となるため，スパンに対する特徴ベクトル表現（分散表現）を，どのように計算するかはモデル設計における重要な点である．本研究では，自然言語処理の諸タスクにおけるスパン分散表現の研究を踏まえ，論述構造解析において効果的な談話単位のスパン分散表現の獲得方法を提案する．文章中の機能的な表現（接続表現）と論理的な筋を構成する内容（命題）というそれぞれの粒度で文章の大域的な文脈情報を捉えることが重要であるという仮定に基づき，提案法では各談話単位に複数のレベルの大域的な文脈情報を取り込む．本スパン分散表現を用いることにより，特にこれまでの手法では同定が困難であった複雑な構造をもつ論述文において，解析性能が向上し，複数のベンチマークデータセット上で最高性能を更新した．また，BERTなどの強力な言語モデルから得られる単語分散表現を用いた際にも，既存のスパン分散表現獲得方法では十分な性能が得られないが，提案手法によりスパン分散表現の獲得方法を工夫することで，性能が大きく向上することを報告する．
}
\jkeywords{議論マイニング, 談話構造予測, スパン分散表現}

\etitle{An Empirical Study of Span Representations in Argumentation Structure Parsing}
\eauthor{
Tatsuki Kuribayashi\affiref{tohoku}\affiref{langsmith} \and Hiroki Ouchi\affiref{aip}\affiref{tohoku} \and Naoya Inoue\affiref{tohoku}\affiref{aip}\affiref{stonybrook} \and Jun Suzuki\affiref{tohoku}\affiref{aip} \and Paul Reisert\affiref{aip} \and Toshinori Miyoshi\affiref{hitachi} \and Kentaro Inui\affiref{tohoku}\affiref{aip}
}
\eabstract{
Argumentation Structure Parsing (ASP) is the task of predicting the roles of argumentative units (e.g., claim, premise) and the relations between the units (e.g., support, attack) in an argumentative text. ASP has received a great deal of attention due to its usefulness for applications such as automatic assessment of argumentative texts. As textual spans (i.e., argumentative units) are basic units of ASP, it is important to explore an effective design for representing them. Inspired by the current span representation design in other natural language processing tasks, we propose a method to obtain effective span representations of argumentative units in ASP. Our proposed method leverages multiple levels of global contextual information, such as argumentative markers in surrounding contexts, for obtaining each span representation. We show that using our span representation improves performance on several benchmark datasets---especially when parsing complex argumentative texts, which have been difficult to parse with existing methods. Furthermore, we report the effectiveness of our span representations when using word representations obtained from existing, powerful language models such as BERT.
}


\ekeywords{Argument Mining, Discourse Parsing, Span Representation}

\headauthor{栗林，大内，井之上，鈴木，Reisert，三好，乾}
\headtitle{論述構造解析におけるスパン分散表現}

\affilabel{tohoku}{東北大学情報科学研究科}{Graduate School of Information Sciences, Tohoku University}
\affilabel{langsmith}{Langsmith株式会社}{Langsmith Inc.}
\affilabel{aip}{理化学研究所革新知能統合研究センター}{RIKEN Center for Advanced Intelligence Project}
\affilabel{hitachi}{日立製作所研究開発グループ}{Research \& Development Group, Hitachi, Ltd.} 
\affilabel{stonybrook}{出版時: Stony Brook University}{Present affiliation: Stony Brook University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

議論は人間にとって主要な言語活動のひとつである．
議論の参加者は，前提・根拠に基づきながら，筋道を立てて自身の意見を伝える．
例えば，国の方針を決定したり，親を説得したり，価格を交渉したり，問題解決や合意形成において議論は欠かせないものである．
近年，自然言語処理の分野では，特に作文や意見文といった独話的な論述文を対象とし，議論の解析を行う議論マイニング (Argument Mining) が進展を遂げてきた \cite{cabrio2018five,Lawrence2019tutorial}．
議論マイニングにおける知見やシステムは，人々の意見の集約 \cite{stab-etal-2018-cross,reimers-etal-2019-classification}や，議論の質の自動評価・フィードバック \cite{Stab2016a,Wachsmuth2017b,reisert2019}などへ応用が期待されている．
議論マイニングにおける中心的なゴールとして，論述文における談話構造の解析（以降，{\bf 論述構造解析}）が挙げられる．
本研究では，論述構造解析のためのベンチマークデータセット \cite{Peldszus2016,stab2017}上で，高性能な論述構造解析モデルの開発を行う．

論述構造解析モデルは，与えられた論述文について，談話単位間の論述関係とその種類（\textsc{Support}や\textsc{Attack}），談話単位の機能（\textsc{Premise}や\textsc{Claim}，\textsc{MajorClaim}）などの構造を予測する．
図~\ref{fig:intro}に論述文とその論述構造の例を示す．
この例では，{\it In addition, I believe that city provides more work opportunities than the countryside.}という主張（談話単位1）について，主張を支持する言及（談話単位2）や，主張と対立する意見（談話単位3）などが述べられている．
論述構造はグラフで表現され \cite{Peldszus2015,stab2017}，グラフの頂点は談話単位を，グラフの辺は談話単位間の論述関係を表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia2f1.eps}
\end{center}
\hangcaption{論述文とその構造の例．グラフ中の各頂点は談話単位に，各辺は論述関係に対応する．談話単位の下に記しているラベルは談話単位の種類を，辺の上に記しているラベルは論述関係の種類を示す．また，談話単位中の下線付き部分は接続表現に，それ以外の部分は命題に対応する．}
\label{fig:intro}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

談話単位のように一単語以上からなる意味的関連のあるまとまりを{\bf スパン}と呼ぶ．
論述構造解析は論述文中の談話単位スパンの役割を解析するタスクであるため，スパンに対する特徴ベクトル（スパン分散表現）をどのように計算するかはモデル設計において重要な点である．
論述構造解析における既存研究 \cite{Potash2016}では，ニューラルネットワークベースのスパン分散表現を用いることで，高い解析性能が実現されてきた．
同様に，統語解析や意味解析などの自然言語処理における他タスクにおいても，ニューラルネットワークベースのスパン分散表現は注目を集めており，より効果的なスパン分散表現抽出方法について知見が得られてきた \cite{wang:16,stern:17,P18-2058,D18-1191}．
これらの知見と論述文特有の言語的性質を踏まえ，本研究では論述構造解析において効果的なスパン分散表現抽出方法の提案を行う．
談話単位の機能や役割は文脈に大きく依存するため，各談話単位のスパン分散表現に論述の文脈情報をうまく取り入れることが解析精度向上の鍵である \cite{Nguyen2016,Lawrence2019tutorial}．


論述構造を予測する上で，重要となる文脈情報は大きく二つあると考える．
一つは，ある談話単位の周辺にどのような論述関係が存在するかという高次の情報であり，文章中の接続表現の配置からある程度推測することができる．
例えば，``of course''$\xrightarrow{}$``but''といった接続表現の系列からは，一旦譲歩した上で反論し返すという\textsc{Attack}関係の連鎖など，典型的な部分構造が捉えられる（図~\ref{fig:intro}中，談話単位3と4）．
もう一つは，談話単位間の語彙的な結束の強さや話題の変化である．
近い話題について議論している談話単位同士は，論述関係を共有している可能性が高いと考える．
例えば，図~\ref{fig:intro}中，談話単位1と2では``more work''$\xrightarrow{}$``more jobs''という非常に意味の近い内容語が含まれており，これらの談話単位間の関係は支持の関係で結ばれている．

そこで本研究では，各談話単位を機能的な表現（接続表現）と内容（命題）に分解し（図~\ref{fig:intro}中，下線付き部分と下線なし部分)，談話単位，接続表現，命題という様々な観点における文脈情報を考慮しながら，談話単位のスパン分散表現を獲得する（\ref{sec:model}節)．
接続表現の系列は論述のテーマ非依存な文章の型に関する手がかりであるのに対し，命題は論述のテーマに大きく依存した内容であるなど，両者が異なる性質を持つことも，接続表現と命題を区別して扱う動機の一つである．

実験から，本研究で提案したスパン分散表現獲得方法を用いることで解析性能が向上することを示す．
また，BERTなどの強力な言語モデルから得られる単語分散表現を用いた際にも，既存のスパン分散表現獲得方法をただ適用しただけでは十分な性能が得られないが，本研究で提案したスパン表現獲得法を用いることで，大幅な性能向上が得られることを示す．
分析から，特に複雑な構造をもつ論述文において，スパン表現の工夫による性能向上が得られることが分かった．

本研究の貢献は以下の通りである．
\begin{itemize}
\setlength{\parskip}{0cm} 
\setlength{\itemsep}{0cm}
\item 論述構造解析において，言語処理における他タスクで有効とされていたスパン分散表現と，本タスクのために拡張したスパン分散表現の有効性を調査した．
\item 実験結果から，既存のスパン分散表現，およびスパン分散表現の拡張が本タスクにおいて有効であることを示し，複数のベンチマークデータで最高性能を達成した．
\item 分析から，複雑な論述構造（深いグラフ）を持つ文章において，特に我々のスパン分散表現の獲得方法が有効であることが分かった．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:rwork}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{論述構造解析．}
論述構造解析は，論述文から議論の構造を抽出するタスクである．
議論学の知見 \cite{toulmin1958uses,freeman2011dialectics}に基づき，論述構造アノテーションの仕様検討から，論述構造解析モデルの開発に至るまで様々な研究が行われてきた \cite{reed2006preliminary,mochales2011argumentation,Peldszus2013,Peldszus2015,Peldszus2016,Stab2014a,stab2017,Niculae2017,Potash2016,Eger2017,habernal2017argumentation}．
また近年は，論述構造を考慮したエッセイスコアリングや論述文の評価も注目を集めている \cite{ke2018learning,nguyen2018}．

近年，論述構造解析のための比較的高品質なデータセット \cite{stab2017,Peldszus2016}が公開され，これらのベンチマークデータセットの上で，論述構造解析のための様々なモデルが提案されてきた．
論述構造解析モデルの設計は，(i) 人手で設計された素性に基づくモデル \cite{Peldszus2015,stab2017,afantenos2018comparing}と，(ii) ニューラルネットベースのモデル\cite{Potash2016,Eger2017}に分けられる．
人手による素性に基づくモデルでは，論述文の言語的な性質を踏まえ，解析精度向上のため論述文や談話に関連した素性が設計されてきた．
これらの研究では，論述関係を予測する際に広い文脈を考慮する重要性や，周辺文脈に出現する接続表現が手がかりとなることが報告されてきた．
一方，ニューラルネットベースのモデルでは，言語的に動機付けされた素性はほとんど用いられていないものの，高性能な解析が実現されてきた．
したがって，それぞれのアプローチで得られた知見が，もう一方のアプローチでは活かされてこなかった．
本研究では，素性ベースの研究で得られた知見に着目し，ニューラルベースのモデルに論述文の性質を考慮した改良を加えることで，両アプローチにおけるこれまでの知見を統合し，解析性能の向上を図る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{談話構造解析．}
論述構造解析と関連の強いタスクとして，修辞構造理論 \cite{mann1987rhetorical}{\kern 0.5em}に基づく談話構造解析や，{\kern 0.25em}Penn Discourse TreeBank (PDTB) \cite{prasad2008penn}スタイルの談話関係認識があげられる．
修辞構造理論やPDTBスタイルの談話解析では一般的なドメインの談話を解析対象とし，談話単位間で生じている原因，結果，対比，並列などの関係を予測する．
一方，論述構造解析では論述的・説得的な文章に焦点が当たり，相手を説得するという目標における談話単位の機能（根拠・主張）や談話単位間の関係（支持・反論）を予測する．

修辞構造理論や論述構造といった，異なる談話構造アノテーション間の対照的な性質についても，近年分析が行われている．
既存研究 \cite{stede2016parallel}では，同じテキストに論述構造，修辞構造理論に基づく談話構造など複数の談話構造を重ねて付与し，付与された辺（どの談話単位間に関係があるか）全体のうち，両構造で重複する辺は高々60\% 程度であるなどの報告があり，既存の談話解析タスクとの性質の違いが示唆されている．
また，PDTBスタイルの談話関係認識は，二つの談話単位が与えられ談話単位間の関係の種類を予測するタスクであるのに対し，論述構造解析や修辞構造理論に基づく談話構造解析では，2つ以上の談話単位が与えられ，どの単位間に関係が存在するかも予測する点でタスク設定が異なる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{接続表現と命題．}
人手による素性設計を行った論述構造解析の研究 \cite{stab2017}では，典型的な接続表現のリストを作成し，各談話単位の周辺文脈に存在する接続表現を素性として用いることで，有意な精度向上を実現している．
例えば，ある談話単位が{\it Therefore,}で始まる場合，その談話単位は結論であると考えられる上に，その直前の談話単位は根拠である可能性が高い．
接続表現は，一般的な談話構造解析 \cite{mann1987rhetorical,prasad2008penn}でも，非常に有用な手がかりとされている \cite{marcu2000theory,braud2016learning}．
接続表現の活用は，談話構造解析の枠を超え，文の表現学習などの分野でも注目を集めている \cite{sileo2019mining,pan2018discourse}．

また，テクスト言語学の文脈 \cite{de1981introduction,halliday2014cohesion}では，節や文の繋がりについて，結束性 (cohesion)・一貫性 (coherence)という二つの観点から論じられてきた．
結束性は文章の表層に現れる繋がりを指し，接続詞・指示代名詞などによって実現される文法的結束性と，同じ語の繰り返しなどで実現される語彙的結束性に更に分類される．
また，一貫性は節・文間の意味的な繋がり（出費が多い$\rightarrow$収入が必要など）を指す．
ニューラルネットワーク内部で接続詞と命題を区別して文章の流れを捉える本研究の試みは，文章の文法的結束性（接続表現がどう配置されているか）と，語彙的結束性・一貫性（命題の語彙・意味的な繋がり）の観点それぞれに特化した機構を，ネットワーク構造に導入する試みと考えることもできる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{スパン分散表現．}
統語解析 \cite{wang:16,stern:17,kitaev:18}，意味役割付与 \cite{P18-2058,D18-1191}，共参照解析 \cite{lee:17,lee:18}，談話解析 \cite{Li16}などの言語処理諸タスクにおいて，スパン分散表現の設計は大きな注目を得ている．
ここで，スパンとは複数の単語からなる言語単位（句やフレーズなど）を指す．
近年，{\bf LSTM-minus}と呼ばれるスパン特徴表現抽出方法が提案され \cite{wang:16}，様々なタスクで適用されている．
この手法では，スパン$(i, j)$に対してスパン両端のトークンに対応するBiLSTMの隠れ層の差 (${\bf h}_j - {\bf h}_{i-1}$) を用い，文脈情報を取り入れたスパン分散表現を計算する．
論述文中の談話単位の解釈において文脈情報は重要であり \cite{Nguyen2016,Lawrence2019tutorial}，
例えば，「りんごには栄養がある」という発話の機能は，「毎朝りんごを食べるべきだ」に続く発話であれば，主張を支持していることになるが，「果物は体に悪い」に対する発話であれば反論になる．
本研究でも，文脈を考慮したスパン分散表現獲得法であるLSTM-minusをベースとし，より効果的なスパン分散表現について研究を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{モデル}
\label{sec:model}

論述構造解析モデルの概要，及び提案手法について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデルの概要}
\label{subsec:orv}

論述構造解析は，(i)論述単位分割，(ii)論述関係認識，(iii)論述関係タイプ分類，(iv)論述単位タイプ分類の4つのサブタスクによって構成される．
既存研究 \cite{Potash2016,Niculae2017,Peldszus2015}に従い，本研究では論述単位は分割済みであると仮定する． 
論述構造解析モデルは論述文を入力とし，各論述単位のスパン分散表現を計算する（\ref{subsec:segment}，\ref{subsec:span}，\ref{subsec:dist_ac_ce}節)．
その後，各論述単位間の論述関係の有無，各論述関係のタイプ分類，各論述単位のタイプ分類を行う（\ref{sec:layer:output}節)．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{スパンの種類}
\label{subsec:segment}

論述文は$T$個の単語$w_{1:T} = (w_1, w_2, \cdots, w_T)$で構成され，$K$個の論述単位スパン$S^\text{ADU}_{1:K} = (s_1^\text{ADU},s_2^\text{ADU},\cdots,s_K^\text{ADU})$をもつ．
ここでスパン$s^\text{ADU}_k$は，単語インデックス$i_k$, $j_k$を用いて$(i_k, j_k)$と表す($1 \leq i_k \leq j_k \leq T$)．
本研究では，各論述単位$s^\text{ADU}_k$をさらに接続表現$s^\text{AM}_k$と命題$s^\text{AC}_k$に分解する．
本研究で扱う英語の論述文では，接続表現は論述単位の先頭に存在し，命題は論述単位中の接続表現より後ろとする（図~\ref{fig:connective}下)．
すなわち，各論述単位$s^\text{ADU}_k=(i_k, j_k)$ は，単語インデックス$\ell_k$ ($i_k \leq \ell_k < j_k$) を用いて，接続表現$s^\text{AM}_k=(i_k, \ell_k)$と命題$s^\text{AC}_k = (\ell_k+1, j_k)$に分割できる\footnote{接続表現が存在しない論述単位の扱いなどについては，\ref{sec:exp}節を参照．}． 
論述文中に論述単位が$K$個存在する場合，接続表現および命題も$K$個ずつ存在する．
以降，論述単位を{\bf ADU} (argumentative discourse unit)，命題を{\bf AC} (argument component)， 接続表現を{\bf AM} (argumentative marker)と表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia2f2.eps}
\end{center}
\hangcaption{論述文の例と，接続表現と命題の区別をする／しないモデルの概要．ADUは論述単位，AMは接続表現，ACは命題を指す．}
\label{fig:connective}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{LSTM-minusに基づくスパン分散表現}
\label{subsec:span}

はじめに，言語処理他タスクで有効なスパン分散表現であるLSTM-minus \cite{wang:16}に基づく，論述構造解析モデルを設計する（図~\ref{fig:connective}左)．
本モデルでは，ACとAMを区別せず，ADUを一つのスパンとして扱う．
ADUスパン$s^\text{ADU}_k=(i_k,j_k)$のスパン分散表現${\bf h}^\text{ADU}_k$を以下のように得る．
\begin{align}
\nonumber {\bf w}_{1:T} & = f^\text{emb}(w_{1:T}) \:\:,\\
\nonumber {\bf h}_{1:T} & = \text{BiLSTM}({\bf w}_{1:T}) \:\:,\\
\nonumber {\bf h}^\text{ADU}_k & = [\overrightarrow{{\bf h}}_{j_k} - \overrightarrow{{\bf h}}_{i_k-1}; \overleftarrow{{\bf h}}_{i_k} - \overleftarrow{{\bf h}}_{j_k+1}; \overrightarrow{{\bf h}}_{i_k-1}; \overleftarrow{{\bf h}}_{j_k+1}; \phi(w_{i_k:j_k})] \:\:.
\end{align}
ここで，単語埋め込み層$f^\text{emb}$は，入力系列$w_{1:T}$を単語分散表現の系列${\bf w}_{1:T}$に変換する．
BiLSTMレイヤは${\bf w}_{1:T}$を入力とし，隠れ層の系列${\bf h}_{1:T}$を出力する．
${\bf h}_{1:T}$から，各ADUスパン$s^\text{ADU}_k$についてLSTM-minusベースのスパン分散表現${\bf h}^\text{ADU}_k$を計算する．
なお，既存研究\cite{Potash2016}に従い，各スパン分散表現に特徴ベクトル $\phi(w_{i:j})$ を追加している\footnote{詳細は付録に記載．}．
本スパン分散表現を用いたモデルを{\bf LSTMモデル}と呼ぶ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{接続表現と命題を区別したスパン分散表現}
\label{subsec:dist_ac_ce}

LSTM-minusに基づくスパン分散表現の拡張として，AMとACを区別したスパン分散表現を用いる（図~\ref{fig:connective}右)．
ACは論述の論理的な筋を構成する考えや事実，AMは{\it However}などの論の流れを汲み取る上で標識となる接続表現に対応する．
ACの内容は論述のテーマに依存するのに対し，AMは論述のテーマに非依存であるなど，ACと AMは異なる性質を持つ．

各論述単位$s^\text{ADU}_k$を接続表現$s^\text{AM}_k$と命題$s^\text{AC}_k$に分解する．
LSTMスパンモデルと同様に，各AMスパン$s^\text{AM}_k$をスパン分散表現${\bf h}^\text{AM}_k$に，各ACスパン$s^\text{AC}_k$をスパン分散表現${\bf h}^\text{AC}_k$にエンコードする．
$K$個のAM/ACスパン分散表現の系列をそれぞれ，$H^\text{AM}_{1:K}=({\bf h}^\text{AM}_1, {\bf h}^\text{AM}_2, \cdots, {\bf h}^\text{AM}_K)$，$H^\text{AC}_{1:K}=({\bf h}^\text{AC}_1, {\bf h}^\text{AC}_2, \cdots, {\bf h}^\text{AC}_K)$と表す．

$H^\text{AM}_{1:K}$と$H^\text{AC}_{1:K}$について，異なるBiLSTMを用いてそれぞれ文脈情報を取り入れる．
\begin{align}
\nonumber
H_{1:K}^\text{AM\_ctx} &= \text{BiLSTM}^\text{AM}(H^\text{AM}_{1:K})  \:\:,\\
\nonumber
H_{1:K}^\text{AC\_ctx} &= \text{BiLSTM}^\text{AC}(H^\text{AC}_{1:K}) \:\:.
\end{align}
ここで$H_{1:M}^\text{AM\_ctx} = ({\bf h}_1^\text{AM\_ctx}, {\bf h}_2^\text{AM\_ctx}, \cdots, {\bf h}_K^\text{AM\_ctx})$と$H_{1:K}^\text{AC\_ctx} = ({\bf h}_1^\text{AC\_ctx}, {\bf h}_2^\text{AC\_ctx}, \cdots, {\bf h}_K^\text{AC\_ctx})$は，それぞれ文脈情報を取り込んだ$K$個のAM/ACスパン分散表現の系列を表す．

AMとACを別々に処理することで，複数の観点における論の大域的な流れを捉える．
例えば，直前の談話単位が譲歩 ({\it of course...}) をしていた場合，その直後の談話単位では譲歩の内容に反論し返す（\textsc{Attack}関係をもつ）のが自然である．
譲歩している節では対立する見解が述べられていると考えられ，自分の主張にとって不利な見解には直ちに反論しなければ，論述文の説得力が低下する恐れがあるからだ．
このような特徴量は$\text{BiLSTM}^\text{AM}$によって捉える．
また，一つのテーマについて論じられている文章であっても，しばしば論述の中では様々な論点が挙げられ，テーマに対して多角的に批判・分析が行われる．
近い話題について議論している談話単位同士は，論述関係を共有している可能性が高いと考える．
このような話題，結束性の変化は$\text{BiLSTM}^\text{AC}$によって捉える．

各ADUスパン$s^\text{ADU}_k$を，${\bf h}_k^\text{AM\_ctx}$と${\bf h}_k^\text{AC\_ctx}$，LSTMモデルと同様の特徴ベクトル$\phi(w_{i_k:j_k})$を用いて以下のように表す．
\[
{\bf h}^\text{ADU\_dist}_k = [{\bf h}_k^\text{AM\_ctx}; {\bf h}_k^\text{AC\_ctx};  \phi(w_{i_k:j_k})] \:\:.
\]
本スパン分散表現を用いたモデルを{\bf LSTM+distモデル}と呼ぶ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{出力層}
\label{sec:layer:output}

以降はLSTMモデル，LSTM+distモデルで共通のレイヤとなる．
\ref{subsec:span}節または\ref{subsec:dist_ac_ce}節で得られた，ADUスパン$s^\text{ADU}_k$に対する分散表現を${\bf h}^\text{ADU}_k$と表記し\footnote{LSTMモデルの場合，\ref{subsec:span}節における${\bf h}^\text{ADU}_k$，LSTM+distモデルの場合，\ref{subsec:dist_ac_ce}節における${\bf h}^\text{ADU\_dist}_k$に対応する．}，$K$個のスパン分散表現の系列を$H^\text{ADU}_{1:K}=({\bf h}^\text{ADU}_1, {\bf h}^\text{ADU}_2, \cdots,{\bf h}^\text{ADU}_K)$とする．
$H^\text{ADU}_{1:K}$をBiLSTMに入力し，ADUのレベルでスパン分散表現に文脈情報を取り入れる．
\begin{align}
\label{eq:LSTM_ADU}
H_{1:K}^\text{ADU\_ctx} = \text{BiLSTM}(H_{1:K}^\text{ADU}) \:\:.
\end{align}
LSTMモデルとLSTM+distモデルを平等に比較するため，LSTM+distモデルでは，式~\ref{eq:LSTM_ADU}におけるBiLSTMの層数を減らし，LSTMモデルとパラメータ数を揃えている．
得られたADUスパン分散表現$H_{1:K}^\text{ADU\_ctx} = ({\bf h}^\text{ADU\_ctx}_1, {\bf h}^\text{ADU\_ctx}_2, \cdots,{\bf h}^\text{ADU\_ctx}_K)$をもとに，それぞれのサブタスクにおけるクラスの確率分布を求める．
サブタスクは，(i) 論述関係認識, (ii) 論述関係タイプの分類, (iii) 論述単位のタイプの分類の3つである．
いずれのタスクも，各ADUに対する多クラス分類問題として定義される．
以降簡略化のため，論述単位$s^\text{ADU}_{k}$のスパン分散表現${\bf h}^\text{ADU\_ctx}_k$を${\bf h}_k$と表記する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{論述関係認識．}
論述関係認識レイヤでは，スパン$s^\text{ADU}_m$がスパン$s^\text{ADU}_n$に対して有向辺を張る確率を以下のように計算する．
\begin{align}
\nonumber
\text{score}^\text{link}_{m,n} & = {\bf w}^\text{link} \cdot [{\bf h}_m; {\bf h}_n; {\bf h}_m \odot {\bf h}_n; \phi(m,n)]  \:\:,\\
\nonumber
\text{P}(n|s^\text{ADU}_m) & = \frac{\text{exp}(\text{score}^\text{link}_{m,n})}{\sum^K_{n'=1}\text{exp}(\text{score}^\text{link}_{m,n'})} \:\:,
\end{align}
ここで ${\bf w}^\text{link}$ は学習対象となるパラメータである.  $\phi(m,n)$は，$m$番目のスパンと$n$番目のスパンの間の相対的な距離を示すone-hot vectorである．
本研究で扱うデータセットでは，論述構造は木構造として付与されており，出力に木の制約を課すため，各ADU間に有向辺が貼られる確率$\text{P}(n|m)$をもとに，Chu-Liu/Edmondsアルゴリズムを用いてデコードした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{論述関係タイプの分類．}
スパン$s^\text{ADU}_o$が論述関係タイプ$r$に分類される確率を，スパン分散表現 ${\bf h}_o$ をもとに以下のように計算する． 
\begin{align}
\label{eq:classification}
\text{score}^\text{link-type}_{o,r} &= {\bf w}^\text{link-type}_r \cdot {\bf h}_o + b^\text{link-type}_r \:\:,\\
\label{eq:softmax}
\text{P}(r|s^\text{ADU}_o) &= \frac{\text{exp}(\text{score}^\text{link-type}_{o,r})}{\sum_{r' \in \mathcal{R}}
\text{exp}(\text{score}^\text{link-type}_{o,r'})} \:\:,
\end{align}
ここで，${\bf w}^\text{link-type}_r$，$b^\text{link-type}_r$は学習対象となるパラメータである．
また，$\mathcal{R}= \{\text{\textsc{Support}}, \text{\textsc{Attack}}\}$である．
既存研究に従い，各ADUスパンを係り元とする論述関係のタイプの分類という形で各ADUスパン分散表現をもとに予測を行う．
また，本研究で用いるデータセットの一つであるPersuasive essay corpus (PEC) \cite{stab2017}では，\textsc{Claim}に筆者と同じ立場か異なる立場かというスタンスのラベルが付与されている．
既存研究に従い，PECでは本スタンスの分類も論述関係タイプ分類問題として扱う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{論述単位タイプの分類．}
式\ref{eq:classification}，\ref{eq:softmax}と同様に，パラメータ${\bf w}^\text{ac-type}_r$，$b^\text{ac-type}_r$を用いて，スパン $o$が論述単位タイプに分類される確率$\text{P}(r|s^\text{ADU}_o)$を，スパン分散表現 ${\bf h}_o$ をもとに求める．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{学習}
\label{sec:train}

以下の訓練データセット$\mathcal{D}$を用いる．
\begin{align*}
\mathcal{D} & = \{ (X, Y^\text{link}, Y^\text{link-type}, Y^\text{ac-type})_d \}_{d=1}^{|\mathcal{D}|} \:\:, \\
X & = \{ w_{1:T}, S^{\text{ADU}}_{1:K}, S^{\text{AM}}_{1:K}, S^{\text{AC}}_{1:K} \} \:\:, \\
Y^\text{link} & = \{ h_1, \cdots, h_K \} \:\: , \\
Y^\text{link-type} & = \{ t_1, \cdots, t_K \} \:\:, \\
Y^\text{ac-type} & = \{ r_1, \cdots, r_K \}
\end{align*}
ここで，$h_k \in \{\texttt{root}, 1, 2, \cdots, K\}$，$t_k \in \{\text{\textsc{Support}}, \text{\textsc{Attack}}\}$，$r_k \in \{\text{\textsc{MajorClaim}}, \text{\textsc{Claim}}, 
\linebreak
\text{\textsc{Premise}}\}$\footnote{microtext corpus \cite{Peldszus2016}では，\textsc{MajorClaim}クラスは存在しない．}である．
マルチタスク学習が有効であるという既存研究 \cite{Potash2016,stab2017}の知見に従い，本研究ではこれら3つのサブタスクをマルチタスクで解く．
以下の式より，モデルパラメータ$\hat{\theta}$を得る．
\begin{align}
\nonumber
\hat{\theta} & = \argmin_\theta \mathcal{L}(\theta) \:\:, \\
\nonumber
\mathcal{L}(\theta) & = \:\:\:\:\:-\smashoperator{\sum_{(X, Y^\text{link}, Y^\text{link-type}, Y^\text{ac-type}) \in \mathcal{D}}}
\bigr(\alpha \: \ell^\text{link}_\theta(X, Y^\text{link}) 
+ \beta \:  \ell^\text{link-type}_\theta(X, Y^\text{link-type}) 
+ (1 - \alpha - \beta) \:  \ell^\text{ac-type}_\theta(X, Y^\text{ac-type})
\bigr),
\end{align}
ここで，$\alpha$ と $\beta$ は各サブタスクに対応する損失関数の重みを決める係数であり，人手により決定するハイパーパラメータである．
ただし，$\alpha \geq 0$, $\beta \geq 0$, $\alpha + \beta \leq 1$とする．
また，各サブタスクの損失関数は以下のように表される．
\begin{align}
\nonumber
\ell^\text{link}_\theta(X, Y^\text{link}) &= \sum_{k \in \{1,2,\cdots,K\}} \text{log} \text{P}_\theta(h_k | s_k^\text{ADU})\:\:, \\
\nonumber
\ell^\text{link-type}_\theta(X, Y^\text{link-type}) &= \sum_{k \in \{1,2,\cdots,K\}} \text{log} \text{P}_\theta(t_k | s_k^\text{ADU})\:\:, \\
\nonumber
\ell^\text{ac-type}_\theta(X, Y^\text{ac-type}) &= \sum_{k \in \{1,2,\cdots,K\}} \text{log} \text{P}_\theta(r_k | s_k^\text{ADU}) \:\:.
\end{align}
学習時のハイパーパラメータは，付録表~\ref{tbl:hyperparam}に記載する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:exp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{subsec:exp_setting}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データセット．}
本研究では，Persuasive essay corpus (PEC) \cite{stab2017}と， arg-microtext corpus (MTC) \cite{Peldszus2016}の2つのベンチマークデータセットを用いる．
PECはオンラインフォーラム\footnote{\url{https://essayforum.com/}}に投稿された402作文（1,833 段落）からなる．
PECにおける論述構造は各段落内に閉じているため，既存研究に従い，各段落を入力としてタスクを解いた．
データセット作成者 \cite{stab2017}が定めた訓練／評価データの分割を用い，学習データから無作為に選ばれた10\%のデータを開発データとした．
また，既存研究 \cite{Potash2016}に従い，PECにおけるスコアについては，異なるシードを用いて行った3回の試行の平均を報告した．
MTCは，様々な年齢や教育課程のドイツ語話者によって書かれた112テキストを，英語に翻訳したもので構成される \cite{Peldszus2016}．
本データセットは規模が小さいため，既存研究\cite{Peldszus2015}の分割に従い，5分割交差検証を分割の仕方を変えて10回行った際の平均スコアを報告する．
表~\ref{tab:corpus}にPECとMTCの統計を示す．
PECはMTCのおよそ10倍大きいデータセットである．
表中の論述構造の深さは，それぞれの段落における論述構造の深さの平均値であり，ルートオブジェクトは深さの計算に含めていない．
例えば\textsc{Claim}とそれに直接掛かる\textsc{Premise}のみが存在する場合は，段落の深さは1とする．
また，PECにおける導入の段落など論述関係が存在しない段落は計算から外した．
MTCの方が比較的深い構造を有しているが，これは，MTCデータの収集時に「なるべく反論を含めること」など論述構造が複雑になる方向の指示がされていることが原因であると考えている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{PECとMTCの統計}
\label{tab:corpus}
\input{02table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{接続表現の抽出．}
PECとMTCで付与されているスパンが異なる．
PECでは，ACスパンは付与されているものの，AMスパンは付与されていない．
本研究では，ルールに基づいてAMスパンを抽出した．
各ACが属する文のうち，ACに先行する部分をAMスパンとする．
ただし，AMスパンは他のACスパンと重ならない．
また，AMにおいて主節・従属節の区別を明確にするため，AMスパンに前の文の終了記号 (i.e., {\it.}, {\it !}, and {\it ?}) やテキストの始まりを示す特殊記号を含めた．
例として，以下の二つの文における節BのAMを考える．
\eenumsentence[1]{
\item {\it A. {\bf Because} B, C.} 
\item {\it A {\bf because} B. C.}
}
例(1)-aにおいてBはCの従属節であり，例(1)-bにおいてBはAの従属節である．
節BのAMを，例(1)-aでは``{\it . Because}''，例(1)-bでは``{\it because}''として抽出した．
ADUがAMを持たない場合は，前の文の終了記号やテキストの始まりを示す特殊記号のみがAMとなる．
PECデータセットでは，63\%のADUが終了記号以外の単語を含むAMを持っていた．
ACと対応するAMを合わせて，ADUスパンとした．

MTCでは, ADUが付与されており，ACとAMの区別はついていない．
そこで，PECで同定したAMとPenn Discourse TreeBank (PDTB) \cite{prasad2008penn}における談話標識のリストをもとにAMのリストを作成し，各ADUからAMを抽出した\footnote{AMリスト作成段階では，前の文の終了記号 (i.e., {\it.}, {\it !}, and {\it ?}) やテキストの始まりを示す特殊記号は含めず，ADUからAMを抽出する段階で，それらの記号をAMスパンの一部として追加した．}（表~\ref{tab:AM})．
AMのリストには1,131の表現（平均5.38トークン）が含まれ，うちPDTBから収集した表現が173種類，PECから収集した表現が958種類である．
各ADUについて，AMリスト中に存在する表現がADUの先頭に存在する場合，最長一致するフレーズをそのADUのAMとした．
ADU中のAM以外の箇所はACとした．
MTC中のADUのうち，およそ48\%にAMが付与された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\caption{接続表現の例}
\label{tab:AM}
\input{02table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

AMが文頭以外に出現した場合 ({\it Others, {\bf however}, think that these children may disrupt their school work and should be allowed to leave school early to find a job.})，AMとACを区別するとACが複数のスパンに分かれてしまう．
従ってこのようなケースでは，AMに対応する表現は存在しないとみなした．
AMがADUの途中に挿入される事例は稀であり，例えば ``{\it , however,}''が存在するADUは， PEC中の全ADUのうち1\%程度である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\caption{接続表現の同定性能}
\label{tab:am_eval}
\input{02table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

MTC上で，本アプローチによるAMの同定性能を調べた．
MTCからランダムに抽出した100個のADUについて，人手でAMスパンのアノテーションを行い，本アプローチによるAMの抽出結果を評価した（表~\ref{tab:am_eval})．
表中のスコア\footnote{\url{https://github.com/davidsbatista/NER-Evaluation}によって，exactスコアを求めた．}は，AMスパンの完全一致を正解とみなして計算している．
抽出された結果を観察すると，``but''などの典型的なAMは概ね抽出できているものの，例えば``This would mean that''などの長い表現については抽出漏れが目立ち，改善の余地があった．
実験では，本アプローチで同定したAMの情報を活用し，MTC上で性能が向上していることから，ある程度妥当な同定が実現できていると解釈している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{単語表現．}
単語表現の獲得手段として，GloVe \cite{pennington:14}，ELMo \cite{peters:18}, BERT \cite{devlin2019bert}, RoBERTa \cite{liu2019roberta}, XLNET \cite{yang2019xlnet}を用いた．
ELMoを用いた実験では，1層目から3層目の表現の平均\footnote{事前実験において，重みつき和をとるよりも平均をとった方が性能が高かった．}を用いた．
BERT，RoBERTa，XLNETを用いた単語表現については，Transformers \cite{wolf2019transformers}で公開されている事前学習済みモデル\footnote{bert-large-cased，roberta-large，xlnet-large-casedを使用した．}に文章を入力し，各トークンに対応する中間表現を獲得した．
各層から獲得した中間表現の重みつき和を対応するトークンの表現とし，重みはタスク依存で学習した．
トークンが複数のサブワードに分割される場合は，それらのサブワードに対応する表現の平均をトークンの表現とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ベースライン．}
既存の論述構造解析モデル\cite{Potash2016}で活用されているスパン分散表現を用い，LSTM-Minusに基づくスパン分散表現と比較した．
Potashらのスパン分散表現では，スパン中の単語ベクトルの平均などが用いられており，以降このスパン分散表現を用いたモデルを{\bf BoWモデル} (Bag-of-Words) と呼ぶ．
詳細な実装は付録に記載する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果}
\label{sec:result}

既存研究に従い，3タスクそれぞれにおけるF1スコアと，モデルの総合的な性能として3タスクのF1スコアの平均を報告する．
各タスクのMacroF1スコアについて，ブートストラップ法 \cite{W04-3250}で検定を行った \cite{dror2018hitchhiker}．

表~\ref{Table:span_pec}にPEC上での実験結果を，表~\ref{Table:span_mtc}にMTC上での実験結果を示す．
結果から，(i) BoWモデルに比べて，LSTMモデルの方が良い性能を示していること，(ii) ACとAMの区別を行うモデル (LSTM+dist) が，区別を行わないモデル (LSTM) よりも良い性能を示していること，(iii) これらの傾向は，異なるデータセット，異なる単語表現を用いた場合も概ね一貫していることがわかる．
XLNETやRoBERTaを用いた実験結果においてもベースライン (BoW) の性能が低いことから，強力な言語モデルから得られた単語表現を活用するだけでは十分な性能は引き出せず，これらの単語表現を用いてどのようにスパン分散表現を獲得するかが更なる精度向上の鍵であると分かる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\caption{PEC上でのLSTM+dist，LSTM，BoWモデルの性能比較}
\label{Table:span_pec}
\input{02table04.tex}
\vspace{4pt}\small
MCは\textsc{MajorClaim}の略である．$\dagger$がついているLSTMモデルの結果は，BoWモデルの結果と統計的に有意に差がある ($p < 0.05$) ことを示す．$\ddagger$がついているLSTM+distモデルの結果は，LSTMモデルの結果と統計的に有意に差がある ($p < 0.05$) ことを示す．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\caption{MTC上でのLSTM+dist，LSTM，BoWモデルの性能比較}
\label{Table:span_mtc}
\input{02table05.tex}
\vspace{4pt}\small
$\dagger$がついているLSTMモデルの結果は，BoWモデルの結果と統計的に有意に差がある ($p < 0.05$) ことを示す．$\ddagger$がついているLSTM+distモデルの結果は，LSTMモデルの結果と統計的に有意に差がある ($p < 0.05$) ことを示す．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

LSTM-minusベースのスパン分散表現を用いたことによる性能向上 (LSTM $>$ BoW) は特にPEC上で顕著である（表~\ref{Table:span_pec})．
MTC上では性能向上の傾向が比較的小さいが（表~\ref{Table:span_mtc})，MTCが小規模なデータセットであるため，LSTM-minusスパン分散表現の抽出に用いるパラメータを十分に学習できなかったことなどが原因として考えられる．
また，ACとAMの区別による性能向上 (LSTM+dist $>$ LSTM) は，
特にMTC上で大きい（表~\ref{Table:span_mtc})．
MTCデータセットは，PECに比べて\textsc{Support}に対する\textsc{Attack}関係の比率が高いことから，対立意見を踏まえて譲歩し，反論し返すなどの複雑な構造を持つ文章が多いことが考えられる．
AC・AMごとの流れ（例えば，{\it of course}$\rightarrow${\it but}などの接続表現の系列） を追うことにより，このような複雑な文章においても頑健に解析できたのではないかと考える．
また，PECデータセットは非常に多様なトピックに関する作文で構成されるのに対し，MTCデータセットには同じトピックに関する論述が複数含まれている．
そのためMTCでは，トピックの影響が大きいACのレベルにおいても，同一トピックの他の論述文から学習したパターンを，新たな論述の解析に転用しやすかった可能性が考えられる．
例えば模擬試験における作文の自動評価への論述構造解析の応用などを考えると，特定のテーマに関する論述文が複数存在するMTCの状況は自然である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\caption{PECにおける既存研究との性能比較}
\label{Table:comp_PEC}
\input{02table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\caption{MTCにおける既存研究との性能比較}
\label{Table:comp_PEC2}
\input{02table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

LSTM+distモデルと既存研究における結果との比較を表~\ref{Table:comp_PEC}と表~\ref{Table:comp_PEC2}に示す．
スパン分散表現の工夫と最先端のモデルから得られた単語表現を組み合わせることで，PECにおいて論述関係認識におけるLink有りクラスのF1値を10ポイント近く向上させる (60.8$\rightarrow$70.3) など，解析性能を大きく更新した．
強力な言語モデルによる単語ベクトルを用いた場合も，BoW(XLNET)とPotash+ 2017の比較から，スパン表現の獲得方法次第では既存のモデルと大きく変わらない性能を示すことが分かり，LSTM+dist(XLNET)とBoW(XLNET)の比較から，提案法によるスパン表現によって性能が大きく向上することが分かる．
また，スパン分散表現獲得法により談話レベルの文脈を積極的に取り入れることで，論述構造解析における性能が大きく向上することから，単語の穴埋めや次の文の予測といった言語モデルの目的関数によって得られた単語分散表現そのものには，周囲の論の流れといった談話的な文脈情報は十分に含まれていない可能性があることも示唆される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 
\section{分析}
\label{sec:analysis}

論述構造解析において主要に取り組まれてきた論述関係認識・分類タスクに着目し，予測の難しいインスタンスや既存のモデルとの出力傾向の違いについて分析する．
本分析では，比較的規模の大きいPECの開発データを用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia2f3.eps}
\end{center}
\caption{深さごとの論述関係認識タスクにおける精度}
\label{fig:ana:depth:result}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 
\subsection{論述構造の深さ}

既存研究 \cite{stab2017}では，論述構造解析モデルが正解の木よりも浅い木を予測しがちであることが指摘されていた．
この指摘を踏まえ，木の深さと予測性能の観点から，既存のモデルと本研究における提案モデルを比較する．
図~\ref{fig:ana:depth:result}に，ルートオブジェクトの認識精度（深さ0)，深さ1のADUから出る関係の認識精度，深さ2以上のADUから出る関係の認識精度を示す．
各数値は正しい親を当てることができたかの正解率を示す．
全体的な傾向として，正解の構造において深い位置にある論述関係ほど，予測が難しいことが分かる．
深さ2以上の関係の予測精度に着目すると，既存のモデル (Potash+ 2017) の予測精度は大きく低下しているのに対し，スパン分散表現に多粒度の文脈情報を取り込んでいるLSTM+distモデルは，比較的頑健に予測できていることが分かる．
これらの結果から，深い位置の関係を予測する際には文脈情報が手がかりとなり，文脈情報をスパン表現にどのように取り込むかが予測において重要であることが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia2f4.eps}
\end{center}
\caption{既存のモデルとLSTM+distモデルの予測結果の例}
\label{fig:depth_ex}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

論述構造が深くなる典型的なケースとして，一旦想定される対立意見を述べそれに対して反論し返すという，\textsc{Attack}関係の連鎖が挙げられる \cite{Peldszus2013,freeman2011dialectics}．
図~\ref{fig:depth_ex}は，\textsc{Attack}が連鎖する部分構造（論述単位4$\rightarrow$論述単位3$\rightarrow$論述単位1）を持つ論述構造の例と，既存モデルの予測および提案モデルの予測結果である．
既存のモデルは予測に失敗しているが，LSTM+distモデルは正しく予測できている．
表~\ref{tbl:attack_attack}に，\textsc{Attack}関係が連鎖している部分構造における論述関係の予測精度を示す．
LSTM+distモデルが良い性能を示していることから，ACとAMの区別が予測に良い影響を与えていることが分かる．
異なる立場の意見を挙げて議論を進める文章では，何が自分の主張で何が対立意見なのかを読み手が追いやすいよう，接続表現 (AM) が頻繁に用いられると考えられる．
従って，{\it of course}$\rightarrow${\it but}といったAMの流れが予測の手がかかりになったと考えられる．
また，このような部分構造は特にMTCで頻繁に観察され，MTCにおいてLSTMモデルとLSTM+distモデルの性能差が大きい理由の一つであるとも考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[p]
\caption{\textsc{Attack}関係が連鎖している部分構造における論述関係の予測精度}
\label{tbl:attack_attack}
\input{02table08.tex}
\vspace{-0.3\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[p]
\caption{深さごとの論述関係分類性能}
\label{tbl:ltc_depth}
\input{02table09.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


木の深さと論述関係分類性能についても分析を行う．
正解の木における深さごとの論述関係分類性能を求めた（表~\ref{tbl:ltc_depth})．
深さ0における論述関係分類は\textsc{Claim}が作文の筆者自身の立場のものであるか，対立する立場のものであるかという問題に対応し，特に深さ0における予測性能がLSTM+distを用いた場合に一貫して向上していることが分かる．
この結果は，論述関係認識において深い位置のADUの係り先の予測精度が向上している傾向と対照的である．

\textsc{Claim}の立場を推測するためには，その主張が周囲のADUから反論されているのか，補強されているのかといった大域的な論の流れが手がかりとなると考えられる．
様々な粒度で大域的な文脈を汲み取るLSTM+distモデルが，深さ0における論述関係分類性能の向上に有効であったと考えられる．
また，表~\ref{tbl:attack_attack}における\textsc{Attack}関係の連鎖の分析では，筆者に対立する立場の\textsc{Claim}とそれに反論し返す\textsc{Premise}といった部分構造の予測性能も対象となっている．
対立的な\textsc{Claim}は周囲の\textsc{Premise}によって再反論されやすいという高次の傾向が存在し \cite{kuribayashi2017examining}，LSTM+distモデルが対立する\textsc{Claim}をうまく同定できることで，付近に存在する\textsc{Premise}の係り先（反論先）を予測する手がかかりとなり，表~\ref{tbl:attack_attack}にみられるようなマクロな構造の解析性能の向上や，図~\ref{fig:ana:depth:result}でみられるような深い位置の\textsc{Premise}の係り先の予測性能の向上に影響を与えていると考えている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\caption{接続表現の有無と論述関係認識性能．}
\label{tbl:am_existance}
\input{02table10.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 
\subsection{接続表現の有無}
\label{appendix:am_existance}

本研究では，論述文における接続表現 (AM) に焦点を当ててモデルの改良を行ったため，分析においても接続表現に焦点を当て，接続表現をもつ／もたないADUから出る論述関係の認識精度について調査する．
表~\ref{tbl:am_existance}に分析結果を示す．
各数値は正しい親を当てることができたかの正解率を示す．
全体の傾向として，接続表現のあるADUよりも，接続表現のないADUの方が論述関係の予測精度が低いことが観察される．
この傾向は，PDTBスタイルの談話関係認識などにおいて，談話標識が表示されていない非明示的な談話関係の認識性能が難しいことと一貫している．
BoWモデルと比較すると，LSTMモデルやLSTM+distモデルでは，接続表現の有無にかかわらず性能が向上している．
また，LSTMモデルとLSTM+distモデルの結果を比べると，特に接続表現のないADUにおいて，LSTM+distモデルによる性能の改善幅が大きい傾向が観察された．
論述文の論の流れには談話のレベルで一定のパターンがあると考えられ，周囲の論の流れが接続表現のないADUの役割を推定する上で手がかかりになると考えられる．
LSTM+distによって得られた多粒度の文脈情報が，接続表現のないADUに関する解析に役立っていることが示唆される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}
\label{sec:conc}

本研究では，論述構造解析において効果的なスパン分散表現獲得手法を提案し，実験結果から，接続表現と命題をネットワーク内で明示的に区別し，スパン分散表現に多粒度の文脈を取り込むことの重要性を示した．
分析から，深い論述構造をもつ論述文において特に解析構造が向上することが明らかになった．
今後の展望として，論述単位の分割も含めて全てのサブタスクを一気通貫学習で解くことや，修辞構造理論に基づく談話構造の解析や，論述構造に関連した他タスク \cite{Trautmann2019}における，本手法の有効性の検証を行いたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本研究の一部はThe 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019)で発表したものです \cite{kuribayashi-etal-2019-empirical}．また，本研究の一部はJST CREST（課題番号：JPMJCR1513）の支援を受けて行いました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{02refs}


\vspace{1\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{追加素性}
\label{appendix:feature}

既存研究 \cite{Potash2016}に従い，ADUに関する以下の離散的な特徴量を用いた

\begin{itemize}
\item ADU中に出現する単語の集合（出現単語に対応する次元が1，それ以外が0である語彙数長のベクトル)
\item ADU中に含まれる単語の分散表現について，average，max, minプーリングを施したもの
\item 論述全体の中で何番目のADUか (one-hot-vector)
\item 段落内で何番目のADUか (one-hot-vector)
\item ADUが論述文中で, 最初の段落，最後の段落, それ以外の段落のいずれに属するか (one-hot-vector)
\end{itemize}

Potashらに従い，これらの特徴から得られた離散特徴ベクトルを全結合層によって，連続的な特徴表現に変換した．
特徴表現の次元数は，LSTM，LSTM+distモデルでは512次元，BoWモデルではLSTM-Minusベースのスパン表現の次元数と合わせるため1536次元にしている．
また，単語の分散表現を用いた素性については，各実験設定で用いた分散表現と同じもの（例えば，XLNETの各層から得られた分散表現の重みつき和）を用いている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\caption{ハイパーパラメータの一覧}
\label{tbl:hyperparam}
\input{02table11.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ハイパーパラメータ}
\label{appendix:hparam}

表~\ref{tbl:hyperparam}にハイパーパラメータを示す．
LSTMは1層のものを用いた．
BoW, LSTM, and LSTM-distモデルをパラメータ数の観点で正当に比較するため，LSTMモデルではBiLSTMの隠れ層の次元を大きくし，ADUレベルのLSTMの層の数を2層にしている．
BoWモデルでは，パラメータ数を増やしても性能がほとんど変わらなかったため表~\ref{tbl:hyperparam}の通りのハイパーパラメータを用いている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{栗林　樹生}{
2020年東北大学大学院情報科学研究科博士前期課程修了．現在，東北大学大学院情報科学研究科にて博士課程取得に向けて研究を進めている．2020年より日本学術振興会特別研究員 (DC1)．Langsmith株式会社共同創業者．
}
\bioauthor{大内　啓樹}{奈良先端科学技術大学院情報科学研究科にて，2015年博士前期課程修了．2018年博士後期課程修了．2018年より理化学研究所革新知能統合研究センター特別研究員．
}
\bioauthor{井之上直也}{2013年東北大学大学院情報科学研究科博士後期課程修了．株式会社デンソー基礎研究所研究員，東北大学大学院情報科学研究科助教，理化学研究所客員研究員を経て，2020年よりStony Brook University研究員．
}
\bioauthor{鈴木　潤}{
2001年から2018年まで日本電信電話株式会社 コミュニケーション科学基礎研究所研究員（主任研究員／特別研究員）．2005年奈良先端科学技術大学院情報科学研究科博士後期課程修了．現在，東北大学データ駆動科学・AI教育研究センター教授．
}
\bioauthor{Paul Reisert}{2017年東北大学大学院情報科学研究科博士後期課程修了．2017年より理化学研究所革新知能統合研究センター特別研究員．
}
\bioauthor{三好　利昇}{2002年京都大学理学部卒業．2007年同大学院情報学研究科博士課程修了．博士（情報学）．
同年，（株）日立製作所中央研究所に入社．現在，日立製作所 研究開発グループ テクノロジーイノベーションセンタに勤務．
自然言語処理などの研究に従事．}
\bioauthor{乾　健太郎}{
1995年東京工業大学大学院情報理工学研究科博士課程修了．2010年より東北大学大学院情報科学研究科教授．2016年より理化学研究所AIPセンター自然言語理解チームリーダー兼任．
}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

